Keinotekoisten neuroverkkojen kehitys...

1. Keinotekoisten neuroverkkojen kehitys... ...ja kehittäjät

2. Työssä käsitellään: • Keinotekoisten neuroverkkojen kehitystä 90-luvulle asti sekä tekoälyn alkuaikoja hieman laajemmasta näkökulmasta • Ihmisiä ideoiden takana • Lähinnä amerikkalaisesta perspektiivistä

3. 1. Taustaa • -Ajatustoiminnan sijaintipaikaksi olivat ennen 1800-lukua ehdolla mm. sydän ja perna • -Paul Broca totesi 1861, että puheen tuottaminen voidaan paikallistaa vasempaan aivolohkoon • -Neuronien olemassaolosta oli keskusteltu, mutta havaintoja ei vielä ollut

4. Camillo Golgi • Kehitti tekniikan neuronien värjäämiseksi • Ensimmäisen kerran mahdollisuus havaita yksittäisiä neuroneita • Ajattelu tapahtuu väliaineessa, jossa myös neuronit ovat Camillo Golgi [Nobel06a]

5. Santiago Ramon y Cajal • Käytti Golgin värjäystekniikkaa omissa tutkimuksissaan • Neuronit mahdollistavat ajattelun Golgin tekniikalla värjättyjä neuroneita [Tur] Santiago Ramon y Cajal [Nobel06b]

6. -Golgi ja Cajal molemmat palkittiin Nobelilla 1906, huolimatta erilaisista mielipiteistään -Vasta Hans Bergerin 1929 kehittämä EEG mahdollisti elävien neuronien sähköisen toiminnan tarkkailemisen

7. 2. Tekoälyn poikkitieteelliset alkuajat ja ensimmäinen keinotekoinen neuronin malli

8. Warren McCulloch -Neurofysiologi, joka halusi muuttaa tuolloiset epämääräiset teoriat matemaattisen täsmälliselle pohjalle -”What is a number, that man may know it, and a man that he may know a number” Warren McCulloch [McCor79]

9. Warren McCulloch -Neurofysiologi, joka halusi muuttaa tuolloiset epämääräiset teoriat matemaattisen täsmälliselle pohjalle -”What is a number, that man may know it, and a man that he may know a number” Walter Pitts Warren McCulloch [McCor79] -Karkasi kotoaan 15-vuotiaana, koska ei halunnut mennä töihin -Matemaattisesti erittäin lahjakas ja erityisen kiinnostunut logiikasta -Törmäsi Bertrand Russeliin puistossa ja päätyi Rudolph Carnapin oppiin Walter Pitts [MCCor79]

10. -McCulloch tarvitsi konsulttiapua omiin tutkimuksiinsa ja törmäsi Chicagossa Pittsiin, joka oli Carnapin opissa -Pitts auttoi McCullochia ymmärtämään miten hermojärjestelmän kytkennät voisivat muodostaa Turingin koneen -Yhteisjulkaisu ”The logical calculus of the ideas immanent in nervous activity” julkaistiin vuonna 1943 Pittsin ollessa vasta 18-vuotias -Tuotosta pidetään myös ensimmäisenä tekoälyn alaan kuuluvana tutkimuksena

11. McCulloch-Pitts neuroni(MP) • Esikuvana biologinen neuroni • Toiminta samankaltaista, malli kuitenkin hyvin yksinkertaistettu • MP aktivoituu ja lähettää signaalin , jos tulosignaalien summa ylittää aktivaatiofunktion kynnysarvon • Loogiset operaatiot toteutettavissa yksinkertaisilla verkoilla • Mikä tahansa laskettava funktio toteutettavissa jollain verkolla Biologisia neuroneita [Neg] McCulloch-Pitts neuroni[Bull]

12. John von Neumann • Yleisnero, joka työskenteli paitsi tietokonesuunnittelun, myös Manhattan-projektin parissa • Vaikuttui McCullochin ja Pittsin työstä, ja hyödynsi sitä opettaessaan tietokoneiden teoriaa • Neumann viittaa työhön myös vuoden 1945 paperissaan ”First Draft of a report to the EDVAC” • McCulloch myöhemmin totesi, että työ olisi voinut jäädä huomiotta ellei John von Neumann olisi löytänyt sitä John von Neumann [McCor79]

13. Norbert Wiener • Entinen lapsinero, joka väitteli tohtoriksi 18-vuotiaana • Hankala luonne, Bertrand Russell koemmentoi kirjeessä ystävälleen: ”The youth has been flattered, and thinks himself God Almighty -- there is a perpetual contest between him and me as to which is to do the teaching.” • Halusi saada tutkalta tulevan informaation osaksi ilmatorjuntatykin tähtäysjärjestelmää • Huomasi analogian tämän tavoitteen ja ihmisen toiminnan välillä; jatkuva hienosäätö palautteen perusteella • Lähti etsimään henkilöitä, jotka olisivat tutustuneet ongelmaan ihmisen toiminnan puolelta ja näin joutui tekemisiin McCullochin kanssa • Antoi nimen kybernetiikalle, ehkä nimekkäin perustajista Norbert Wiener [McCor79]

14. -Vuonna 1944 perustettiin poikkitieteellinen keskustelukerho, ”Teleological Society”, jossa olivat mukana niin McCulloch, von Neumann, kuin Wienerkin (+muita) -Myös Englannissa oli vastaava, ”Ratio Club”, jossa mukana mm. Alan Turing -Jonkin verran vaikutteita keskenään -Vaikka esim. Wienerillä ja von Neumannilla ei suoranaisesti ollut tekemistä neuroverkkojen kanssa, tälle poikkitieteelliselle pohjalle syntyi myöhemmin tekoäly "Once upon a time two daughter sciences were born to the new science of cybernetics. One sister was natural, with features inherited from the study of the brain, from the way nature does things. The other was artificial, related from the beginning to the use of computers. Each of the sister sciences tried to build models of intelligence, but from very different materials. The natural sister built models (called neural networks) out of mathematically purified neurones. The artificial sister built her models out of computer programs…”

15. -Vuonna 1949 Donald Hebb esitti kirjassaan ”The Organization of Behavior” kuinka neuroverkot voisivat oppia -Jos neuroni A on toistuvasti osallisena neuronin B laukeamisessa A:n signaalin painoarvo kasvaa -Hebbin oivallus ei suoranaisesti liittynyt keinotekoisiin neuroverkkoihin, vaan hän oli psykologi ja kiinnostunut oikeiden aivojen toiminnasta

16. Marvin Minsky • Matematiikan jatko-opiskelija Princetonissa • Rakensi Dean Edmondsin kanssa ensimmäisen neuroverkkoja simuloivan koneen SNARC:in vuonna 1951 • SNARC:in osasina oli 3000 tyhjiöputkea ja B-24 pommittajan autopilotti • 40 keinotekoista neuronia simuloivat rottaa, joka etsii tietä pois labyrintista Marvin Minsky [McCor79]

17. -Kesällä 1956 järjestettiin Darthmouthissa kesäkoulu, jonka tavoitteena oli saada tekoälystä kiinnostuneita ihmisiä työskentelemään yhdessä -Kutsun otsikossa esiintyi ensimmäistä kertaa termi ”Artificial Intelligence”, joka jäi elämään alan nimenä -Yksi kutsussa esitetyistä tutkimusaiheista oli ”How can a set of (hypothetical) neurons be arranged so as to form concepts”, ja osallistujissa oli mukana Minskyn lisäksi mm. Nathaniel Rochester IBM:ltä, joka oli työskennellyt neuroverkkojen parissa -Neuroverkot eivät kuitenkaan Darthmouthissa parantuneet, suurin ja ainoa menestys oli Allen Newellin ja Herbert Simonin ”Logic Theorist”

18. 3. Perceptron

19. -Frank Rosenblattin ryhmä Cornellin yliopiston tutkijoita kehitti 50-luvun lopulla uuden neuronimallin, perceptronin -Inspiraationa sekä MP, että Hebbin aivojen oppimista koskevat tulokset -Periaatteessa MP:n kaltainen, mutta tulosignaaleilla oli painoarvot ja niitä voitiin muuttaa -Rosenblatt tutki kärpäsen näkökykyä ja kehitti tutkimustensa pohjalta perceptroneista laitteen joka kykeni tunnistamaan kuvioita Yksinkertainen perceptron-verkko [Este]

20. -Rosenblatt oli värikäs persoona joka uskoi vakaasti perceptroneihinsa -Hän uskoi, että perceptronien avulla voitaisiin ennen pitkää ymmärtää kaikkien informaatiota käsittelevien järjestelmien toiminta, myös ihmisen -Tämä urheiluautolla kampuksella ajava poikamies oli niin hyvä tuotteensa edustaja, että perceptronien ympärille syntyi paljolti tutkimusta -Minsky, joka oli itse aiemmin turhautunut rakentamansa neuroverkon rajoittuneisuuteen ja siirtynyt symbolisen tekoälyn pariin, arsyyntyi perceptronien saamasta huomiosta -Eikä hän ollut ainoa, jonka mielestä mallissa oli ongelmia...

21. Seymour Papert • Etelä-Afrikkalainen matemaatikko • Erityisen kiinnostunut lasten ajattelusta ja oppimisen opettamisesta • Tutustui Marvin Minskyyn konferenssissa englannissa • Siirtyi myöhemmin yhdysvaltoihin McCullochin kutsumana • Mukana aparteidin vastaisessa liikkeessä, jonka vuoksi oli jäädä ilman viisumia • Minskyn työtoveri MIT:ssä Seymour Papert [MIT]

22. -Minsky ja Papert alkoivat kirjoittaa kirjaa perceptroneista, selvittääkseen mitä niillä oikeastaan voitiin tehdä -Yksikerroksinen perceptron kykenee tunnistamaan vain lineaarisesti erottuvan funktion -XOR oli yksikerroksiselle perceptronille liian vaikea -Kerroksia lisäämällä ongelma ratkeaisi, mutta ei ollut olemassa mitään keinoa välikerroksen opettamiseen A)Lineaarisesti erottuva B)Lineaarisesti erottumaton [Bri]

23. -Minsky ja Papert totesivat perceptronien rajoituksista vähemmän kauniiseen sävyyn mm. näin: “Appalled by the persistent influence of perceptrons (and similar ways of thinking) on practical pattern recognition, we determined to set out our work as a book.” “Perceptrons have been widely publicized as “pattern recognition” or “learning machines” and as such have been discussed in a large number of books, journal articles, and voluminous reports. Most of this writing is without scientific value and we will not refer by name to the works we criticize.”

24. -Kirja ajoi neuroverkkotutkimuksen kriisiin yli kymmeneksi vuodeksi -Tutkimus neuroverkkojen ympärillä kuitenkin jatkui vaikkakin pienimuotoisempana ja pääasiassa muualla maailmassa -Teuvo Kohosen itseorganisoituvat kartat 70-luvulta ”The bloody work was done by two staunch followers of the artificial sister, Marvin Minksy and Seymour Papert, cast in the role of the huntsmen sent to slay Snow White and bring back her heart as proof of the deed. Their weapon was not the dagger but the mightier pen, from which came a book - Perceptrons - purporting to prove that neural nets could never fill their promise of building models of mind: only computer programs could do this. Victory seemed assured for the artificial sister. And indeed, for the next decade all the rewards of the kingdom came to her progeny, of which the family of expert systems did best in fame and fortune...”

25. 4. Virkoaminen

26. ”...But Snow White was not dead. What Minsky and Papert had shown the world as proof was not the heart of the princess; it was the heart of a pig.” -Seymour Papert, 1988

27. -Vuonna 1982 fyysikko John Hopfield esitti uuden neuroverkkomallin, Hopfield-verkon, jossa kytkennät olivat kaksisuuntaisia -Hopfield analysoi verkkonsa tallentamiskykyä tilastollisen mekaniikan keinoin ja käsitteli neuroneita ikään kuin atomeina -Hopfieldin verkko toimi kykeni toimimaan assosiatiivisena muistina ja tallentamaan luotettavasti 0.138N harjoitusesimerkkiä, missä N on verkon neuronien määrä Esimerkki Hopfield-verkosta. Kaikki neuronit toimivat sekä tulo, että lähtökerroksena [Soja]

28. -Toinen neuroverkkojen uuteen nousuun vaikuttanut tekijä on takaisinkytkentäalgoritmin(back-propagation) keksiminen uudelleen -Algoritmi mahdollisti piilotettujen kerrosten opettamisen, ongelman, johon Minskyllä ja Papertilla ei ollut kirjassaan ratkaisua -Ironista kyllä, ensimmäisen kerran algoritmin keksivät Bryson & Ho jo vuonna 1969, mutta se unohdettiin, koska sen ajan tietokoneet eivät olleet sille tarpeeksi tehokkaita Esimerkki takaisinkytkentäalgoritmista [Ilie]

29. Kaksikerroksinen verkko, jossa on riittävästi piilokerroksen neuroneita voi oppia minkä tahansa polynomisen funktion Kolmekerroksinen verkko voi oppia minkä tahansa funktion

30. Käyttökohteita: Puheentunnistus, tekstintunnistus, ohjaaminen, tietokonepelit jne. Haittoja: Vaikea suunnitella, hidas opettaa, vaikea ymmärtää

31. Kuvalähteet: [Bri] A Brief History of Connectionism http://www.soe.ucsc.edu/NCS/ [Bull] Introduction to Neural Networks http://www.cs.bham.ac.uk/~jxb/NN/l2.pdf [Este] http://ei.cs.vt.edu/~history/Perceptrons.Estebon.html [Ilie] http://www.cs.concordia.ca/~comp473_2/fall2005/INTRO05.pdf [McCor79] Pamela McCorduck, Machines who Think [MIT] http://web.media.mit.edu/~papert/ [Neg] Negnevitsky, M., Artificial intelligence: A guide to intelligent systems [Nobel06a] http://nobelprize.org/medicine/laureates/1906/golgi-bio.html [Nobel06b] http://nobelprize.org/medicine/laureates/1906/cajal-bio.html [Soja] http://www.sojamo.de/iv/index.php?n=10&ci=003-04 [Tur] http://www.cs.usfca.edu/www.AlanTuring.net/turing_archive/ pages/Reference%20Articles/what_is_AI/What%20is%20AI10.html