Neuronové sítě Jiří Iša jiri.isa@matfyz.cz jiri.isa.matfyz.cz

1. Neuronové sítě Jiří Išajiri.isa@matfyz.czhttp://jiri.isa.matfyz.cz

2. O čem bude řeč? - O historii neuronových sítí. - O různých typech neuronových sítí a způsobu jejich použití. Co se nestane? - Nestane te se odborníky na neuronové sítě. Co se dozvíte? - Budete umět naprogramovat jednoduchou neuronovou síť. Dnešní presentace

3. Jak vypadá neuron Axon (dlouhý výběžek) - délka až 2m Dendrity (krátké výběžky) - mohou jich být až desítky tisíc Tělo (soma) Neuron přijímá dendrity elektrochemické signály od okolních neuronů a reaguje na ně na svém axonu.

4. 1943 – McCulloch, Pitts bipolární vstup jednoduchá prahová funkce žádný algoritmus učení zvládá jednoduché logické funkce Př: AND První matematický model 1 1 -1 x1 w1 w2  x2 t = wixi sgn(t) y w3 w0 x3 1

5. 1949 – Donald Hebb Motivováno neurofyziologickým zákonem: Změna neurosynaptické váhy je úměrná souhlasné aktivitě neuronů. Matematicky: wi = * t(xit * dt) kde: x je vstup, d je požadovaný výstup První učící algoritmus

6. Neurořidič - Hebb JL JR JP PL PR PP RR RP ? +1 -1 -1 -1 -1 -1 -1 -1 | +1 + 2 - 14 +14 - 14 + 8 +14 - 6 - 14 -1 +1 -1 -1 -1 -1 -1 -1 +1-1 -1+1 -1+1 +1-1 -1+1 -1+1 -1+1 +1-1 | -1 -1-1 +1+1 -1-1 -1-1 -1-1 -1-1 +1+1 -1-1 | +1 -1+1 +1+1 -1+1 -1+1 -1+1 +1-1 -1+1 +1-1 | -1 -1-1 -1-1 +1+1 -1-1 -1-1 -1-1 -1-1 -1-1 | +1 -1-1 -1-1 +1+1 +1+1 -1-1 -1-1 +1+1 -1-1 | +1 -1+1 -1+1 -1+1 -1+1 -1+1 +1-1 -1+1 -1+1 | -1 -1+1 -1+1 -1+1 +1-1 -1+1 -1+1 -1+1 +1-1 | -1 0 2 4 -2 0 -4 4 -6 +1 +1 -1+ 2

7. 1957 - Frank Rossenblatt reálný obor vstupních hodnot lineární přenosová funkce F. Rossenblatt dokázal, že jím navržené pravidlo nalezne (existuje-li) po konečném počtu kroků, správné nastavení vektoru vah a úspěšně demonstroval jeho použití na rozpoznávání znaků Perceptron

8. Úkol - minimalizace chyby E: Et = 1/2 * i(yit - dit)2 Postup - gradientní metoda:  Et/ wit = xit * (yit - dit) wit+1 = wit -  * Et/ wit = wit -  * xit * (yt – dt)  ... rychlost učení  (0, 1) d ... požadovaný výstup y ... skutečný (získaný) výstup Delta pravidlo

9. Vstupy {-1, 1} Příslušné váhy Předsevzetí {1} -30,86 Jedu doleva? 1,71 Jedu rovně? 8,57 Jedu doprava? 31,71 Je vpravo vozidlo zatáčející vlevo? - 4,29 Je vpravo vozidlo jedoucí rovně? - 3,42 Je vpravo vozidlo zatáčející vpravo? - 19,71 Je proti mě vozidlo jedoucí rovně? - 20,57 Je proti mě vozidlo zatáčející vpravo? - 21,43 Neurořidič - Delta

10. 1969 - Pánové Minsky a Pappert potřebovali grant. Linearita perceptronu - AND: Potíž – XOR: Učící algoritmus pro vícevrstvou síť v té době neznámý Důsledek: Téměř deset let žádné granty pro neurovědce Historická katastrofa [1,1] [0,1] {1} {0} [0,0] [1,0]

11. Vstupem neuronu jsou výstupy neuronů v předchozí vrstvě (kromě vstupních neuronů) Žádné zpětné hrany zk = vjk * yj) yj = (wij * xi) Vícevrstvá síť VÝSTUPY VSTUPY Mezivrstva x y z

12. Česky: Algoritmus zpětného šíření chyby Princip - opět gradientní metoda jenom ta celková funkce je složitější Proč se říká „Backpropagation nefunguje“ ? Protože může dojít k nalezení lokálního minima Backpropagation

13. 1982 - Kohonen učení bez učitele Trpaslíci v parku Sedí trpaslíci v parku na lavičce a jsou smutní. Proč? Inu, protože si s nimi žádní lidé, a co jich jen chodí okolo, nechtějí povídat. Jak to jen udělat? „Budeme se snažit vypadat jako oni,“ rozhodnou se trpaslíci. Samoorganizační mapa

14. Trpaslíci & stavový prostor světlooděnci tmavooděnci ženy muži

15. Genetické algoritmy • Paralelní hledání optimálního nastavení 137854 546532 137432 překřížení + mutace

16. Literatura • Teoretické otázky neuronových sítí - Jiří Šíma, Roman Neruda; MatfyzPress 1996 • Umělá inteligence I - Vladimír Mařík, Olga Štěpánková, Jiří Lažanský • www.google.com • http://citeseer.nj.nec.com/cs