Neurono vé sítě

1. Neuronové sítě Jakub Krátký

2. Obsah prezentace • Definice • Charakteristika umělých neuronových sítí • Základní aplikační oblasti • Perceptron • Minsky-Papertův omyl • Jednovrstvé sítě • Vícevrstvé sítě • Zdroje

3. Definice neuronových sítí • Umělá neuronová síť je distribuovaný výpočetní systém sestávající z dílčích podsystémů (neuronů), který je inspirován neurofyziologickými poznatky o struktuře a činnosti neuronů a nervových systémů živých organizmů, a který je ve větší či menší míře realizuje.

4. Charakteristika umělých neuronových sítí • Umělé neuronové sítě (ANN) se snaží napodobit funkci biologické mozkové tkáně • Schopnost extrahovat a reprezentovat závislosti v datech, které nejsou zřejmé • Schopnost řešit silně nelineární úlohy • Schopnost učit se a generalizovat své znalosti

5. Základní aplikační oblasti • Klasifikace • Regrese • Predikce • Asociace • Optimalizace • Filtrace • shluková analýza • komprese dat

6. Perceptron • Tvořen jediným neuronem • Lineární separátor • y – výstup (aktivita) neuronu • S – nelineární přenosová funkce • xi – hodnota i-tého vstupu • wi – hodnota i-té synaptické váhy • Θ – práh neuronu (posunutí) • Výraz v závorce – vnitřní potenciál

7. Základní typy aktivačních funkcí

8. Minsky-Papertův omyl

9. Jednovrstvé sítě I – Hopfieldova síť • Zpětnovazební (rekurentní) síť • Vybavuje nejbližšího souseda (autoasociativní), není klasifikátorem! • Učí se Hebbovsky • Typicky binární vstupy • Učení jednorázové (zapamatování vstupních vzorů), vybavování iterační • Síť má tolik neuronů, kolik má vstupů • Počet naučitelných vzorů ≈ 15% počtu vstupů

10. Jednovrstvé sítě I – Hopfieldova síť • Výstup neuronu je připojen na vstupy všech ostatních neuronů, avšak ne na svůj vlastní • Mezi každými dvěma neurony existuje vzájemné a identické propojení

11. Jednovrstvé sítě I – Hopfieldova síť • Učení vybavování

12. Jednovrstvé sítě II – Kohonenova • SOM – Self Organizing Maps • Učení bez učitele, samoorganizuje se • Je bez výstupu • Provádí shlukovou analýzu • Není klasifikátorem

13. Jednovrstvé sítě II – Kohonenova • Učení iterační pomocí okolí a laterální inhibice

14. Jednovrstvé sítě II – Kohonenova

15. Vícevrstvé sítě I – ML perceptron • Nejrozšířenější a nejpoužívanější síť • Iterační metoda učení s učitelem • Jednorázové vybavování • Trénovací, testovací a validační množina

16. Vícevrstvé sítě I – ML perceptron • Nejpoužívanější metoda učení – backpropagation => zpětné šíření chyby • Gradientní metoda • Aktivační funkce musí být spojitá a diferencovatelná, typicky sigmoida • Učení je ukončeno ve chvíli, kdy globální chyba klesne pod předem stanovenou mez • Problém uváznutí v lokálním extrému a přeučení (over-fitting)

17. Vícevrstvé sítě II – RBF • Radial Basis Function (RBF), síť radiálních jednotek • Dva typy neuronů: radiální a perceptronového typu (nejčastěji lineární) • Váhy v první vrstvě jsou nastavovány pevně na začátku učení, ve druhé vrstvě podobně jako u vícevrstvé perceptronové sítě nebo přímo regresí • Síť se učí velmi rychle • Vhodná jak pro klasifikaci, tak pro regresi

18. Vícevrstvé sítě II – RBF Postsynaptický potenciál Aktivační funkce Adaptace vah

19. Vícevrstvé sítě III - GAME • Při učení roste podle dat • Vybírá nejlepší jednotky pomocí genetického algoritmu • Heterogenní jednotky (lineární, sigmoidní, polynomiální, malé neuronové sítě,..) • Každá jednotka počet vstupů roven číslu vrstvy

20. Zdroje • http://gerstner.felk.cvut.cz/biolab/33KP/prednasky_ann/prezentace_ns.ppt • http://service.felk.cvut.cz/courses/36NAN/ • Mařík V., Štěpánková O., Lažanský J. a kol.: Umělá inteligence 4. Academia, Praha, 2003 • Šnorek, M., Jiřina, M.: Neuronové sítě a neuropočítače. Skripta ČVUT, Praha 1997