Nowa Metoda Nadzorowanego Uczenia w Impulsowych Sieciach Neuronowych

1. Nowa Metoda • Nadzorowanego Uczenia • w Impulsowych Sieciach Neuronowych • SEMINARIUM • Sztuczna Inteligencja w Automatyce i Robotyce • 22 kwietnia 2005, Zielona Góra • Andrzej Kasiński, Filip Ponulak • Instytut Automatyki i Inżynierii Informatycznej, Politechnika Poznańska

2. Zagadnienie badawcze W jaki sposób zewnętrznie wywołać skoordynowany skurcz mięśni prowadzący do realizacji złożonych funkcji lokomocyjnych u chorych z porażeniami kończyn?

3. Zagadnienie badawcze Synteza sterownika dedykowanego dla wybranych struktur układu nerwowo-mięśniowego. Skojarzenie odpowiednich par sekwencji imp. stymulacyjnych z sygnałami sterującymi oraz z sekwencjami imp. aferentnych.

4. Zagadnienie badawcze Problemy związane z realizacją postawionego zadania sterowania - Niestacjonarny, nieliniowy obiekt sterowania typu MIMO; - Potrzeba uwzględnienia procesów stochastycznych; - Potrzeba stosowania w procesie sterowania mechanizmów adaptacyjnych ze względu na: * zmieniające się warunki otoczenia; * zróżnicowanie cech osobniczych rehabilitowanych pacjentów; * niestacjonarność cech (zmęczenie mięśni, zmiany impedancji tkanki).

5. Wprowadzenie Uzasadnienie wyboru Impulsowych Sieci Neuronowych (ISN) dla celów sterowania w układach FES: 1. Wykorzystanie podobieństwa funkcjonalnego biologicznych struktur nerwowych oraz ISN 2. ISN spełniają wymagania zdefiniowane w rozpatrywanym zadaniu sterowania: - dostosowanie do zmiennych warunków pracy (uczenie), - odporność na zakłócenia sygnałów sterujących i zwrotnych, - uwzględnienie złożonej dynamiki własnej obiektu.

6. Wprowadzenie Impulsowe Sieci Neuronowe stanowią klasę sztucznych sieci neuronowych, w których informacja przekazywana jest za pomocą krótkich impulsów, odpowiadających potencjałom czynnościowym komórek bio- logicznych.

7. Wprowadzenie Przegląd metod uczenia sztucznych sieci ISN • reguła Hebba (D.Hebb, 1949) • STDP: Spike-Timing Dependent Plasticity (Markram H .et al..,1997) • „nadzorowane uczenie hebbowskie” (Ruf B., 1998) • regresja liniowa (Maass W. et al.., 2001) • metoda p-Delta (Auer P. et al.., 2002) • metoda SpikeProp (Bohte S. et al., 2000) • metoda stochastycznej aproksymacji gradientu (Xie X., Seung S., 2004)

8. reguła Hebba • STDP Supervised-Hebb • SpikeProp • Stochast.aproks.gradientu • p-Delta • LMS Wprowadzenie Problem wyboru metody uczenia sieci ISN METODY NIENADZOROWANE METODY PÓŁ-NADZOROWANE M. NADZOROWANE (ISN-ANN) M. NADZOROWANE (APROKSYMACJA )

9. Wprowadzenie Potrzeba zdefiniowania nowej metody uczenia ISN Postulowane cechy nowej metody: • zorientowanie na jawnie określony cel (metoda nadzorowana), • możliwość uczenia w trybie ‘on-line’ (uczenie inkrementalne), • szybka zbieżność procesu uczenia (uczenie w czasie rzecz.)

10. Uczenie w ISN Reguła Hebba (Hebb,1949) • "Jeżeli komórka A bierze systematycznie udział w pobudzaniu komórki B powodującym jej aktywację, to wywołuje to zmianę metaboliczną w jednej lub w obu komórkach, prowadzącą do wzrostu (lub osłabienia) skuteczności pobudzania B przez A". w = k APreAPost

11. Uczenie w ISN Reguła Hebba  STDP Szczegółowe badania zjawiska odkrytego przez Hebba wskazały na istotną rolę korelacji par impulsów pre- i postsynapycznych. Plastyczność neuronalną wynikającą z tego zjawiska nazwano Spike-Timing Dependent Plasticity (STDP)

12. Uczenie w ISN STDP (Spike-Timing Dependent Plasticity)

13. Nowa metoda uczenia SNN Remote Supervised Method (ReSuMe) • Metoda ta nawiązuje do mechanizmu Hebbowskiego. • Novum: wprowadzeniu dodatkowego neuronu (nauczyciela), • którego aktywność modyfikuje wagi neuronu uczonego

14. Metoda ReSuMe Ilustracja reguł modyfikacji wag

15. Dla koincydencji Dla koincydencji Metoda ReSuMe Formuły matematyczne opisujące mechanizm ReSuMe

16. Ntchr Tchr ... In ... Nout Out NMC Metoda ReSuMe • Architektura sieci

17. Metoda ReSuMe • Architektura sieci – Przykładowe rozwiązanie

18. Eksperyment 1 Uczenie pojedynczych par wzorców Sin(t)-Sout(t) • Generowania na wyjściu zadanego sygnału Sout(t) =Sd(t) • w odpowiedzi na wybrany sygnał wejściowy Sin(t) ??? NMC - 800 neuronów LIF, Tsim = 400 ms

19. Eksperyment 1 • Sin(t)→Ŝout(t)

20. , gdzie Eksperyment 1 • Do oceny jakości procesu uczenia zdefiniowano dwa wskaźniki błędu: 1. wskaźnik jakości P(m) 2. błąd przesunięcia impulsów e(t) e(t) = [(td,1, Δt1), (td,2, Δt2), ..., (td,n, Δtn)]T

21. Eksperyment 1 • Sin(t)→Ŝout(t)

22. Eksperyment 2 • Wielozadaniowość Przykład: Mięśnie pobudzane impulsami nerwowymi z puli motoneuronów. Każdy motoneuron generuje indywidualną sekwencję impulsów, pomimo wspólnego pobudzenia nadrdzeniowego.

23. Eksperyment 2 • Wielozadaniowość • Schemat układu z pojedynczym sygnałem wejściowym • i wieloma wzorcami zadanymi na wyjściu NMC - 600 neuronów, Tsim = 0.3 s

24. Eksperyment 2 • Wielozadaniowość

25. Już po 50 (!) krokach uczenia: • poprawność odtwarzania • zadanych wzorców wynosi 100 %, • średni błąd przesunięcia impulsów • nie przekracza: 0.5 ms Eksperyment 2 • Wielozadaniowość

26. Eksperyment 3 • Uczenie wielu wzorców ReSuMe umożliwia wyuczenie sieci pożądanej reakcji na różne pobudzenia. W ten sposób możliwe jest tworzenie modeli obiektów o określonych relacjach wejściowo-wyjściowych.

27. Eksperyment 3 • Uczenie wielu wzorców

28. Wyniki symulacji po 100 krokach uczenia: • Poprawność odtwarzania na poziomie 100% • Średni błąd przesunięcia impulsów < 0.15 ms Eksperyment 3 • Uczenie wielu wzorców

29. Eksperyment 4 • Zdolność uczenia sieci ISN metodą ReSuMe • nie zależy od przyjętych modeli neuronów Przeprowadzone eksperymenty potwierdzają, że metoda ReSuMe umożliwia efektywne uczenie ISN przy różnych modelach neuronów impulsowych. Ilustracja dla modeli: • Model LIF – Leaky Integrate-and-Fire • Model HH – model Hodgkina-Huxleya

30. Eksperyment 4 • Model LIF – Leaky Integrate-and-Fire

31. i Eksperyment 4 2. Model Hodgkina-Huxleya Model HH (1952) opisuje mechanizmy jonowe leżące u podstaw procesów inicjacji i generacji potencjałów czynnościowych w neuronach.

32. Eksperyment 4 • Niezależność metody ReSuMe • od przyjętych modeli neuronów

33. Wyniki symulacji po 100 krokach uczenia: • Poprawność odtwarzania na poziomie 100% • Średni błąd przesunięcia impulsów: • LIF < 0.01 ms, HH < 0.5 ms Eksperyment 4 • Niezależność metody ReSuMe • od przyjętych modeli neuronów

34. Metoda ReSuMe Podsumowanie • Dotychczasowe wyniki badań symulacyjnych potwierdzają zalety • metody ReSuMe, tj.: • -- zdolność uczenia w trybie inkrementalnym, • -- szybką zbieżność procesu uczenia, • -- stosowalność metody do zróżnicowanych typów zadań. • 2. Ponadto lokalność metody ReSuMe zapewnia: • -- niskie koszty obliczeniowe • -- pełną skalowalność procesu uczenia • Wyniki te wskazują, że metoda ReSuMe spełnia oczekiwania • przedstawione we wprowadzeniu • Dotychczasowe wyniki badań symulacyjnych wskazują także na • możliwość efektywnego zastosowania metody ReSuMe w układach • sterowania nieliniowymi, niestacjonarnymi obiektami dynamicznymi.

35. Bibliografia 1. Ponulak F., Kaczmarek P., Modelling the biological neural structures: methods and tools, Computer Applications in Electrical Engineering, wydane pod auspicjami Komitetu Elektrotechniki PAN, Poznań, 2004. 2. Huber J., Lisiński P., Kasiński A., Kaczmarek M., Kaczmarek P., Mazurkiewicz P., Ponulak F., Wojtysiak M., Therapeutic Effects of Spinal Cord and Peripheral Nerve Stimulation in Patients with Movement Disorders, Artif. Organs, Vol.28, No.8, 2004 (abstrakt) 3. Kasiński A., Kaczmarek P., Ponulak F., The Muscle Control System Model with Feedback from a Muscle Spindle, The International Journal of Artificial Organs, Vol.27, no 7, 2004 (abstract) 4. Ponulak F., ReSuMe - New Supervised Learning Method for the Spiking Neural Networks, International Conference on Machine Learning, ICML’2005, Bonn 2005 (w recenzji) 5. Kasinski A., Ponulak F., Experimental demonstration of learning properties of a new supervised learning method for the Spiking Neural Networks, International Conference on Artificial Neural Networks, ICANN’2005, Warszawa 2005 (w recenzji)