Wykład 5 Neuropsychologia komputerowa

1. Wykład 5 Neuropsychologia komputerowa Uczenie I: Hebbowskie modele uczenia Włodzisław Duch UMK Toruń Google: W Duch

2. Elementy: neurony, jony, kanały, membrany, przewodnictwo, generacja impulsów ... Na razie Sieci neuronów: transformacja sygnałów, filtrowanie specyficznych informacji, wzmocnienie, kontrast, stabilność sieci, zwycięzca bierze większość (WTM), szum, atraktory sieci ... Wiele specyficznych mechanizmów, np. mechano-elektryczna transdukcja sygnałów zmysłowych: komórki rzęsate w uchu otwierają kanały jonowe za pomocą białek, działających jak sprężynki podczepione do kanałów jonowych, zamieniając drgania mechaniczne na impulsy elektryczne. Jak tworzą się konfiguracje sieci robiące interesujące rzeczy? Potrzebne jest uczenie!

3. Jak powinien wyglądać idealny system, który się uczy? Jak uczy się człowiek? Uczenie: rodzaje Detektory (neurony) mogą zmieniać lokalne parametry ale chcemy osiągnąć zmianę działania całej sieci przetwarzającej informację. Rozważymy dwa rodzaje uczenia, wymagające innych mechanizmów: • Uczenie się wewnętrznego modelu środowiska (spontaniczne). • Uczenie się zadania, postawionego przed siecią (nadzorowane). • Połączenie jednego i drugiego.

4. Długotrwałe wzmocnienie synaptyczne (Long-Term Potentiation, LTP) odkryto w 1966 roku (T. Lomo, praca z 1973 r). Początkowo w hipokampie, potem w korze. Stymulacje neuronu prądem o częstości ~100Hz przez 1 sek zwiększają sprawności synaptyczne o 50-100%, efekt trwa długo. Efekt odwrotny: LTD, długotrwałe osłabienie synaptyczne. Podstawy biologiczne: LTP, LTD Najczęstsza forma LTP/LTD związana jest z receptorami NMDA. Aktywność kanałów NMDA wymaga aktywności presynaptycznej jak i postsynaptycznej, a więc jest zgodna z regułą wprowadzoną przez Donalda Hebba w 1949 roku, lapidarnie podsumowaną tak: Neurons that fire together wire together. Neurony wykazujące jednoczesną aktywność wzmacniają swoje więzy.

5. 1. Jony Mg+ blokują kanały NMDA. Wzrost potencjału postsynaptycznego konieczny jest by je usunąć i umożliwić oddziaływanie z glutaminianem. 2. Presynaptyczna aktywność jest konieczna by uwolnić glutaminian, który otwiera kanały NMDA. 3. Jony Ca++ wpływają tym kanałem wywołując szereg reakcji chemicznych, które nie są do końca zbadane. Receptory NMDA Efekt jest nieliniowy: małe ilości Ca++ dają LTD, a duże LTP. Wiele innych procesów gra rolę w LTP. Dokładniejsze informacje o LTP/LTD.

6. Szczegółowy mechanizm biologiczny LTP jest tutaj mało istotny, bo badamy tylko najprostsze wersje (dla farmakologii jest bardzo istotny). Prosta reguła Hebba: Dwij = e ai aj Zmiana wag proporcjonalna jest do aktywności pre i post-synaptycznej. Korelacje Hebbowskie Wagi wzmacniają się dla neuronów o skorelowanej aktywności, nie zmieniają się dla neuronów, których aktywność nie wykazuje korelacji.

7. Prosta reguła Hebba: Dwij = e xi yj prowadzi do nieskończonego wzrostu wag. Można tego uniknąć na wiele sposobów; często stosowanym prostym sposobem jest normalizacja wag: Dwij = e (xi -wij) yj Hebb - normalizacja • Ma to uzasadnienie biologiczne: • kiedy x i y są duże mamy silne LTP, dużo Ca++ • kiedy y jest duże ale x małe mamy LTD, trochę Ca++ • kiedy y jest małe nic się nie dzieje bo jony Mg+ blokują kanały NMDA • x to sygnał presynaptyczny, y postsynaptyczny.

8. Wewnętrzne odwzorowanie regularności pojawiających się w dochodzących sygnałach, „środowiska” danej grupy neuronów. Wykrywanie korelacji pomiędzy sygnałami. Uczenie modelu korelacja dodatnia Elementy obrazów, ruchy, zachowania zwierząt lub emocje, skorelować można wszystko tworząc model zachowania. Istotne są tylko silne korelacje, słabych jest za dużo i mogą być przypadkowe. Przykład: Ch4, hebb_correl.proj

9. Wybieramy hebb_correl.proj Jeden neuron podłączony do 5x5, pokazujemy diagonalną linię; koreluje się r.wt: inicjalizacja wszystkich wag na 0.5. Symulacja r.wt, init+run pokazuje narastanie wag. act, init, run pokazuje aktywację lrate = e =0.005 pright = prob. prawej diagonali. Defaults zmienia pright =1 na 0.7, czyli pojawiają się linie w lewo; lrate =0.1 pokazuje plastyczność. Wagi robią się małe, rozmyte, bo prawd. warunkowe dla wzorców przy uczeniu całych kategorii robią się małe; jednostka wyjściowa ma niewielką selektywność.

10. Mechanizm Hebbowski pozwala na uczenie się korelacji. Co stanie się jeśli dodamy więcej neuronów postsynaptycznych? Będą uczyć się tych samych korelacji! Jeśli użyć kWTA to jednostki wyjściowe będą konkurować ze sobą. Uczenie modelu • Uczenie = przeżycie najlepiej przystosowanych (mechanizm Darwinowski) + specjalizacja. • Uczenie w oparciu o samoorganizację • Hamowanie kWTA: tylko najsilniejsze jednostki pozostają aktywne. • Uczenie Hebbowskie: zwycięzcy stają się jeszcze silniejsi. • Rezultat: różne neurony reagują na różne cechy sygnałów.

11. Środowisko dostarcza wielu informacji, ale sygnały są zmienne, marnej jakości, identyfikacja obiektów i relacji pomiędzy nimi nie jest możliwa bez obszernej wiedzy o tym, czego można oczekiwać. Potrzebny jest model stanów środowiska przygotowany (biased) do rozpoznawania i odpowiedniego działania; korelacje są warunkiem koniecznym (ale niewystarczającym) dla wykrycia związków przyczynowych. Czego chcemy od uczenia modelowego?

12. Analiza czynników głównych (principal component analysis, PCA), jest matematyczną techniką szukania liniowych kombinacji sygnałów o największej wariancji (dających największy wkład do zmian). Standardowe PCA Na razie intuicyjnie: pierwszy neuron ma nauczyć się najważniejszych korelacji, więc najpierw obliczamy korelacje jego wejść uśrednione w czasie: Cik=xixktdla pierwszego elementu; potem dla następnego, ale każdy neuron ma być niezależny, więc ma obliczać ortogonalne kombinacje. Dla zbioru obrazów kolejne składowe wyglądają niezbyt ciekawie => Jak to zrobić za pomocą neuronów?

13. Załóżmy, że środowisko składa się z ukośnych linii. Przyjmijmy liniową aktywację dla chwili t (wzorca nr t): PCA na jednym neuronie Niech zmiana wag określona będzie prostą reguła Hebba: wij(t+1) = wij(t) + exi yj Po prezentacji wszystkich wzorców: Zmiana wag jest proporcjonalna do średniej iloczynu wejść/wyjść. Korelacja może zastąpić średnią.

14. Jeśli średnie są zero a wariancje jeden to średnia z iloczynu jest korelacją; zmiana wag jest proporcjonalna do: Korelacje Hebbowskie Korelacja: Cik=xixkt to korelacje między wejściami; średnia waga zmienia się wolno. Zmiana wagi dla wejścia i jest ważoną średnią korelacji pomiędzy aktywnością tego wejścia i pozostałych. Po prezentacji wielu wzorców wagi zdominowane zostaną przez najsilniejsze korelacje i yj będzie obliczać najważniejszą składową PCA, to jest składową o największej wariancji.

15. Dwa pierwsze wejścia są całkowicie skorelowane; trzecie niezależne. Zmiany następują zgodnie z reguła Hebba dla e=1. Przykład Zakładamy, że sygnały mają zerową średnia (xi=+1 tyle samo razy co xi=-1); dla każdego wektora x =(x1,x2,x3) obliczane jest y, a następnie nowe wagi. Skorelowane jednostki decydują o znaku i wielkości wag, a wagi tych wejść rosną szybko, podczas gdy waga nieskorelowanego wejścia x3 maleje. Wagi jednostki j zmieniają się jak: w(t+1) = w(t) + C w(t)

16. Najprostsza normalizacja unikająca nieskończonego wzrostu wag: Dwij = e (xi – wij) yj Erkki Oja (1982) zaproponował: Dwij = e (xi –yj wij) yj Dla jednego wzorca po nauczeniu wagi przestają się zmieniać: Dwij = 0 =e (xi –yj wij) yj Waga wij = xi /yj = xi /Skxk wkj Waga dla danego sygnału wejściowego jest więc ułamkiem całkowitej ważonej aktywności wszystkich sygnałów. Ta reguła również prowadzi do obliczenia najważniejszej składowej głównej. Jak obliczyć inne składowe? Normalizacja

17. Jak wygenerować kolejne składowe PCA w sieci neuronów? Numerycznie dokonujemy ortogonalizacji kolejnych yj ale nie da się tego prosto zrobić za pomocą sieci. Problemy PCA Sekwencyjne PCA porządkuje składowe, od najważniejszej do najmniej ważnej; można to osiągnąć wprowadzając hamujące połączenia pomiędzy ukrytymi neuronami, ale jest to rozwiązanie sztuczne. PCA zakłada hierarchiczną strukturę: najważniejszą składowa dla wszystkich wzorców, w efekcie dostajemy np. dla analizy obrazów kolejne składowe jako szachownice o rosnącej liczbie kratek ponieważ korelacje pikseli dla dużej liczby obrazów znikają. Naturalne wzorce tworzą heterarchię, różne kombinacje są równie ważne dla różnych wzorców, podzbiory cech istotnych dla pewnych kategorii nie są ważne dla odróżnienia innych.

18. Conditional Principal Component Analysis (CPCA): korelacje liczymy tylko dla pewnego podzbioru cech z wzorców. Warunkowe PCA PCA działa na wszystkich cechach, dając ortogonalne składowe, biologia na cechach określonego typu. CPCA działa na podzbiorach cech zapewniając, że różne składowe kodują różne interesujące kombinacje cech sygnałów (demony wyższego stopnia), np. krawędzie. Konkurencja realizowana za pomocą kWTA zapewni aktywność różnych neuronów dla różnych wzorców.W efekcie: kodowanie obrazów => Jak to zrobić za pomocą neuronów?

19. Neuron trenowany jest tylko na podzbiorze wzorców o określonych cechach, np. krawędziach nachylonych w określony sposób. Znormalizowana reguła Hebba: Dwij = e (xi -wij) yj Wagi przesuwają się w kierunku xi, pod warunkiem aktywności yj. W efekcie wagi robią się prawdopodobieństwami warunkowymi: P(xi=1|yj=1) = P(xi|yj) = wij Waga wij= prawdopodobieństwo tego, że wysyłający xijest aktywny pod warunkiem tego, że odbierający yjjest aktywny. Dowód: sprawdzić warunek Dwij =0. Równania CPCA

20. Sukces CPCA zależy od doboru funkcji warunkującej aktywność neuronów – automatyczny proces warunkowania możliwy jest na kilka sposobów: przez samoorganizację lub korekcję błędów. Aktywacje uśrednione w czasie reprezentowane są przez prawd. P(xi|t), P(yj|t), zmiana wag dla wszystkich wzorców t pojawiających się z P(t): Dwij = e St[P(yj|t) P(xi|t)- P(yj|t)wij] P(t) W stanie równowagi Dwij =0 więc: wij = StP(yj|t)P(xi|t)P(t)/ StP(yj|t)P(t) = StP(yj,xi,t)/ StP(yj,t) = P(xi ,yj)/P(yj) = P(xi|yj) Waga wij= prawdopodobieństwo warunkowe xipod warunkiem yj. Jak biologicznie uzasadnić normalizację? Probabilistyczna interpretacja

21. Znormalizowana reguła Hebba: Dwij = e (xi -wij) yj Załóżmy, że wagi są wij ~0.5, są wtedy 3 możliwości: 1. xi , yj~1 czyli silna aktywność pre i postsynaptyczna, więc xi > wij, wagi rosną, czyli mamy LTP, jak w kanałach NMDA. 2. yj~1 ale xi < wij, wagi maleją, mamy LTD, słaby sygnał wejściowy wystarczy do odblokowania jonu Mg+ kanału NMDA, silna aktywność postsynaptyczna może też odblokować inne kanały reagujące na napięcie i wprowadzić niewielką ilość Ca++. 3. Aktywność yj~0 nie daje żadnych zmian, kanały napięciowe i NMDA nie są aktywne. Uczenie zachodzi szybciej dla małych wij, bo częściej xi < wij Jest to jakościowo zgodne z obserwacjami nasycenia wag. Interpretacja biologiczna

22. Wagi CPCA nie są zbyt selektywne, nie prowadzą do zróżnicowania wzorców – nie mają „rozpiętości dynamicznej” (dynamic range); dla typowych sytuacji P(xi|yj) jest małe, a chcemy koło 0.5. Rozwiązanie: renormalizacja wag i wzmacnianie kontrastu. Normalizacja wag w CPCA Normalizacja: nieskorelowane sygnały powinny mieć wagi 0.5, a w symulacjach z rzadko pojawiającymi się sygnałami xi dążą do wartości a~0.1-0.2. Rozłóżmy zmianę wag na dwa czynniki: Pierwszy człon powoduje wzrost wag w kierunku 1, drugi osłabienie w kierunku 0; jeśli chcemy utrzymać średnie wagi koło 0.5 trzeba zwiększyć aktywację pierwszego członu, np. tak: Nadal liniowa zależność wij = P(xi|yj)1/2a. Parametr savg_cor[0,1] określa stopień normalizacji, 0=>bez zmian, 1=>wagi koło 0.5.

23. Zamiast liniowej zmiany wag chcemy ignorować słabe korelacje a wzmocnić silne korelacje – zwiększyć kontrast pomiędzy interesującymi aspektami sygnałów i pozostałymi. Zwiększa to prostotę połączeń (słabe można pominąć) i przyspiesza proces uczenia, pomagając wagom zdecydować się co robić. Kontrast w CPCA Wzmacnianie kontrastu: zamiast liniowej zmiany wag zastosuj sigmoidalną: Dwa parametry: nachylenie (gain) gwt_sig.gain punkt 0.5 (offset) qwt_sig.off Uwaga: to jest skalowanie indywidualnych wag a nie aktywacji!

24. Wybieramy: Ch4, hebb_correl.proj. Opis: Rozdz. 4. 6 Zmienić Env_type z One_line na Five_lines i p_right=0.7 Dla tych linii CPCA daje jednakowe wagi ok. 0.2. Zmienić normalizację, ustawiając savg_cor=1 Wagi powinny być koło 0.5. Parametr savg_cor pozwala wpłynąć na liczbę cech używanych przez jednostki ukryte. Kontrast: ustawić wt_gain=6 zamiast 1, PlotEffWt pokaże krzywą efektywnych wag. Wpływ na uczenie: dla Three_lines, savg_cor=1 Zmienić wt_off od 1 do 1.25 Symulacje z kontrastem