Inteligencja Obliczeniowa Sieci dynamiczne cd.

1. Inteligencja ObliczeniowaSieci dynamiczne cd. Wykład 15 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch

2. Sieci ze sprzężeniami zwrotnymi Model Hopfielda Modele pamięci asocjacyjnej Co było

3. Maszyna Boltzmana Sieci stochastyczne Co będzie

4. Maszyna Boltzmana Stochastyczne sieci atraktorowe. Podobna do modelu Hopfielda Binarne neurony, symetryczne połączenia, ale ukryte neurony. Asynchroniczna dynamika. Neurony stochastyczne i stopniowe chłodzenie: Wejścia Wyjścia

5. Działanie MB Uczenie: sieć modeluje środowisko. Struktura wzbudzeń elementów widocznych przy braku sygnałów wejściowych powinna być taka sama jak w ich obecności. Zbiór wag połączeń definiuje model środowiska. Znaleźć zbiór wag pozwalających odtworzyć obserwowane częstości sygnałów wejściowych- model maksymalnego prawdopodobieństwa. Założenia: sygnały wejściowe wolnozmienne, sieć dochodzi do równowagi; brak korelacji pomiędzy strukturami danych wejściowych: prawd. p+(Va) każdego z 2n wektorów binarnych wystarczy. Różnice między działaniem swobodnym i wymuszonym pozwalają obliczyć korelacje wzbudzeń neuronów i pożądaną zmianę wag:

6. Przykład - obwód elektryczny 2 bity na zaznaczenie: rośnie, stałe, maleje. Prawo Ohma V=I×R neurony wiedzy typu (I-,V-,R0), (I+,V+,R0)ale nie (I+,V-,R0). 5 praw: 3 Ohma + Kirhoffa + dodawanie R. 65 neuronów zawierających elementarne fakty Pytanie: Jeśli R2wzrośnie, R1i Vtstałe, co z prądem i spadkami napięcia V1, V2 ? Ok. 500 iteracji (w naturze 10 ms/iterację), iteracja to 100 aktualizacji. Po uśrednieniu wynik prawidłowy.

7. Neurodynamika Spoczynkowa aktywność neuronów (1-5 impulsów/sek) Ok. 10.000 impulsów/sek dochodzi do neuronu w pobliżu progu. 1. Stabilna sieć z aktywnością spoczynkową: globalny atraktor. 2. Uczenie się przez tworzenie nowych atraktorów. Model Amit, Brunel 1995 Aktywność tła ma charakter stochastyczny. Jednorodność: neurony w identycznym środowisku. Impulsy wysyłane przez różne neurony nie są skorelowane. Aktywacja neuronu jest sumą wkładów synaptycznych. Gaussowski rozkład wkładów synaptycznych. Wystarczy aktywność neuronu = liczbie impulsów na sekundę.

8. Schemat kolumny Ogólny schemat sieci: model kolumny, 105 neuronów. Kolumna ma około 1 mm2, 105 neuronów. Połączenia: pobudzające i hamujące wewnątrz modułu, pobudzające dochodzące z zewnątrz (komórki piramidowe). 50-80% impulsów z lokalnych obwodów pobudzających. Około 20% jednostek hamujących; C» 20.000synaps/neuron;

9. Struktura sieci Sieć złożona z lokalnych modułów. Uczenie: początkowo moduł biorący udział w rozpoznawaniu zwiększa w nieselektywny sposób częstość impulsacji dla wszystkich sygnałów. Powyżej krytycznej wartości wzmocnienia LTP pojawiają się lokalne atraktory na tle globalnej aktywności - struktura sygnału uczącego. Aktywność spoczynkowarośnie do około 20 Hz, utrzymuje się po zniknięciu bodźca - aktywna reprezentacja bodźca w pamięci. Pobudzenia wewnętrzne silniejsze niż zewnętrzne, utrzymują spontaniczną aktywność, modelowane przez rozkład Poissona. 50-80% impulsów z lokalnych obwodów pobudzających o modyfikowalnych synapsach.Depolaryzacja membrany V(t)o t10ms opisanajest równaniem:

10. Działanie modelu Symulacja modułu z 2000 neuronów: spontaniczna aktywność jest stabilna w czasie lokalnego uczenia się, moduł uczący się ma podwyższoną częstość impulsacji wśród neuronów biorących udział w kodowaniu wzorca i obniżoną wśród pozostałych. Podwyższenie średniej częstości impulsacji przy prezentacji wzorców zapowiada pojawienie się nowego atraktora: pojawia się bifurkacja i dwa rozwiązania stabilne: spontaniczna aktywność+ atraktor lokalny. Dobra zgodność z obserwacjami neurofizjologicznymi, opartymi na pomiarach aktywności neuronów małp w czasie wykonywania zadań wymagających aktywnej pamięci pokazywanego przez krótki czas bodźca (delayed match-to-sample). Podwyższona aktywność spontanicznawidoczna w trakcie uczenia, po nauczeniu widać aktywność związana z lokalnymi atraktorami.

11. Samoorganizacja Klasteryzacja Wizualizacja Czyli modele Kohonena. Co dalej?

12. Koniec wykładu 13 Dobranoc !