1 / 21

Samoorganizacja: uczenie bez nadzoru.

Samoorganizacja: uczenie bez nadzoru. Wykład 5 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch. Mapy w mózgu. Samoorganizacja Sieci Kohonena. Co będzie. Samoorganizacja.

haines
Download Presentation

Samoorganizacja: uczenie bez nadzoru.

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Samoorganizacja: uczenie bez nadzoru. Wykład 5 Włodzisław Duch Uniwersytet Mikołaja Kopernika Google: W. Duch

  2. Mapy w mózgu. Samoorganizacja Sieci Kohonena Co będzie

  3. Samoorganizacja Uczenie bez nadzoru: wykrywanie cech w sygnale, modelowanie danych, analiza skupień, modele rozkładu prawd. stanów środowiska ... Powstawanie wewnętrznych reprezentacji w mózgu: skomplikowane. Proste bodźce wyzwalające u zwierząt, uboga reprezentacja. Analiza danych zmysłowych i instrukcje motoryczne - neurony o podobnych funkcjach są obok siebie => mapy topograficzne. • Mapy somatosensoryczne układu czuciowego, • mapy motoryczne kory i móżdżku, • mapy tonotopiczne układu słuchowego, • mapy orientacji dwuocznej układu wzrokowego, • mapy wielomodalne układu orientacji (wzgórki czworacze górne)

  4. Mapy senso-motoryczne

  5. Mapa palców

  6. Mapy czuciowe i motoryczne

  7. Modele samoorganizacji SOM lub SOFM (Self-Organized Feature Mapping) - samorganizująca się mapa cech. Jak mapy topograficzne mogą się utworzyć spontanicznie? Połączenia lokalne: neuron silnie pobudzany przez pobliskie, słabo przez odległe, hamowany przez neurony pośrednie. Historia: von der Malsburg i Willshaw (1976), uczenie konkurencyjne, mechanizm Hebbowski, wzbudzenie typu „Meksykańskiego kapelusza”, model układu wzrokowego. Amari (1980) - model ciągłej tkanki neuronowej. Kohonen (1981) - uproszczenie, bez hamowania; dwie fazy - konkurencja i kooperacja.

  8. Uczenie SOM Neurony reagują na sygnały X podobne do W. Podobny = iloczyn skalarny największy lub odległość min. Znajdź najsilniej reagujący neuron c. Przesuń wagi neuronu c i neuronów w sąsiedztwie O(c): w stronę wektora X:

  9. Algorytm SOM Siatka neuronów i = 1 .. Kw 1D-3D, każdy neuron z Nwagami. Neurony z wagami Wi(t) = {Wi1 Wi2 .. WiN}, wektory X={X1, X2 .. XN}. t - dyskretny czas; nie ma połączeń pomiędzy neuronami! • Inicjalizacja: przypadkoweWi(0) dla wszystkich i=1..K.Funkcja sąsiedztwa h(|r-rc|/s(t),t) definiuje wokół neuronu położonego w miejscu rc siatki obszar Os(rc). • Oblicz odległości d(X,W), znajdź neuron z wagami Wc najbardziej podobnymi do X (neuron-zwycięzcę). • Zmień wagi wszystkich neuronów w sąsiedztwie Os(rc) • Powoli zmniejszaj siłę h0(t)i promień s(t). • Iteruj aż ustaną zmiany. • Efekt: podział (tesselacja) na wieloboki Voronoia.

  10. Sieć 1D, dane 2D

  11. Sieć 2D, dane 3D

  12. Uczenie sieci 2D

  13. 2D => 2D, kwadrat Tworzenie się jednorodnego rozkładu: początkowo wszystkie W0.

  14. 2D => 1D trójkąty Tworzenie się fraktalnych krzywych Peano.

  15. Zniekształcenia Początkowe zniekształcenia mogą zniknąć lub pozostać.

  16. Stała uczenia Duża stała uczenia prowadzi do eksploracji znacznej części przestrzeni. Symulacje z równomiernym rozkładem wektorów; końcowy podział jest równomierny.

  17. Własności SOM Trudno coś udowodnić o zbieżności lub punktach stacjonarnych dla algorytmu SOM w więcej niż jednym wymiarze. Wyniki analityczne tylko w 1D dla ciągłego czasu, proces Markova: wartości wag wzdłuż prostej porządkują się. Powolna zbieżność: 104-106 iteracji. Sąsiednie neurony kodują sąsiednie obszary, ale niekoniecznie odwrotnie Skręcone konfiguracje przy zbyt szybkiej redukcji sąsiedztwa. Złożoność O(KNn) dla K neuronów i n danych N-wymiarowych:konieczne porównanie wszystkich odległości; niezbyt duże mapy. Na komputerach wieloprocesorowych szukanie min z K będzie powolne. Jakość klasyfikacji: zwykle niska. Kohonen: SOM głównie do wizualizacji ... ale Wizualizacja: też kiepska, brak oceny wprowadzanych zniekształceń. W SOM nie istnieje funkcja energii, nie ma gradientu!

  18. Modyfikacje SOM SOM działa jak metoda klasteryzacji k-średnich jeśli funkcja sąsiedztwa staje się deltą, czyli s = 0. Próba wprowadzenia funkcji błędu (Luttrell; Heskes i Kappen). Błąd lokalny neuronu i jest sumą po wszystkich neuronach: Neuron-zwycięzca ma najmniejszy błąd lokalny:

  19. Perceptrony Sieci MLP Sieci RBF Systemy rozmyte i neurorozmyte. Co dalej?

  20. Koniec wykładu 5 Dobranoc !

  21. Sieci ze sprzężeniami zwrotnymi Model Hopfielda Modele pamięci asocjacyjnej Maszyna Boltzmana Co było

More Related