Uczenie w Sieciach Wielowarstwowych

1. Uczenie w Sieciach Wielowarstwowych Inteligentne Systemy Autonomiczne W oparciu o wykład Prof. Geoffrey Hintona University of Toronto i Dr Kazimierza Duzinkiewicza, Politechnika Gdańska oraz Prof. Włodzisława Ducha Uniwersytet Mikołaja Kopernika Janusz A. Starzyk Wyższa Szkoła Informatyki i Zarządzania w Rzeszowie

2. Rodzaje uczenia w sieciach neuronowych • Uczenie z nauczycielem (supervized) • Sieć uczy się przewidywać wyjście przy zadanym wejściu • Nauczyciel zapewnia poprawna odpowiedź • Uczenie z krytykiem (reinforced) • Sieć uczy się odpowiedzi która optymalizuje nagrodę • Sygnał nagrody nie zawiera dużo informacji • Nagroda przychodzi często z opóźnieniem • Uczenie bez nauczyciela (unsupervised) • Sieć tworzy wewnętrzną reprezentację wejścia e.g. tworzy klastery; wyodrębnia cechy • Skąd wiadomo czy reprezentacja jest dobra?

3. Uczenie bez nadzoru Znajdź interesujące struktury w danych. Uczenie spontaniczne, odkrywanie ciekawych struktur w przestrzeni danych Korelacja zachowań systemu ze zmianą tych struktur Dominuje w okresie niemowlęcym. Unsupervised learning

4. Uczenie z nadzorem Zadaj pytanie – pokaż opis obiektu (wektor własności), porównaj odpowiedź z pożądaną. Uczenie nadzorowane przez nauczyciela – szkolne. Zmiana parametrów wewnętrznych – adaptacja, w przyszłości trzeba robić jak najmniej błędów. Celem nie jest uczenie „na pamięć”, lecz generalizacja. Supervised learning.

5. Uczenie z krytykiem Optymalizacja zysków na dłuższą metę. Np. gry z przeciwnikiem, krytyką jest przegrana lub wygrana na końcu partii. Uczenie z krytykiem lub z „wzmocnieniem” pożądanych zachowań po dłuższym okresie. Uczenie dojrzałe (nabieranie „mądrości”). Reinforcement learning.

6. Reguła Hebba • “Kiedy akson komórki A jest dostatecznie blisko by pobudzić komórkę B i wielokrotnie w sposób trwały bierze udział w jej pobudzaniu, procesy wzrostu lub zmian metabolicznych zachodzą w obu komórkach tak, że sprawność neuronu A jako jednej z komórek pobudzających B, wzrasta.” D. O. Hebb, 1949

7. Neuron ma rzeczywiste wyjście które jest ważoną sumą jego wejść Celem uczenia jest zminimalizowanie różnicy pomiędzy pożądanym i rzeczywistym wyjściem Jak mierzyć tą różnicę? Czy uaktualniać wagi po każdym uczącym wzorcu? Czemu nie rozwiązać tego analitycznie? Uczenie w neuronach liniowych Wagi połączeń Wektor wejściowy Neuronowe przybliżenie pożądanego wyjścia

8. Obliczanie zmian wag (delta rule) • Zdefiniuj błąd jako sumę kwadratów odchyleń wyjść na wszystkich danych treningowych: • Oblicz pochodna błędu ze względu na wagi • Delta rule zmienia wagi proporcjonalnie do sumy pochodnej błędu po wszystkich przypadkach treningowych

9. Warstwowe sieci jednokierunkowe - perceptrony • Warstwy ułożone są jedna za drugą. • Określone jest uporządkowanie warstw. • Połączenia pomiędzy neuronami poszczególnych warstw są jednokierunkowe i skierowane zgodnie z uporządkowaniem warstw Sygnały wejściowe dostarczane są do sieci przez wejścia (warstwę wejściową), umiejscowione przed pierwszą warstwą neuronów Jednowarstwowe sieci jednokierunkowych są często nazywaneperceptronami prostymi

10. Perceptrony proste Realizowane przetwarzanie

11. p2 wzorce wejściowe klasy 1 wzorce wejściowe klasy 2 p1 w Perceptron prosty progowy – ilustracja Perceptron jest w stanie nauczyć się klasyfikacji, jeżeli istnieje hiperpłaszczyzna rozdzielająca wzorce wejściowe.

12. Pytania?

13. Uczenie w Sieciach Wielowarstwowych Wykład z Uzupełnieniami

14. Metody uczenia sieci neuronowych W korzystaniu z sieci neuronowej można wyróżnić dwa etapy:  etap uczenia – w oparciu o przedstawiane sieci dane, sieć uczy się realizować zadanie dla którego została zbudowana  etap uogólniania – sieć realizuje zadanie dla którego została zbudowana dla danych które są jej przedstawiane Powinniśmy mieć miary oceny jakości każdego z tych etapów

15. Metody uczenia sieci neuronowych Istnieje obecnie wiele metod uczenia sieci neuronowych. Nikt dokładnie nie wie ile. Wiele ze znanych metod jest związanych z określonymi topologiami (klasami) sieci Podstawowy podział metod uczenia to rozróżnienie pomiędzy uczeniem z nadzorem (supervised learning) i bez nadzoru (unsupervised learning)

16. Rodzaje uczenia w sieciach neuronowych • Uczenie z nauczycielem (supervized) • Sieć uczy się przewidywać wyjście przy zadanym wejściu • Nauczyciel zapewnia poprawną odpowiedź • Uczenie z krytykiem (reinforced) • Sieć uczy się odpowiedzi która optymalizuje nagrodę • Sygnał nagrody nie zawiera dużo informacji • Nagroda przychodzi często z opóźnieniem • Uczenie bez nauczyciela (unsupervised) • Sieć tworzy wewnętrzną reprezentacje wejścia e.g. tworzy klastery; wyodrębnia cechy • Skąd wiadomo czy reprezentacja jest dobra?

17. Uczenie bez nadzoru Znajdź interesujące struktury w danych. Uczenie spontaniczne, odkrywanie ciekawych struktur w przestrzeni danych Korelacja zachowań systemu ze zmianą tych struktur Dominuje w okresie niemowlęcym. Unsupervised learning

18. Uczenie z nadzorem Zadaj pytanie – pokaż opis obiektu (wektor własności), porównaj odpowiedź z pożądaną. Uczenie nadzorowane przez nauczyciela – szkolne. Zmiana parametrów wewnętrznych – adaptacja, w przyszłości trzeba robić jak najmniej błędów. Celem nie jest uczenie „na pamięć”, lecz generalizacja. Supervised learning.

19. Uczenie z krytykiem Optymalizacja zysków na dłuższą metę. Np. gry z przeciwnikiem, krytyką jest przegrana lub wygrana na końcu partii. Uczenie z krytykiem lub z „wzmocnieniem” pożądanych zachowań po dłuższym okresie. Uczenie dojrzałe (nabieranie „mądrości”). Reinforcement learning.

20. Uczenie z nauczycielem (supervised learning) • Każdy przypadek treningowy zawiera wektor wejścia x i pożądane wyjście y (może by wektor wyjść) • Przybliżanie: Pożądane wyjście jest liczbą • Klasyfikacja: Pożądane wyjście jest oznaczeniem klasy (w najprostszym przypadku 1 lub 0). • Trening zaczyna sie od wyboru przykładowej klasy • Przykładowa klasa jest sposobem użycia parametrów, W, żeby przekształcić każdy wektor wejścia, x, w pożądane wyjście y • Uczenie zwykłą oznacza dopasowanie parametrów żeby zmniejszyć rozbieżność pomiędzy pożądanym wyjściem a aktualnym wyjściem modelu w każdym przypadku treningowym.

21. Uczenie bez nauczyciela(self-organizing) • W uczeniu bez nadzoru sieć jest samodzielna • Ocenia prezentowane dane, znajduje pewne cechy zbioru danych i uczy się odzwierciedlać te cechy na swoim wyjściu. • Czym są dokładnie te cechy, które sieć może nauczyć się rozpoznawać zależy od konkretnego modelu sieci i metody uczenia. • Zwykle, sieć uczy się pewnych zwięzłych reprezentacji danych.

22. Uczenie z nauczycielem • Posiadamy pewien zbiór wektorów wejściowych sieci o liczebności Q, które zamierzamy wykorzystać w procesie uczenia sieci • Wektory te będziemy nazywaćuczącymi wzorcami wejściowymi. • Możemy z posiadanych wektorów utworzyć macierz wzorców wejściowych uczących P(patterns)

23. Uczenie z nauczycielem P T NN • Dla każdego uczącegowzorca wejściowego posiadamy wektor wyjściowy sieci jakim powinna ona odpowiedzieć - wektor ten nazywamy docelowymwzorcem wyjściowym. • Z wektorów tych możemy utworzyć macierz docelowych wzorców wyjściowych T(targets)

24. Uczenie z nauczycielem P A NN Macierze P oraz T nazywamy zbiorami uczącymi - ich elementami są kolumny wzorców wejściowych oraz docelowych wzorców wyjściowych. • Faktycznie sieć na każdy z wzorców wejściowych odpowiada rzeczywistymwzorcem wyjściowym • Z wektorówtych możemy utworzyć macierz wzorców rzeczywistych A(answers)

25. Proces uczenia z nauczycielem Wektory z wejściowego zbioru uczącego są przedstawiane sieci w pewnej kolejności Jeżeli wyjście sieci jest poprawne, nie dokonywane sążadne zmiany wartości wag i progów Jeżeli wyjście sieci nie jest poprawne, wagi i progi sąmodyfikowane w taki sposób, aby minimalizować występujące różnice Zmiany wag i progów dokonuje się na ogół przyrostowo, wprowadzając małe poprawki dla każdej pary uczącej z którą związana jest błędna odpowiedź Można zmiany wag i progów wykonywać grupowo, wprowadzając poprawki po pokazaniu sieci całego zestawu uczącego

26. Proces uczenia z nauczycielem Pełne przejście przez wszystkie wzorce uczące nazywane jest cyklem uczenia (training epoch) Jeżelipo pewnym cyklu uczenia miara wszystkich pojawiających się błędów jest wystarczająco mała, uczenie uznaje się za zakończone- możemy wówczas powiedzieć, że sieć nauczyła się zbioru uczącegoz zadowalającą dokładnością Jeżelinie to uczenie jest kontynuowane – rozpoczynamy kolejny cykl uczenia

27. Proces uczenia z nauczycielem Proces uczenia z nauczycielemma trzy fazy: • FAZA PREZENTACJI: Przedstawianie sieci kolejnych wzorców wejściowych uczących i obliczanie rzeczywistych wzorców wyjściowych sieci • FAZA SPRAWDZENIA: Stwierdzenie, czy wszystkie rzeczywiste wzorce wyjściowe są równe odpowiednim wzorcom wyjściowym docelowym lub jeżeli miara błędów odpowiedzi jest zadowalająco mała lub po przekroczeniu pewnej maksymalnej liczby epok • FAZA UCZENIA: Modyfikacja wag i stałych progowych za pomocą odpowiedniej reguły uczenia perceptronu i powrót do fazy 1

28. Sprawdzenie zdolności uogólniania sieci Po zakończeniu procesu uczenia możemy podawać na wejście sieci wzorce nie pochodzące z uczącego zbioru wejściowego– w ten sposób możemy badać, czy sieć efektywnie uogólnia rozwiązywanie zadania, którego się uczyła na przykładach Jeżeli tak, to na podany na wejście wzorzec powinna ona odpowiedziećwzorcem wyjściowym równym lub bliskim wzorcowi docelowemu, otrzymanym przy podobnym wejściu Jeżeli nie, to na podany na wejście wzorzecsieć odpowiewzorcem wyjściowym odległym od wzorca docelowego, otrzymanego przy podobnym wejściu

29. Reguła Hebba • “Kiedy akson komórki A jest dostatecznie blisko by pobudzić komórkę B i wielokrotnie w sposób trwały bierze udział w jej pobudzaniu, procesy wzrostu lub zmian metabolicznych zachodzą w obu komórkach tak, że sprawność neuronu A jako jednej z komórek pobudzających B, wzrasta.” D. O. Hebb, 1949

30. Neuron ma rzeczywiste wyjście które jest ważoną sumą jego wejść Celem uczenia jest zminimalizowanie różnicy pomiędzy pożądanym i rzeczywistym wyjściem Jak mierzyć ta różnicę? Czy uaktualniać wagi po każdym uczącym wzorcu? Czemu nie rozwiązać tego analitycznie? Uczenie w neuronach liniowych Wagi połączeń Wektor wejściowy Neuronowe przybliżenie pożądanego wyjścia

31. Motywujący przykład • Każdego dnia jesz obiad na stołówce. • Twoje posiłki składają sie z ryb, chleba i piwa. • Dostajesz po trochu z każdego z nich • Kasjer podaje ci tylko całość sumy do zapłacenia • Po kilku dniach powinieneś się zorientować ile co kosztuje. • Każda cena posiłku daje ci liniowe ograniczenie cen wszystkich porcji :

32. Dwie metody rozwiązania równań • Jedna metoda to rozwiązać układ równań liniowych, jedno równanie na każdy posiłek. • Ale potrzebna jest nam metoda którą można użyć w sieciach neuronowych. • Ceny porcji sa jak wagi połączeń w neuronach liniowych. • Zaczniemy od zgadnięcia wag i później je zmienimy żeby uzyskać lepsze dopasowanie do cen podanych przez kasjera.

33. Mózg kasjera Cena posiłku = 850 Neuron liniowy Poszukiwane wagi połączeń 150 50 100 2 5 3 porcje ryby porcje chleba porcje piwa

34. Model mózgu kasjera z dowolnymi wagami początkowymi Cena posiłku = 500 • Błąd wyjścia • Wzór uczenia: • Przy współczynniku =1/35, zmiany wag są +20, +50, +30 • Daje to nowe wagi 70, 100, 80 • Zauważ że błąd dla chleba wzrósł ale inne błędy zmalały! 50 50 50 2 5 3 porcje ryby porcje chleba porcje piwa

35. Zachowanie iteracyjnej procedury uczenia • Czy zmiana wag zawsze przybliżą wagi do pożądanych wielkości? NIE! • Czy procedura uczenia zbiega sie do poprawnego rozwiązania? Tak, jeśli szybkość uczenia stopniowo jest ograniczana w odpowiedni sposób. • Jak szybko wagi zbiegają się do ich poprawnych wielkości? Zbieżność może być bardzo powolna jeśli dwie wielkości wejściowe są wysoce skorelowane (na przykład chleb i masło). • Czy procedura iteracyjna może być uogólniona na bardziej złożone, wielowarstwowe, nieliniowe sieci? TAK!

36. Obliczanie zmian wag (delta rule) • Zdefiniuj błąd jako sumę kwadratów odchyleń wyjść na wszystkich danych treningowych: • Oblicz pochodną błędu ze względu na wagi • Delta rule zmienia wagi proporcjonalnie do sumy pochodnej bledu po wszystkich przypadkach treningowych

37. w1 E w2 Powierzchnia błędu • Powierzchnia błędu zawarta jest w przestrzeni której współrzędnymi są wagi i wartość błędu. • Dla liniowego neuronu jest to funkcja kwadratowa. Przekroje pionowe są parabolami. Przekroje poziome są elipsami.

38. Uczenie grupowe (batch) postępuje w kierunku największego spadku po powierzchni błędu Uczenie ciągłe (on line) zmierza zygzakiem wokół kierunku największego spadku Uczenie ciągle i grupowe Ograniczenie 1-ej danej treningowej w1 w1 Ograniczenie 2-ej danej treningowej w2 w2

39. Dodanie progu (bias) • Liniowy neuron jest bardziej podatny jeśli dodamy funkcje progową. • Możemy uniknąć osobnej zasady uczenia z progiem jak zauważymy że: • Próg jest równoważny wadze dodatkowego wejścia które jest zawsze równe 1.

40. Neurony progowe • McCulloch-Pitts (1943) • Najpierw liczymy ważoną sumę wejść z innych neuronów • Następnie wyjście jest 1 jeśli suma ta jest większa od wartości progowej (threshold). 1 1 if y 0 0 otherwise z próg

41. Warstwowe sieci jednokierunkowe - perceptrony Warstwowe sieci jednokierunkowe zostały nazwane perceptronami przez Franka Rosenblatta i Charlesa Wightmana Sieci te można scharakteryzować w następujący sposób: Podstawowym elementem perceptronu jest sztuczny neuron, którego funkcją pobudzania (propagacji) jest funkcją sumy a funkcja aktywacji ma na ogół charakter nieliniowy; może to być jednak również funkcja liniowa • Poszczególne neurony sieci ułożone są w warstwy. • Każdy neuron należy do jednej i tylko jednej warstwy. • Neurony należące do jednej warstwy nie są ze sobą połączone.

42. Warstwowe sieci jednokierunkowe - perceptrony • Warstwy ułożone są jedna za drugą. • Określone jest uporządkowanie warstw. • Połączenia pomiędzy neuronami poszczególnych warstw są jednokierunkowe i skierowane zgodnie z uporządkowaniem warstw Sygnały wejściowe dostarczane są do sieci przez wejścia (warstwę wejściową), umiejscowione przed pierwszą warstwą neuronów Jednowarstwowe sieci jednokierunkowych są często nazywaneperceptronami prostymi

43. Perceptrony proste Realizowane przetwarzanie

44. Perceptron prosty progowy Pojedynczy perceptron jest najprostszą formą sieci neuronowej używanej do klasyfikacji wzorców, które posiadają własność liniowej separowalności tzn. wzorce należące do dwóch różnych klas leżą po przeciwnych stronach hiperpłaszczyzny w przestrzeni atrybutów klasyfikowanych obiektów Pojedynczy perceptron prosty progowy można nauczyć rozpoznawania wzorców należących do dwóch klas – używając większej liczby neuronów można wykorzystywać perceptron prosty progowy do klasyfikacji wzorców należących do większej liczby klas

45. Perceptron prosty progowy Algorytm modyfikacji wag i progu podał Rosenblatt • Rosenblatt udowodnił, że jeżeli wzorce (wektory) używane do uczenia perceptronu prostego progowego są wybierane z dwóch liniowo separowalnych zbiorów (klas) wówczas: • algorytm uczenia wykorzystujący regułę perceptronu jest zbieżny • sieć można nauczyć zadania klasyfikacji wzorców do dwóch klas w skończonej liczbie epok

46. Proces uczenia perceptronu - uczenie zadania klasyfikacji  Uczenie perceptronu prostego prowadzi się metodą z nauczycielem (pod nadzorem) Argumentem funkcji aktywacji jest iloczyn skalarny dwóch wektorów w i p

47. Perceptron prosty progowy – istota zadania klasyfikacji Na wyjściu perceptronu progowego pojawia się ,,stan wysoki", jeżeli rzut wektora wzorca wejściowego na kierunek wektora wag jest równy zero lub dodatni Na wyjściu perceptronu progowego pojawia się ,,stan niski", jeżeli rzut wektora wzorca wejściowego na kierunek wektora wag jest ujemny Granicą pomiędzy dodatnimi i ujemnymi rzutami wektorów p na kierunek wektora w jest hiperpłaszczyzna przechodząca przez początek układu współrzędnych i do której wektor w jest ortogonalny

48. Perceptron prosty progowy – istota zadania klasyfikacji Kiedy proces uczenia doprowadzi do pożądanej sytuacji? - przypadek z progiem  Wyjście perceptronu progowego zmienia swoją wartość dla wartości argumentu równej zero, czyli kiedy:

49. p2 wzorce wejściowe klasy 1 wzorce wejściowe klasy 2 p1 w Perceptron prosty progowy – ilustracja Perceptron jest w stanie nauczyć sie klasyfikacji, jeżeli istnieje hiperpłaszczyzna rozdzielająca wzorce wejściowe.

50. Procedura zbieżności perceptronu: Trening neuronu progowego jako klasyfikatora • Dodaj dodatkowy komponent o wartości 1 do każdego wektora wejściowego. • Waga tego wejścia jest równa ujemnej wartości progu. • Możemy teraz zapomnieć o progu. • Wybierz wzorce treningowe tak by każdy z nich był wybrany kilkakrotnie • Jeśli wyjście jest poprawne, nie zmieniaj wag. • Jeśli wyjście jest błędnie równe 0, dodaj wektor wejścia do wektora wag. • Jeśli wyjście jest błędnie równe 1, odejmij wektor wejścia od wektora wag. • Procedura ta gwarantuje znalezienie poprawnych wartości wag jeśli takowe istnieją.