Generowanie ciągów uczących w oparciu o metryczne własności przestrzeni wzorców w sieciach MLP

1. Generowanie ciągów uczących w oparciu o metryczne własności przestrzeni  wzorców w sieciach MLP Cezary Dendek prof. nzw. dr hab. Jacek Mańdziuk

2. Agenda • Intuicje dotyczące uporządkowania wzorców uczących

3. Agenda • Intuicje dotyczące uporządkowania wzorców uczących • Reguła tworzenia ciągów uczących

4. Agenda • Intuicje dotyczące uporządkowania wzorców uczących • Reguła tworzenia ciągów uczących • Przykłady uporządkowań

5. Agenda • Intuicje dotyczące uporządkowania wzorców uczących • Reguła tworzenia ciągów uczących • Przykłady uporządkowań • Wyniki

6. Agenda • Intuicje dotyczące uporządkowania wzorców uczących • Reguła tworzenia ciągów uczących • Przykłady uporządkowań • Wyniki • Dalsze prace

7. Intuicje • Uporządkowanie losowe • Bardzo łatwe do osiągnięcia,pokazało swoją skuteczność • Związek z metodami Monte Carlo(jednostajny rozkład próbek w przestrzeni) • Nie przekazuje dodatkowej (często znanej) informacji o przestrzeni wzorców

8. Intuicje • Propozycja: uporządkowanie Distant-First • Hipoteza:Uwzględnienie w uczeniu odległych od siebie wzorców (w sensie metryki specyficznej dla przestrzeni) może poprawić generalizację • Uporządkowanie takie przenosi informację o topologii przestrzeni

9. Reguła tworzenia ciągów uczących • n elementowa sekwencja ucząca {S} indeksowana {1, … n} spełniająca (w przybliżeniu) własność Dla każdego indeksu n>k>1 Średnia odległość w zbiorze{S1...Sk}≥Średnia odległość w zbiorze{Sk+1...Sn } • Przybliżone spełnianie własności – nierówność spełniana z dużym p-stwem(problem w domenie statystycznej)

10. Metryka przestrzeni wzorców • Metryki (zależne od problemu) zdefiniowane na • przestrzeniwejściowej wzorca (dX) • przestrzeni wyjściowej(dY) są normalizowane poprzez E(dX) oraz E(dY) • Metryka zdefiniowana na przestrzeni wzorców łączy metryki obu podprzestrzeni

11. Algorytmy porządkowania zbioru Sortowanie odległości (DS) • dla każdego wzorca oblicz sumę odległości od innych elementów • posortuj elementy zgodnie z obliczoną wartością

12. Algorytmy porządkowania zbioru Sortowanie odległości z usuwaniem wzorców (DSR) • dla każdego pozostałego do uporządkowania wzorca oblicz sumę odległości od pozostałych elementów • wybierz element o największej wartości sumy i przenieś go na początek sekwencji • jeśli pozostały jakieś elementy  1

13. Przykłady uporządkowania • Tendencja koncentracji jednego z końców na geometrycznym centrum przestrzeni

14. Przykłady uporządkowania • Tendencja koncentracji na ekstremach gęstości p-stwa

15. Przykłady uporządkowania • Przykład wieloklastrowy

16. Przykłady uporządkowania • Porządek sekwencjiw problemie aproksymacji funkcji • Jednostajny rozkład wzorców w X

17. Przykłady uporządkowania • Porządek sekwencjiw problemie aproksymacji funkcji • Niejednostajny rozkład wzorców w X

18. Przeplatanie sekwencji uczących • Bezpośrednie zastosowanie uporządkowanej sekwencji uczącej może byćnieefektywneze względu na złamanie ciągłościreguływ chwili łączenia sekwencji (po ostatnim elemencie) • Propozycja: losowe przeplatanie sekwencji uporządkowanej sekwencją losową, zgodnie z wybranym modelem p-stwa

19. Przeplatanie sekwencji uczących • Zaproponowany model p-stwa • p – p-stwo początkowe • η – współczynnik redukcji p-stwa • t – numer epoki

20. Wyniki • Problem testowy: rozpoznawanie izolowanych odręcznie pisanych cyfr • Architektura sieci i parametry procesu: • MLP • Warstwa ukryta zawierająca 30 neuronów • 600 epok uczących alg. propagacji wstecznej

21. Wyniki • Testowane sekwencje • DS oraz jego odwrotność • DSR oraz jego odwrotność • Hipoteza zerowa • Parametry procesu • p = 1.0 • η wybrane tak, aby P600 = 0.03 • Każda populacja o liczności 100 (wagi inicjowane losowo)

22. Wyniki. • Hipoteza zerowa • „przedstawiony algorytm nie poprawia skuteczności uczenia” • reprezentowana przez procesy: • z jedną losową sekwencją uczącą • z dwiema różnymi sekwencjami z przeplotem

23. Wyniki • Istotna różnica wrozkładzie RMSE w populacjach otrzymywanychw procesach • z przeplotem2 sekwencji losowych • z przeplotem sekwencji uporządkowanej sekwencją losową • z 1 sekwencją losową • średnie RMSE wyższe w procesach z sekwencjami losowymi • średnie RMSE najwyższe w procesach z 1 sekwencją losową • Najefektywniejsze klasyfikatory uzyskane w wyniku uczenia sekwencjami uporządkowanymi z przeplotem

24. Wyniki • Względna różnicaRMSE dla procesu z sekwencją losową i sekwencją uporządkowaną przeplataną losową • Strona dodatnia wykresu: proces z sekwencją uporządkowaną

25. Dalsze prace • Wyjaśnienie zaobserwowanego zjawiskaHipotezy: • Większa zdolność do opuszczania lokalnych minimów (ograniczenie efektu znoszenia się zmian) • W czasie pełnej prezentacji ciągu uczącego sieć „przeszukuje” większy fragment przestrzeni wag

26. Dalsze prace • Problemy do rozwiązania: • usunięcie nieciągłości reguły przy sklejaniu sekwencjidroga: ekstrakcja najważniejszych własności z bieżącego modelu • zmniejszenie kosztu porządkowania sekwencjidroga: lokalizacja (w sensie elementów sekwencji) procesu porządkowania. Porządkowanie w trakcie uczenia

27. Dalsze prace • Generalna własność:średnia odległość kolejnych 2 elementów ciągu uporządkowanego wyższa od średniej odległości w zbiorze wzorców • Jej lokalne spełnienie w trakcie uczenia • Adaptacja do bieżącego elementu • Adaptacja do bieżącego stanu sieci

28. Dziękuję za uwagę Pytania? Wnioski? Pomysły?