Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon Grabowski Katedra Informatyki Stosowa

1. Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej Szymon GrabowskiKatedra Informatyki Stosowanej PŁ Kraków, październik 2003 promotor: prof. dr hab. inż. Dominik Sankowski

2. Klasyfikacja – ustalanie etykiet klas rozpoznawanych obiektów. • Cele pracy: • szybkie klasyfikatory (redukcja informacji wejściowej, efektywne struktury danych); • klasyfikatory dokładne; • może pewien korzystny kompromis między szybkością a jakością? • Zakres pracy • Klasyfikacja nadzorowana – jeśli dany jest zbiór uczący (baza wiedzy). • Klasyfikacja nieparametryczna – brak apriorycznego modelu probabilistycznego. • Symetryczna funkcja strat – każda pomyłka jednakowo kosztowna. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

3. Klasyfikatory minimalnoodległościowe:reguła k-NN, jej warianty i klasyfikatory pokrewne. • Inne typy klasyfikatorów: • sieci neuronowe; • drzewa decyzyjne. • Zalety k-NN: • asymptotyczna optymalność; • zazwyczaj dobra jakość w praktyce; • prostota, podatność na modyfikacje. • Wady k-NN: • wolna klasyfikacja; • wrażliwość na zbędne cechy; • mała przestrzeń rozpatrywanych modeli. Klasyfikacja próbki qregułą 3-NN Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

4. Główne kierunki modyfikacji reguły k-NN: • modyfikacja metody głosowania, np. ważona k-NN (Dudani, 1976); • modyfikacja etykiet zbioru uczącego, np. rozmyta k-NN z uczeniem (Jóźwik, 1983); • odrzucanie niepewnych predykcji (Tomek, 1976; Jóźwik i in., 1996); • szybkie szukanie najbliższych sąsiadów (problem postawiony w: Minsky i Papert, 1969); • redukcja zbioru uczącego (Hart, 1968, i ok. 30 dalszych prac); • schematy równoległe (Skalak, 1997; Alpaydin, 1997); • koncepcja symetrycznego sąsiedztwa (Chaudhuri, 1996; Sánchez i in., 1997). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

5. Tezy rozprawy doktorskiej • W niskich wymiarach (d 5) możliwe jest znajdowanie najbliższego sąsiada w deterministycznym subliniowym czasie w metryce miejskiej. • Lokalny wybór zredukowanego zbioru odniesienia prowadzi do osiągnięcia wyższej jakości klasyfikacji niż oferowana przez pojedynczy zbiór zredukowany, zwłaszcza przy bardzo wysokich wymaganiach szybkościowych nałożonych na klasyfikację. • Możliwe jest stworzenie równoległej sieci klasyfikatorówtypu „k sąsiadów”, osiągającej wyższą jakość predykcji niż klasyfikator bazowy przy umiarkowanym spowolnieniu klasyfikacji, umożliwiającej ponadto, w połączeniu z koncepcją tzw. symetrycznego sąsiedztwa, projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

6. Teza I Szukanie najbliższego sąsiada (NNS – Nearest Neighbor Search) (Minsky i Papert,1969)Wejście: zbiór P = {p1, ..., pn} (dany „off-line”) w przestrzeni X z funkcją odległości df;próbka testowa q X(prezentowana „on-line”).Zadanie: dokonać takiej wstępnej obróbki zbioru P, aby możliwe było szybkie znajdowanie najbliższego sąsiada q w P. Przegląd zupełny (brute force) wymaga czasu O(nd), d – wymiar przestrzeni X. Fakty:–niewiele alg. z subliniowym w n czasem szukania w najgorszym przypadku;– w wysokich wymiarach nadal brak dobrych algorytmów! Potrzeby:–ograniczenie z góry czasu szukania (możliwe w niskich wymiarach);– prostota! Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

7. Teza I Algorytmy NNS z czasem szukania subliniowym w n • Dobkin i Lipton (1976), Yao i Yao (1985); • Agarwal i Matoušek (1992), Matoušek (1992) • Clarkson (1988): wstępna obróbka • szukanie NN • Meiser (1993): wstępna obróbka • szukanie NN • Algorytm proponowany: wstępna obróbka • szukanie NN • k – współczynnik kompromisu Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

8. Teza I metryka miejska (Manhattan): Kluczowa własność metryki miejskiej:dla dowolnych punktów A, B i C Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

9. Teza I Przykład dwuwymiarowy Jedna z próbek NN(v1)..NN(v4) jest najbliższym sasiadem q. Wierzchołek v2 jest (przypadkowo) miejscem położenia pewnej próbki (która jest oczywiście NN tego wierzchołka). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

10. Teza I Wersja kompromisowa algorytmuZamiast „pełnego” rozcięcia przestrzeni, przeprowadzamy hiperpłaszczyzny tylko co k-ty punkt z P na każdej współrzędnej (wymaga to policzenia odległości do k–1 dodatkowych punktów dla każdej współrzędnej). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

11. Teza I Wyniki testów Implementacja:C++ (g++ 2.95.3) Testy:Celeron 533 MHz384 MBLinux 2.4 3 wymiary, 1000 próbek w zbiorze odniesienia Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

12. Teza I Wyniki testów, c.d. 5 wymiarów, 1000 próbek w zbiorze odniesienia Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

13. Teza I Własności proponowanego algorytmu (podsumowanie) • Wady: • bardzo wysokie (wykładnicze w d) koszta wstępnej obróbki — praktyczne ograniczenie zastosowań do wymiarów 3–5; • ograniczenie do szukania tylko jednego najbliższego sąsiada; • ograniczenie do metryki miejskiej. • Zalety: • subliniowość w nw najgorszym przypadku; • elastyczność (parametr kompromisu k); • prostota. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

14. Teza II 1-NN— najprostsza i najszybsza wersja reguły k-NNDalsze przyspieszenie klasyfikacji typu 1-NN osiągamy przy pomocy redukcji zbioru odniesienia. Najbardziej znane algorytmyredukcji zbioru odniesienia: • alg. Harta (1968); • alg. Gowda’y–Krishna’y (1979); • alg. Gatesa (1972); • alg. Changa (1974); • alg. Tomeka (1977). Przykładowa redukcja Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

15. Teza II • Cechy algorytmu redukcji Skalaka (1994): • probabilistyczny (w klasie algorytmów typu random mutation hill climbing); • redukcja do zadanej liczby próbek; • nie gwarantuje zgodności zbioru zredukowanego. • Procedura Skalak1(h, m1): • wylosuj h próbek ze zbioru odniesienia S do zbioru zredukowanego R i estymuj jakość otrzymanego zbioru; • wykonaj w pętli m1 mutacji; mutacja polega na wylosowaniu jednej próbki z R i jednej z S\R; jeśli zamiana tych próbek zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

16. Teza II • Procedura Skalak2(h, m1, m2): • wykonaj Skalak1(h, m1); • wykonaj w pętli m2 mutacji polegających teraz na zmianie losowej współrzędnej (tj. cechy) losowej próbki z R o 0.5 lub –0.5; jeśli mutacja zmniejsza estymowany błąd klasyfikacji, to ją zaakceptuj. Wszystkie opisane algorytmy generują pojedynczy (globalny) zbiór zredukowany. ! Alternatywne podejście w niniejszej pracy: zbiór zredukowany wybierany kontekstowo (lokalnie) dla danej próbki. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

17. Teza II Łączenie klasyfikatorów (combining classifiers) — przedmiot intensywnych badań od początku lat 90. XX w. • Trzy zasadniczo odmienne podejścia: • głosowanie (np. większościowe) zespołu klasyfikatorów(Hansen i Salamon, 1990); wada: czas klasyfikacji proporcjonalny do liczby klasyfikatorów składowych; • lokalny wybór klasyfikatora (Woods i in., 1997); wada: trudność określenia (szybkiego) kryterium wyboru klasyfikatora; • klasyfikator kaskadowy (Alpaydin i Kaynak, 1998): próbki „łatwe” oceniane są przez szybki klasyfikator, próbki „trudniejsze” przechodzą do następnych etapów (z wolniejszymi, lecz dokładniejszymi klasyfikatorami). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

18. Teza II Proponujemy dwa schematy lokalnego wyboru zbioru zredukowanego dla reguły 1-NN: a) schemat z partycjonowaniem przestrzeni płaszczyznami; b) schemat z klasteryzacją zbioru odniesienia. Podział zbioru na: (a) regiony przy pomocy płaszczyzn;(b) klastry, np. metodą k średnich Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

19. Procedura uczenia w schemacie klasteryzacja+Skalak(L, k): • podziel zbiór odniesienia na k skupisk (klastrów) przy pomocy metody k średnich (k-means); • wygeneruj „globalnie” L zbiorów zredukowanych (procedura Skalak1 lub Skalak2); • dla każdego klastra estymuj jakość klasyfikacji regułą 1-NN przy użyciu poszczególnych zb. zredukowanych. Skojarz z każdym klastrem najlepszy dla niego klasyfikator (tj. zbiór zredukowany). Teza II • Procedura klasyfikacji próbki x: • policz odległości od x do środków ciężkości wszystkich klastrów i wybierz klaster najbliższy zgodnie z tym kryterium; • przypisz x do klasy zwracanej przez klasyfikator skojarzony z najbliższym klastrem. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

20. Teza II Klasyfikator 1-NN 1 – brak redukcji;2 – Hart;3 – Gowda-Krishna;4 – Skalak1;5 – Skalak2;6 – klasteryzacja + Skalak2. Wyniki testów Zbiór danych: rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie) Zbiory uczące po 1400 próbek,metryka miejska. % Wielkość zbioru zredukowanego Błąd klasyfikacji Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

21. Teza III • Koncepcja symetrycznego sąsiedztwa: • bliskość sąsiadów; • układ geometryczny sąsiadów w przestrzeni („wokół” próbki testowej). Reguła k-NN ignoruje aspekt położenia sąsiadów w przestrzeni. Praktyczne definicje symetrycznego sąsiedztwa: Chaudhuri, 1996; Zhang i in., 1997. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

22. Teza III Reguła k scentrowanych sąsiadów(k Nearest Centroid Neighbors, k-NCN) — Sánchez i in., 1997; koncepcja NCN: Chaudhuri, 1996 Reguła k-NCN, k=3 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

23. Teza III Proponujemy stochastyczną regułę k Near Surrounding Neighbors (k-NSN),która optymalizuje oba kryteria używane przez k-NCN. • Algorytm • k-NSN(q, k): • znajdź k scentrowanych sąsiadów (NCN) ni, i=1..k, próbki q; • w pętli próbuj zastępować losowego sąsiada ni losową próbką s ze zbioru odniesienia, o ile jest ona położona bliżej próbki q niż ni i jeśli środek ciężkości nowego układu sąsiadów leży bliżej q niż przed zamianą. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

24. Teza III Wyniki testów • zbiory danych: • rdzenie ferrytowe (kontrola jakości w zakładach Polfer w W-wie) • 5903 próbki, 30 cech, 8 klas; • 10 losowych partycji na zb. uczący (1400 próbek) i testowy (4503 próbki); • pięć zbiorów danych z University of California, Irvine (UCI) (Bupa, Glass, Iris, Pima, Wine); • 5-krotna walidacja skrośna • Wszystkie dane postandaryzowane, • metryka miejska. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

25. Zbiór Iris w rzucie dwuwymiarowym (cechy 3 i 4) Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

26. Teza III Wyniki testów, c.d. Błędy [%]na zbiorzeFerrites Błędy [%]na zbiorach UCI Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

27. Teza III To, iż słyszeliście jakąś rzecz nie powinno być jeszcze prawidłem waszego wierzenia; tak dalece, iż nie powinniście w nic uwierzyć nie wprawiwszy się wprzód w taki stan, jak gdybyście nigdy tego nie usłyszeli. / Pascal / Argumentowano w szeroko cytowanej pracy (Breiman, 1996), iż klasyfikatorów minimalnoodległościowych (NN) nie można pomyślnie wykorzystać w schematach sieciowych z uwagi na ich stabilność. Doprawdy..? Klasyfikator voting k-NN • Oryginalna reguła k-NN korzysta z jednej wartości kwybieranej zwykle przy pomocy metody minus jednego elementu. Wady: estymowana optymalna wartość parametru k nie musi gwarantować najlepszej jakości w zadaniu; mała przestrzeń możliwych modeli. • Proponowany klasyfikator zwiększa przestrzeń rozpatrywanych modeli i wygładza granice decyzyjne. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

28. Teza III Klasyfikator voting k-NN, c.d. Głosowanie 3 klasyfikatorów typu k-NN Analogiczne schematy z głosowaniem zaproponowaliśmy dla reguł k-NCN i k-NSN. W przeciwieństwie do większości klasyfikatorów równoległych, strataprędkości klasyfikacji w stosunku do „pojedynczego” klasyfikatora jest umiarkowana (w przypadku voting k-NN zaniedbywalna). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

29. Teza III Proponowana rodzina klasyfikatorów kaskadowych Cel: Dobry kompromis między jakością a czasem klasyfikacji. Idea: Dwie fazy klasyfikacji. W pierwszej fazie klasyfikator szybszy, oparty na głosowaniu (równoległy); jako kryterium wskazujące „łatwą” próbkę przyjęto jednogłośną decyzję zespołu komponentów z pierwszej fazy. W drugiej fazie wolny, lecz dokładny klasyfikator (np. k-NCN, k-NSN lub ich wersje voting). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

30. Teza III Sumy rang klasyfikatorów na pięciu zbiorach UCI Mniejsze wartości są korzystniejsze. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

31. Podsumowanie i wnioski • W niskich wymiarach możliwe jest szukanie najbliższego sąsiada w czasie subliniowym w liczności zbioru w najgorszym przypadku; prezentowany algorytm dopuszcza użycie współczynnika kompromisu między szybkością szukania a kosztem wstępnej obróbki. • Lokalny wybór zredukowanego zbioru odniesienia oferuje wyższą jakość klasyfikacji niż klasyfikatory oparte na pojedynczym zbiorze zredukowanym (podejście klasyczne). • „Symetryczne sąsiedztwo” to nowy sposób poprawy jakości w rodzinie klasyfikatorów minimalnoodległościowych. Zaprezentowana reguła k-NSN optymalizuje oba kryteria używane w klasyfikatorze k-NCN. • Możliwa jest wersja reguły k-NN z wieloma wartościami k(wyższa jakość klasyfikacji za cenę minimalnego spowolnienia). • Koncepcje z p. 3 i 4 pozwalają na projektowanie klasyfikatorów kaskadowych o korzystnych relacjach szybkości do jakości klasyfikacji. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

32. Plany na przyszłość (m. in.): • eksperymenty z doborem parametrów dla schematu z lokalnym wyborem zbioru odniesienia (metoda klasteryzacji, liczba klastrów, wielkość każdego zbioru zredukowanego); • rozważenie zmiany strategii uczenia w algorytmie Skalaka; • pomiar jakości poszczególnych klasyfikatorów składowych w klasyfikatorach k-NN, k-NCN i k-NSN (postrzeganych jako klasyfikatory równoległe), a także korelacji między nimi; • poszerzenie zaproponowanej rodziny klasyfikatorów kaskadowych (np. wprowadzenie algorytmów trójetapowych). Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

33. Literatura Sz. Grabowski, Fast deterministic exact nearest neighbor search in the Manhattan metric, II Konferencja „Komputerowe SystemyRozpoznawania” (KOSYR2001), Miłków k/Karpacza, maj 2001, str. 375–379. Sz. Grabowski, Experiments with the k-NCN decision rule, IX Konferencja „Sieci i Systemy Informatyczne”, Łódź, październik 2001, str. 307–317. Sz. Grabowski, Voting over multiple k-NN classifiers,International IEEE Conference TCSET’2002, Lviv-Slavske, Ukraina, luty 2002, str. 223–225. Sz. Grabowski, Lokalny wybór zredukowanego zbioru odniesienia,Seminarium nt. „Przetwarzanie i analiza sygnałów w systemach wizji i sterowania”, Słok k/Bełchatowa, czerwiec 2002, mat. sem.,str. 142–147. Sz. Grabowski, M. Baranowski, Implementacja algorytmu szybkiego deterministycznego szukania najbliższego sąsiada w metryce miejskiej, X Konferencja„Sieci i Systemy Informatyczne”, Łódź, październik 2002, str. 499–514. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

34. Literatura, c.d. Sz. Grabowski,A family of cascade NN-like classifiers, 7th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 503–506. Sz. Grabowski, A. Jóźwik, Sample set reduction for nearest neighbor classifiers under different speed requirements, 7th International IEEE Conference on Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), Lviv–Slavske, Ukraina, luty 2003, str. 465–468. Sz. Grabowski, B. Sokołowska, Voting over multiple k-NN and k-NCN classifiers for detection of respiration pathology, III Konferencja „Komputerowe Systemy Rozpoznawania” (KOSYR 2003), Miłków k/Karpacza, maj 2003, str. 363–368. Sz. Grabowski, Towards decision rule based on closer symmetric neighborhood, Biocybernetics and Biomedical Engineering, Vol. 23, No. 3, lipiec 2003, str. 39–46. Sz. Grabowski, A. Jóźwik, C.-H. Chen, Nearest neighbor decision rule for pixel classification in remote sensing, rozdział monografii „Frontiers of Remote Sensing Info Processing”, ed. S. Patt, World Scientific Publishing Co. Pte. Ltd., Singapur, lipiec 2003. Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej

35. Część prac wykonywanych było w ramach grantu NATOdotyczącego analizy zdjęć lotniczych (remote sensing). Kierownik: prof. C.-H. Chen z N.Dartmouth Coll., MA, USA,współwykonawcy: dr A. Jóźwik, Sz. Grabowski. Fairhaven, czerwiec 2001 Sz. Grabowski, Konstrukcja klasyfikatorów minimalnoodległościowych o strukturze sieciowej