„Piramid Match Kernel”

1. „Piramid Match Kernel” BartoszNiemczura 18.01.2011 • Wstęp • Zastosowanie rozpoznawania wzorców w nauce i technice • Matematyczne sformułowanie zadania rozpoznawania wzorców • Klasyfikacja metod rozpoznawania obiektów • Podejście całościowe i strukturalne, problem klasteryzacji • Przedstawienie niektórych wcześniejszych metod, ich efektywności oraz wad • Metoda Kristena Graumana - „Piramid Match Kernel” • Opis i animacja algorytmu na przykładzie jednowymiarowym • Częściowe dopasowania wzorców • Spełnienie warunku Mercera w celu zastosowania klasyfikatora SVM • Wydajność algorytmu i dowód złożoności czasowej • Wpływ szumów, zniekształceń, innych obiektów na wyniki rozpoznawania • Zależność efektywności od używanej metryki oraz liczności wektorów cech • Wyszukiwanie kolekcji obiektów w czasie subliniowym

2. Rozpoznawanie wzorca - podstawy • Różnica inteligencji w ujęciu komputerowym i rzeczywistym. • Rozpoznawanie wzorców: • zapytania do ogromnych baz danych • rozpoznawanie tekstu (znaczenie kształtu liter, ich rozmieszczenia, przecięcia linii, nachylenia, skrzyżowania) • rozpoznawanie dźwięku na podstawie obrazu fal dźwiękowych • rozpoznawanie obrazów w życiu codziennym (produkty, kody kreskowe, zabytki, dzieła sztuki, odciski palców) • Sformułowanie matematyczne problemu • A - algorytm rozpoznania • I - zbiór obiektów • D - rozpoznawany obiekt • A(D) -> 2 ^ I

3. Ogólne metody • Ogólne metody rozpoznawania obiektów • Podejście całościowe - decydujemy czy dany obiekt należy do pewnej klasy w jednym akcie decyzyjnym. • Podejście strukturalne - w rozpoznawanym obiekcie najpierw wyróżniamy określone elementy oraz ustalamy ich wzajemne relacje. • problem klasteryzacji (Mamy dany zbiór obrazów, ale nie jest podzielony na klasy. Zadaniem klasteryzacji jest właśnie podział na klasy). Metody: Matching-sensitive hashing, Semi-supervised hasing • Konkretne metody rozpoznawania wzorców: • Złożoność O(m^3), m - liczność zbioru wektorów cech • Rozpoznawanie na podstawie cech lokalnych (Hungarian Algorithm) – bez porównania częściowego • Algorytmy zachłanne bez użycia jądra Mercera - brak wprowadzenia Learning Image Metrics • Kullback-Leibler Divergence Based Kernel (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacjido określenia rozbieżności między dwoma rozkładami p i q.).

4. Piramid Match Kernel • Uzyskanie wartości podobieństwa poprzez aproksymację podobieństw podzbiorów wektorów różnolicznych cech poszczegolnych obszarów. • Złożoność O(mL) L = log D, D - maksymalny wymiar wektora cech.

5. PMK + „image learning metrics” • Spełnienie warunków teori Mercera • SVM - Support vector machine— klasyfikator, którego nauka ma na celu wyznaczenie hiperpłaszczyzny rozdzielającej z maksymalnym marginesem przykłady należące do dwóch klas. • Możliwość zastosowania istniejących technik uczenia do określania szerokości przedziałów rozpoznania jako zależnych od obiektu. • Pozwala na sformuowanie własnej metryki. • Obiekty mające większą wartość wzajemnego podobieństwa są w tej metryce bliżej siebie (własność klasyfikatora SVM).

6. Złożoność Czas subliniowy uzyskany jest dzięki funkcją haszującym i metodom klasteryzacji • LSH - Locality Sensitive Hashing Funkcja haszująca opiera się na funkcji podobieństwa. Kolizja: • Matching-sensitive hashing • Stosujemy funkcję, która mapuje histogramy na przestrzeń wektorów cech. Dostajemy dokładniejsze porównanie dzięki funkcji: (proporcjonalność względem kąta) • Semi-supervised hasing Podobieństwo wektorów jest dodatkowo ograniczone przez naszą metrykę(„learning metrics”). Kolizje są bardziej prawdopodobne jeśli mamy do czynienia z tym samym obiektem!

7. Eksperyment Google Goggles

8. Referencje • Prezentacja: student.agh.edu.pl/~niemczur/PiramidMatchKernel.ppt • Eksperyment Google Goggles wersja beta: http://www.google.com/support/mobile/bin/answer.py?hl=en&answer=166331 http://pl.wikipedia.org/wiki/Google_Goggles • Referencje: • K. Graumnan, Efficiently Searching for Similar Images. Communication of ACM June 2010, • K. Grauman and T. Darrell.  The Pyramid Match Kernel: Efficient Learning with Sets of Features.  Journal of Machine Learning Research (JMLR), • Grauman, K. Darell, T. The pyramid match kernel: discriminative classification with sets of image features. In Proceedings of the IEEE International Conference on Computer Vision (2005) • S. Lyu. Mercer Kernels for Object Recognition with Local Features. In Proc. IEEE Conf. on Computer Vision and Pattern Recognition, San Diego, CA, June 2005 • Tadeusiewicz R., Rozpoznawanie obrazów, Warszawa : Państ. Wydaw. Naukowe, 1991.