Metoda EBGM

1. Metoda EBGM Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2. Plan wykładu • Wady metody Eigenfaces • Alternatywne metody • Metoda EBGM (Elastic Bunch Graph Matching) • Falki Gabora (Gabor Wavelets) • punkty charakterystyczne twarzy • porównywanie wektorów cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3. Etapy rozpoznawania Detekcja Normalizacja Porównywanie wektorów cech Porównywanie wektorów cech Ekstrakcja cech Ekstrakcja cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4. Główne wady Eigenfaces • Twarz traktowana jako wektor • utrata informacji 2D • Podejście holistyczne • twarz jako niepodzielna całość • Brak rozróżnienia pomiędzy cechami intra- i ekstra-personalnymi Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5. Metody ekstrakcji cech • Bazujące na PCA • uwzględnianie charakteru cech • wykorzystanie informacji 2D • uwzględnienie topologii twarzy • Oparte o podobieństwo punktów charakterystycznych • metody falkowe • porównywanie kształtów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6. Algorytm EBGM • Przybliżona lokalizacja punktów charakterystycznych • Analiza częstotliwościowa otoczenia punktów • wiele falek „gasnących” • wartość splotu falki i obrazu • Porównywanie wektorów cech • znalezienie dokładnej lokalizacji punktów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7. Przykład Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8. Transformata falkowa • Transformata Fouriera • dziedzina częstotliwościowa • Dodanie rozkładu Gaussa • Lokalna analiza częstotliwościowa • długość fali () • kierunek fali () • promień Gaussa () • Zbiór wielu różnych falek Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9. Obliczanie falki • Punkt (x0, y0) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10. Można inaczej... • Eliminacja części urojonej • Modyfikacja przesunięcia fazowego  Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11. Falki – przykłady Zmiana kierunku () Zmiana długości fali () Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12. Falki – przykłady Zmiana fazy () Zmiana promienia () Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13. Splot falki i obrazu • Splot liczony dla otoczenia punktu • C jest liczbą zespoloną • Wynik zapisany w postaci biegunowej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14. Ekstrakcja cech • Przygotowany zbiór falek • różne własności • falki tablicowane – optymalizacja • Zbiór punktów charakterystycznych na obrazie • Splot każdej falki z obrazem w każdym punkcie charakterystycznym • Wektor cech: wartości splotów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15. Porównywanie splotów • Korelacja • N – liczba falek • a – wartość splotu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16. Porównywanie splotów • Kowariancja Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17. Porównywanie splotów • Korelacja z korektą przemieszczenia Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18. Przemieszczenia • Wpływ na przesunięcie fazowe • przemieszczenie mniejsze od /2 • Szacowanie przemieszczenia • obliczanie splotu dla każdego punktu i porównywanie wyników • znalezienie maksymalnej korelacji w zależności od wektora d Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19. Rysunek... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20. Maksimum korelacji • Aproksymacja szeregiem Taylora • Rozwiązanie analityczne Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21. Maksimum korelacji • Działa tylko dla małych przemieszczeń • maksymalne dopuszczalne przemieszczenie zależy od długości fali • najpierw liczyć dla niskich częstotliwości • Powrót do rysunku Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22. Detekcja punktów twarzy Zbiór wykrytych punktów Przybliżonepołożenie punktu Dodaniepunktudo zbioru Dokładne położeniepunktu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23. Szacowanie położenia • Średnie zależności • Wpływ cech na przybliżone położenie • zależny od odległości • położenie znanych cech brane z wagami Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

24. Położenie dokładne • Dane wzorcowe (na podstawie obrazów „wyklikanych”) • Przesunięcie dla każdego wzorca • Przesunięcie końcowe: • średnie przesunięcie dla wzorców o najwyższej korelacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

25. EBGM raz jeszcze • Pozycje przybliżone punktów • Dla każdego punktu: • splot z każdą falką • znalezienie przesunięcia (zastosowanie przy detekcji) • poprawienie wartości wektora cech • Porównywanie wektorów: • korekta przesunięcia dla dwóch obrazów • całość porównywana przez SVM Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

26. Normalizacja obrazu • Standardowe techniki • normalizacja geometryczna • operacje na histogramie + filtry • Rozmiar: 128x128 • Wygładzone brzegi • eliminacja zaburzeń częstotliwości Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

27. Znormalizowane obrazy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

28. Podsumowanie • Metoda czasochłonna • Wysoka skuteczność • Odmienna zasada działania od PCA • można zyskać łącząc wyniki • Zastosowanie przy detekcji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

29. Dziękuję za uwagę! • Za tydzień: • wykorzystanie koloru do detekcji oraz ekstrakcji cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006