Rozpoznawanie twarzy: proces i narzędzia

1. Rozpoznawanie twarzy:proces i narzędzia Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2. Plan wykładu • Egzamin, pytania... • Przebieg procesu rozpoznawania • Łączenie metod • Przegląd najważniejszych narzędzi • PCA • SVM • Gabor Wavelets • Uwagi końcowe Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3. Egzamin • Pisemny 19/01/2006 (?) • 10 pytań • 0 – 2 pytania z każdego wykładu • Możliwość poprawy w formie ustnej • Proszę o zapisy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4. Etapy rozpoznawania Detekcja Normalizacja Porównywanie wektorów cech Ekstrakcja cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5. Cele detekcji • Znalezienie twarzy na obrazie • niezależnie od rozmiaru obrazu • niezależnie od wielkości twarzy • dla obrazów RGB i GS • szybkie i skuteczne • niezależnie od kąta obrotu twarzy • Przekazanie położenia twarzy do etapu normalizacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6. Narzędzia • Uogólniona transformata Hougha • wykrywanie elips • Mechanizm wektorów wspierających (SVM) • weryfikacja • PCA (projekcja wsteczna) • weryfikacja • Gabor Wavelets • detekcja punktów charakterystycznych • Mapy na podstawie koloru Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7. Algorytm • Detekcja elips „pionowych” • potencjalne twarze • Detekcja elips „poziomych” • potencjalne oczodoły • Wstępna normalizacja i weryfikacja • Detekcja pozostałych punktów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8. Śledzenie obiektów • Zastosowanie przy sekwencjach video • większa szybkość od detekcji • mniejsza dokładność • Narzędzie: Przepływ Optyczny • Śledzone są punkty charakterystyczne Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9. Normalizacja • Wejście: • obraz z kamery • lokalizacja punktów charakterystycznych • Cel: • generacja obrazu o niezmiennych parametrach • eliminacja różnic wewnątrz-klasowych • przygotowanie obrazu do ekstrakcji cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10. Narzędzia • Przekształcenia geometryczne • Filtry rozjaśniające • Operacje na histogramie • dopasowywanie do histogramu twarzy średniej • Kompensacja oświetlenia Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11. Etapy • Obrót twarzy nie frontalnych • Normalizacja geometryczna • Kompensacja oświetlenia • Dopasowywanie histogramu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12. Ekstrakcja cech • Wejście: • obraz znormalizowany • Cel: • generacja klucza opisującego twarz znajdującą się na obrazie • klucze łatwe do porównywania Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13. Narzędzia • Principal Component Analysis • Linear Discriminant Analysis • Local PCA • Bayesian Matching • Gabor Wavelets Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14. Porównywanie kluczy • Powiązane z metodą ekstrakcji cech • Eigenfaces • odległości geometryczne • SVM • Dual Eigenfaces • klasyfikacja różnicy obrazów • EBGM • dwa etapy: liczenie korelacji, porównywanie wyników cząstkowych Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15. Wybór metody • Wiele metod ekstrakcji cech • którą wybrać? • Wiele kluczy, wiele podobieństw • Potrzebny jednoznaczny wynik • Problem „wielu ekspertów” Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16. Łączenie metod K1 K1 S1 K2 K2 S2 S ... ... ... Kn Kn Sn Dwa obrazy Wektory cech Podobieństwa Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17. Metody łączenia • Średnia podobieństw • zastosowanie średniej ważonej • SVM z jądrem wielomianowym • Zastosowanie SVM do znalezienia wag Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18. Czy łączenie ma sens? • Wyniki wzrastają o kilka procent • różnice w zasadach działania metod • Łączenie różnych metryk • ten sam wektor cech • różne miary podobieństwa • Wykorzystanie „słabych metod” Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19. Pewność identyfikacji • Ocena poprawności odpowiedzi systemu • Klasyfikacja kolejnych podobieństw • wykorzystanie SVM • Wybór najpewniejszych klatek • identyfikacja na podstawie śledzenia Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20. Narzędzia: PCA • Zastosowania: • ekstrakcja cech - metoda Eigenfaces • detekcja (projekcja wsteczna) • Dual Eigenfaces • Działanie – etapy: • trening • ekstrakcja cech • porównywanie wektorów cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21. Narzędzia: SVM • Zastosowania: • weryfikacja – detekcja twarzy • porównywanie wektorów cech • detekcja kąta padania światła • detekcja kąta obrotu głowy • łączenie metod • ocena jakości obrazu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22. Narzędzia: SVM • Dwa etapy pracy: • trening • klasyfikacja • Główna idea: • przestrzeń o większej liczbie wymiarów gwarantująca separowalność liniową • Problem doboru próbki treningowej • Wybór jądra przekształcenia oraz parametrów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23. Narzędzia: Gabor Wavelets • Zastosowanie: • ekstrakcja cech – metoda EBGM • detekcja punktów charakterystycznych • śledzenie • Działanie: • lokalna analiza częstotliwościowa • przygotowanie zbioru wielu falek • porównywanie: korelacja z obliczaniem przemieszczenia Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

24. Narzędzia: GHT • Zastosowanie do detekcji twarzy • Zasada działania: • tworzenie obrazu kierunkowego • wskazanie prawdopodobnego środka elipsy dla każdego odcinka (wykorzystanie szablonów) • akumulacja wyników dla wszystkich odcinków Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

25. Rozpoznawanie twarzy • Zalety: • niska inwazyjność • wysoka szybkość • system wspomagający identyfikację • Wady: • stosunkowo niska skuteczność • „zmienność” twarzy • twarz nie zawsze jest widoczna Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

26. 100 FRR FAR 0 100 Krzywe FAR i FRR • FAR: False Acceptance Rate • FRR: False Rejection Rate błąd [%] próg akceptacji [%] Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

27. Zastosowania • Systemy kontroli dostępu (min FAR) • pełna identyfikacja na podstawie twarzy • weryfikacja innego źródła identyfikacji • Wyszukiwanie osób (min FRR) • osoby niebezpieczne • stali klienci • przeglądanie danych z monitoringu • Detekcja twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

28. Dziękuję za uwagę! Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006