Eigenfaces, część 2

1. Eigenfaces, część 2 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

2. Plan wykładu • PCA – krótkie przypomnienie • Ekstrakcja cech • Projekcja wsteczna • Porównywanie kluczy • Udoskonalenia metody • Funkcja błędu i jej minimalizacja • Lokalne PCA Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

3. Krótkie przypomnienie • Eigenfaces – metoda ekstrakcji cech • Eliminacja nadmiarowych informacji (zbędnych wymiarów) • Dwa etapy: • trening • rzutowanie • Możliwa projekcja wsteczna Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

4. Trening C00 ... C0n ... ... ... Cn0 ... Cnn Obrazy znormalizowane Macierz kowariancji Twarze własne (eigenfaces) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

5. Rzutowanie • Dane wejściowe: • zbiór wektorów własnych • znormalizowany obraz • Rzutowanie: •  - macierz złożona z wektorów własnych • x – wektor wejściowy po odjęciu wektora średniego • x’ – wektor po rzutowaniu Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

6. Przykład... • Przestrzeń dwuwymiarowa: • wektory własne: • Rzutowanie wektorów: • [3; 1], [-2; -2], [10, 9] • Projekcja i jej błąd Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

7.  ’ ’’ Ekstrakcja cech • Obcięcie macierzy  i wektora x’ • Element klucza - iloczyn skalarny obrazu i wektora: • Wyniki iloczynów = wektor cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

8. Ekstrakcja cech K1 K2 K3 ... ... Mnożenie wektora obrazu przez wektory własne Wektor cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

9. Trening – optymalizacja • Duży rozmiar macierzy kowariancji (NxN) • Trick: • Av’ – szukane wektory własne Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

10. Projekcja wsteczna • Wektor cech -> obraz twarzy • Różnica między obrazem wejściowym a odtworzonym (błąd projekcji) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

11. Błąd 2D Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

12. Błąd 2D Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

13. Błąd 2D Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

14. Błąd 2D Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

15. Projekcja obrazu • Wektor cech – opis twarzy • eliminacja części informacji • Wynik projekcji – obraz twarzy • brak informacji wyeliminowanych • Błąd – przykład 2D • Wniosek: błąd zależy od podobieństwa do próbki treningowej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

16. Zastosowanie do detekcji • Projekcja wsteczna obrazów: • twarz -> zmodyfikowany obraz twarzy • kwiatek -> obraz jakiejś twarzy • Błąd nieporównywalnie większy dla obrazów nie-twarzy • Metoda czasochłonna Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

17. Charakterystyka metody • Eigenfaces – popularna metoda rozpoznawania twarzy • Trening i ekstrakcja cech • Metoda holistyczna • Wysoka szybkość • Przeciętna skuteczność Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

18. Porównywanie kluczy • Podobieństwo kluczy (metryka): • odległość Euklidesowa (norma L2) • odległość Mahalanobisa • kąt między wektorami • SVM • korelacja i kowariancja Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

19. Odległość Mahalanobisa • Normalizacja wariancji we wszystkich kierunkach (wybielanie) •  - wartość własna Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

20. Słabe wybielanie • Osłabienie wpływu wartości własnej: • Filtr wyrównujący: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

21. Kąt między wektorami • Liczony na podstawie iloczynu skalarnego • Odrzucenie informacji o długości wektora cech w przestrzeni twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

22. Porównywanie SVM • Co klasyfikować? • dwa wektory na wejściu • różnica wektorów • Zbiór uczący: • różnice wewnątrzklasowe • różnice międzyklasowe • Konieczne losowanie próbek Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

23. K11 K12 ... Ta sama klasa K1n SVM Różne klasy K21 K22 ... K2n

24. K11 - K21 Ta sama klasa K12 - K22 SVM Różne klasy ... K1n - K2n

25. Wybór metryki • Para kluczy: • wiele metryk • metryka jako odrębna metoda • Łączenie metryk • Mahalanobis + norma L2 ze słabym wybielaniem • Testy, testy, testy... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

26. Topografia twarzy • Cechy intra- i ekstra-personalne • oczy i nos • usta i policzki • Charakter cech, a ich lokalizacja • Maska – modyfikacja ekstrakcji cech Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

27. Maska „T” • Sztuczna maska na nos i oczy • Wartości 0 i 1 • Poprawa wyników: • FeretA: 813 -> 834 (3,6%) • wyniki dla „czystego” EF Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

28. Maska różnicowa • Zbiory par obrazów: • intra-personalne • extra-personalne • Uśrednienie różnic obydwu klas par: • średnia różnica intra-personalna • średnia różnica extra-personalna • Maska – różnica średniej różnicy ekstra-personalnej i intra-personalnej Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

29. Maska dynamiczna • Tworzona osobno dla każdego obrazu • Wykorzystanie projekcji wstecznej: • projekcja pojedynczych pikseli • wartość maski odwrotnie proporcjonalna do błędu projekcji • Zmniejszenie wpływu obszarów zasłoniętych • Można stosować dla grup pikseli Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

30. Przykłady... Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

31. Wagi wektorów własnych • Nie zawsze związana z lokalizacją • np. oświetlenie • „Rzut oka” na twarze własne • niosą różne rodzaje informacji (kierunki) • Wektor własny, element wektora cech, funkcja porównująca • Modyfikacja: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

32. Problem rozpoznawania • Definicja problemu rozpoznawania: • C klasi C wektorów bazowych • NCwektorów w każdej klasie • klasyfikacja wszystkich wektorów • Punkt wyjścia – porównanie dwóch wektorów cech • Klasa własna i obca Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

33. Błąd rozpoznania 1 • Błąd pojedynczego porównania: • uij – rozpoznawany wektor • ui1 – wektor bazowy klasy własnej • uk1 – wektor bazowy klasy obcej • S – funkcja porównująca (norma L2) Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

34. Błąd rozpoznania 2 • Błąd rozpoznania pojedynczego wektora: • Błąd dla całej próbki: Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

35. Funkcja błędu • Błąd jest funkcją maski i wag • funkcja wymierna • Minimalizacja funkcji • znalezienie optymalnej maski i wag Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

36. Problem dostosowania • Silne dostosowanie do próbki • znaczne polepszenie dla zbioru treningowego • pogorszenie dla reszty • Rozwiązanie: • optymalizacja częściowa • Dostosowanie do osób, nie obrazów • możliwe usprawnienie klasyfikacji Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

37. Lokalne PCA • Detekcja cech charakterystycznych • oczy, usta, nos • Rozpoznawanie po cechach • fragment obrazu twarzy • różnica w normalizacji • łączenie kilku lokalnych PCA (eigeneyes, eigennoses, itp.) • Przestrzenie posiadają mniej wymiarów Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

38. Lokalne PCA K1 K2 K3 K4 Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

39. Podsumowanie • Porównywanie kluczy – wiele sposobów • Eigenfaces – wadom można zaradzić • maski • wagi wektorów własnych • dostosowanie do zadanego zbioru twarzy • cel: uwzględnienie topologii twarzy Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006

40. Dziękuję za uwagę! • Za tydzień: Pochodne Eigenfaces Rozpoznawanie Twarzy i Systemy Biometryczne, 2005/2006