Primjena podudaranja značajki lica u sustavima za nadzor umora kod vozača

1. Primjena podudaranja značajki lica u sustavima za nadzor umora kod vozača VISTA – Computer vision innovations for safe traffic WP 3.1.7. Prepoznavanje mentalnog stanja vozača Autor: Markan Lopar

2. Sadržaj • Podudaranje značajki lica • Metode podudaranja značajki lica • Metode optimizacije • Metoda nadziranog spusta • Eksperimenti • Primjena u sustavima za nadzor vozača

3. Podudaranje značajki lica • Engl. – face alignment • Proces podudaranja značajki lica sa slikom lica • Pitanje: što su značajke lica?

4. Podudaranje značajki lica • Značajke lica 1 • Karakteristični objekti na licu koje je ljudskom oku lako zamijetiti (oči, nos, usta) • U brojnim primjenama računalnog vida nije dovoljno samo detektirati ove objekte, nego nam trebaju i druge informacije o njima • Primjer: prepoznavanje izraza lica

5. Podudaranje značajki lica • Značajke lica 2 • Oznake na licu na mjestima od posebnog interesa • Prednost: pružaju nam puno više informacija o licu • Nedostatak: moraju se ručno unositi

6. Podudaranje značajki lica • Rješenje problema ručnog unošenja oznaka na licu: već postoje baze lica sa ručno unešenim oznakama • Labeled Face Parts in the Wild (LFPW [1]) • 1432 slike lica na Internetu • Baza sadrži samo poveznice na slike • Labeled Faces in the Wild (LFW [2]) • Više od 13 tisuća slika lica sa imenima osoba • Lica detektirana detektorom Viola-Jones [1] Belhumeur et al.: Localizing parts of faces using a consensus of exemplars. CVPR 2011. [2] Huang et al.: Labeled faces in the wild: A database for studying face recognition in unconstrained environments. University of Massachusetts, Amherst, October 2007.

7. Sadržaj • Podudaranje značajki lica • Metode podudaranja značajki lica • Metode optimizacije • Metoda nadziranog spusta • Eksperimenti • Primjena u sustavima za nadzor vozača

8. Metode podudaranja značajki lica • Parametrizirani pojavni modeli (parameterized appearance models) • Primjenom PCA na skupu ručno unešenih oznaka gradi se pojavni model • Podudaranje se obavlja traženjem parametara koji najbolje „naštelavaju” sliku i predložak • Najpoznatiji primjer: active appearance models [3] [3] Cootes, Edwards, and Taylor: Active appearance models. TPAMI 23(6):681-685, 2001.

9. Metode podudaranja značajki lica • Diskriminativne metode • Učenje preslikavanja značajki slike na oznake lica • U [3] se koristi linearna regresija između parametara pokreta (translacija, rotacija, skaliranje) i razlike u pojavljivanjima • Kao regresor se koristi Jakobijan • Ova ideja je poslužila za razvoj brojnih sličnih diskriminativnih metoda

10. Sadržaj • Podudaranje značajki lica • Metode podudaranja značajki lica • Metode optimizacije • Metoda nadziranog spusta • Eksperimenti • Primjena u sustavima za nadzor vozača

11. Metode optimizacije • Optimizacija: zajednički nazivnik pod koji se svode obje skupine ranije opisanih metoda • Općenito, u računalnom vidu brojni problemi se rješavaju metodama optimizacije (optički tok, kalibracija kamere, podudaranje značajki slika) • Newtonova metoda: jedan od jačih alata za optimizaciju neprekinutih funkcija

12. Metode optimizacije • Newtonova metoda: • Pretpostavlja da se neprekinuta funkcija može dobro aproksimirati kvadratnom funkcijom u okolišu minimuma • Svodi se na minimiziranje funkcije • Iterativno rješenje:

13. Metode optimizacije • Problemi sa Newtonovom metodom: • Hessian je pozitivno definitna samo u minimumu, dok to nije slučaj s drugim vrijednostima funkcije – optimizacija može otići u krivom smjeru • Funkcija mora biti dvostruko diferencijabilna, što u problemima računalnog vida najčešće nije slučaj (npr. SIFT) • Jedno moguće rješenje: gradijent ili Hessian se numerički procjenjuju – računski skupo • Drugo moguće rješenje ???

14. Sadržaj • Podudaranje značajki lica • Metode podudaranja značajki lica • Metode optimizacije • Metoda nadziranog spusta • Eksperimenti • Primjena u sustavima za nadzor vozača

15. Metoda nadziranog spusta • Metoda nadziranog spusta (Supervised descent method [4]) • Iz skupa za treniranje učimo generalni smjer spusta • Nema potrebe za Hessianom ili Jakobijanom [4] Xiong and De la Torre: Supervised Descent Method and its Application to Face Alignment. CVPR 2013.

16. Metoda nadziranog spusta • Iterativno rješavanje: • - generalni smjer spusta (supstitucija za član u Newtonovoj formuli) • - funkcija koju optimiziramo (npr. SIFT) • - član pristranosti (u njemu se krije vrijednost funkcije u označenim točkama – činjenica koju znamo za vrijeme učenja, ali ne i za vrijeme testiranja) • Detalji o izvodu se nalaze u [4]

17. Metoda nadziranog spusta • Potrebno je naučiti i • Neka je zadan skup slika lica , skup ručno unešenih oznaka na tim slikama , te inicijalna procjena za , i • Potrebno je minimizirati grešku između predviđenog i optimalnog (ground truth) rasporeda oznaka () za određeni broj inicijalnih procjena

18. Metoda nadziranog spusta • Za minimiziranje je izabrana L2 norma: • Nakon toga ažuriramo, te idemo u sljedeću iteraciju: • Postupak konvergira u 4-5 iteracija

19. Sadržaj • Podudaranje značajki lica • Metode podudaranja značajki lica • Metode optimizacije • Metoda nadziranog spusta • Eksperimenti • Primjena u sustavima za nadzor vozača

20. Eksperimenti • Postavke za treniranje: • Za se koristi SIFT na lokalnim oknima 32x32, te PCA za smanjenje dimenzionalnosti (98%) • Inicijalna procjena za su oznake centrirane u odnosu na detektor lica (slika desno)

21. Eksperimenti • Ostale procjene za Monte-Carlo su generirane uzevši u obzir razlike u translaciji i skaliranju između inicijalne procjene i stvarnih oznaka (10 primjera) • Metoda je korištena za praćenje značajki lica u video sekvencama, pri čemu se kao inicijalna procjena za trenutni okvir koristi predikcija iz prethodnog okvira

22. Eksperimenti • Primjer praćenja značajki: • Pouzdano praćenje • Rad u stvarnom vremenu • Robusnost na uvjete osvjetljenja

23. Sadržaj • Podudaranje značajki lica • Metode podudaranja značajki lica • Metode optimizacije • Metoda nadziranog spusta • Eksperimenti • Primjena u sustavima za nadzor vozača

24. Primjena u sustavima za nadzor vozača • Pomoću praćenja značajki lica moguće je procijeniti parametre koji ukazuju na umor kod vozača (sklapanje očiju, zijevanje, nagnuta glava itd.) • PERCLOS – parametar za procjenu otvorenosti očiju [5] • Definiran kao postotak vremena u nekom vremenskom intervalu (obično 0.5-1 min) tijekom kojeg su oči zatvorene više od 80% [5] Knipling and Pau: PERCLOS: A valid psychophysiological measure of alertness as assessed by psychomotor vigilance. Tech. Rep. FHWA-MCRT-98-006, Oct. 1998, Washington DC

25. Primjena u sustavima za nadzor vozača

26. Primjena u sustavima za nadzor vozača Personalizirani sustavi

27. Primjena u sustavima za nadzor vozača • Analogno se može procijeniti otvorenost usta • Procjena nagnutosti glave