Myra

1. Myra Arcdetektáló és arcfelismerő rendszer Szerzők:Kövér Tibor & Vígh Dénes Konzulens: Vámossy Zoltán docens BMF Neumann János Informatikai Főiskolai Kar

2. CéljainkOlyan rendszer megalkotása, amely • jó hatékonysággal képes élő videóképen egy, vagy több arcot detektálni háttértől és póztól függetlenül, • megfelelő feltételek esetén az arcok jellemzőit adatbázisba gyűjti illetve fölismeri azokat, • a képen nyomonköveti az emberek (arcok) mozgását. Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

3. Felhasználási terület • Épületek, termek beléptető rendszerei • Számítógépek jelszó nélküli hozzáférése • Rendőrségi azonosítás segítése • Megfigyelés • Tömeg- és térfigyelés • Biztonsági rendszerek Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

4. Hol találkozhatunk arcfelismerő rendszerekkel? • Repülőtereken • Kaszinókban • Pénzautomatáknál • Stadionokban • Tömegközlekedési eszközökben • Bankokban • Államigazgatási épületekben • Üzletekben Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

5. Arcfelismerés előnyei és hátrányai • Az arcunk mindig velünk van • Passzív módszer (nem igényel kooperációt) • Feltűnésmentes: lehet rejtett kamerával is • Leggyorsabb biometrikus technológia • Olcsó hardware-rel is megoldható • Az emberi arc változik • Ikrek • Fényviszonyokra érzékeny • Személy kamerához való helyzete Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

6. Hasonló rendszerek – FaceSnap • Neurális hálós technikát alkalmazó arcdetektáló, arckövető, arcfelismerő alkalmazáscsomag • Repülőterek, bankok biztonsági rendszere • Feladata a 24 órán át működő megfigyelőkamerák felvételeinek kiértékelése Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

7. Az arcdetektálás nehézségei • Kép tulajdonságai/technikai háttér (méretarány, irány, felbontás, minőség, világosság, kontraszt, színtulajdonságok) • Póz • Megvilágítás és textúra (megvilágítás, mozgó fényforrás, arcszőrzet, bőrhibák) • Háttér • Alakvariációk(arckifejezés, mimika) Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

8. Arcdetektáló technikák • Top-down modell • Tanulás alapú rendszerek, Neurális hálók • Szín-alapú megközelítés • Mozgás-alapú megközelítés(pislogás, mozgás, háttér-kivonás) • Arcjellemzők keresése (szem, száj, szemöldök, orrlyukak, haj vonala) • Mintaillesztés Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

9. Az arcfelismerés általános folyamata • Referenciarekord készítése a felismerendő személyről • Arclokalizáció • Arcnormalizáció • Arcrekord készítése • Arcrekord összehasonlítása a referencia rekordokkal • Küszöbértékszámítás • Elvetés vagy felismerés Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

10. Arcfelismerő módszerek • Jellemzőalapú arcfelismerés • Az arc egyes jellemzőit („features”) szűrik ki, melyek alapján az arcot osztályozni lehet. • Holisztikus arcfelismerés • Az arcot teljes egészében vizsgálják és az osztályozás ennek megfelelően történik Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

11. Jellemző alapú arcfelismerésitechnikák • Geometrikus jellemzők szerinti arcfelismerés • Elastic bunch módszer Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

12. Holisztikus arcfelismerés • Sablon illesztés • Fourier Transzformáció • Sajátarc módszer Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

13. A Myra rendszer működése(detektálás) • Előfeldolgozás • Arcszínkeresé • Mintaillesztés (AdaBoost) • Meghatározás

14. Színkeresés • A YCC színtér előnyösebb (nemlineáris konverzió) • A Cb-Cr térben egy ellipszis jelöli a bőrszín-tartományt Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

15. Bőrszín-keresés a gyakorlatban • Az arckeresési terület leszűkítése • Arc-jelöltek kreálása • Más technikák kontrolljaként is használható Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

16. A Myra rendszer működése(felismerés) • Előkészületek: • Oktató képhalmaz megválasztása • Sajátarcok meghatározása • Arcvektortér előállítása • Arcadatbázis létrehozása • Felismerés : • Keresett kép arctérbe vetítése • Arctérben a legközelebbi arcvektor megkeresése • Eredmény kiértékelése Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

17. Oktató arcképek - átlagarckép Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

18. Sajátarc vektortér meghatározása Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

19. Felhasználói felület és működés • Háromféle nézet • A sebesség kérdése • A rendszer Delphi alatt készül, és Microsoft Windows XP operációs rendszer alatt fut • Külső segítség: OpenCV Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

20. Tesztelés és eredmények Detektálás Bőrszínszűrés: 96%-os találat (minimum kb. 50%-os lefedettség), hibás pozitív detektálás a háttértől függ (18fps) AdaBoost: 89%-os találati arány, 8% hibás pozitív (paraméterektől függően 3-15 fps) Felismerés – Sajátarcok módszer Erősségek: Megfelelő körülmények között hatékony 70%+ Gyengeségek: Érzékeny fényviszonyokra, Érzékeny fej orientációjára, jelenleg még lassú: 3,5 fps Tesztelés: TV Tuner, Kamera, Webcam Gép: Athlon XP 1.8 Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

21. A jövő… • Az eddigi módszerek sebességoptimalizálása • A detektálás és a felismerés pontosságának növelése (új módszerek) • Arckövetés megvalósítása (jellemző pontok követése, kondenzációs algoritmus) • Arcfelismerés kiegészítése egy geometriai jellemzőn alapuló módszerrel Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer

22. Irodalomjegyzék • Henry A. Rowley és társai: Neural Network-Based Face DetectionIEEE May 1999 (Dia 7-8) • Paul Viola, Michael Jones, Robust Real-time Object Detection, Cambridge Research Laboratory, February 2001 (Dia 13) • Rein-Lien Hsu, Mohamed Abdel-Mottaleb, Anil K. Jain: Face Detection in Color Images, IEEE (Dia 14) • R. Brunelli, T. Poggio, “Face Recognition through Geometrical Features”, Istituto per la Ricerca Scientifica e Tecnologiea, Trento, Italy (Dia 11) • Laurenz Wiskott, Jean-Marc Fellous, Norbert Krüger, „Face Recognition by Elastic Bunch Graph Matching”, Institute for Neural Computation Ruhr-University Bochum, Germany 1999 (Dia 11) • M. Pötzsch, „Filters/ Wavlets”, Ruhr Universität Bochum (Dia 11) • Matthew Turk, Alex Pentland “Eigenfaces for Recognition” Journal of Cognitive Neursience. Vol3. No. 1. 71-86, 1991 (Dia 12, 16-18) • Santiago Serrano, „Eigenface Tutorial”, Drexel University (Dia 16-18) • Michael Isard and Andrew Blake, Contour tracking by stochastic propagation of conditional density, Proc. European Conf. on Computer Vision, vol. 1, pp. 343--356, Cambridge UK, (1996) (Dia 21) Kövér Tibor & Vígh Dénes - MYRA Arcdetektáló és Arcfelismerő Rendszer