1 / 127

CONTENU DU COURS

CONTENU DU COURS. CONTENU DU COURS. Reconnaissance biométrique: A.1 Un système généralisé: étapes de traitement évaluation et comparaison des performances fusion multimodale A.2 État de l’art en reconnaissance biométrique:

marlie
Download Presentation

CONTENU DU COURS

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. CONTENU DU COURS SYS828: Systèmes biométriques Éric Granger

  2. CONTENU DU COURS • Reconnaissance biométrique: A.1 Un système généralisé: • étapes de traitement • évaluation et comparaison des performances • fusion multimodale A.2 État de l’art en reconnaissance biométrique: • systèmes modernes pour la reconnaissance à partir de la signature, du visage et de la voix • survol des technologies de pointe SYS828: Systèmes biométriques Éric Granger

  3. CONTENU DU COURS Système généralisé SYS828: Systèmes biométriques Éric Granger

  4. Sommaire – Section A.2 A.2État de l’art en reconnaissance biométrique: • Reconnaissance de visages • Visages dans des images statiques • Visages dans des séquences vidéos • Performance et défis SYS828: Systèmes biométriques Éric Granger

  5. A.2(1) Reconnaissance de visages Système simplifié – reconnaissance de visages SYS828: Systèmes biométriques Éric Granger

  6. A.2(1) Reconnaissance de visages SYS828: Systèmes biométriques Éric Granger

  7. A.2(1) Reconnaissance de visages Pourquoi le visage? • Le visage est un centre de communications personnel pour l’humain, permettant: • de transporter l’identité de l’individu • de reconnaitre la parole via une lecture précise des lèves • d’indiquer les émotions à travers des expressions • Pertinence pour plusieurs domaines d’applications: • acquisition passive (non-intrusif vs. l’empreinte, l’iris, etc.) • une interface naturelle homme-machine (réalité virtuelle, etc.) • Disponibilité et maturité de plusieurs technologies SYS828: Systèmes biométriques Éric Granger

  8. A.2(1) Reconnaissance de visages Applications typiques SYS828: Systèmes biométriques Éric Granger

  9. A.2(1) Reconnaissance de visages Applications – contrôle d’accès • SmartGate de Cognitec:système de contrôle d’accès aux aéroports int’l en Australie et en Nouvelle Zélande • MagicGate de Samsung: système de contrôle pour verrouiller les portes avec la technologie ‘Face Verification’ SYS828: Systèmes biométriques Éric Granger

  10. A.2(1) Reconnaissance de visages Applications – divertissement • Blanz et Vetter: modèles morphologique 3D de visages permet manipulation d’images SYS828: Systèmes biométriques Éric Granger

  11. A.2(1) Reconnaissance de visages Applications – divertissement • Google Picasa et Microsoft Windows Live Gallery: gestion d’albums de photos numériques SYS828: Systèmes biométriques Éric Granger

  12. A.2(1) Reconnaissance de visages Applications – vidéosurveillance • CrossMatch Technologies • L1 Identity Solutions SYS828: Systèmes biométriques Éric Granger

  13. A.2(1) Reconnaissance de visages Taxonomie des environnements Type 0: coopératif Type 1: semi-contrait Type 2: non-contraint (free-flow, one-at-time) Type 3: non-contraint (free-flow, many-at-time) Type 4: extérieurs (non-contrainte – illimitation et structure) Type 1 Type 3 Type 2 SYS828: Systèmes biométriques Éric Granger

  14. A.2(1) Reconnaissance de visages SYS828: Systèmes biométriques Éric Granger

  15. A.2(1) Reconnaissance de visages SYS828: Systèmes biométriques Éric Granger

  16. A.2(1) Reconnaissance de visages Défis techniques particuliers SYS828: Systèmes biométriques Éric Granger

  17. A.2(1) Reconnaissance de visages Défis techniques particuliers SYS828: Systèmes biométriques Éric Granger

  18. A.2(1) Reconnaissance de visages Défis techniques particuliers • On veut dissocier des visages semblables – selon la variance inter-classe (entre individus) • Mais accommoder la variance intra-classe (pour un individu) selon: • pose et expressions • illumination • accessoires (e.g., lunettes) • vieillissement par rapport aux modèles • occlusion SYS828: Systèmes biométriques Éric Granger

  19. A.2(1) Reconnaissance de visages Défis techniques particuliers • Variabilité intra-classe: SYS828: Systèmes biométriques Éric Granger

  20. A.2(1) Reconnaissance de visages Défis techniques particuliers • Impact du vieillissement et illumination: (vérification de visages statiques, FRVT2000) SYS828: Systèmes biométriques Éric Granger

  21. A.2(1) Reconnaissance de visages Inspiration du système humain SYS828: Systèmes biométriques Éric Granger

  22. A.2(1) Reconnaissance de visages Inspiration du système humain • Perception de visages par machines: à partir de profiles géométriques, caractéristiques complexes, etc. (Galton, 1888) • Perception des visages par humains: études en psychophysique/neuroscience (Darwin, 1872) • Conception de systèmes: pour émuler la reconnaissance humaine des visages (Bruner et Tagiuri, 1954) (Bledoe, 1964) SYS828: Systèmes biométriques Éric Granger

  23. A.2(1) Reconnaissance de visages Inspiration du système humain • 1970s: conception de systèmes de reconnaissance de visage statiques en 2D (Kelly, 1970) • 1990s: beaucoup d’activité due aux avancements technologiques • Recherche active dans 4 disciplines connexes: • psychologie / neuroscience: études du système de perception humain • traitement image/vidéo: prétraitement, extraction de caractéristiques, transformées • reconnaissance de formes: classification • vision informatique: interprétation 2D et 3D SYS828: Systèmes biométriques Éric Granger

  24. A.2(1) Reconnaissance de visages Inspiration du système humain Q1: la perception humaine des visages est-elle le résultat d’un analyse global (holistique) ou local (traits)? • global –analyse préliminaire et grossière • locale – analyse plus fine • système hybrides qui exploitent les deux niveaux Q2:la reconnaissance de visages – un processus dédié ou identique à la reconnaissance des autres objets? • on favorise plutôt l’information holistique SYS828: Systèmes biométriques Éric Granger

  25. A.2(1) Reconnaissance de visages Inspiration du système humain • Effet d’inversion du visage: SYS828: Systèmes biométriques Éric Granger

  26. A.2(1) Reconnaissance de visages Inspiration du système humain • Effet d’inversion du visage: SYS828: Systèmes biométriques Éric Granger

  27. A.2(1) Reconnaissance de visages Inspiration du système humain • Effet d’inversion du visage: SYS828: Systèmes biométriques Éric Granger

  28. A.2(1) Reconnaissance de visages Inspiration du système humain • Visages inversés: Illusion de Thatcher - indique une interaction entre les 2 niveaux de traitement (local et global) SYS828: Systèmes biométriques Éric Granger

  29. A.2(1) Reconnaissance de visages Inspiration du système humain Q3: Existe t-il un ordre d’importance dans les caractéristiques du visage? • ranking: yeux, nez, bouche, cheveux et forme • rôle de l’esthétique • assigner différents poids aux caractéristiques? Q4: La reconnaissance est-elle dépendante de la vue du visage? • notre mémoire des individus est très dépendante des vues • gestion du problème des vues multiples? SYS828: Systèmes biométriques Éric Granger

  30. A.2(1) Reconnaissance de visages Inspiration du système humain Q6: Quel est l’effet de la lumière? • les visages dans des photos négatifs sont plus difficiles à reconnaitre • impact du renversement de la direction de lumière • importance de dissocier la forme de l’ombrage? Q7: Quel est le rôle du mouvement dans la reconnaissance? • plus facile de reconnaitre un visage lorsqu’il y a mouvement, surtout si l’individu est connu • favoriser la reconnaissance à partir de séquences d’images? Q8: Quel est le rôle de la race, le sexe, et la familiarité? • nécessité d’un système adaptatif? SYS828: Systèmes biométriques Éric Granger

  31. A.2(1) Reconnaissance de visages Inspiration du système humain • Photo négative: SYS828: Systèmes biométriques Éric Granger

  32. Sommaire – Section A.2 A.2État de l’art en reconnaissance biométrique: • La reconnaissance de visages • Visages dans des images statiques • Visages dans des séquences vidéos • Performance et défis SYS828: Systèmes biométriques Éric Granger

  33. A.2(2) Visages dans les images Segmentation de visages • Objectif – détecter et localise l’emplacement de tous les visages dans un image 2D SYS828: Systèmes biométriques Éric Granger

  34. A.2(2) Visages dans les images Segmentation de visages • Défis techniques spécifiques: • complexité de calcul pour le traitement temps réel • taux d’erreur (FAR et FRR): • pose: frontal, profile, différents angles, etc. • présence ou absence de composantes structurels: moustache, lunettes, etc. • expressions • occlusion par autres objets • position: orientation, rotation, échelle • conditions d’acquisition: illumination et camera SYS828: Systèmes biométriques Éric Granger

  35. A.2(2) Visages dans les images Segmentation de visages • Approches avant ~1995: segmentation d’un seul visage en environnements contrôlés simples • compare au prototype (‘template’) de visage • prototype déformable basé sur les caractéristiques • exploitation de connaissance: intensité des pixels de peau • Approches plus récentes (~ 15 ans): segmentation de n visages en environnements complexes • entrainement de classificateur à 1- ou 2-classes avec plusieurs d’échantillons + et – • méthodes à vues multiples • recherche de traits discriminants et invariantes SYS828: Systèmes biométriques Éric Granger

  36. A.2(2) Visages dans les images Segmentation de visages • Méthodes basées sur les connaissances:(locale, top-down) • encode les connaissance de ce qui constitue un visage • décrit les relations entre traits de visages • Méthodes basées sur les prototypes: (globale, templatematching) • compare avec des prototypes de visages au complet ou de parties de visages • Méthodes basées sur les traits invariants:(locale, bottom-up) • tente d’isoler les traits structurelles invariants d’un visage, même si la pose, la vue et la lumière varient • Méthodes basées sur l’apparence: (globale, ML-PR) • compare avec des modèles appris implicitement, à partir d’un ensemble représentatif d’images SYS828: Systèmes biométriques Éric Granger

  37. A.2(2) Visages dans les images Segmentation de visages SYS828: Systèmes biométriques Éric Granger

  38. A.2(2) Visages dans les images Segmentation de visages • Méthodes basées sur les connaissances: • approche heuristique ‘top-down’: • on représente un visage selon un ensemble de règles qui est codé manuellement par un expert • règle ≡ la description de traits d’un visage, et des relation entre ceux-ci • ces règles guident le processus de recherche • Exemples de règle: • le centre d’un visage a des valeurs d’intensité uniformes • le visage a deux yeux qui sont symétriques entre eux, un nez et une bouche • la distance et la position relative des traits SYS828: Systèmes biométriques Éric Granger

  39. A.2(2) Visages dans les images Segmentation de visages • Exemple – Approche hiérarchique à base de règles: [Yang et Huang, 1994] • niveau 1: (résolution grossière) applique la règle ‘le centre d’un visage a 4x4 cellules avec un intensité uniforme’ pour trouver les candidats • niveau 2: normalisation local par histogramme suivi d’une détection de contours pour les candidats • niveau 3: (résolution fine) recherche les caractéristiques de bouche et yeux pour validation SYS828: Systèmes biométriques Éric Granger

  40. A.2(2) Visages dans les images Segmentation de visages • Exemple – Approche hiérarchique à base de règles: [Yang et Huang, 1994] • on détecte un visage en cherchant des pics d’intensité dans les profiles horizontaux et verticaux SYS828: Systèmes biométriques Éric Granger

  41. A.2(2) Visages dans les images Segmentation de visages SYS828: Systèmes biométriques Éric Granger

  42. A.2(2) Visages dans les images Segmentation de visages • Méthodes basées sur les prototypes: • on compare I avec un {prototypes} qui est: • prédéfini: basés sur les contours ou régions • déformable: selon les contours faciales • chaque prototype est paramétrisé manuellement ou par fonctions (aucun entrainement) • exploite des mesures de corrélation pour localiser les visages SYS828: Systèmes biométriques Éric Granger

  43. A.2(2) Visages dans les images Segmentation de visages • Exemple – Point Distribution Model: [Lantis et al., 1995] • prototype: forme moyenne dérivée des 68 pts d’encrages pour un {échantillons} SYS828: Systèmes biométriques Éric Granger

  44. A.2(2) Visages dans les images Segmentation de visages SYS828: Systèmes biométriques Éric Granger

  45. A.2(2) Visages dans les images Segmentation de visages • Approches à traits invariants: • approche ‘bottom-up’ basée sur caractéristiques: • détecter les traits de visages à bas niveau en premier (yeux, bouche, nez, etc.) • explorer le contour, l’intensité, la forme, etc... • mesurer des traits qui sont discriminants et invariants à la pose, lumière, etc. • construire un modèle statistique du visage pour décrire la relation entre ces traits • vérification de l’existence d’un visage dans ce modèle SYS828: Systèmes biométriques Éric Granger

  46. A.2(2) Visages dans les images Segmentation de visages • Exemple – Regroupement de caractéristiques: [Yow et Cipolla, 1990] [Amitet al., 1997] • appliquer un filtre Gaussien pour chercher les points d’intérêt • regrouper en régions les contours près de points d’intérêt • évaluer les traits et régions avec un réseau Bayesien modèle de visage et composants SYS828: Systèmes biométriques Éric Granger

  47. A.2(2) Visages dans les images Segmentation de visages • Regroupement de caractéristiques: • Modèles: chaque trait de visage est représenté comme paires contours orientés • Traitement: on cherche de points d’intérêt, et un détecteur de contours trouve des traits • pour détecter un visage, on combine les preuves avec un réseau Bayesien SYS828: Systèmes biométriques Éric Granger

  48. A.2(2) Visages dans les images Segmentation de visages SYS828: Systèmes biométriques Éric Granger

  49. A.2(2) Visages dans les images Segmentation de visages • Méthodes basées sur l’apparence: • entrainer un classificateur à 1- ou 2-classes avec les échantillons positifs (et négatifs) • classificateurs populaires: • réseau de neurones (MLP-BP) • Support Vector Machine (SVM) • Naïve Bayes • modèle de Markov caché (HMM) • mélange de Gaussiennes (GMM) SYS828: Systèmes biométriques Éric Granger

  50. A.2(2) Visages dans les images Segmentation de visages • Exemple – Système neuronique: [Rowley and Kanade, 1998] • détection: on entraine plusieurs réseaux MLP-BP avec différentes résolutions d’échantillons + et – • fusion: on entraine un réseau d’arbitration pour combiner les résultats de plusieurs réseaux • les détections qui chevauchent sont fusionnées dans un autre réseau • défi: doit optimiser l’architecture de réseau (nombre de neurones cachées, de réseaux, etc.) et les paramètres SYS828: Systèmes biométriques Éric Granger

More Related