David Antonio Gómez Jáuregui Rapporteurs: Bill TRIGGS Frédéric LERASLE

1. David Antonio Gómez Jáuregui Rapporteurs: Bill TRIGGS Frédéric LERASLE Examinateurs: Rachid DERICHE André GAGALOWICZ Directrice: Bernadette DORIZZI Encadrant: Patrick HORAIN Soutenance de thèse pour obtenir le grade de Docteur de Télécom SudParis(ED S&I - UEVE)Acquisition 3D des gestes par vision artificielle et restitution virtuelle

2. Application:Environnements Virtuels Collaboratifs (EVCs) • Animation des avatars prédéfinie. • Menus difficiles à gérer. • La perception des gestes est amoindrie. David Gomez

3. Capteurs pour l’acquisition 3D des gestes • Difficiles à Étalonner !! Optique Magnétique Mécanique Encombrants !! Très chers !! Centralesinertielles David Gomez

4. Acquisition 3D des gestes par vision monoscopique en temps-réel (Marques Soares et al., 2004) • Temps-réel • Sans marqueurs • Utilisation d’une webcam • PC grand public • avec puissance variable David Gomez

5. Difficultés • Manque d’information de profondeur • Grand nombre de degrés de liberté • Occlusions des parties du corps • Plusieurs vêtements • Proportions du corps différentes • Des mouvements imprédictibles • Environnements complexes David Gomez

6. Contribution de la thèse • Améliorer la robustesse et la précision de l’acquisition 3D des gestes par vision monoculaire en temps réel. • Des analyses expérimentales sont effectuées afin de démontrer l’amélioration des résultats en temps réel. • Adaptation à la plateforme. David Gomez

7. Plan de l’exposé • Travaux antérieurs. • Notre approche pour l’acquisition 3D des gestes. • Recalage sur les régions et les contours. • Filtrage particulaire en temps réel avec heuristiques. • Démonstration du système. • Conclusions et perspectives David Gomez

8. Travaux antérieurs: état de l’art de l’acquisition 3D des gestes par vision artificielle

9. Caractéristiques d’image • La couleur (Broekhuijsen et al., 2006), (Fontmarty et al., 2006), (Bernier et al, 2009) • Les silhouettes (Deutscher et al., 2005), (Agarwal et al., 2006), • Les contours (Noriega et al., 2007), (Ramanan et al., 2003) • Le mouvement (Sminchisescu et al., 2001), (Bregler et al., 2004) (Howe, 2006) (Sminchisescu et al, 2001) David Gomez

10. Estimation de la pose 3D Deux approches (Poppe, 2007) : • Génératives:recalent un modèle 3D du corps en minimisant un coût d’association. • Estimation Top-down (Delamarre et al., 2001) , (Sminchisescu et al., 2002) • Estimation Bottom-up (Hua et al., 2007), (Noriega et al., 2007) • Discriminatives:classer la pose 3D directement à partir des images. • Apprentissage d’un mapping(Agarwal and Triggs, 2006) • A partir des exemples. (Toyama et al., 2002), (Stenger et al., 2003) David Gomez

11. Modélisation probabiliste du mouvement humain • Haute dimensionnalité • Clustering des poses (Caillete et al. 2005) • Faible dimensionnalité • PCA (Rius et al., 2009) • Processus gaussiens (GPLVM, GPDM) (Urtasun et al., 2006) (Urtasun et al., 2006) David Gomez

12. Limitations des travaux antérieurs pour l’acquisition 3D des gestes  La plupart des approches restent éloignées du temps réel.  Besoin de plusieurs caméras (approches multi-vues).  Peu d’évaluations quantitatives.  Parfois limités à quelques activités spécifiques (marcher, courir, swing pour le golf). David Gomez

13. Notre approche pour l’acquisition 3D des gestes par vision monoculaire en temps réel

14. Notre approche pour l’acquisition des gestes Recaler un modèle 3D articulé de la moitié supérieure du corps humain sur des séquences vidéo Vecteur de paramètres de la pose du modèle : 6 paramètres globaux (position & orientation) 17 angles d’articulations David Gomez

15. primitives primitives Approche : recalage 3D / 2D Evaluation du recalage Contraintes biomécaniques Optimisation du recalage David Gomez

16. Implémentation: étape d’initialisation David Gomez

17. Recalage sur les régions et recalage sur les contourspour l’acquisition 3D des gestes en temps réel par vision monoscopique

18. Évaluation du recalage :taux de non recouvrement (Ouhaddi, 1999) ? • où : • m= nombre de classes de couleur • Ac= pixels classe c(vidéo segmentée) • Bc= pixels classe c(modèle projeté) • q= paramètres articulatoires David Gomez

19. Recalage sur les régions :Avantages et inconvénients  Robustesse à l’initialisation Un recouvrement partiel suffit  Précision limitée Pixels des contours peu nombreux par rapport aux pixels intérieurs David Gomez

20. Recalage sur les contours:Distance résiduelle entre contours ? où : DRC= distance résiduelle entre contours Icd = carte de distance aux contours pi = point de contour occultant N = nombre des points de contours occultants David Gomez

21. Précision du recalage sur les contours ☺ Contours → Recalage plus précis Modèle recalésur contours Modèle recalésur régions David Gomez

22. Contrainte du temps-réel • Temps réel  temps de calcul limité (< 100 ms par image)  nombre d’itérations limité →  précision  • Objectif: compromis entre les deux caractéristiques (région colorées et contours) en fonction du nombre d’itérations disponibles. • Evaluation du résultat: • La robustesse: • nombre de décrochages: erreur résiduelle > seuil • La précision de la pose 3D • proximité à la vérité terrain David Gomez

23. Analyse expérimentale Expérimentation sur plusieurs séquences vidéo avec divers gestes GRETA Pelachaud et al. David Gomez

24. ~200 Taux de non recouvrement (Décrochages) David Gomez

25. Analyse expérimentale de la robustesse • Recalage sur les régions • converge plus vite • plus robuste (après 200 itérations) • Recalage sur les contours • plus précis  Combien d’itérations faut-il allouer à chaque étape afin d’avoir la meilleure précision en temps réel? David Gomez

26. Evaluation de la précision de la pose estimée où : D(x,x̃) = erreur résiduelle de la pose 3D xm = coordonnée 3D (vérité terrain) xm= coordonnée 3D (pose estimée) M= nombre d‘articulations David Gomez

27. Modélisation de l’erreur résiduelle 2D David Gomez

28. Compromis en temps réel Répartition optimale du nombre d’itérations  Adaptation automatique à la puissance de calcul disponible David Gomez

29. Filtrage particulaire en temps réel avec heuristiques pour l’acquisition 3D des gestes par vision monoscopique

30. Ambigüités des images monoculaires Plusieurs poses 3D peuvent coïncider avec la même observation 2D David Gomez

31. Suivi avec plusieurs hypothèses • Filtrage particulaire: Approches de Monte-Carlo séquentielles  Flexibles, parallélisables, faciles à implémenter et à modifier David Gomez

32. Filtrage particulaire particule représentant un état du système poids associé à chaque particule en fonction des mesures. • Représentation de la f.d.p. par un ensemble de N particules avec des poids associés: Fonction de vraisemblance: David Gomez

33. Algorithme de filtrage particulaire (Isard and Blake, 1998)  Limitation: très couteux dans des espaces de haut dimensionnalité David Gomez

34. Mise en œuvre du filtrage particulaire David Gomez

35. Filtrage particulaire classique (Isard and Blake, 1998)  Particules mal guidées (200 particules) David Gomez

36. Filtrage particulaire pour l’acquisition 3D des gestes: travaux antérieures • Plusieurs stratégies et améliorations: • Filtrage particulaire partitionné • (MacCormick et al., 2000) • Filtre particulaire avec recuit simulé • (Deutscher et al., 2000) • Echantillonnage avec l’optimisation locale • (Cham et al., 1999), (Sminchisescu and Triggs, 2001) • Inférence analytique • (Lee et al., 2002) • Echantillonnage déterministe • (Saboune et Charpillet, 2005) David Gomez

37. Notre approche du filtrage particulaire pour l’acquisition 3D des gestes • Limitations des approches antérieures:  Eloignées du temps réel.  Deux ou plusieurs caméras. • Notre approche:nouvelles heuristiques à la méthode de CONDENSATION pour guider les particules dans un espace de grande dimension : Dimension 20 : nombre d’angles articulatoires  En temps-réel → 100 à 500 particules  En traitant les ambigüités 3D / 2D David Gomez

38. Limitation du rééchantillonnage probabiliste • Utilisation des poids comme probabilités d’occurrence des particules (Gordon, 1993). • Propagation de particules avec des poids faibles  Temps de calcul limité → pas assez de particules • Solution : rééchantillonnage déterministe pour propager uniquement les particules avec des poids importants. Prediction Measurement Resampling David Gomez

39. Rééchantillonnage déterministe par poids • Particules avec poids faibles → pas d’enfant • Particules avec poids forts → famille de particules David Gomez

40. Rééchantillonnage déterministe: contribution à la précision 3D et robustesse • Précision réduite par rapport • au nombre d’itérations • Réduction du nombre de • décrochages. David Gomez

41. Limitation de la prédiction • Échantillonnage aléatoire de tous les paramètres à chaque instant.  Les particules n'explorent pas l'espace d‘état de manière efficace. • Solution: appliquer la diffusion aléatoire uniquement aux parties du corps qui ont bougé d’une trame à l’autre. Prediction Measurement Resampling David Gomez

42. Échantillonnage partitionné basée mouvement Détection de mouvement Echantillonnage partitionné David Gomez

43. Échantillonnage partitionné basée mouvement: contribution à la précision 3D et robustesse • Amélioration de la précision • pour les gestes avec du • mouvement fronto parallèle • Amélioration de la robustesse: • meilleure performance sur • les gestes avec du mouvement • fronto parallèle David Gomez

44. Limitation de la prédiction • Échantillonnage aléatoire:  Grand nombre de particules pour explorer l’espace d’état. • Solution: optimisation locale pour guider de façon déterministe les groupes de particules vers les minimums. Prediction Measurement Resampling David Gomez

45. Prédiction avec l’optimisation locale et échantillonnage aléatoire • Grands groupes → descente du simplex • Petits groupes → échantillonnage aléatoire David Gomez

46. Prédiction avec l’optimisation locale: contribution à la précision 3D et robustesse • Pas d’amélioration de la précision: • l’optimisation locale ne peut • pas gérer les ambigüités 3D / 2D  Amélioration du recalage 2D  Pas d’amélioration de la précision 3D David Gomez

47. Limitation de la prédiction dans les images monoculaires • Plusieurs poses 3D peuvent générer la même projection 2D (Ambigüités).  La sélection de la mauvaise pose 3D conduit aux décrochages. • Solution: générer analytiquement plusieurs hypothèses qui donnent la même projection (Sminchisescu and Triggs 2003). Prediction Measurement Resampling David Gomez

48. Echantillonnage par sauts-cinématiques David Gomez

49. Echantillonnage par sauts-cinématiques: contribution à la précision 3D et robustesse  Pas d’amélioration significative  Amélioration de la robustesse: meilleure performance sur les gestes avec du mouvement vers la profondeur David Gomez

50. Limitation du suivi de la pose 3D dans des image monoculaires  Les angles articulatoires ne permettent pas de modéliser l’incertitude de la profondeur. • Solution: un paramétrage qui permet de séparer l’incertitude de la profondeur et l’incertitude dans le plan image. Prediction Measurement Resampling David Gomez