Cartographie et Localisation par vision monoculaire

1. Cartographie et Localisation par vision monoculaire Joan Solà et Thomas Lemaire LAAS-CNRS Toulouse, France Séminaire LAAS 29 juin 2006

2. Cartographie et Localisation par vision monoculaire • Fondements du SLAM par vision. Joan Solà • Méthodes retardées. Expériences. Thomas Lemaire • Méthodes immédiats et ses extensions. Perception en vision.Joan Solà • Cartographie plus complexe. Cameras panoramiques.Thomas Lemaire

3. Perception Déplacement Perception Mise en correspondance Estimation et Filtrage Prédiction Mesure Correction SLAM: de l’anglais, Simultaneous Localization And Mapping Exploration: Cartographie et Localisation Correction SLAM

4. SLAM: de l’anglais, Simultaneous Localization And Mapping

5. R 1 2 3 4 5 SLAM: de l’anglais, Simultaneous Localization And Mapping 2 5 157 1 4 3

6. Vision Monoculaire vs. Stereo Fragilité mécanique :problèmes de calibrage Robustesse et compacité Observabilité 3Dà partir du mouvement Observabilité 3D immédiate(à distance limitée)

7. Le problème du monoculaire:Initialisation des Amers • L’approche naïve ? tactuel ? tprecedent tactuel Te

8. Le point 3Dest dedans tprecedent tactuel Te Le problème:Initialisation des Amers • Considération des incertitudes ? tactuel

9. L'idée CLÉE INITIALISATIONretardée ? <Davison 03> ... [Lemaire 05] prenons la voie facile Le derniermembreest facilementincorporé L’approximationinitialeest facile La sélection des membres est facile et sûre Initialisationimmédiate [Kwok 04] [Solà 05]

10. Définition du Rayon Géométrique Remplir l’espace entre rmin et rmax • Avec le nombre minimal de termes • Tout en respectant les contraintes de linéarisation Définir une série géométrique de Gaussiennes 4 r4 3 r3  = i / ri  = ri / ri-1 [ rmin rmax] xR : position de la camera

11. 1 2 Les bénéfices du Rayon Géométrique • Facteur de forme, base géométrique et limites de distance • Le nombre de termes est logarithmique en rmax / rmin: • On obtient des nombres très petits : • Les membres étant Gaussiens, ils sont facilement manipulables avec FKE. [rmin , rmax]   Ng = f( log(rmax / rmin)

12. Comment ça marche La première observation détermine le Rayon Conique

13. Comment ça marche J’approche le Rayon Coniqueavec le Rayon Géométrique Je peux initialiser les membres maintenant : J’obtiens une méthodeimmédiate.

14. Comment ça marche Je me déplace et réaliseune deuxième observation Je peux distinguer les membres dans l’image

15. Comment ça marche Je calcule vraisemblanceset actualise crédibilités C’est comme modifier la forme du rayon

16. Comment ça marche J'élimine les membresinvraisemblables C’est une opération triviale et conservatrice

17. Comment ça marche Avec des méthodesimmédiates je peux corriger la carte SLAM

18. Comment ça marche Je continue...

19. 3 Comment ça marche Et un jour il ne resteraqu’un seul membre. Ce membre est déjà Gaussien! Si je l’initialise maintenant j’ai une méthoderetardée

20. Méthodes retardéesetimmédiates • Plus simples à implémenter. • L’information issue des observations partielles n’est pas utilisée immédiatement. retardées • Plus de difficultés mathématiques et algorithmiques. • Les observations des amers contribuent au SLAM dès le début. immédiates

21. Observabilité: Trajectoires non contraintes min

22. Trajectoires fortement contraintes : Méthodesretardéesetimmédiates immédiates retardées immédiates retardées immédiates min

23. Thomas

24. Méthodesretardéesetimmédiates Champ de vue Champ de vue immédiates retardées retardées immédiates immédiates retardées retardées immédiates immédiates

25. Troisième partie • Aspects mathématiques et algorithmiques pour l’initialisation immédiate • Perception pour le SLAM par vision • Extensions des méthodes: • Objets mobiles dans la scène • Auto-calibrage pour la Stéréo

26. L'algorithme du Partage Fédératif de l’Information (PFI) • Initialiser les membres comme des amers différents dans la même carte SLAM • Lors des observations postérieures : • Actualiser les crédibilités et éliminer les mauvais membres • Effectuer une correction fédérée • Quand il ne reste qu’un membre: • Rien à faire immédiate

27. L'algorithme PFI • La Correction : un moment délicat • Une observation / multiples hypothèses • Si je corrige plusieurs fois : inconsistance • Si je corrige sur la mauvaise hypothèse : divergence immédiate ?

28. {y,R1 } correction sur membre 1 {y,R2} correction sur membre 2 Observation {y, R} … … {y,RN } correction sur membre N Partage de l’Information: Privilège des vraisemblances: Coefficient Fédératifi : L'algorithme PFI • La Correction Fédérée : Partager l’Information • Observation y avec bruit de covariance R : information R-1 • N hypothèses à corriger immédiate

29. Perception : recherche active • Observation initiale d’un amer • Sur un point d'intérêt, point de Harris • Enregistrer une imagette comme descripteur, 15x15 pixels • Observations ultérieures • Projeter tous les amers de la carte sur l’image avec ses ellipses d’incertitude • En sélectionner ceux avec ellipses de majeure surface • Ajuster la taille et rotation de l’imagette selon les informations de profondeur et orientation de l’amer contenues dans la carte • Réaliser une recherche dans l’ellipse par maximum de corrélation • Récupérer le pixel gagnant comme mesure de l’amer

30. L'algorithme PFI

31. Extensions • Détection et suivi d’objets mobiles • Besoin d’observabilité totale : revenir sur la stéréo • Auto-calibrage d’un banc stéréo

32. Thomas