420 likes | 550 Views
Reconstruction 3D par mono vision avec des trajectoires fortement contraintes. Joan Sol à LAAS-CNRS Toulouse, France. Revue du projet PICAS$O 3 novembre 2005. Utilisation du SLAM-FKE. On parle de…. Observabilit é du 3D en vision SLAM par mesures angulaires ( ou SLAM par mono vision )
E N D
Reconstruction 3D parmono vision avec des trajectoires fortement contraintes Joan Solà LAAS-CNRS Toulouse, France Revue du projet PICAS$O 3 novembre 2005
Utilisation du SLAM-FKE On parle de… • Observabilité du 3D en vision • SLAM par mesures angulaires (ou SLAM par mono vision) • Initialisation des Amers • Performances: • FDPs Gaussiennes • Trajectoires fortement contraintes
Contenu • Observabilité en vision: pourquoi je ne fais pas la stéréo? • Un peu de SLAMà observabilité totale • Le Problème de l’initialisation des amers dans le SLAM par mono vision • Le Rayon Géométrique: une représentation efficace de la FDP de la position de l’amer • Méthodes retardées et non retardées • Solution Temps Réel: • L'initialisation par Partage Fédératif de l’Information (PFI)
Observabilité stéréo : angle qui ferme la région Objet proche
Observabilité stéréo Objet lointain Augmenter la base stéréoscopique
Observabilité stéréo Objet lointain Augmenter la base stéréoscopique
Observabilité stéréo Objet lointain Augmenter la précision du banc stéréo
Observabilité stéréo Objet lointain Augmenter la précision du banc stéréo
Observabilité stéréo Objet lointain Augmenter la base et la précision
Observabilité stéréo Objet encore plus loin Problème mécanique: Augmenter la base fait diminuer la précision du banc. Une base longue rend impossibleun calibrage ‘a vie’. Un auto calibrage en ligne serait nécessaire. Ce n’est pas facile. Augmenter la base et la précision
Observabilité stéréo : angle entre mesures : angle qui ferme la région : précision du système capteur n minminn
70 60 50 40 30 20 10 0 Base longue avec auto calibrage Observabilité stéréo Base longue pré calibrée min Base courte
SLAMpar mesuresangulaires SFMStructureFromMotion Et plus loin? Modélisation 3D par vision mono en mouvement 70 60 50 Base longue pré calibrée 40 Modélisation 3Dpar vision stéréo 30 20 10 0
R 1 2 3 4 5 SLAM: de l’anglais, Simultaneous Localization And Mapping 2 5 1 4 3
Le problème du cas angulaire:Initialisation des Amers • L’approche naïve ? tactuel ? tprecedent tactuel Te
Le problème:Initialisation des Amers • Considération des incertitudes ? Le point 3Dest dedans tactuel tprecedent tactuel Te
Le problème:Initialisation des Amers • Les cas Content et Pas Content Peu Content Content Pas Content
L'idée CLÉ INITIALISATIONretardée ? prenons la voie facile Le derniermembreest facilementincorporé L’approximationinitialeest facile La sélection des membres est facile et sûre Initialisationimmédiate
Définition du Rayon Géométrique Remplir l’espace entre rmin i rmax • Avec le nombre minimal de termes • Tout en respectant les contraintes de linéarisation Définir une série géométrique de Gaussiennes 4 r4 3 r3 = i / ri = ri / ri-1 [ rmin rmax] xR : position de la camera
Les bénéfices du Rayon Géométrique • Facteur de forme, base géométrique et limites de distance • Le nombre de termes est logarithmique en rmax / rmin: • On obtient des nombres très petits : • Les membres étant Gaussiens, ils sont facilement manipulables avec FKE. [rmin , rmax] Ng = f( log(rmax / rmin) 1 2
Comment ça marche La première observation détermine le Rayon Conique
Comment ça marche J’approche le Rayon Coniqueavec le Rayon Géométrique Je peux initialiser les membres maintenant : J’obtiens une méthodeimmédiate.
Comment ça marche Je me déplace et réaliseune deuxième observation Je peux distinguer les membres dans l’image
Comment ça marche Je calcule vraisemblanceset actualise crédibilités C’est comme modifier la forme du rayon
Comment ça marche J'élimine les membresinvraisemblables C’est une opération triviale et sure
Comment ça marche Avec des méthodesimmédiates je peux corriger la carte SLAM
Comment ça marche Je continue...
Comment ça marche Et un jour il ne resteraqu’un seul membre. 3 Ce membre est déjà Gaussien! Si je l’initialise maintenant j’ai une méthoderetardée
Trajectoires fortement contraintes : Méthodesretardéesetimmédiates Pas content immédiates Peu Content retardées immédiates Content retardées immédiates min
Méthodesretardéesetimmédiates Champ de vue Champ de vue immédiates retardées retardées immédiates immédiates retardées retardées immédiates immédiates
Méthodes retardéesetimmédiates • Un algorithme naïve • Un algorithme consistent • L’algorithme d’Actualisation en Bloc retardées • L’algorithme multicarte • L’algorithme du Partage Fédératif de l’Information immédiates
L’algorithme multicarte • Initialiser tous les membres comme amers en cartes séparées • Lors des observations postérieures: • Actualiser les crédibilités des cartes et n’éliminer les mauvaises • Réaliser des corrections sur les cartes comme dans SLAM-FKE • Quand il ne reste qu’une carte: • Rien à faire immédiate méthode hors ligne
L'algorithme du Partage Fédératif de l’Information (PFI) • Initialiser les membres comme des amers différents dans la même carte • Lors des observations postérieures : • Actualiser les crédibilités et éliminer les mauvais membres • Effectuer une correction douce fédérée • Quand il ne reste qu’un membre: • Rien à faire immédiate
{y,R1 } {y,R2} … {y,RN } Partage de l’Information: Privilège des vraisemblances: Coefficient Fédératifi : L'algorithme PFI • La Correction Douce Fédérée: Partager l’Information correctionFKE avec membre 1 immédiate correctionFKE avec membre 2 Observation {y, R} … correctionFKE avec membre N
L'algorithme PFIet le Cas Pas Content immédiate
L'algorithme PFIet le Cas Pas Content Vue de oiseau Vue latérale immédiate
L’inclusion de nouvelles bornes Diviser l’image en sous images. Choisir celles ou c’est intéressantd’y inclure une nouvelle borne. Y faire une recherche de pointsde Harris.
Les mesures des bornes Carte: bornes 3D Région de recherche Signature de la borne Maximum decorrélation Stratégie de recherche: Globale à double espace Locale à simple espace Résultat sous pixellique Pixel trouvé: MESURE Projection sur l’image
Conclusions La reconstruction 3D dans des situationsà très faible observabilité est rendu possible. Le mouvement précis de la camera dans la scèneest acquis simultanément. On est en disposition d’y intégrer des objetsmobiles. Pour cela, des hypothèses sur la vitesse de chaque point seront d’abord lancées et postérieurement validées (ou non) et raffinées par les observations.