Auto-Calibrage à partir de Deux Vues et de la Projection d’un Motif Lumineux

1. Auto-Calibrage à partir de Deux Vues et de la Projection d’un Motif Lumineux Thierry Molinier> bismo77@yahoo.fr David Fofi> d.fofi@iutlecreusot.u-bourgogne.fr Le2i UMR CNRS 5158Université de Bourgogne12, rue de la Fonderie71200 Le Creusot (France)http://www.le2i.com

2. Contexte • Etude et conception d’un capteur de vision en lumière structurée imperceptible. • Utilisation du capteur dans le cadre d’une stratégie de vision active. 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Objectif • Auto-calibrage du capteur et reconstruction 3D dans un espace métrique. • Plaquage des textures sur les surfaces reconstruites en une seule prise de vue. • Etude des séquences « imperceptibles », segmentation et fusion des images.

3. Lumière structurée imperceptible 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

4. Caméra 1 : synchronisée à la projection du premier motif Caméra 2 : Long temps d’intégration Scène Principe Un motif lumineux et son complémentaire sont projetés à haute fréquence sur la scène et observés par deux caméras : la première synchronisée sur la projection du premier motif, la seconde observant la scène en continue avec un long temps d’intégration. 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

5. Motif + = Motif complémentaire Motif résultant Si la fréquence de projection dépasse la Fréquence Critique de Fusion (FCF ≈ 75 Hz), le motif et son complémentaire sont visuellement intégrés dans le temps. Le résultat pour l’œil (et pour la seconde caméra en ajustant son temps d’intégration) est une illumination homogène. 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

6. Avantages • Signal non-invasif : le motif est invisible à l’œil. • Le capteur fournit les informations de couleur et de texture, contrairement aux capteurs de vision en lumière structurée classique. • Calcul du flot optique possible (caméra 2) dans le cas d’un capteur en mouvement (impossible dans le cas classique : perte des points 3D). 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Contraintes • Capteur hétérogène : 2 caméras et 1 projecteur, aux paramètres intrinsèques généralement différents. • Limité à 3 vues (1 projection + 2 images). Un déplacement du projecteur équivaut à une perte des points 3D. • Mise en correspondance entre l’image 2 et le motif ?

7. VIDEO-PROJECTEUR CAMERA 2 CAMERA 1 Un exemple de capteur trinoculaire 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

8. Méthode 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

9. Le tenseur trifocal 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

10. Définition • Cube matriciel 3x3x3 • Décrit la géométrie épipolaire pour trois vues comme la matrice fondamentale le fait pour deux vues. • Calcul (18 ddl et 27 éléments) • Contraintes épipolaires : relations de tri-linéarité 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

11. Tri-linéarités 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

12. Méthodes d’estimation • Méthode simple: solution directe linéaire • Méthode itérative • Méthode minimale : 6 points 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

13. Calcul pratique • Hors-ligne • Un motif est projeté continûment • Les deux caméras perçoivent le motif : la mise en correspondance est cette fois possible entre le motif et l’image 2 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

14. Auto-calibrage 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

15. Repère du monde z y x Axe optique Repère image (u0, v0) Repère rétinien x z Repère de la caméra y Modèle caméra/projecteur Paramètres extrinsèques 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Paramètres intrinsèques

16. Géométrie affine Géométrie métrique Géométrie projective 15 ddl 7 ddl conic absolu angles, rel.dist. 12 ddl Plan à l’infini parallèlisme Principe de l’auto-calibrage • Rappel : du tenseur on extrait les matrices projectives • 2 méthodes : itérative et intuitive • 3 étapes (stratification) 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

17. Mise en équation 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Où K est la matrice de calibration (paramètres intrinsèques) et vT est le plan de l’infini. COMMENT ESTIMER K et vT ????

18. est une conique imaginaire dans le plan , de formule ou Son image est reliée à la matrice des paramètres intrinsèques K, puisqueest invariante aux mouvements rigides (rotation + translation) : elle ne dépend donc que de K ! Conique et quadrique absolues 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

19. Le dual de la conique absolue Le dual de la quadrique absolue*de code la conique absolueet le plan 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

20. Mise en équation 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

21. Contraintes sur  1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion #constraints hypothèse contrainte type

22. Résultats expérimentaux • Données de synthèse non bruitées, puis bruitées : - Validité du tenseur - Erreurs dans les espaces projectif & métrique • Travaux en cours : - Robustesse des algorithmes - Expérimentations sur données réelles 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

23. Matrice fondamentale Tenseur trifocal Tenseur trifocal 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Résultats obtenus à partir de données simulées non-bruitées.

24. Tenseur trifocal 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

25. Reconstruction projective 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

26. Reconstruction projective 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

27. Distance focale 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

28. Objet original Objet reconstruit Reconstruction métrique 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

29. Objet original Objet reconstruit Reconstruction métrique 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion

30. Reconstruction métrique bruitée 1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion Même scène que précédemment : quand le bruit devient trop grand, l’algorithme de reconstruction dégénère.

31. Conclusion • Méthode d’auto-calibrage à partir de trois vues hétérogènes validée. • Robustesse pour la retro-projection • Ajout de contraintes dans les algorithmes  1. Introduction 2. Lumière Structurée Imperceptible 3. Tenseur Trifocal 4. Auto-Calibrage 5. Résultats Expérimentaux 6. Conclusion • Rendre les méthodes de résolution plus robustes à chaque étape • Expérimentations avec le capteur réel • Segmentation des images • Plaquage des textures sur les surfaces reconstruites 

32. Merci de votre attention Des questions ?