Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

1. Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG Président du jury : J. Crowley Rapporteurs: D. Aubert J-M. Lavest Examinateurs: F. Devernay S. Cornou R. Horaud

2. Le contexte Le centre de recherche et développement de Renault • Centre de recherche et développement Renault : ~12 000 personnes • Direction de la recherche : ~ 120 personnes • Electronique pour l’aide à la conduite : ~ 20 personnes

3. La problématique Les différentes prestations d’aide à la conduite • Des prestations intelligentes pour améliorer la sécurité et le confort • Régulateur de distance (ACC) • Détection de franchissement de marquage routier (LaneKeepingAssist) • Détection anticipée de collision (Collision Warning ou Precrash) http://www.mobileye.com/uploaded/AWSclips/2CriticalSeconds.22MB.mpg http://www.gavrila.net/Media_Coverage/media_coverage.html Gavrila et al [GBS05]

4. La problématique Les besoins • Connaître l’état du véhicule • Vitesse des roues, GPS, centrale inertielle … • Percevoir l’environnement du véhicule • RADAR, LIDAR, Sonar

5. La problématique Les besoins • Connaître l’état du véhicule • Vitesse des roues, GPS, centrale inertielle … • Percevoir l’environnement du véhicule • RADAR, LIDAR, Sonar • Caméra • Caméra • Semble avoir des performances similaires • Coût attractif • Peut remplacer plusieurs capteurs

6. La problématique Les objectifs de la thèse • L’utilisation de caméras pour percevoir le monde est un domaine largement couvert, mais l’emport du système dans un véhicule de série soulève de nouvelles problématiques. • Identifier ces problèmes et les solutions possibles • Application exemple : régulateur de distance (ACC) • Trois fonctions primordiales : • Le calibrage • La détection d’obstacles • La mesure de vitesse relative

7. Plan de la présentation • Modèles mathématiques • Calibrage • Détection d’obstacles • Mesure de vitesse 3-D • Conclusions

8. Modèles mathématiques Modélisation d’une caméra Un objet 3-D caméra Plan image Centre optique

9. Modèles mathématiques Modélisation d’une caméra Ligne de vue rayon optique Un objet 3-D Plan image Objet projeté Centre optique

10. Modèles mathématiques Modélisation d’une caméra

11. Modèles mathématiques Modélisation d’une caméra inconnu connu

12. Modèles mathématiques Reconstruction 3-D connu inconnu ?

13. Modèles mathématiques Reconstruction 3-D connus inconnu

14. I. calibrage • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Quantifier la qualité du système embarqué

15. Calibrage Objectif • Pour qu’un système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues.

16. I. Calibrage 1. Objectif et principe ≠

17. I. Calibrage 1. Objectif et principe • Connaître la fonction de projection P connu inconnu connu • Distance focale • Taille des pixels • Nombre de pixels • Distorsions • …

18. I. Calibrage 1. Objectif et principe • Points 3-D connus : une mire connu

19. I. Calibrage 1. Objectif et principe • Acquisition d’images de la mire avec le système

20. I. Calibrage 1. Objectif et principe • Extraction des marques fiduciaires connu connu

21. I. Calibrage 1. Objectif et principe • Estimation par optimisation des paramètres p connu connu connu inconnu

22. I. Calibrage 2. Définition de la qualité du calibrage • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Quantifier la qualité du système embarqué

23. I. Calibrage 2. Définition de la qualité du calibrage • Les applications visées (ex : ACC) requièrent : • 15 cm de précision à 3 m de distance • 1.5 m à 30 m de distance (soit 5% de la distance) • Le système doit être conçu pour atteindre ces performances. • La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux.

24. I. Calibrage 2. Définition de la qualité du calibrage • Exemple d’un mauvais calibrage

25. I. Calibrage 2. Définition de la qualité du calibrage • Exemple d’un mauvais calibrage

26. I. Calibrage 2. Définition de la qualité du calibrage • Différence entre le point 3-D réel et estimé : • Dénommée « erreur de reconstruction » • Se mesure en mètres • Du point du vue du constructeur,c’est le critère essentiel de qualitédu système

27. I. Calibrage 2. Définition de la qualité du calibrage • Différence entre les points 2-D observés et les projections du point reconstruit • Dénommée « erreur de reprojection » • Se mesure en pixels • Minimiser cette différence estimportant pour les algorithmes

28. I. Calibrage 3. Les sources d’imprécision • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Respect du modèle • Qualité du calibrage • Variation de la géométrie du capteur au cours du temps • Quantifier la qualité du système embarqué

29. I. Calibrage 3.A. Les sources d’imprécision : le respect du modèle Centre optique Caméra

30. I. Calibrage 3.A. Les sources d’imprécision : le respect du modèle ? Caméra Respect du modèle 1 Pare-brise

31. I. Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

32. I.Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

33. I. Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

34. I. Calibrage 3.C. Les sources d’imprécision : au cours du temps

35. I. Calibrage 3.C. Les sources d’imprécision : au cours du temps Variation des paramètres 5

36. I. Calibrage 4. Quantifier la qualité du système embarqué • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Quantifier la qualité du système embarqué • Respect du modèle • Le calibrage • Au cours du temps

37. I. Calibrage 4. Quantifier la qualité du système embarqué • Les applications visées (ex : ACC) requièrent : • 15 cm de précision à 3 m de distance • 1.5 m à 30 m de distance (soit 5% de la distance) • L’objectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources d’imprécision.

38. I. Calibrage 4.A. Quantifier la qualité du système embarqué : respect du modèle Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec SrikumarRamalingamet Peter Sturm) • Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise.

39. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécisions • Quantifier la qualité du système embarqué • Respect du modèle • Le calibrage • Au cours du temps

40. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • La qualité du système dépend de : • La configuration du système • La mire • Les algorithmes de calibrage • Les erreurs de détection de la mire • Les imperfections de construction de la mire • … • Simuler le processus de calibrage pour tester et évaluer l’influence de tous ces facteurs : • Système complexe rendant la modélisation analytique difficile, • Permet de tester de nombreuses configurations.

41. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire

42. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication

43. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection Paramètres réels

44. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection

45. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage calibrage Paramètres calibrés

46. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection calibrage Paramètres réels

47. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection • Reconstruction calibrage Paramètres calibrés

48. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection • Reconstruction • Evaluation des erreurs de : reconstruction • reprojection calibrage

49. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • Cette méthode par simulation permet de tester : • les différents algorithmes, • les différentes configurations de système et • les différentes mires • Outil d’aide à la conception simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection • Reconstruction • Evaluation des erreurs de : reconstruction • reprojection calibrage

50. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • 6 mm de focale, capteur 1/3’’, • ligne de base 40 cm * Erreur RMS