1 / 122

Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile. Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG. Président du jury : J. Crowley Rapporteurs : D. Aubert J-M. Lavest Examinateurs : F. Devernay

napua
Download Presentation

Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile Présenté par Julien Morat pour obtenir le grade de DOCTEUR DE L’INPG Président du jury : J. Crowley Rapporteurs: D. Aubert J-M. Lavest Examinateurs: F. Devernay S. Cornou R. Horaud

  2. Le contexte Le centre de recherche et développement de Renault • Centre de recherche et développement Renault : ~12 000 personnes • Direction de la recherche : ~ 120 personnes • Electronique pour l’aide à la conduite : ~ 20 personnes

  3. La problématique Les différentes prestations d’aide à la conduite • Des prestations intelligentes pour améliorer la sécurité et le confort • Régulateur de distance (ACC) • Détection de franchissement de marquage routier (LaneKeepingAssist) • Détection anticipée de collision (Collision Warning ou Precrash) http://www.mobileye.com/uploaded/AWSclips/2CriticalSeconds.22MB.mpg http://www.gavrila.net/Media_Coverage/media_coverage.html Gavrila et al [GBS05]

  4. La problématique Les besoins • Connaître l’état du véhicule • Vitesse des roues, GPS, centrale inertielle … • Percevoir l’environnement du véhicule • RADAR, LIDAR, Sonar

  5. La problématique Les besoins • Connaître l’état du véhicule • Vitesse des roues, GPS, centrale inertielle … • Percevoir l’environnement du véhicule • RADAR, LIDAR, Sonar • Caméra • Caméra • Semble avoir des performances similaires • Coût attractif • Peut remplacer plusieurs capteurs

  6. La problématique Les objectifs de la thèse • L’utilisation de caméras pour percevoir le monde est un domaine largement couvert, mais l’emport du système dans un véhicule de série soulève de nouvelles problématiques. • Identifier ces problèmes et les solutions possibles • Application exemple : régulateur de distance (ACC) • Trois fonctions primordiales : • Le calibrage • La détection d’obstacles • La mesure de vitesse relative

  7. Plan de la présentation • Modèles mathématiques • Calibrage • Détection d’obstacles • Mesure de vitesse 3-D • Conclusions

  8. Modèles mathématiques Modélisation d’une caméra Un objet 3-D caméra Plan image Centre optique

  9. Modèles mathématiques Modélisation d’une caméra Ligne de vue rayon optique Un objet 3-D Plan image Objet projeté Centre optique

  10. Modèles mathématiques Modélisation d’une caméra

  11. Modèles mathématiques Modélisation d’une caméra inconnu connu

  12. Modèles mathématiques Reconstruction 3-D connu inconnu ?

  13. Modèles mathématiques Reconstruction 3-D connus inconnu

  14. I. calibrage • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Quantifier la qualité du système embarqué

  15. Calibrage Objectif • Pour qu’un système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues.

  16. I. Calibrage 1. Objectif et principe ≠

  17. I. Calibrage 1. Objectif et principe • Connaître la fonction de projection P connu inconnu connu • Distance focale • Taille des pixels • Nombre de pixels • Distorsions • …

  18. I. Calibrage 1. Objectif et principe • Points 3-D connus : une mire connu

  19. I. Calibrage 1. Objectif et principe • Acquisition d’images de la mire avec le système

  20. I. Calibrage 1. Objectif et principe • Extraction des marques fiduciaires connu connu

  21. I. Calibrage 1. Objectif et principe • Estimation par optimisation des paramètres p connu connu connu inconnu

  22. I. Calibrage 2. Définition de la qualité du calibrage • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Quantifier la qualité du système embarqué

  23. I. Calibrage 2. Définition de la qualité du calibrage • Les applications visées (ex : ACC) requièrent : • 15 cm de précision à 3 m de distance • 1.5 m à 30 m de distance (soit 5% de la distance) • Le système doit être conçu pour atteindre ces performances. • La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux.

  24. I. Calibrage 2. Définition de la qualité du calibrage • Exemple d’un mauvais calibrage

  25. I. Calibrage 2. Définition de la qualité du calibrage • Exemple d’un mauvais calibrage

  26. I. Calibrage 2. Définition de la qualité du calibrage • Différence entre le point 3-D réel et estimé : • Dénommée « erreur de reconstruction » • Se mesure en mètres • Du point du vue du constructeur,c’est le critère essentiel de qualitédu système

  27. I. Calibrage 2. Définition de la qualité du calibrage • Différence entre les points 2-D observés et les projections du point reconstruit • Dénommée « erreur de reprojection » • Se mesure en pixels • Minimiser cette différence estimportant pour les algorithmes

  28. I. Calibrage 3. Les sources d’imprécision • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Respect du modèle • Qualité du calibrage • Variation de la géométrie du capteur au cours du temps • Quantifier la qualité du système embarqué

  29. I. Calibrage 3.A. Les sources d’imprécision : le respect du modèle Centre optique Caméra

  30. I. Calibrage 3.A. Les sources d’imprécision : le respect du modèle ? Caméra Respect du modèle 1 Pare-brise

  31. I. Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

  32. I.Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

  33. I. Calibrage 3.B. Les sources d’imprécision : qualité du calibrage

  34. I. Calibrage 3.C. Les sources d’imprécision : au cours du temps

  35. I. Calibrage 3.C. Les sources d’imprécision : au cours du temps Variation des paramètres 5

  36. I. Calibrage 4. Quantifier la qualité du système embarqué • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécision • Quantifier la qualité du système embarqué • Respect du modèle • Le calibrage • Au cours du temps

  37. I. Calibrage 4. Quantifier la qualité du système embarqué • Les applications visées (ex : ACC) requièrent : • 15 cm de précision à 3 m de distance • 1.5 m à 30 m de distance (soit 5% de la distance) • L’objectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources d’imprécision.

  38. I. Calibrage 4.A. Quantifier la qualité du système embarqué : respect du modèle Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec SrikumarRamalingamet Peter Sturm) • Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise.

  39. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • Objectif et principe • Définition de la qualité du calibrage • Les sources d’imprécisions • Quantifier la qualité du système embarqué • Respect du modèle • Le calibrage • Au cours du temps

  40. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • La qualité du système dépend de : • La configuration du système • La mire • Les algorithmes de calibrage • Les erreurs de détection de la mire • Les imperfections de construction de la mire • … • Simuler le processus de calibrage pour tester et évaluer l’influence de tous ces facteurs : • Système complexe rendant la modélisation analytique difficile, • Permet de tester de nombreuses configurations.

  41. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire

  42. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication

  43. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection Paramètres réels

  44. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection

  45. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage calibrage Paramètres calibrés

  46. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection calibrage Paramètres réels

  47. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection • Reconstruction calibrage Paramètres calibrés

  48. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection • Reconstruction • Evaluation des erreurs de : reconstruction • reprojection calibrage

  49. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • Cette méthode par simulation permet de tester : • les différents algorithmes, • les différentes configurations de système et • les différentes mires • Outil d’aide à la conception simulation • Mire • Erreurs de fabrication • Projection • Erreurs de détection • Calibrage • Echantillonnage de la scène + Projection • Reconstruction • Evaluation des erreurs de : reconstruction • reprojection calibrage

  50. I. Calibrage 4.B. Quantifier la qualité du système embarqué : le calibrage • 6 mm de focale, capteur 1/3’’, • ligne de base 40 cm * Erreur RMS

More Related