ADT ArosDyn

1. ADT ArosDyn Analyse robuste de scènes dynamiques complexes par fusion bayésienne de données de capteurs Application à la sécurisation de la conduite automobile http://arosdyn.gforge.inria.fr Responsable : Christian LAUGIER, EPI e-Motion Journées ARC-ADT à Bordeaux, 29 septembre – 1er octobre 2009

2. Contenu • Introduction: • Objectifs, approche • Organisation : • Partenaires, modules, matériels, planning • Détection stéréo-vision • Suivi stéréo • Filtrage, détection et suivi • Conclusion

3. Risque lors de la conduite • Risque de collision lors de la conduite automobile est une notion probabiliste • Connaître ce risque est indispensable pour les voitures de demain

4. Concealed space (“shadow” of the obstacle) BOF Unobservable space Occupancy grid • Continuous Dynamic environment modelling • Gridapproach based on Bayesian Filtering • Estimates Probability of Occupation & Velocity of each cell in a 4D-grid • Application to Obstacle Detection & Tracking + Dynamic Scene Interpretation Free space Occupied space Prediction P( [Oc=occ] | z c) c = [x, y, 0, 0] and z=(5, 2, 0, 0) Sensed moving obstacle Estimation Bayesian Sensor Fusion for “Dynamic Perception” “Bayesian Occupation Filter paradigm (BOF)” Patented by INRIA & Probayes, Commercialized by Probayes [Coué & al IJRR 05]

5. Specification • Variables : • Vk, Vk-1: controlled velocities • Z0:k: sensor observations • Gk: occupancy grid • Decomposition : • Parametric forms : • P( Gk | Z0:k) : BOF estimation • P( Vk | Vk-1 Gk) : Given or learned Description Question Inference Robustness to Temporary OcclusionTracking + Conservative anticipation Parked Vehicle (occlusion) Autonomous Vehicle Thanks to the prediction capability of the BOF, the Autonomous Vehicle “anticipates” the behavior of the pedestrian and brakes (even if the pedestrian is temporarily hidden by the parked vehicle)

6. Modeling (Predicting) the Future • Risk assessment requires to both Estimate the current world state & Predict the most likely evolution of the dynamic environment • Objects motions are driven by “Intentions” and “Dynamic Behaviors”=> Goal + Motion model • Goal & Motion models are not known nor directly observable …. But “Typical Behaviors & Motion Patterns” can be learned through observations

7. Objectifs • Développer un logiciel embarqué d’analyse robuste des scènes dynamiques de conduite automobile : • Fusion bayésienne de données de capteurs de type télémétrique (Lidar) et visuel (Caméra) • Traitement en temps réel des scènes dynamiques complexes pour la détection et le suivi de plusieurs entités en mouvement • Intégrer dans ce logiciel les fonctions de prédiction et évaluation des risques lors de la conduite automobile

8. Vue d’ensemble Stéréovision Laser Odométrie Centrale inertielle Observation dans l’espace de disparité Pré-traitement par SLAM local Grilles observées BayesianOccupancyFilter Fusion / Estimation Mouvement propre Grille estimée FastClusteringTrackingAlgorithm Objets suivis Estimation du risque de collision comme processus gaussien Risque estimé

9. Partenaires • INRIA Grenoble Rhône-Alpes : • e-MOTION • PERCEPTION • PRIMA • SED • INRIA Sophia-Antipolis : • EVOLUTION • Probayes (start-up INRIA) et TME (partenariat avec INRIA et Probayes)

10. Principaux modules e-Motion: M. Yong Probayes: K. Mekhnacha e-Motion: M. Yong, e-Motion / Prima: A. Nègre Evolution: E. Malis Perception: E. Boyer e-Motion: M. Perrollaz Filtrage et fusion, estimation des risques Calibration Tracking ADT ArosDyn C. Laugier, I. Paromtchik Détection et localisation Classification Validation expérimentalle Perception: E. Boyer e-Motion: M. Yong e-Motion / Prima: A. Nègre e-Motion: M. Perrollaz SED: N. Turro, J.-F. Cuniberto e-Motion: M. Yong, I. Paromtchik e-Motion / Prima: A. Nègre e-Motion: M. Perrollaz, Perception: E. Boyer

11. Matériels : véhicules • CyCab équipé d’un lidar IBEO Lux et une centrale inértielle Xsens MTi-G, pour effectuer les tests préliminaires • Toyota Lexus LS600h – une voiture hybride àéquiper avec une caméra stéréo, deux télémètres laser et une centrale inértielle

12. Matériels : capteurs TYZX caméra stéréo monochrome : Aptina MT9V022 CMOS, base de 22cm, HFOV de 62°, profondeur de 1.8-23m, PCI board pour le calcul de disparité en temps réel, Linux drivers IBEO Luxlidar, HFOV de 100°, distances de 0.3-200m, résolution de 4cm et de 0,125-0,5°, avec 4 ou 2 couches de balayage XsensMTi-G 6 DOF Attitude and Heading Reference System, with integrated GPS and static pressure sensor

13. Caméra TYZX Image de gauche Image de disparité (la couleur représente la distance) Image de droite

14. Planning sur trois ans

15. Module « Détection stéréo-vision » (M.Perrollaz - A. Nègre) - “Matching” pour une représentation 3D de la scène - Les pixels “route” sont séparés des pixels “obstacles”

16. Grille d’occupation à partir d’un plan de disparité • Grille d’occupation est calculée directement à partir d’un plan u-disparité • Cela permet un calcul efficace et améliore la gestion d’incertitude Projection au sol avec accumulation Grille d’occupation à partir des données stéréo

17. Détection stéréo-vision

18. Module « Suivi stéréo en temps réel » (E. Malis) • Implementation en ANSI C : • Entrées : images stéréo • Suivi stéréo (version non-optimisée) • Sorties : localisation dans les images et dans l'espace Cartesien • Tests sur des séquences du projet LOVe: • Enrégistrées avec une paire stéréo embarquée

19. Exemple sur séquences LOVe • Image gauche 0 • Image gauche 25 • Image gauche 50 • Image droite 0 • Image droite 25 • Image droite 50

20. Suivi stéréo de piétons

21. Fusion pour le suivi stéréo • Conception du module de fusion en Matlab : • Exemple avec suivi monoculaire • Tests sur des séquences synthétiques • Méthode testée: • Initialisation du suivi visuel à l'aide du capteur inértiel • Correction de la dérivée du capteur inértiel à l'aide du suivi visuel

22. Module « Filtrage, détection et suivi » (Yong Mao) • Pré-traitement des données laser : • Local SLAM, filtre à particules • Modélisation de l’environnement : • Bayesian Occupancy Filter (BOF) • Détection d’objets et leur suivi : • Fast Clustering-Tracking Algorithm (FCTA) • Estimation des risques de collision : • Hidden Markov Model + Gaussian Process

23. Fusion de données • Bayesian occupancy filter (BOF) pour une représentation à base de grilles • Entrées : observations statiques des capteurs représentées par grilles • Sorties : grilles BOF comprénant les distributions probabilistes d’occupation et vitesse

24. Fast Clustering-Tracking • Extraire les clusters à partir des grilles BOF • Association de données explicites sans ambiguité • Suivi à base de Kalman filtre • Sorties : objets avec position et vitesse

25. Réalisation sur le GPU Navlab SLAMMOT Datasets, CMU, 2004, by C. C. Wang et al. http://www.csie.ntu.edu.tw/~bobwang/datasets.html

26. Performance améliorée • Performance BOF+FCTA améliorée grace au pre-traitement avec Local SLAM • Implémentation sur le GPU permet d’obtenir de 22-25 fps (vidéo) • Comparaison pour un champ de vue de 30x40m et une cellule de grille de 0.3x0.3m

27. Own vehicle Risk estimation (Gaussian Process) High-level Behavior prediction for other vehicles (Observations + HMM) Estimation du risque de collision Cooperation Toyota & Probayes

28. Conclusion • ArosDyn est en fort développement depuis le kick-off meeting il y a 8 mois • Succès sur les tests de logiciels prévus pour la première année • Réussite sur la préparation du prototype expérimental sur Toyota Lexus • Difficultés : • Retard de paiement des factures (délais d’acquisition des capteurs) • Ressources humaines (financement sur des contrats)