Comité de Pilotage Mardi 2 décembre 2008 SATORY

1. Comité de Pilotage Mardi 2 décembre 2008 SATORY

2. SP3- Fusion de données

3. SP3 - Présentation • Fusion de donnéesdans LOVe : fusion de données issues de « capteurs extéroceptifs » différents • Approche méthodologique Mise à jour de pistes ou d’objets « piéton » • Notes de détection • Notes de reconnaissance • Notes d’importance • Notes de pistage • Notes de mesure

4. SP3 - Approches développées • Coopération de capteurs : • Ex : le télémètre définit des zones dans lequel il a détecté un obstacle et la caméra confirme par un algorithme de reconnaissance de piétons • Fusion d’objets : • Fusion des résultats de détection/identification de piétons par plusieurs modalités. • Fusion dans une grille d’occupation : • Représentation de l’espace libre ou occupé par un obstacle et combinaison par filtrage bayésien • Fusion de pistes : • Fusion des résultats de plusieurs modalités de pistage. • Paramétrage des algorithmes de fusion

5. SP3 - Livrables Rapport R3.2.3. Septembre 2009 «Résultat des méthodes combinées et de fusion. » Modules • de nombreux modules livrés (voir tableau sur site) • tous ne fonctionnement pas

6. SP3 - Quelques résultats • Fusion série • Fusion synchone • Fusion de grilles d’occupation • Fusion par pistage

7. Fusion série Lidar seul (CAOR)

8. Fusion série (CAOR) Lidar puis Adaboost

9. Fusion série (LIVIC)

10. Fusion série (LIVIC)

11. Fusion synchrone laser/monocaméra (Lasmea)

12. Séquences d’expérimentation • Séquence Renault 12_12_2007_006 Rectangles jaunes : Résultats du module de fusion. Points rouges : détections fournies par un module lidar. Rectangle bleus : détections fournies par un module vidéo. Taux de bonnes et de fausses détections () associé à leur écart-type respectif ().

13. Séquences d’expérimentation • Séquence Renault 12_12_2007_006 Variation du Facteur de Confiance sur la Fusion des Données (FCFD) en fonction de la qualité de la fusion laser/vidéo . Résultat du pistage en x et y. Les mesures (laser et vidéo) sont représentées par des cercles gris. Chaque piste identifiée est représentée par une couleur différente.

14. Séquences d’expérimentation • Séquence Renault 12_12_2007_004 Rectangles jaunes : Résultats du module de fusion. Points rouges : détections fournies par un module lidar. Rectangles bleus : détections fournies par un module vidéo. Taux de bonnes et de fausses détections () associé à leur écart-type respectif ().

15. Séquences d’expérimentation • Séquence Renault 12_12_2007_004 Variation du Facteur de Confiance sur la Fusion des Données (FCFD) en fonction de la qualité de la fusion laser/vidéo. Résultat du pistage en x et y. Les mesures (laser et vidéo) sont représentées par des cercles gris. Chaque piste identifiée est représentée par une couleur différente.

16. Commentaires • Taux de fausses détections clairement amélioré sur les deux séquences. • Taux de bonnes détections amélioré sur la séquence Renault_6 mais pas sur la séquence Renault_4. Les principales causes sont : • Taux de détections laser et vidéo moins élevés. • Mauvaise précision des détections vidéo en position (erreur parfois > 1 mètre), rendant difficile l’association avec les données laser. • Valeur de l’écart-type élevé. S’explique simplement par le faible nombre de piétons ou de fausses alarmes présents dans le champ de vue du capteur (< 4) à un instant donné.

17. Fusion dans une grille d’occupation (Emotion) Stéréovision BOF Tracker Zone travailLOVe Pistes LOVe Grille D'occupation (estimation) Grilles d'occupation (observations) ObjetsLOVe

18. Appariement – Utilisation de la méthode du LIVIC Double corrélation  Appariement avec les hypothèses « monde horizontal » et « monde vertical »  Les pixels « route » et « obstacles » sont immédiatement séparés : Carte de disparité « obstacle » Carte de disparité « route » Avantages  Plus efficace en temps de calcul / mémoire Meilleure carte de disparité (moins d'erreurs / plus précis sur la route)

19. Modèle stéréo Gaussien

20. Construction de la grille d’occupation

21. Estimation de la grille d’occupation, en utilisant le BOF

22. Estimation (BOF)

23. Clustering / Tracking (FCTA) • Retour à une représentation au niveau objet (pistes) • Retour au repère LOVe • Le tracker donne des ellipses • Le RUSL exige des cercles Considérant les piétons frontaux, on prend : L = 3*xx LPRUSL Grille observée Grille estimée Objets détectés (Tracker)

24. Résultats

25. Résultats

26. Résultats

27. Grille d'occupation LORUSL L'idée :Attribuer une probabilité d'occupation gaussienne aux détections LORSUL (diamètre = largeur à demihauteur de la gausienne) L P r 

28. Fusion dans le BOF LAS24A LIS23A BOF Tracker

29. Un nouveau résultat • Prise en compte du « champ libre »

30. Portage du BOF sur hardware

31. Quelques modules en difficulté • Pas de mode asynchrone dans le lecteur LOVe (HEU32) • Pas d’entrée au format attendu (CEA-LIST)

32. Fusion d’objets par pistage Entrées asynchrones (Heudiasyc) lorusl Gestiondes pistes Mise à jourdes pistes module de détection lorucm Créationdes pistes Notesdet. et rec. module de détection lprusl lorucs Note pistage module de détection AssociationPiste/Objet Dimension lorusl module de détection Destructiondes pistes Dynamique données proprio fichier de configuration

33. Testé en local

34. HEUDIASYC - Séminaire LOVe – 13 Janvier 2009

35. SP3 - Conclusion • 3 modes principaux de fusion • Détection par lidar puis confirmation par caméra (série) • Fusion d’objets/pistes • Fusion de grille • Les partenaires du SP3 ont trop attendu les résultats du SP2 • Les résultats arrivent maintenant