Modèles en Fusion d’Information

1. Modèles en Fusion d’Information

2. Pourquoi la Fusion d’information ? • Pourquoi la Fusion d’information ?  estimation, décision, diagnostique • MAIS les données sont incomplètes, imprécises, non parfaitement fiables...  utiliser la complémentarité et la redondance entre informations pour affiner et robustifier les estimations/décisions • ENCORE FAUT-IL que l’information de chaque soit représentée ‘correctement’  Distinguer la variabilité de l’ignorance

3. Exemple de problème de Fusion Objectifs classiques en fusion • Synthèse de l'information Éviter la redondance lorsque plusieurs sources détectent le même phénomène Mise en commun des informations relatives à un même objet, une même variable et provenant de plusieurs sources (capteurs physiques, vs logiques) • Augmentation de la qualité de l’information • Préciser l’information Amélioration de l’estimation par recoupement d'informations provenant des différents capteurs (règle de type conjonctif !) • Robustifier l’information Certifier la consistance de l’information par recoupement d'informations provenant des différents capteurs (filtrage) Cas d’école: pistage Suivi des déplacements d'un objet au cours du temps Calcul de la position, vitesse, classe... • Capteurs hétérogènes Les détections à fusionner proviennent de capteurs aux caractéristiques très différentes (portée, précision de la localisation, …) • Cadre de discernement homogène Chaque capteur n'a qu'une vue partielle de la zone à surveiller, mais les observations concernent les mêmes variables d’état t2 : Pir t1 : Caméra visible t3 : Micro t4 : Caméra IR

4. Pourquoi aller au-delà des probabilités ? • Origines de l’incertitude: • variabilité des phénomènes aléatoires (tirages, etc...) • Défaut d’information: incomplétude, ignorance • Inconsistance des informations: conflit • 2 types d’informations: • tendances générales (cas typiques), • cas particulier (observation directe éventuellement imprécise) • Distinction de ces 2 types d’information en théorie des probabilités  probabilités fréquentistes versus probabilités subjectives  Paradoxes (instabilité, réfutation empirique...) Ex. Lancer de dé, date de naissance... Ex. Paradoxe de Bertrand, paradoxe d’Ellsberg

5. Panorama des théories de l’incertain Représentations ensemblistes (set-based representations) Théorie des probabilités (randomized points) Logique floue Analyse par intervalles Probabilités fréquentistes Probabilités subjectives Théorie des possibilités (fuzzy (nested disjunctive) sets) Théorie des probabilités imprécises (upper-lower probabilities  disjunctive convex sets of probabilities) Théorie des fonctions de croyances (random disjunctive sets) Shafer, Smets Dempster

6. Modéliser l’imprécision et l’incertitude  croyance sur un ensemble disjonctif (intervalle...), • Modéliser l’ignorance  croyance sur le cadre de discernement complet, • Prendre en compte la non idépendence des sources ( règles de combination idempotentes), • Détecter les sources/données aberrantes  mesurer le conflit entre les sources (m(), etc.), • … Modèles basés fonctions de croyances S1 classif. S2 classif. S1&2 classif. C3 C1 C2 C1C3 C3 C1 C3 C2 C1C2 C2 • Exemple jouet en classification d’image En modélisant les ambiguités entre classes S1&2 classif. Ground truth En modélisant l’imprecision spatiale  BF définis via les opérateurs de Math. Morph.

7. Roquel A., Le Hégarat-Mascle S., Vincke B., and Bloch I., "Decomposition of conflict as a distribution on hypotheses in the framework on belief functions", International Journal of Approximate Reasoning, in revision. • Le désaccord entre sources classiquement mesuré par m(). • Décomposition unique sur les hypothèses du cadre de discernement  chacun des termes de la décomposition est interprété comme la contribution au conflit Dempsterien. Décomposition du conflit (fonctions de croyances) • Application au pb de la localisation • Exemple jouet en classification Birdview des trajectoires du robot estimées resp. par chacune des sources individuellement, ou par fusion des sources, ne prenant pas en compte ou prenant en compte la mesure proposée du conflit. Identification de l’origine du conflit (ici erreur sur s de l’hyp. H2) grâce à la décomposition proposée.

8. Approche unifiée pour syst. de surveillance réparti André C., Le Hégarat-Mascle S., and Reynaud R., “Smartmesh”. • Classiquement système de pistage inclus différents blocs fonctionnels (prédiction, association, mise à jour, gestion des pistes)  chaque sous-problème est alors traité selon son propre cadre de discernement. • Approche unifiée  cadre de discernement Q= pavage 2D de la région • Représentation de l’information de localisation  bbas consonantes réparties aux différents nœuds  contrôle de la quantité d’information de la représentation • Prise en compte d'éléments topographiques : • Règle disjonctive versus règle conjonctive • Association plots-pistes : • Pour n associations recherchées, le cadre de discernement est Q2n; maximiser la plausibilité sur Q2n tout en forçant la localisation à coïncider  la fonction d’associationâ(.): • Mise à jour : • Combinaison évidentielle des plots et pistes associés

9. ADAS : Estimation de la fatigue du conducteur [1] National Highway Transportation and Safety Administration. An examination of driver distraction as recorded in nhtsa database, Sept 2009 Constat : D’après un rapport du NHTSA[1], 20% des accidents (16% des accidents mortels) avaient pour cause une distraction ou un endormissement du conducteur. • Sources d’information potentielles •  Observation directe du conducteur : • Perclos (percentage of eyesclosure) • Fréquence de clignement des yeux • Durée de fermeture des paupières • Environnement routier : Position et évolution du véhicule dans sa voie • Style de conduite du véhicule : Fluidité, accélérations Combinaison d’informations directes et indirectes  très imprécises Utilisation des fonctions de croyances Modélisation de la fatigue Espace de discernement dérivé du modèle ORD Spécificités : 1- Certaines données sont dépendantes, d’autres non 2- Présence de conflit lorsque les sources se contredisent Emission d’une alarme en cas de détection d’endormissement

10. Méthode multi-hypothèses par analyse par intervalles BESE : BoundedError State Estimation Intérêt : L’analyse par intervalle propose la caractérisation d’un ensemble solution garantie à partir de mesures et modèles à erreurs bornées. L’analyse par intervalle permet : • L’extension aux intervalles des fonctions élémentaires • La fonction d’inclusion [f]de f revoie un intervalle tel que • Problème d’inversion de l’observation • Cas ensembliste : caractérisation de l’ensemble X image réciproque de la fonction vectorielle f de Y

11. Propagation de Contraintes Décomposition en contraintes primitives et propagation de contraintes

12. Fusion de données ensembliste (GPS, odomètre, gyromètre) A. Lambert, D. Gruyer, B. Vincke, E. Seignez. "Consistent Outdoor Vehicle Localization by Bounded-Error State Estimation" IEEE International Conference on Intelligent Robots and Systems. Best Paper Award Finalist. 2009, p. 1211-1216. Techniques probabilistes supposent des mesures sans biais Hypothèse non valide Inconsistance de la solution Technique alternative utilisant l'arithmétique intervalle et pour seule hypothèse un bruit borné Etape de prédiction : utilisation d'ImageSP Etape de correction : utilisation de SIVIA

13. Modèles en Traitement d’Images et Perception

14. Quel traitement d’images ? • Pourquoi le Traitement d’images ?  capteur plus large spectre qui permette l’extraction de plusieurs paramètres physiques • MAIS grande richesse en termes d’information  complexité, accès indirect…  traitement d’images orienté Vision, c’est-à-dire piloté par l’objectif  e.g. Objets attendus versus objets inattendus • ENCORE FAUT-IL définir un critère de détection des objets  Modèles versus significativité

15. Exemple de problème de traitement d’image 2 grands types de traitement d’images Cartographie  image interprétée en tant que carte… de profondeur (à partir d’une paire dimages stéréo), humidité de surface (à partir de télédétection SAR), des organes et tissus (à partir d’imagerie médicale), ... de label en classification...  décider en chaque pixel la valeur du paramètre à cartographier, e.g. grandeur physique ou un label ‘Detection/identification’  image interprétée pour en déduire… les objets d’intérêt, les caractéristiques cde ces objets d’intérêt, … classification niveau objet, suivi d’objets…  détecter and caractériser les objets présents dans l’image ou la séquence vidéo Cas d’école: analyse de scène dynamique Segmentation statique/dynamique Cas de séquences vidéo, mono ou multicaméras • Caméra embarquée • Estimation du mouvement (6dof) : Odométrie visuelle •  Problème d’optimisation en présence d’outliers • Modèle sur la partie statique Partie statique: dominante, consistante, structurée… Partie dynamique  complémentaire

16. Modèles de….. Modélisation du bruit Approches basées modèle Procédures statistiques classiques: tests, analyse de la variance... Modèles d’objets Modèles de caméras Approches a contrario Approches cumulatives (Modèles paramétriques) Modélisation tensorielle

17. Modélisation a contrario Exemple de la détection d’alignement (Desolneux et al., 2000) • Principe de Helmholtz : « Toute structure trop régulière pour apparaître ‘par hasard’ attire l’attention et devient une perception  » • Principe des méthodes a contrario : détecter une configuration en contredisant un modèle d’absence de structure (i.e. de bruit) dit naïf Détection des structures ‘trop régulières’  Mesure d’1 déviation (étonnement) / modèle de bruit • Soit E l'ensemble des événements, Pr la probabilité d'apparition d’un événement e de E. Pour tout eE, on définit le Nombre de Fausses Alarmes tel que NFA(e) = |E|.Pr(e) • et pour tout 0, e est dit -significatif si NFA(e) Illustration du principe de Helmholtz. [Desolneux 2003]

18. Critère NFA  Problème de détection  Pb d’optimisation Ammar M., Le Hégarat-Mascle S., Vasiliu M., and Reynaud R., "An A-Contrario Approach for Object Detection using Embedded Camera System", Pattern Recognition, submitted. • Niveau pixel: N1 : en l’absence de structuration, l’image différence (foreground-background) est un champ aléatoire de variables gaussiennes centré de variance s2 • Niveau fenêtre: N2 : en l’absence de structuration, le nombre de points dans un pavé donné suit une distribution binômiale de paramètre p (a) (b) (c) (d) Example of detection (static camera case): (a) Absolute difference image between foreground and background images, (b) curves of log\(NFA1) and d2 versus cardinality of D (subdomain of amazingly consistent pixels), (c) result of detection at pixel level: 3 label image (whiteobject, blackbackground), (d) result of detection at window level (medium window sizes), (e) curves of -log(NFA2) versus cardinality of the window subset (amazingly dense windows), (f) result of detection at window level (small windows). (e) (f)

19. ?  Val. NFA en fct de l’indice de l’im. dans base  observat° d’1 minimum clair  ? Critère NFA  Estimation de paramètres en présence d’outliers Le Hégarat-Mascle S., Robin A., & Reynaud R., “Simultaneous Localization and Object Detection using an a-contrario approach”, ICVGIP’10, 2010. • Modèle naïf représente l’absence de données structurées  ‘étonnement’ par rapport à la détection d’une structure  D’AUTANT PLUS SIGNIFICATIVE que les paramètres cachés sont correctement estimés • SLOD (Simultaneous Localisation and Object Detection) : A partir d’1 base d’images ‘ancienne’, et d’1 nouvelle acquisition,  Estim. de (i) translation spatio-temporelle, (ii) transfo. des niv. de quantif., et (iii) du sous-domaine image / minimisent NFA • Estimation de l’égomouvement Base d’ images

20. Approches cumulatives Exemple de la transformée de Hough • Principe: Les objets recherchés sont décrits à l’aide de fonctions simples modélisées par leurs paramètres (Ex.: segments de droites, arcs de cercles) • La transformée de Hough permet de passer de l’espace image à l’espace des paramètres pour rechercher dans cet espace les objets d’intérêt •  Dans cet espace des paramètres, les objets d’intérêt sont des points et tous les pixels de l’image appartenant à un objet d’intérêt s’accumulent au point correspondant dans l’espace des paramètres aussi appelé espace cumulatif M(r,q) M0(r0,j) r r0 j-q j-p/2 q p-j r0/r = |cos (j-q)| Droite de paramètres (r0,j) d’éq. r = r0.sec(q-j)  r0 = r.cos(q).cos(j)+ r.sin(q).sin(j)  r0 = x.cos(j)+ y.sin(j)

21. Cas d’1 plan frontal w c Flot optique  w c-map Cas d’1 plan horizontal Détection d’un plan latéral Cas d’1 plan latéral Espace de vote cumulatif Identification de plans dans l’espace c-vélocité Bouchafa S., Zavidovique B., “C-velocity: a Cumulative Frame to Segment Objects from Egomotion”, Pattern Recognition and Image Analysis, 19(4):583-590, 2009. • détection • par accumulation d’ ‘indices’, • dans un espace approprié.

22. Modèle de caméra  Modélisation du mouvement par contraintes multi-vues Modélisation tensorielle Analyse espace-temps (vision stéréoscopique) Relations entre les amers observés (Point-line-point transfer) Operateur de transfert quadrifocal (stéréo + temps) [Comport et al 07] •  • Meilleur conditionnement (vs. M. fondamentale, mvmt suivant les lignes épipolaires) • Non-linéarisation du mouvement (ex. flot optique) • Simplification par la condensation de contraintes dans un operateur

23. Méthode robuste à la présence de données aberrantes Segmentation d’observations en statiques (inliers) et dynamiques/aberrantes (outliers) Relaxation de la contrainte d’absence d’outliers ou de détection de ces derniers pour ne pas les prendre en compte dans l’estimation  M-estimateurs • Estimateur robuste : remplacer la minimisation de la somme des carrés des résidus, par une fonction des résidus (e.g.Hiber, Cauchy, Tukey, Geman) [Stewart 99]  minimisation d’un problème de moindres carrés pondérés  Estimation itérative de poids via un schéma d’estimation IRLS (iterativereweighted least squares) Fonction de pondération Illustration dans le cas de la régression linéaire

24. Application: Odométrie visuelle en milieu urbain Rodriguez, S. A., Fremont, V., Bonnifait, P., & Cherfaoui, V. “Multi-Modal Object Detection and Localization for High Integrity Driving Assistance”, Machine Vision Applications, 2011. Formalisation de la solution proposée [ITSC 2009], [MVA 2012] • Mesure du mouvement: • Points d’intérêt suivi au cours du temps • Mouvement prédit suivant les contraintes projectives : • Points d’intérêt projetés par l’operateur quadrifocal •  Fonction d’erreur • Optimisation: méthode de descente de gradient (LM) Trajectoire de 700m Dérive sur le plan (2D) : 3.9% Dérive en altitude : 0.25% Trajectoire de 227m Odométrie multimodale Dérive 3D ~ 4m

25. Du point de vue du clustering des données aberrantes et des sources… Approches cumulatives Méthodes robustes Approches a contrario Gestion des données aberrantes Inconsistance des informations: conflit Fusion de données