Fusion de données

1. De l’utilisation des mesures de confiance Olivier COLOT Fusion de données « Ce que les hommes veulent en fait, ce n’est pas la connaissance, c’est la certitude. » Bertrand Russel

2. Road book Once upon a time the data fusion… • Introduction (« Cé koi leu problème? », « A koi sa sair? ») • Présentation des problématiques • Imprécision et incertitude • Fusion d’informations imparfaites: méthodes, techniques, • champs d’application,... • Exemples

3. Objectifs  Des éléments relatifs à la « fusion » tant sur les aspects  « méthodes » que sur les aspects « applications ».  Intérêt de la fusion de données dans de nombreux domaines

4. Petit exemple introductif ! Désaccord  Sources conflictuelles Pamela E.T. ? George or E.T. Segmentation, Analyse, RdF Traitement de l’information Décision Comment résoudre le problème? Règle(s) de décision Modélisation Agrégation (Fusion) Objectif: Prendre une décision Who is it ? 1) Pamela Anderson? 2) George W. Bush? 3) E.T.? 4) The lord of the rings? Panel d’experts (Plusieurs capteurs)

5. Petit exercice introductif! « Petits papiers et bouts de crayon! »

6. Petit exercice introductif! E1 Quelle est ma taille en cm : E2 Quelle est ma taille en cm : E3 Quelle est ma taille en cm :  A partir des informations données par E1, E2 et E3, quelle est ma taille en cm :

7. Information combinée: Synthèse de la connaissance Combinaison (fusion) Petit exercice introductif! Source 1 Source 2 Source 4 Source 3 Informations

8. Fusion? Vous avez dit « Fusion »? Souvenez-vous! Et ça, ça ne vous rappelle rien? Et bien d’autres exemples encore! Réseau de neurones avec Règle de Bayes

9. Fusion? Vous avez dit « Fusion »? « When you use information from one source, it’s plagiarism; When you use information from many, it’s information fusion.» Belur Dasarathy « La fusion d’informations consiste à combiner des informations issues de plusieurs sources afin d’améliorer la prise de décision » Isabelle Bloch

10. Pourquoi la fusion? XXIème siècle: Le siècle de l’information «We are drowning in information but starved for knowledge. This level of information is clearly impossible to be handled by present means. Uncontrolled and unorganized information is no longer a resource in an information society, instead it becomes the enemy. » John Naisbitt, in Megatrends, 1982

11. Pourquoi la fusion? XXIème siècle: Le siècle de l’information • On dispose d'informations: • de plus en plus riches et complexes, • de nature et de fiabilité différentes. • Systèmes d'information, de communication ou de commande • Aider ou coopérer avec les opérationnels du domaine applicatif • (les utilisateurs) dans le but de décider. • Système interactif avec l'utilisateur •  Pilotage de certaines parties du systèmes • modification des confiances sur l'exhaustivité d'un ensemble • d'hypothèses envisagées ou en définissant en temps réel un • équilibre entre différents critères de décision. • Système doit pouvoir fournir des informations complémentaires •  sur les conflits entre sources d’informations par exemple

12. Intérêt de la fusion • Accroissement du nombre de sources d'information • développement de nouveaux capteurs (ex : imagerie médicale)IRM+angiographie; Scanner+echographie • développements de nouveaux algorithmes • augmentation de la puissance de calcul • Besoin en information de haut niveau • Intégration de l'opérateur humain dans la boucle

13. Pourquoi la fusion? • Combinaison de données issues de différentes sources, en vue de répondre à une certaine question (valeur d’un paramètre). • Problématique récente : e.g. multiplication des capteurs, systèmes décentralisés,… • Domaines d’applications : • Fusion multi-capteurs (application militaire, télédétection, etc.) • Systèmes d’interrogation de bases de données multiples • Combinaison d’avis d’experts • Difficulté du problème : données incomplètes, incertaines, hétérogènes, issues de sources de fiabilité inconnue, éventuellement dépendantes. • Cadres théoriques : probabilités, possibilités, croyances.

14. Interaction système-opérateur • Système autonome

15. Interaction système-opérateur • Système télé-opéré

16. Interaction système-opérateur • Système opéré

17. Cadre de la fusion • Modélisation de la connaissance sur un système réel mais dont on ne connaît qu'une image partielle et/ou déformée. • Fusion dirigée par les buts • reconstruction la plus complète et précise • décision la plus fiable qu’en se fondant sur une seule source d’information

18. Principes de base de la fusion Techniques de fusion de données permettent: 1- de mettre à profit un nombre maximum de données, en tenant compte de la diversité de leurs imperfections 2- en tentant de pallier les faiblesses de certaines avec les point forts des autres 3- dans le but de fournir une information élaborée, dédiée et pertinente vis-à-vis du contexte. Le processus global 1- Situation réelle est observée par un ensemble de capteurs de plus ou moins haut niveau fournissant plusieurs vues déformées de la situation (ex.: convolution par une lentille optique). 2- Informations sont alors collectées et exploitées conjointement par un traitement de fusion permettant d’estimer la situation réelle.

19. De l’information à la décision Systèmes de fusion de données 1- s'appuient principalement sur des étapes de modélisation 2- de recalage 3- et de combinaison (ou fusion, ou agrégation) d'informations 4- puis de décision

20. De l’information à la décision • Information et représentation mathématique • permet de l'exploiter • constitue l'étape de modélisation de l'information • réflexion sur le sens de chacune des informations manipulées • modélisation doit être adaptée de façon fidèle au sens de • l'information réellement disponible • fidélité de modélisation conduit à des problèmes d'hétérogénéité • ou d'hybridité (plus l'ensemble des informations dont on veut tenir • compte est large, plus on rencontre les problèmes de représentation • des données et plus ils deviennent cruciaux)

21. En résumé • Points essentiels: • Mécanismes de modélisation et éventuellement recalage • Mécanisme de fusion (éventuellement données hétérogènes) • Prise en compte de la notion de fidélité entre le sens de • l'information réellement disponible et le sens de la représentation • mathématique (pertinence, confiance, fiabilité) • Règles de décision s’appuyant sur les résultats de la fusion Remarque: Prise en compte de la fiabilité des sources d’information lors de la modélisation par exemple, si cela est possible

22. Où? Quand? Comment?

23. Domaines d’application • Applications militaires : • détection, identification et suivi de cibles • surveillance des champs de bataille • détection de mines enfouies ou sous-marines • Applications aéronautiques et spatiales : • imagerie satellitaire • commande d'engins spatiaux (fusées et robots) • Applications médicales : • observation du corps et des pathologies • aide au geste et au diagnostic médical • Robotique et véhicules intelligents • robots d'assistance humaine (fauteuils roulants, véhicule automobile, machines agricoles,…) • robots autonomes en environnement difficile (robots sous-marins, robots d'intervention, micro-robots,…) • Assistance à l'opérateur humain : • aide au diagnostic • salle de contrôle (aiguilleurs du ciel)

24. Pour se comprendre… Sources d'information • capteurs physiques : • type images : caméra, télémètre, radar, images IRM, images ultrason • type signaux : température, vitesse, accélération, temps de vol… • capteurs logiques (analogiques ou numériques): • modules de traitement de signaux • modules de traitement d'images • connaissances a priori : • objets et leurs caractéristiques • scène observée (cartes, atlas...) • règles d'évolution...

25. « Matière brute » et « produits manipulés » Type des données • Mesures de type numérique : • distance • niveau de gris • durée d'un signal … • Décision de type symbolique : • situation dangereuse • existence d'une lésion • cible offensive...

26. « Matière brute » et « produits manipulés » • Données numériques : • Valeur absolue (longueur, température) • Valeur relative (%)  Les plus fréquentes • Données ordinales : • Ranger des élèves du plus petit au plus grand • Echelle de salaires (petit, moyen, élevé)  on peut définir un ordre A<B<C • Données nominales : • Couleur des yeux (brun, vert, bleu) • pas d’autres comparaisons possibles que A=B ou A≠B • Données binaires : • Présence ou absence d’une caractéristique, sexe,…  cas particulier des ordinales ou nominales • Données symboliques : • Carte IGN Relation entre entités Remarque: données peuvent être manquantes

27. « Matière brute » et « produits manipulés » X Informations numériques • informations données sous forme de nombre • espace de définition W ordonné • exemple : la largeur du véhicule est de 1,5m

28. « Matière brute » et « produits manipulés » • H1 : l’objet est une voiture • H2 : l’objet est un camion • H3 : l’objet est une moto • H4 : l’objet est un piéton H2 H1 H4 H3 Informations symboliques • informations données sous forme de symboles, de propositions, de règles • espace de définition W non ordonné

29. « Matière brute » et « produits manipulés » Hypothèses et propositions • Hypothèses Hi Eléments de l'ensemble de définition W = {H1, H2, …, Hn}  hypothèses singletons (exclusives, exhaustives) • Propositions Ai Eléments de l'ensemble 2Wdes parties de W. 2W = {, {H1}, {H2}, …, {H1, H2}, W}

30. Vision ensembliste Rapprochement avec la théorie des ensembles • OU logique : union  • ET logique : intersection  • Proposition : union d'hypothèses  OU entre les hypothèses {Hi , Hj}  Hi Hj  hypothèse composite noté Hi, Hj ou Hij

31. Conversion numérique-symbolique Utilisation d'un modèle de conversion

32. Caractéristiques des données manipulées Imperfections des données • Les capteurs et les algorithmes «parfaits» n’existent pas. • imprécision • incertitude • retard • manque de données • Nécessité d’une modélisation des erreurs

33. Caractéristiques des données manipulées Exemple de l’imagerie Image: entachée de bruit  conditions d’acquisition, chaîne de mesure, quantification Conséquences:  sur les couleurs par exemple  sur l’homogénéité des régions, des textures  sur les contours  … donc…. imprécisions et incertitudes Conséquences sur les traitements et résultats:  risques d’erreur  interprétation(s) faussée(s)

34. Répétition des mesures  valeurs différentes (Incertitude) • Causes • Variations des conditions de mesure (variables d’influence) • Imperfection des capteurs (bruit électronique,…) Une valeur unique ne représente pas la réalité La fusion doit permettre de tenir compte des imprécisions et des incertitudes Caractéristiques des données manipulées Le monde n’est pas parfait….les informations non plus! Imprécision «Je mesure environ 1m80!» «Il pleuvra peut-être demain!» «Il pleuvra peut-être beaucoup demain!» Incertitude Les 2 pour corser le tout! Subjectivité?

35. Caractéristiques des données manipulées Différentes formes d’imperfection : • Imprécision: traduit le manque d’exactitude de la connaissance • (en terme quantitatif) • Incertitude: traduit le degré de conformité de l’information à la réalité • Incomplétude: absence d’information apportée par une source sur certains • aspects du problème • Ambiguïté : information fournie peut conduire à 2 interprétations différentes • Conflit : plusieurs informations conduisent à des interprétations • contradictoires

36. Imprécision, incertitude • On peut diminuer l’incertitude d’une proposition en augmentant son imprécision. • Exemple : « Le prof mesure probablement plus de 1.70 m »  « Le prof mesure trèscertainement plus de 1.50 m » • Autre forme d’imperfection de l’information : ambiguïté, flou • Exemple : « Le prof est grand » • Nécessite une extension de la théorie des ensembles  Théorie des sous-ensembles flous.

37. Caractéristiques des données manipulées X d Imprécision • Estimation de la différence entre la mesure dprovenant du capteur et la valeur réelle inconnue Xà mesurer. Exemples : «Je mesure environ 180cm!» « La taille du prof est 180cm plus ou moins 2cm » Cela signifie : « La réelle valeur X de la taille du prof est dans l’intervalle [178cm ; 182cm] »

38. Caractéristiques des données manipulées Incertitude Doute sur la réalité des différentes hypothèses Hi de l'ensemble  (confiance) Exemples : «Il pleuvra peut-être demain!» La probabilité que l’individu observé soit G.W.B. est de 90%.

39. Méconnaissance, ignorance Modélisation de la méconnaissance (ignorance) • Représentation du fait que l'on ne sait pas • modélisation implicite (probabilités) • modélisation explicite (masse de croyance sur le référentiel) • Exemple : • jeu de pile ou face : P(pile) = 50%, P(face) = 50% Joueriez vous votre vie sur un toss?

40. Conflit Pamela E.T. ? George or E.T. Conflit des sources d’information • Des sources d’information peuvent être en désaccord et générer ainsi un conflit dans le processus de fusion. • Question: Peut-on gérer ce conflit? Si oui, comment? désaccord  Certaines théories permettent la gestion du conflit

41. Fusion Principe • Estimation d'une donnée par la combinaison de plusieurs données • Estimation des erreurs associées (précision, certitude)

42. Fusion Sources d'information • Sources redondantes : même espace de définition (espace de discernement) ex : estimation distance d par capteur à ultrasons et télémètre laser; • Sources complémentaires : espaces de définition différents ex : détection d'une lésion par sa forme et sa position

43. Fusion Sources concordantes • les informations données par les deux sources sont compatibles ex : source 1 : la mesure d  [12,15] source 2 : la mesure d  [10,13] • la qualité des informations est améliorée S1 12m 15m S2 13m 10m Fusion : S1∩S2  Vérité dans S1∩S2

44. Fusion Sources discordantes • les informations données par les deux sources sont incompatibles ex : source 1 : la mesure d  [12,15] source 2 : la mesure d  [9,11]  discordance (conflit) • si les données sont fusionnées, la qualité du résultat est dégradée 12m S1 S2 15m 9m 11m S1∩S2= Ø Fusion :  Vérité dans S1S2 9m 15m

45. Fusion Conflit • Causes du conflit : • capteurs physiques : fonctionnement dégradé (dysfonctionnement d’un capteur) • capteurs logiques : mauvaise configuration • choix des hypothèses (mise en correspondance...) • Modélisation du conflit utilisation d'une mesure

46. Fusion Décision • Choix d'une hypothèse ou d'une valeur numérique • Prise de risque Exemple en détection : • faux positifs • faux négatifs • Définition d'un critère de choix • compromis "précision - certitude" • maximisation d'une mesure • Décision avec ou sans rejet

47. Fusion Architecture de fusion • Niveau de fusion : • niveau signal / pixel • niveau attribut • niveau objet • niveau décision • Mécanismes : • conversion numérique/symbolique • mise en correspondance • combinaison • décision

48. « M’ouaaais... mais en pratique??? » = =

49. Exemples de problème de fusion

50. RDF Cadres de discernement différents « J’ai la mémoire qui flanche, j’me souviens plus très bien… » Reconnaissance d'un objet : } capteur 1 : rouge ou bleu Même espace de discernement capteur 2 : rouge ou bleu capteur 3 : rond ou carré