Vers un système de vision auto-adaptatif à base de systèmes multi-agents.

1. Vers un système de vision auto-adaptatif à base de systèmes multi-agents. par Jason MAHDJOUB Directrice de thèse : Zahia GUESSOUM Co-encadrant : Fabien MICHEL

2. Plan Contexte & problématique Une approche SMA pour la segmentation adaptative Une approche SMA pour la représentation de formes Implémentations Conclusions & perspectives

3. Contexte & problématiques • Domaine : imagerie médicale • Volumes de scanner ou d’IRM • Volumes d’imagerie fonctionnelle • Automatisation de la reconnaissance des pathologies • L’aide à la décision • L’aide à la formation pédagogique

4. Contexte & problématiques

5. Contexte & problématiques SMA pour la segmentation en contours [Mahdjoub et al., 2006]

6. Contexte & problématiques SMA pour la segmentation en contours [Mahdjoub et al., 2006]

7. Contexte & problématiques SMA pour la segmentation en contours [Mahdjoub et al., 2006]

8. Contexte & problématiques Problème N° 1 de segmentation Approches statistiques Fuzzy C-Mean Définition de l’information Morphologie mathématique Définition des caractéristiques Modèles déformables Généralisation difficile Systèmes compliqués, Systèmes rigides, Systèmes limités. Définition de leurs relations Segmentation adaptée au problème N° x Paramétrage, calibrage Élaboration d’un algorithme Segmentation adaptée au problème N° 1

9. La vision artificielle

10. La vision artificielle « comprendre » ne nécessite pas « voir » Haut niveau d’analyse : interprétation sémantique Influences « voir » ne nécessite pas « comprendre » Bas niveau d’analyse : détection de contours, détection de régions, description des formes La théorie de [Marr, 1982] : Problèmes de la généralisation et de la rigidité toujours présents

11. La vision artificielle La vision active : • Interactions entre les couches supérieures et les couches inférieures à partir de résultats partiels [Simon, 2002] • Focalisation : traitement sur des zones d’intérêt [Macrouch et Tarroux, 2003] • Déplacement actif des points d’observation [Ballard, 1991] • Traitement réactif [Brooks, 1986]

12. La vision artificielle Un processus distribué [Garbay, 2002] • Collaboration de plusieurs agents • Émergence de sens à travers une collaboration complexe • Vision prescriptive (acquisition de structures par l’expérience) • Construction par le système de sa propre réalité selon un principe de coévolutionavec l’environnement

13. La vision artificielle (synthèse) • Haut niveau d’analyse • reconnaissance de formes • interprétation sémantique Interactions complexes • Base niveau d’analyse : • segmentation en région • segmentation en contour Influences selon des résultats progressifs Micro-influences

14. La vision artificielle • Problème • Cohabitation des approches et généralisation difficiles • Solution : système qui définit lui-même (et non le concepteur) ses processus, et leur cohabitation • Gain en autonomie • Exploration d’un vaste espace de solutions • Auto-adaptation au lieu de généralisation

15. La vision artificielle et les systèmes complexes

16. La vision et les systèmes complexes Modèle de [Parunak et al. 2010] Caractéristiques des systèmes complexes [Morin, 1977, 1980] • Écologie et représentation : Réponse à une partie du problème de la représentation : dualité entre économie des ressources et prédiction de l’information • Synchronisation Modèle stigmergique (phéromones, champs de potentiels…) • Stratégie : Développement de stratégies d’exploration des solutions Superposition quantique : la solution émerge de l’interférence Très fortes interdépendances entre ces notions

17. Vers un système de vision auto-adaptatif Représentation écologique Reconnaissance de formes Représentation de formes singulières Développement de stratégies d’exploration Segmentation adaptative de régions homogènes connexes Inspiration Synchronisation stigmergique (d’inspiration quantique)

18. Vers un système de vision auto-adaptatif Représentation écologique Reconnaissance de formes Représentation de formes singulières Développement de stratégies d’exploration Segmentation adaptative de régions homogènes connexes Transition Synchronisation stigmergique (d’inspiration quantique)

19. Une approche multi-agent pour la segmentation adaptative

20. Notre approche SMA pour la segmentation adaptative Évaluation Segmentation Objectif du système : trouver la meilleure segmentation

21. Notre approche SMA pour la segmentation adaptative Évaluation dynamique : • Minimisation de l’erreur de prédiction des luminances des pixels • Minimisation du nombre d’entités/régions employées pour représenter l’image Respect de la double contrainte écologie/erreur de prédiction des systèmes complexes

22. Notre approche SMA pour la segmentation adaptative Écart-type région i Nombre de régions Surface région i Nombre de pixels Contrainte globale : nombre de régions / nombre de pixels Contrainte locale : écart-type moyen de la segmentation Évaluation dynamique :

23. Notre approche SMA pour la segmentation adaptative • Cas d’étude : • Représenter chaque région par un agent • Impossible de connaître, pour un agent, l’état de la segmentation globale pour évaluer sa région • Résolution locale de contraintes globales : sujet parfaitement adapté pour un développement futur du modèle de [Parunak et al., 2010] • Stratégie adoptée : • Recherche de la pire segmentation acceptable • Fusion hiérarchique des régions obtenues / mémorisation de la meilleure segmentation

24. Notre approche SMA pour la segmentation adaptative Plusieurs phases : 1. Croissance et fusions de régions 1.1 Croissance de régions 1.2 Fusions de régions 2. Exploration de totale 3. Fusion hiérarchique

25. Notre approche SMA pour la segmentation adaptative Initialisation

26. Notre approche SMA pour la segmentation adaptative Croissance de régions (1.1)

27. Notre approche SMA pour la segmentation adaptative Exploration totale (2)

28. Notre approche SMA pour la segmentation adaptative Croissance de régions (1.1)

29. Notre approche SMA pour la segmentation adaptative Fusion ? Fusions (1.2)

30. Notre approche SMA pour la segmentation adaptative Fusions (1.2)

31. Notre approche SMA pour la segmentation adaptative Fusion ? Fusion ? Fusion ? Fusions (1.2)

32. Notre approche SMA pour la segmentation adaptative Fusions (1.2)

33. Notre approche SMA pour la segmentation adaptative Fusion ? Fusion ? Fusions (1.2)

34. Notre approche SMA pour la segmentation adaptative Fusions (1.2)

35. Notre approche SMA pour la segmentation adaptative Fusion hiérarchique (3)

36. Notre approche SMA pour la segmentation adaptative Résultat

37. Notre approche SMA pour la segmentation adaptative Agent évaluateur Chaque agent région est un agent situé qui a un champ de perception limité : sa région et les agents région voisins Agents région

38. Notre approche SMA pour la segmentation adaptative Croissance de régions (1.1) Agent évaluateur Croissances de région autonome Agents région

39. Notre approche SMA pour la segmentation adaptative Croissance de régions (1.1) • L’agent région (i) gère • Luminance moyenne de sa région : • Écart-type de sa région : • Écart-type maximum autorisé (initialisé à 0) : • Pourtour de sa région

40. Notre approche SMA pour la segmentation adaptative Fusions (1.2) Agent évaluateur Proposition de fusions de régions Agents région

41. Notre approche SMA pour la segmentation adaptative Fusions (1.2) Agent évaluateur Choix d’une fusion Agents région

42. Notre approche SMA pour la segmentation adaptative Exploration totale (2) Agent évaluateur Estimation locale de la segmentation Agents région

43. Notre approche SMA pour la segmentation adaptative Exploration totale (2) Estimation globale de la segmentation Agent évaluateur Agents région

44. Notre approche SMA pour la segmentation adaptative Exploration totale (2) • Choix entre : • relaxer la contrainte de croissance d’un agent région( >0.5) • OU • ajouter un nouvel agent région ( <0.5) • Le système reprend la croissance de région Agent évaluateur Agents région

45. Notre approche SMA pour la segmentation adaptative Fusion hiérarchique (3) Proposition de la meilleure fusion pour chaque agent Agent évaluateur Agents région

46. Notre approche SMA pour la segmentation adaptative Fusion hiérarchique (3) Délibération et choix de la meilleure fusion parmi tous les agents Agent évaluateur Agents région

47. Notre approche SMA pour la segmentation adaptative Fusion hiérarchique (3) Agent évaluateur Agents région Application de la fusion

48. Notre approche SMA pour la segmentation adaptative Fusion hiérarchique (3) Mémorisation de la meilleure segmentation entre la précédente et la nouvelle acquise Agent évaluateur Agents région

49. Un approche SMA pour la représentation de formes ? ? ? ?

50. Notre approche SMA pour la représentation de formes • Représentations de base • Descripteurs de Fourier [Fourier, 1824] • Morphologie mathématique [Serra, 1969] • Squelettes [Blum, 1967] • Moment, polygones de Guzman, chaines de Freeman, … • Utilisation de la transformée en ondelette [Mahdjoub et al., 2007] • Représentation multi-échelle • Représentation spatio-fréquentielle • Neutralité