Accès aux base d’images par navigation visuelle Guillaume LAVOUE LIRIS, FRE 2672 CNRS

1. Accès aux base d’images par navigation visuelle Guillaume LAVOUE LIRIS, FRE 2672 CNRS

2. Problématiques • Accès aux bases d’images. • Recherche d’images par le contenu. • Les systèmes RIPC traditionnels : • Indexation. • Recherche par image-clef. • Inconvénients: • Représentation linéaire des résultats. • Pas de vue globale du contenu de la base. • Intérêt d’un système de navigation.

3. PLAN • Les méthodes de segmentation et d’indexation. • Mise en place de la structure de navigation. • Extension à l’approche locale.

4. La segmentation • Segmentation nécessaire: • Extractions des descripteurs. • Extractions des régions clefs. • Deux étapes: • Partitionnement de l’espace couleur (quantification). • Régularisation spatiale. • L’espace CIE Lab. • Transformation non-linéairedepuis l’espace RVB. • Perceptuellement uniforme.

5. Niveau 1 (2 classes) niveau 2 (3 classes) Niveau 3 (4 classes) Partitionnement de l’espace couleur Histogramme Couleur (ab) Image couleur

6. Régularisation spatiale • Pourquoi? • Image quantifiée = Image sur-segmentée Réduction de cette sur-segmentation. • Principe: • Fusion des régions Obtention des régions significatives correspondant aux objets de la scène. =1243 régions

7. Algorithme général • Filtrage des pixels isolés. • Extraction et étiquetage des régions connexes. • Construction du graphe d’adjacence. • Réduction du graphe Fusion des régions. • Construction de l’image finale à partir des régions restantes.

8. Mesure des différences couleur • Espace Lab uniforme distance euclidienne . • Facteur de pondération • : Mesure de l’imbrication entre deux régions. • : Filtrage des régions jugées trop petites. • Distance finale entre deux régions i et j:

9. Mesure des différences couleur • : Prise en compte de la disposition spatiale [ Schettini ]. • : Facteur de filtrage des petites régions. : Périmètre de la ième région. : Longueur du périmètre entre la ième et la jème région. 1 sinon : Nombre de pixels de la ième région. : Nombre minimal fixé. : Réel positif .

10. Résultats de la segmentation Image originale Image quantifiée 16 classes 1243 régions Image Segmentée 5 classes 6 régions

11. Résultats de la segmentation Images originales Images Segmentées (Respectivement 2 et 6 régions) Images quantifiées 16 classes

12. Description des Images Couleur • Deux approches: • Globale: Orientée Image. • Locale. Orientée Région. • Descripteurs colorimétriques: • Couleurs dominantes . • Pourcentages des classes . • Variances des classes: . • Descripteur spatio-colorimétriques • Cohérence spatiale .

13. PLAN • Les méthodes de segmentation et d’indexation. • Mise en place de la structure de navigation. • Extension à l’approche locale.

14. Les étapes de traitement • 3 étapes de traitement hors ligne: • Quantification de l’histogramme couleur • Structuration de la base • Quantification par Nuées Dynamiques • Quantification floue • Élaboration d ’un mécanisme de visualisation • ACP

15. Quantification de l’histogramme couleur • Quantification uniforme de l ’histogramme Discrétisation des histogrammes L,a,b en k intervalles : valeurs normalisées . • Création d ’un vecteur représentatifpar image avec .

16. Niveau N-2 Niveau N-1 A Niveau N B1 B2 B3 B4 Structuration de la base • Structure d’arbre hiérarchique

17. Structuration de la base • Algorithme des nuées dynamiques • Données: • N points dans l’espace de dimension n. • k groupes caractérisés par leur centre de classe . • Initialisation: • Choix de k images qui formerons les initiaux. • Algorithme: • On assigne à chaque classe , les points Les plus proche de . • Calcul, pour chaque ,des centres de gravité .

18. Structuration de la base • La quantification floue (Fuzzy k-mean) [ Bezdek]: • Initialisation des . • Algorithme • Calcul des centres de classes floues . Avec facteur de poids. Plus m est grand plus la quantification est floue.

19. Structuration de la base • Mis à jour des pourcentages d’appartenance . • Comparaison des matrices d’appartenance avant et après l’itération. • P le numéro de l’itération actuelle. • le seuil d’arrêt. U telle que : .

20. Mécanisme de visualisation • Projection de l’ espace de dimension n à un espace de dimension 2. • Méthode choisie: L’Analyse en Composantes Principales (ACP). • ACP appliquée sur les images représentatives des sous groupes. • Quantité d’information moyenne portée par les deux axes 80%.

21. Niveau N-2 Niveau N-1 A Niveau N B1 B2 B3 B4 Fonctionnement

22. Interface du système a b c e d f a : Fenêtre de navigation. b : Résultats affichage paramétrique. c : Images présentes dans le nœud. d : Image sélectionnée. e : Image requête. f : Résultats affichage linéaire.

23. PLAN • Les méthodes de segmentation et d’indexation. • mise en place de la structure de navigation. • Extension à l’approche locale.

24. Intégration de l ’approche locale • Principe: • Vecteurs représentatifs associés aux régions. • Base = nuage de points-régions. • Région représentée par l’image qui la contient. • Intégration de la recherche • Sur une région de la base. • Sur une région choisie d’une image de la base.

25. Intégration de l ’approche locale Image Extraction zone Sélection zone Région Segmentation Région finale

27. Conclusion • Intégration Navigation / Recherche Efficacité, flexibilité. • Travail sur la couleur Extension à la forme, la texture. • Ouvertures: • Pré-classification sémantique. • Terminal intelligent, intégration du profil utilisateur. • Généralisation à d’autre bases (ex: objets 3D).