SEMINAIRE LISA

1. SEMINAIRE LISA Segmentation d’images couleur ou multispectrales par analyse d’histogrammes multidimensionnels Sié OUATTARA (06-01-2009) Directeur de thèse : Bertrand VIGOUROUX Co-encadrant : Alain CLEMENT Doctorant en traitement d’image et signal au LISA

2. Segmentation d’images par analyse d’histogrammes multidimensionnels PLAN Contexte du travail Problématique Objectifs Etat de l’art sur la segmentation d’images Etat de l’art sur l’évaluation de la segmentation Méthodes de segmentation proposées Evaluation de la segmentation Conclusion

3. Segmentation d’images par analyse d’histogrammes multidimensionnels Contexte du travail Problématique Objectifs Etat de l’art sur la segmentation d’images Etat de l’art sur l’évaluation de la segmentation Méthodes de segmentation proposées Evaluation de la segmentation Conclusion

4. Contexte du travail Traitement et analyse d’images Science pluridisciplinaire (physique, électronique, mathématique et informatique) Contribution dans divers domaines (médical, robotique, télédétection, …)

5. Contexte du travail Plan R Plan B Plan V Plans (R,V,B) House Plans (1,2,3) Plans (4,5,6) Plans (7,8,9) Plan 1 M4 (9D) Nature des images à segmenter et analyser (aspect vectoriel)

6. Contexte du travail Cadre des travaux Continuité de certains travaux entrepris au LISA • Analyse des histogrammes multidimensionnels (nD), n≥2 • Histogramme nD compact • Segmentation d’images couleur ou multispectrales(images multicomposantes) • Travaux limités en général à l’analyse d’histogrammes 2D • Extension de la segmentation à l’analyse d’ histogrammes nD

7. Segmentation par analyse d’histogrammes multidimensionnels Contexte du travail Problématique Objectifs Etat de l’art sur la segmentation d’images Etat de l’art sur l’évaluation de la segmentation Méthodes de segmentation proposées Evaluation de la segmentation Conclusion

8. Problématique • Travaux(non paramétriques) : • Limités généralement a l’analyse des histogrammes 2D (non paramétrique) • [Clément et Vigouroux, 2003] (Plans RG); • [Lezoray, 2003] combinaison de cartes de segmentation (RG,RB,GB) par LPE, etc. • Non prise en compte de la corrélation entre les plans • Choix a priori des plans, réduction du nombre de plans • Modes des histogrammes marginaux diffèrent des modes des histogrammes nD • Peu de travaux sur l’analyse d’histogrammes nD non paramétriques ( n≥3) • Méthodes d’estimation de noyaux : [Gillet, 2001 ]; [Comaniciu et al., 2002]; etc. - (1) Grand volume de données, (2) Coût de traitement élevé • Aspect diffus des histogrammes nD • Influence sur la qualité des résultats des méthodes de segmentation quand n augmente. • Nombre de classes élevé et donc problème de pertinences des classes construites • Difficulté de traitement de l’information redondante

9. Segmentation par analyse d’histogrammes multidimensionnels Contexte du travail Problématique Objectifs Etat de l’art sur la segmentation d’images Etat de l’art sur l’évaluation de la segmentation Méthodes de segmentation proposées Evaluation de la segmentation Conclusion

10. Objectifs Objectif global Mise en œuvre d’une méthode de segmentation d’images couleur ou multispectrales par analyse d’histogrammes nD (n>=3). Objectifs spécifiques Analyse des histogrammes nD ( n>=2) Etiquetage en composantes connexes (ECC) des histogrammes nD Réaliser une méthode de classification optimale à stratégie vectorielle en limitant la sur-segmentation Evaluation de la segmentation

11. Segmentation par analyse d’histogrammes multidimensionnels PLAN Contexte du travail Objectifs Problématique Etat de l’art de la segmentation d’images Etat de l’art de l’évaluation de la segmentation Méthodes de segmentation proposées Evaluation de la segmentation Conclusion

12. Etat de l’art de la segmentation d’images • Etat de l’art • Définitions • Stratégies de segmentation • Approches de segmentation • Méthodes de classification • Choix d’une métrique et d’un espace couleur • Conclusion partielle

13. Etat de l’art de la segmentation d’images • Définitions • Segmentation d’images: processus de décomposition d’une image en régions connexesayant une homogénéité selon un critère, par exemple la couleur, la texture, etc. L’union de ces régions constitue l’image. • Cette définition n’impose pas l’unicité de la segmentation • Classification: étape préalable à la segmentation qui consiste à regrouper en différentes classes les pixels ayant des caractéristiques similaires (ex : couleur) . • Classification supervisée: classification intégrant des connaissances a priori de l’image ( ex: germes ou nombre de classes) • Classification non supervisée: classification en aveugle(ne nécessite aucune connaissance a priori de l’image) • Métrique: mesure de ressemblance entre deux éléments de l’image

14. Etat de l’art de la segmentation d’images • Etat de l’art • Définitions • Stratégies de segmentation • Approches de segmentation • Méthodes de classification • Choix d’une métrique et d’un espace couleur • Conclusion partielle

15. Etat de l’art de la segmentation d’images • Stratégies de segmentation • Approche marginale opère une segmentation sur chaque composante de l’image puis fusionne les cartes de segmentation en une seule. • Approche bi-marginale segmente les couples de plans (ex : RG, RB, GB dans l’espace RVB) puis fusionne les cartes de segmentation. • Approche scalaire fusionne d’abord les composantes en une seule puis la segmente . • Approche par réduction du nombre de plans consiste à choisir d’abord un nombre de composantes a priori ou obtenu par une méthode de réduction d’espace (ACP, …) puis réalise la segmentation.

16. Etat de l’art de la segmentation d’images • Stratégies de segmentation • Approche semi-vectorielle ne prend pas en compte toute la corrélation entre les composantes de l’image. Rapide en temps de calcul. • Approche vectorielle segmente directement l’image en considérant une information vectorielle (histogramme nD). Prend en compte la corrélation totale entre les plans.Couteux en temps de calcul • Approche vectorielle avec requantification la résolution tonale (Q) est réduite à q (q <Q) • pourq ≥ 5 bits la qualité visuelle de l’image est sensiblement préservée et présente l’avantage d’être rapide pour q = 5 bits .

17. Etat de l’art de la segmentation d’images • Etat de l’art • Définitions • Stratégies de segmentation • Approches de segmentation • Méthodes de classification • Choix d’une métrique et d’un espace couleur • Conclusion partielle

18. Etat de l’art de la segmentation d’images • Approches de segmentions Deux grandes approches : • Approches régions Recherche les zones dans l’image selon un critère d’homogénéité. Deux méthodes : • Méthodes spatiales: partitionnement en régions dans le plan image en tenant compte de l’information attribut du pixel (couleur,…), par ex. croissance de régions, division-fusion, etc. • Méthodes de classification pixellaires: regroupement des méthodes de partitionnement basées uniquement sur les attributs des pixels (couleur, ...). Par ex. clustering, analyse d’histogrammes, etc. • Approches contours extraction des bords entre objets en se basant sur la recherche de discontinuités ( méthodes dérivatives, morphologiques, …).

19. Etat de l’art de la segmentation d’images • Etat de l’art • Définitions • Stratégies de segmentation • Approches de segmentation • Méthodes de classification • Choix d’un métrique et d’un espace couleur • Conclusion partielle

20. Etat de l’art de la segmentation d’images • Méthodes de classification • classification nette: classification dans laquelle un pixel est affecté à une classe dont il est le plus proche selon un critère de distance ou de similarité. • classification floue: classification réalisant un partitionnent fou, c’est-à-dire un pixel appartient à une classe avec un degré d’appartenance, cette notion découle de la théorie des sous-ensembles flous que nous verrons dans une autre section. • Méthodes de classification Deux grandes méthodes : • Les clusterings : fondées sur le principe que les pixels d’une même classes possèdent les mêmes caractéristiques radiométriques ( couleurs, …), ces techniques peuvent être nettes ou floues et nécessite la connaissance a priori du nombre de classes. Exemple de méthodes : Centres mobiles [Forgy, 1965], K-Means [Hartigan, 1975], ISODATA [Takahashi et al., 1995], Nuées dynamiques [Diday, 1982], FCM [Bezdeck et al., 1984].

21. Etat de l’art de la segmentation d’images • Méthodes de classification • Méthodes de classification (suite) • Analyse d’histogrammes: considère que la distribution des spels de l’histogramme nD forme des modes de forte densité correspondant aux classes présentes. Inconvenients : • Une trop grande quantité de données des histogrammes nD à manipuler • Un coup élevé en temps de calcul • Stratégies des méthodes d ’analyse d’histogrammes nD • méthodes paramétriques : elles expriment le problème de classification en termes probabilistes ou la classe est sensée suivre une distribution spécifique dans l’espace nD, classiquement une gaussienne. [Postaire, 1983] [Akaho, 1995] • méthodes non paramétriques : elles ne font référence à aucun modèle probabiliste et ces approches reposent sur la détection des modes. [Fukunaga et al, 1975], [Vasseur et Postaire, 10], [ Ouattara et Clément, 2008]

22. Etat de l’art de la segmentation d’images Travaux de segmentation par seuillage • Méthodes de classification • Quelques travaux bibliographiques sur l’analyse d’histogramme Recherche de modes ( pics) par : • estimation de noyaux par approches paramétrique et non paramétrique (Mean-shift) • recherches de minimas (LPE ) • seuillage basé sur la minimisation d’une fonctionnelle ([Otsu, 1979]). • Quelques travaux d’approches par seuillages

23. Etat de l’art de la segmentation d’images Travaux de segmentation par recherche de modes ou pics • Méthodes de classification • Quelques travaux bibliographiques sur l’analyse d’histogramme • Travaux d’approches par recherche de modes

24. Etat de l’art de la segmentation d’images Travaux de segmentation par recherche de modes ou pics • Méthodes de classification • Quelques travaux bibliographiques sur l’analyse d’histogramme • Travaux d’approches par recherche de modes ou pics (suite)

25. Etat de l’art de la segmentation d’images • Etat de l’art • Stratégies de segmentation • Approches de segmentation • Méthodes de classification • Choix d’une métrique et d’un espace couleur • Conclusion partielle

26. Etat de l’art de la segmentation d’images • Choix d’une métrique et d’un espace couleur • Choix d’une métrique • influence sur les résultats des méthodes de segmentation (ex : euclidienne, Mahalanobis, Tchebychev, etc.). • pas de métrique universelle • en segmentation couleur, difficulté à différencier des couleurs proches. • Nous utiliserons la métrique euclidienne. • Choix d’un espace couleur • dépend de la méthode envisagée, de la nature des images et du résultat recherché. • pas de meilleur espace couleur pour la segmentation pour tout type d’images [Liu et Yang ,1994] . • Il est conseillé de segmenter dans l’espace initial d’acquisition.

27. Etat de l’art de la segmentation d’images • Etat de l’art • Stratégies de segmentation • Approches de segmentation • Méthodes de classification nette et floue • Choix d’un métrique et d’un espace couleur • Conclusion partielle

28. Etat de l’art de la segmentation d’images • Conclusion partielle • La classification ne répond pas à tous types de problèmes. On peut adjoindre une étape de traitement spatial: c’est la classification spatio-colorimétrique. • Les méthodes de clustering sont rapides mais leur inconvénient réside dans le fait que le résultat de segmentation dépend de l’initialisation. • Les méthodes paramétriques sont rapides mais présentent l’inconvénient d’un a priori sur la distribution statistique des classes. • Les méthodes semi-vectorielles et de réduction d’espace sont rapides mais présentent l’inconvénient de ne pas prendre en considération toute la corrélation entre les composantes de l’image. Les méthodes proposées sont non paramétriques et vectorielles

29. Segmentation par analyse d’histogrammes multidimensionnels PLAN Contexte du travail Objectifs Problématique Généralités Etat de l’art de la segmentation d’images Etat de l’art de l’évaluation de la segmentation Méthodes de segmentation proposées Evaluation de la segmentation Conclusion

30. Etat de l’art de l’évaluation de la segmentation • Etat de l’art • Méthodes d’évaluation de segmentation • Analyse des Méthodes d’évaluation

31. Etat de l’art de l’évaluation de la segmentation • Méthodes d’évaluation de segmentation • Généralités Deux types de stratégies : [Chabrier, 2004] [Philipp-Pholiguet et Guigues, 2006]. • Les méthodes supervisées : évaluation des segmentations par rapport à une segmentation de référence ou vérité terrain. Mesure de[Vinet, 1991]. • Les méthodes non supervisées : classification des segmentations par ordre de pertinence grâce à des mesures de qualité sans connaissance a priori de l’image. • adaptées aux images naturelles. Mesures de [Levine et Nazif, 1985], [Liu et Yang, 1994], [Borsotti et al., 1998], [Zeboudj, 1988], [Rosenberger, 1999]. Remarque :Des méthodes de détermination du nombre de classes optimal peuvent être exploitées pour l’évaluation

32. Etat de l’art de l’évaluation de la segmentation • Méthodes d’évaluation de segmentation • Méthodes supervisées • Mesure de Vinet [1991] A : nombre total de pixel de l’image, Ck : couplage optimal entre régions de l’image segmentée et la segmentation de référence et K : nombre de régions de l’image segmentée • Méthodes non supervisées • Critère d’uniformité intra-région de Levine et Nazif [1985]: Mesure de Levine-Nazif = où σi est la variance de la région i et C une constante de normalisation qui pourrait être la variance maximale de l’image N.B : le complément à 1 de cette valeur est calculée pour évaluer la segmentation

33. Etat de l’art de l’évaluation de la segmentation • Méthodes d’évaluation de segmentation • Méthodes non supervisées (suite) • Mesure de Borsotti[Borsotti et al.,1998] N(Ai) : nombre de régions ayant une aire égale à Ai A : nombre total de pixel de l’image, ei² : variance de la région i de l’image segmentée et N: nombre de régions de l’image segmentée • Critère de Rosenberger (F(I)) [Chabrier et al., 2004]: : Disparité intra-région ; : Disparité inter-région

34. Etat de l’art de l’évaluation de la segmentation • Méthodes d’évaluation de segmentation • Méthodes non supervisées (suite) • Critère de Zeboudj[Cocquerez et Philipp, 1995] Ai : nombre de pixel d’une région Ri A : nombre total de pixels de l’image C(Ri) : contraste d’une région Ri CI(i) : contraste interne d’une région Ri CE(i) : contraste externe d’une région Ri

35. Etat de l’art de l’évaluation de la segmentation • Etat de l’art • Méthodes d’évaluation de segmentation • Analyse des Méthodes d’évaluation

36. Etat de l’art de l’évaluation de la segmentation • Analyse des méthodes d’évaluation Le critère de : • Levine et Nazif : favorise les segmentations à régions homogènes indépendamment de l’aire des régions • Borsotti :favorise aussi les segmentations à régions homogènes en privilégiant légèrement les régions à grands effectifs et pénalise les segmentations ayant des régions à effectifs égaux et la sur-segmentation • Rosenberger :favorise les segmentations à régions homogènes bien séparées, aussi des segmentations à régions proches à grand effectifs et tient compte de l’information spatiale. • Zeboudj :favorise des segmentations à régions homogènes et bien séparées et tient compte de l’information spatiale N.B : Retenons le critère de Levine et de Nazif(simple et adapté à la classification)

37. Etat de l’art de l’évaluation de la segmentation • L’algorithme k-means est en 4 étapes : • Choisir k objets formant ainsi k clusters • (Ré)affecter chaque objet O au cluster Ci de centre Mi tel que distance(O,Mi) est minimal • Recalculer Mi de chaque cluster (le barycentre) et l’énergie E • Aller à l’étape 2 si non stabilisation de E • Analyse des méthodes d’évaluation • Application aux méthodes d’évaluation • Choix de K-means pour étudier le comportement des méthodes d’évaluation • Test sur des images de Forsythia au nombre de 24 dont on a les vérités terrain  Principe de K-means

38. Etat de l’art de l’évaluation de la segmentation IMG24 IMG01 IMG05 IMG08 Seg_01_Man Seg_05_Man Seg_08_Man Seg_24_Man • Méthodes d’évaluation de segmentation • Application aux méthodes d’évaluation Seg_05_Kmeans Seg_08_Kmeans Seg_24_Kmeans Seg_01_Kmeans

39. Etat de l’art de l’évaluation de la segmentation Evaluation non supervisée de segmentation manuelle et Kmeans du Forsythia • Analyse des méthodes d’évaluation • Application aux méthodes d’évaluation (suite)

40. Etat de l’art de l’évaluation de la segmentation • Méthodes d’évaluation de segmentation • Conclusion partielle • Les segmentations K-means et manuelle sont pertinentes variablement d’un critère à l’autre. • Le critère de Zeboudj et Rosenberger favorise la segmentation manuelle • Le critère de Levine et Borsotti favorise la segmentation par K-means Conséquences • Le choix de la méthode d’évaluation dépend du but visé • Pas de méthode universelle de segmentation • Pas d’unicité du partitionnement d’une image,

41. Segmentation par analyse d’histogrammes multidimensionnels Contexte du travail Objectifs Problématique Généralités Etat de l’art de la segmentation d’images Etat de l’art de l’évaluation de la segmentation Méthodes de segmentation proposées Evaluation de la segmentation Conclusion

42. Méthodes de segmentation proposées • Méthodes de segmentation proposées • Histogrammes nD compact • ECC classique d’histogrammes nD compact • Méthode de classification nD • Méthode de classification nD intégrant un modèle de voisinage flou ou de similarité floue • Méthode de classification nD par requantification • Résistance des méthodes de segmentation nD au bruit

43. Méthodes de segmentation proposées • Méthodes de segmentation proposées • Histogrammes nD compact • ECC classique d’histogrammes nD compact • Méthode de classification nD • Méthode de classification nD intégrant un modèle de voisinage flou ou de similarité floue • Méthode de classification nD par requantification • Résistance des méthodes de segmentation nD au bruit

44. Méthodes de segmentation proposées NG : Niveaux de Gris E : Effectif R : Rouge V : Vert B : Bleu Histogramme 1D Histogramme couleur (3D) • Histogrammes nD compact • un histogramme : graphique statistique permettant de représenter la distribution des spels ( niveaux de gris, couleur, …) c’est-à-dire l’occurrence de chaque spel. • D’un point de vue algorithmique l’histogramme est manipulé dans une structure de données sous forme de tableau. • Exemple de structure de codage d’histogramme

45. Méthodes de segmentation proposées • Histogrammes nD compact • Différentes structures d’histogrammes nD • Histogramme de Thomas [1991] Obtenu à partir des 5 bits de poids forts de chaque composante de RGB (taille: 32X32X32). • Histogramme de Xiang[1997] Une liste (R,G) code les valeurs de bleu prises par les pixels de l’image et le nombre de pixels RGB. • Histogramme de Balasubramania[1991] Similaire à celui de Xiang mais les valeurs de B sont stockées dans un arbre • Histogramme nD compact [Clément et Vigouroux, 2001] Similaire à celui de Thomas. Réduit de façon drastique l’espace mémoire occupé par l’histogramme sans perte en stockant uniquement les spels (ex: couleur) réellement présents dans l’image.

46. Méthodes de segmentation proposées Image synt_gdr et son histogramme 3D compact • Histogrammes nD compact • Exemple d’un histogramme 3D compact image synthétique couleur [synt_gdr ]( 256x256), résolution tonale 24 bits .

47. Méthodes de segmentation proposées C : nombre de cellules réellement occupées ≤ MxN E : nombre de bits nécessaire pour coder une cellule ≥ log2(MxN) Q : résolution tonale de chaque plan • Histogrammes nD compact • Avantage de Histogramme nD compact • Réduit le volume de l’histogramme nD classique d’un facteur X Pour une image multi-composantes de dimension MxNxP ( P étant le nombre de plans),

48. Méthodes de segmentation proposées • Méthodes de segmentation proposées • Histogrammes nD compact • ECC classique d’histogrammes nD compact • Méthode de classification nD • Méthode de classification nD intégrant un modèle de voisinage flou ou de similarité floue • Méthode de classification nD par requantification • Résistance des méthodes de segmentation nD au bruit

49. Méthodes de segmentation proposées • ECC classique d’histogrammes nD compact • Bibliographie (deux concepts) • L’ECC réalisé sur des images binaires 2D puis sur des images nD binaires [ Haralick et al.,1992] [Sedgewick et Robert, 1998] • En théorie des graphes : recherche de composantes connexes (CC) réalisée mais pas sur le concept d’étiquetage. [Mény et al., 2005] [Cogis et Robert, 2003] Dans cette section nous avons opté pour le concept d’ECC dans les images binaires

50. Méthodes de segmentation proposées 2D 8-voisins ou full-connexité 4-voisins • ECC classique d’histogrammes nD compact • Composante connexe: correspond mathématiquement à une classe d’équivalence • Un voisinage : relation qui lie des éléments d’un ensemble E, on considéra que notre relation de voisinage définit une relation d’équivalence. • Notion de voisinage (connexité) spatial dans les images binaires La notion de voisinage a été généralisée par Rosenfeld [1979] dans un espace topologique nD discret. • Soit 2 voisinages en 2D définissant deux types de connexité.