1 / 77

Benoit Scherrer

Segmentation des tissus et des structures sur les IRM cérébrales : agents markoviens locaux coopératifs et formulation bayésienne. Benoit Scherrer. Thèse co-encadrée par Mme Catherine Garbay et M. Michel Dojat Préparée dans les laboratoires TIMC, GIN et LIG

haviva-craft
Download Presentation

Benoit Scherrer

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Segmentation des tissus et des structures sur les IRM cérébrales : agents markoviens locaux coopératifs etformulation bayésienne. Benoit Scherrer Thèseco-encadrée par Mme Catherine Garbay et M. Michel Dojat Préparéedans les laboratoiresTIMC, GIN et LIG CollaborationFlorence Forbes, INRIA

  2. Introduction • Imagerie par résonance magnétique (IRM) • Permet l’observation avec une résolution fine de l’anatomie • Modalité d’imagerie médicale peu invasive • Met en évidence les tissus mous • Adaptée pour l’étude du cerveau Données brutes(issue des mesures physiques) • Explosion de la quantité d’information générée • Interprétation automatique des IRM cérébrales : • un enjeu majeur Reconstruction 3D de l’image Acquisition IRM INTERPRETATION DE L’IMAGE

  3. Introduction : la segmentation • Parmi les outils d’interprétation : la segmentation des IRM cérébralesBut : attribuer à chaque voxel une étiquette de classe parmi K classes • La segmentation : différents buts Segmentation des tissus Description de la matière contenue dans les voxels.matière blanche (MB), matière grise (MG), liquide céphalo-rachidien (LCR) Segmentation des structuresDescription selon des régions anatomiques connues. Noyaux caudés, putamen, thalamus, hypocampe, amygdale, … IRM Pondérée T1

  4. Application à l’INSERM U836 Contexte de la thèse :Projet de Cartographie des Aires Visuelles chez l’Homme Segmentation des tissus  Matière grise (MG) Segmentation des structures  différencier MG du cortex et des structures  Reconstruction fine 3D du Cortex La segmentation : un maillon crucial dans la chaînes d’interprétation IRM Anatomique 3D  Volume de Voxels Doit être aussi robuste et fiable que possible Projection des données IRMf Dépliage du Cortex. Cartes Planes. IRM Fonctionnelle

  5. Difficulté de la segmentation d’IRM • Images IRM perturbées par de nombreux artéfacts Variation de l’intensité pour un même tissu Inhérent à toute mesure physique Bruit Inhomogénéité • Effet de volume partiel, faible contraste, • Taille des données (acquisition 256x256x256 : 16 millions de voxels) • La segmentation : un problème difficile • Nécessite des modèles mathématiques adaptés • Enjeux et difficulté d’une segmentation robuste illustrés par l’intérêt croissant porté sur la segmentation • Source :PubMedRequête :medical AND image AND (segmentation OR classification OR labeling)

  6. Segmentation non supervisée Ascendants Ascendants Mélange de lois Champ de Markov Descendants Descendants Explicites(snakes) Implicites(level sets) Paramétrique Non Paramétrique Modèles déformables Probabiliste Classification SEGMENTATION Orientée contours Orientée régions Déterministe “bas niveau” Recalage d’atlas • Approches probabilistes • Cadre statistique formel bien posé • Modélisent l’incertitude dans l’attribution des classes • Intègrent naturellement des connaissances a priori (modèles de bruit, d’inhomogénéité, localisation des structures, …) • Modélisation de problèmes couplés (distributions jointes) • Inférence naturelle et rigoureuse d’algorithmes d’estimation • Champs de Markov : robuste au bruit Opérateurs différentiels Approches hybrides K-Mean Morphologie mathématique Fuzzy C-Mean Croissance de région Mean-shift Gradient Morphologique Ligne de partage des eaux Seuillage

  7. La segmentation des IRM Classiquement dans la littérature • Segmentation tissusApproche probabiliste : estimation de modèles d’intensités • Modélisation globale de l’intensité des tissus • Requiert l’estimation d’un champ d’inhomogénéité (biais) • Segmentation des structures • Les distributions d’intensité se recouvrent largement • Requiert l’introduction d’information a priori • Recalage d’atlas ou description floue de l’anatomie • Méthode par atlas : recalage global en prétraitement • Segmentation tissus et structures : des tâches considérées indépendantesPourtant : une structure est composée d’un tissu

  8. Objet de cette thèse Enjeux de cettethèse • Considérer différents a priori pour segmenter les structures • Relations spatiales et recalage d’atlas • Modélisation markovienne de la segmentation • Régulariser l’étiquetage • Casser la logique traditionnelle globale du calcul • Localité pour mieux refléter les propriétés locales de l’image(estimation des modèles, recalage) • Distribuer des processus d’estimation locale autonomes, • Introduire des modalités de régulation entre estimations locales • Introduire différent niveaux de régularisation • Coupler les modèles • Segmentation des tissus, segmentation des structures et construction de connaissances anatomiques • Régulariser et contraindre les modèles dans leur convergence

  9. Plan • Première approche : modélisation multi-agents (LOCUS) • Segmentation markovienne • Segmentation des tissus • Segmentation coopérative des tissus et structures • Première approche : modélisation multi-agents (LOCUS) • Segmentation markovienne • Segmentation des tissus • Segmentation coopérative des tissus et structures • Seconde approche : formulation bayésienne jointe (LOCUSB) • Modélisation couplée • Formulation des interactions • Estimation du modèle • Seconde approche : formulation bayésienne jointe (LOCUSB) • Modélisation couplée • Formulation des interactions • Estimation du modèle • Evaluation • LOCUS • LOCUSB • Evaluation • LOCUS • LOCUSB • Conclusion et perspectives • Conclusion et perspectives

  10. Segmentation markovienne de l’image • La segmentation Observations Etiquettes • Segmentation markovienne • Par définition : • Corrélation spatiale entre les voxels  régularisation  robuste au bruit • Réaliser la segmentation : maximiser selon z la probabilité  Utilisation d’algorithmes de type EM (Expectation Maximization) Connaissance a priori Terme de régularisation Terme d’attache aux données, basé sur les intensités Champ externe

  11. Agent markovien local • Paradigme multi-agents : (calcul distribué)Agent = processus de calcul qui s’exécute de manière autonome et interagit • Situé dans l’image, ancré sur un territoire • Estimation coopérative des paramètres d’un champ de markov local • Agent markovien local: • Définition : • Quatre comportements : • Coopération : contribution des accointances au modèle local • Coordination : agit sur l’enchaînement des comportements

  12. Segmentation des tissus • Partitionnement du volume en sous-volumes • Définition d’un AML par sous-volume • AML spécialisé tissus : AML-T • Segmentation en trois classes : LCR, MG, MB • Accointances : agents voisins • Forces de l’estimation locale modélisée dans un SMA • Première force • Seconde force • Meilleure représentation des distributions d’intensité locales • Sous-volumes «faciles» à segmenter : convergence rapide • Libère des ressources pour traiter les autres zones • Robuste aux inhomogénéités sans modélisation explicite d’un biais

  13. Compromis localité / fiabilité de l’estimation • Sous-volumes avec 40x40x40 voxels (64000 voxels) • Bonne représentation des classes permettant une estimation fiable des modèles • Peu local, sensible aux inhomogénéités • Suffisament local (robustesse aux inhomogénéités) • Assurer la validité des modèles locauxdans la littérature : validité assurée par redondance d’information Mécanismes de régularisation des modèles locaux • Sous-volumes avec 10x10x10 voxels (1000 voxels) • Meilleure localité, robuste aux inhomogénéités • Sous représentation des classes pour assurer la fiabilité de l’estimation

  14. Segmentation des tissus • Mécanismes de coopération •  Assurer la cohérence globale des modèles locaux Calcul d’un modèle d’intensité moyen dans le voisinage Model checking Si nécessaire, correction du modèle local combinaison linéaire du modèle estimé et du modèle moyen Model correction Model interpolation • Calcul d’un modèle d’intensité par voxel (splines cubiques, méthode du Krigeage) •  Assure des variations lente entre agents voisins Modélise les inhomogénéités dans les sous-volumes • Paradigme multi-agents •  Cadre adapté pour réaliser ces mécanismes de coopération

  15. Algorithme EM Local & Coopératif Ensemble d’AML-T Initialisation Agent Global Mode sommeil Model Checking Met à jour les paramètres Model Checking avec le voisinage Met à jour les probabilités Model Correction Model Interpolation Stabilisé ? Diffusion d’information

  16. Segmentation coopérative des tissus et structures Segmentation des structures • Définition d’un AML spécialisé structure (AML-S) par structure • Segmentation en deux classesstructure et non structure • Groupesd’accointances • D’un AML-T • D’un AML-S

  17. Relations spatiales • Description de l’anatomie via des relations spatiales floues • Relations de distance, d’orientation et de symétrie « Le noyau caudé droit est à moins de 5mm de la corne frontale droite » « le thalamus droit est en dessous de la corne frontale droite» etc… • Relations génériques et stables fournies par un anatomiste • Traduction de la connaissance via des cartes 3-D floues  Prend en compte la nature générale de cette connaissance EX : Noyau caudé FUSION  Fournie une carte de localisation floue de la structure dans le volume Relation de distance Relation d’orientation

  18. Segmentation coopérative des tissus et structures La carte de localisation floue : • Fournit le territoire de l’agent(Localisation dynamique, via un simple seuil) • Est intégrée dans le champ de markov local Champ de Markov local à deux classes Ml pour chaque structure l : Intégration d’une connaissance a priori basée sur la CLF Notation Champ externe Champ externe

  19. Segmentation coopérative des tissus et structures • LOCUS : Synthèse Régularisation de l’étiquetage Régularisation de l’étiquetage

  20. Plan • Première approche : Modélisation multi-agents (LOCUS) • Segmentation markovienne • Segmentation des tissus • Segmentation coopérative des tissus et structures • Seconde approche : Formulation bayésienne jointe (LOCUSB) • Modélisation couplée • Formulation des intéractions • Estimation du modèle • Seconde approche : formulation bayésienne jointe (LOCUSB) • Modélisation couplée • Formulation des interactions • Estimation du modèle • Evaluation • LOCUS • LOCUSB • Evaluation • LOCUS • LOCUSB • Conclusion et perspectives • Conclusion et perspectives

  21. Seconde approche proposée • Motivations • Mécanismes de coopérations «ad-hoc»Intuitifs mais quid de la convergence ? • Certain nombre de seuils • Relations spatiales : information très généraleDifficile de décrire un grand nombre de structures • Seconde approche proposée : • Cadre théorique formel • Coopération exprimée via une modélisation jointe • Introduction d’un atlas statistique pour segmenter les structures • Recalage de l’atlas pas un prétraitement mais couplé à la segmentation

  22. Composants du modèle Données  N voxels dans le volume, K=3 classes de tissus, L structures  Connaissance a priori sur les structures (atlas probabiliste)  Intensités : Données manquantes z (couplées)  Etiquettes des tissus : dans 3 classes  Etiquettes des structures : dans (L+1) classes (L structures + fond) . Le tissu de la structure l est noté Tl. Paramètres θ  Modèles d’intensités locaux de paramètres • Paramètres de recalage . Problème à données manquantes couplées Trouver z=(t, s) en estimant θ=(R,ψ) à partir de y

  23. Estimation d’un problème à données manquantes • Formulation fonctionnelle de EMmaximisation alternée selon q et θ de : l’ensemble des distributions de probabilité sur z • Mise à jour itérative : EM en deux étapes Etape E : Etape M : • (Interprétation de EM de type Maximization-Maximization)

  24. Interprétation fonctionnelle de EM Cas d’un problème à données manquantes couplées • Structure complexe de z=(t,s) issue du couplage Etape E non calculable en pratique • Approximation de type Variational EM : résolution sur une classe restreinte de distributions de probabilité Celles qui se factorisent : , • Mise à jour itérative : EM en trois étapes • Ne fait intervenir que ces probabilités conditionnelles • Pas nécessaire de spécifier ou pour segmenter • Seulement

  25. Modélisation markovienne & décomposition ? • Modélisation markovienneavec : Energie d’un champ de Markov Terme d’attache aux données • Décomposition • Interactions intra-champ • Interactions inter-champs • Interactions au niveau du terme d’attache aux données • Bayes :Les probabilités conditionnelles , et sont aussi des champs de Markov • Formulation des intéractions ?

  26. Formulation des interactions Interactions intra-champ • Interactions entre • étiquettes • Terme classique d’interaction spatiale des champ de Markov • Connaissance a priori sur le recalage • Amplitudes et orientations «typiques» des déformations • Interactions entre modèles • d’intensités locaux • Interaction markovienne spatiale entre les modèles d’intensité locaux

  27. Formulation des interactions Interactions inter-champs • Interactions tissus-structures • Favorise l’accord entre information tissu et structure • Interactions de t,s avec les paramètres de recalage • Favorise les configurations où une structure est alignée sur son atlas (Pohl, 2006) Non utilisé Favorise une structure composée du tissu Favorise le tissu de la structure Interactions via le terme d’attache aux données • Traduit l’accord entre les informations tissus et structuresdans l’attache aux données • Mélange des modèles d’intensité

  28. Recalage et estimation du modèle • Nature du recalage de l’atlas • Requiert une déformation globalement non linéaire • Recalage global élastique : coûteux, grand nombre d’optima locaux • Recalage local affine : profite du caractère local de l’information Espace de l’Atlas Espace de l’image Déformation locale Transformations locales affines Capturent la déformation résiduelle pour chaque structure Transformation globale affine  Alignement approximatif • Modélisation du problème • Fournit les expressions de , et • Estimation dans le cadre Variational EM • Fournit l’expression des mises à jour à chaque étape • EM en quatre étapes

  29. Estimation du modèle Initialisation M-ψ-Step Mise à jour des modèles d’intensité locaux cohérents E-T-Step Mise à jour les cartes de probabilité tissus M-R-Step Mise à jour des paramètres de recalage affine local E-S-Step Mise à jour les cartes de probabilité structures Maximisation avec une méthode numérique (Powell) Distrib. Gaussienne de moyenne et de précision : Convergence Segmentations  Implémenté dans le paradigme multi-agents

  30. Video

  31. Plan • Première approche : modélisation multi-agents (LOCUS) • Segmentation markovienne • Segmentation des tissus • Segmentation coopérative des tissus et structures • Seconde approche : formulation bayésienne jointe (LOCUSB) • Modélisation couplée • Formulation des interactions • Estimation du modèle • Evaluation • LOCUS • LOCUSB • Evaluation • LOCUS • LOCUSB • Conclusion et perspectives • Conclusion et perspectives

  32. Evaluation de LOCUS-T Evaluation quantitative : simulation avec BrainWeb Simulation • Bruit, • Inhomogénéité • Paramètres d’acquisition… Mesure de Similarité Coefficient de Dice : EVALUATION QUANTITATIVE Segmentation

  33. Evaluation quantitative de LOCUS-T • Evaluation de LOCUS-T, comparaison à FAST et SPM5 • Pour différents niveaux de bruit et d’inhomogénéité • Temps moyen de calculs • SPM5 ( recalage d’atlas + modèle de bruit + modèle de biais) : ~14min • FAST ( champ de Markov + modèle de biais ) : ~ 8min • LOCUS-T (champ de Markov locaux + régularisation) : ~4min

  34. Evaluation qualitative de LOCUS-T • Image réelle à 3 Tesla SPM5 FAST LOCUS-T • Image avec une très forte inhomogénéité (antenne de surface) SPM5 FAST LOCUS-T

  35. Evaluation de LOCUS-T : robustesse • Robustesse au paramètre de taille des sous-volumes Image BrainWeb avec 5% de bruit et 40% d’inhomogénéité • Robustesse aux paramètres de correction de modèle

  36. Comportements intéressants • Proportion moyenne pour différentes positions dans le volume du nombre d’itérations nécessaires à la convergenceCalculé sur huit segmentations d’images BrainWeb (bruit: 3%, 5%, 7%, 9% ; inh. : 20%, 40%) •  Interprétation • Faible nombre d’itérations à la périphérie  Classes sous-représentées ; correction de modèle •  Grand nombre d’itérations entre 40mm et 80mm Région du cortex, zone de faible contraste avec volume partiel S’adapte à la complexité locale de l’image

  37. Evaluation de LOCUS-TS  Segmentation des structures : évaluation quantitative • Trois structures segmentées manuellement sur BrainWeb par trois experts • Utilisation de STAPLE pour calculer une référence  Evaluation pour différents niveaux de bruit et d’inhomogénéité Amélioration relative entre première et dernière convergence Coefficient de Dice

  38. Evaluation de LOCUS-TS • Evaluation qualitative sur images réelles • Illustration de la coopération tissus - structures

  39. Evaluation de la seconde approche LOCUSB • Evaluation de LOCUSB-T • Approximativement équivalent à LOCUS-T (temps, performances) • Focalise sur l’évaluation de LOCUSB-TS et LOCUSB-TSR • Evaluation quantitative sur BrainWeb - LOCUSB-TS et LOCUSB-TSR • Avec la référence de trois structures segmentées manuellement LOCUSB-TS LOCUSB-TSR Amélioration relative

  40. Evaluation quantitative de LOCUSB • Illustration pour le noyau caudéLe recalage de l’atlas s’améliore localement avec LOCUSB-TSR.

  41. Evaluation quantitative de LOCUSB • Evaluation quantitative sur IBSR v2 • Comparaison Nécessite l’introduction d’un a priori H(R) sur le recalage ?

  42. Evaluation qualitative de LOCUSB • Comparaison LOCUSB-T, LOCUSB-TS, LOCUSB-TSR LOCUSB-T LOCUSB-TS LOCUSB-TSR

  43. Evaluation qualitative de LOCUSB • Recalage initial artificiellement perturbé (LOCUSB-TSR) Evolution du recalage et de la segmentation des structures : Atlas Segmentation

  44. Evaluation qualitative de LOCUSB • Image pathologique • Habituellement : approche locale fortement perturbée • Cas particulier : LOCUSB-TS LOCUSB-TSR

  45. Plan • Première approche : modélisation multi-agents (LOCUS) • Segmentation markovienne • Segmentation des tissus • Segmentation coopérative des tissus et structures • Seconde approche : formulation bayésienne jointe (LOCUSB) • Modélisation couplée • Formulation des interactions • Estimation du modèle • Evaluation • LOCUS • LOCUSB • Evaluation • LOCUS • LOCUSB • Conclusion et perspectives • Conclusion et perspectives

  46. Publications scientifiques • Articles de conférence avec comité de lecture • B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Fully Joint Bayesian Model for MR Brain Scan Tissue and Subcortical Structure Segmentation, MICCAI 2008« Young ScientistAward » dans la catégorie Segmentation • B. Scherrer, M. Dojat, F. Forbes, C. Garbay, LOCUS: LOcalCooperativeUnified Segmentation of MRI Brain Scans, MICCAI 2007, Brisbane, Springer-Verlag Berlin, 2007, 219-227 • B. Scherrer, M. Dojat, F. Forbes, C. Garbay, MRF Agent Based Segmentation: Application to MRI Brain Scans, AIME 2007, Amsterdam, Springer-Verlag Berlin, 2007, 13-23 • Y.Kabir, M.Dojat, B.Scherrer, F.Forbes, C.Garbay, Multimodal MRI segmentation of ischemic stroke lesions, in the Proceedings of the 29th Annual International Conference of the IEEE Engineering in Medicine and biology Society (EMBC), Lyon, 2007 • B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Une Approche SMA pour la Segmentation Markovienne des Tissus et Structures Présents dans les IRM Cérébrales, JETIM, Alger, Novembre 2006 • B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Segmentation Markovienne Distribuée et Coopérative des Tissus et Structures Présents dans des IRM Cérébrales, RFIA, Tours, 2006

  47. Publications scientifiques • Articles de journaux • B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Agentification of Markov Model Based Segmentation: Application to MRI Brain Scans, Artificial Intelligence in Medicine (AIM) • Article pour IEEE Transactions on Medical Imaging en période de revue • Article sur les travaux plus récent (modèle couplé dans le cadre bayésien) à soumettre • Résumés  B. Scherrer, M. Dojat, F. Forbes, C. Garbay, Distributed and Cooperative Markovian Segmentation of Tissues and Structures in MRI Brain Scans, Human Brain Mapping, Florence, 2006 • Autres • Workshop GDR STIC-Santé, Intégration d’informations anatomiques a priori dans un cadre Markovien : Application aux IRM cérébrales, Paris, Mai 2007,

  48. Conclusion Première approche LOCUS • Pose les bases de l’approche locale distribuée et coopérative • Localité et régularisation • Estimation locale : mécanismes de régularisation des modèles locaux •  Robuste aux inhomogénéités sans modélisation d’un terme de biais • Limite l’introduction d’a priori trop contraignant • Modélisation multi-agents : comportement opportuniste des agents • Segmentation markovienne robuste au bruit et temps de calcul faible •  S’adapte à la complexité locale de l’image • Coopérations tissus – structures et régularisation • Coopération des segmentations tissus et structures intuitive Régularisation des niveaux de connaissance • Utilisation des relations spatiales pour décrire les structuresFonctionne pour neuf structures, mais information trop générale ?

  49. Conclusion • Seconde approche LOCUSB • Définition d’un cadre statistique unifié élégant • Modélisation via une unique distribution jointe • Modélisation markovienne et décomposition permettant d’identifier explicitement les interactions • Véritable couplage • segmentation des tissus – segmentation des structures – recalage – correction des modèles d’intensités locaux • Soucis de localité • Estimation locale des modèles d’intensité • Régularisation des modèles locaux via modélisation markovienne • Recalage local affine de l’atlas de structures • Estimation guidée par le modèle • Cadre bayésien rigoureux • Algorithme EM en quatre étapes

  50. Conclusion et perspectives • Evaluation • Tissus : comparables aux meilleurs outils, faibles temps de calcul • Structures : segmentation de 17 structures, bonnes performances • Apport du couplage segmentation – régularisation – recalage • Force du cadre unifié mis en place : nombreuses possibilités d’extensions • Introduction d’un a priori sur le recalage • Prise en compte du volume partiel [Santago et Gage, 1993] • Extension à la multi-modalité • Partitionnement adapté du volumeEstimation de la taille des sous-volumes cubiques, ou partitionnement non cubique • Couplage : ajout de nouvelles variablesExtraction du cerveau, segmentation des lignes de sillons, dépliage du cortex • Extension aux données pathologiquesProblème de la représentation spatiale de la classe « lésion » • Estimation du nombre de classes dans chaque sous-volume (critère BIC) • Estimation couplées « tissus sains » et « lésion » Cadre rigoureux très ouvert pour de futurs travaux

More Related