1 / 47

DeMiTri : D é convolution aveugle en microscopi e biologique tridimensionnelle

Sophia Antipolis. WEIZMANN INSTITUTE OF SCIENCE. DeMiTri : D é convolution aveugle en microscopi e biologique tridimensionnelle . L’équipe. Jean-Christophe Olivo-Marin - Christophe Zimmer - Pascal Roux Josiane Zerubia - Laure Blanc-Féraud

betty_james
Download Presentation

DeMiTri : D é convolution aveugle en microscopi e biologique tridimensionnelle

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Sophia Antipolis WEIZMANN INSTITUTE OF SCIENCE DeMiTri :Déconvolution aveugle en microscopie biologique tridimensionnelle

  2. L’équipe Jean-Christophe Olivo-Marin - Christophe Zimmer - Pascal Roux Josiane Zerubia - Laure Blanc-Féraud + Nicolas Dey (Post-doctorant) – Gemma Pons (stagiaire DEA) Zvi Kam Sophia Antipolis WEIZMANN INSTITUTE OF SCIENCE ARC DEMITRI – 17 dec. 2004

  3. Présentation • L’acquisition en microscopie confocale • La restauration : problème mal posé • méthodes monoéchelles : itératives + terme régularisation • [Geman & McClure 85, Charbonnier 97, …] • [Ricardson-Lucy …] • Algorithme de déconvolution par Richardson-Lucy régularisé • méthodes multiéchelles : ondelettes réelles + régularisation par seuillage des coefficients • [Mallat 89, Bijaoui 94, …] • Algorithme de déconvolution par la Transformée en Ondelettes Complexes 3D et seuillage. • Bilan et perspectives ARC DEMITRI – 17 dec. 2004

  4. Microscopie optique en biologie • Fluorophores (GFP, CFP, YFP, RFP…)  marquage de composants cellulaires spécifiques • Lasers monochromatiques • Filtres spécifiques • Observation de cellules vivantes, processus dynamiques • Microscopie confocale: sections optiques de haute qualité (3D) • Plateforme d’Imagerie Dynamique, Institut Pasteur: 8 microscopes, dont 4 confocaux ARC DEMITRI – 17 dec. 2004

  5. Microscopie confocale: principe [Minsky 57] objectif miroir semi-réfléchissant specimen z laser diaphragme Détecteur (photomultiplicateur) plan focal Le diaphragme rejette la lumière émise hors du plan focal Balayage du specimen et reconstruction de l’image par ordinateur (3D= piles d’images 2D) ARC DEMITRI – 17 dec. 2004

  6. Microscopie à champ large Microscopie confocale 20 m Rendu surfacique ARC DEMITRI – 17 dec. 2004

  7. Microscopie confocale: Limites • Diaphragme réduit le rapport photons détectés/ photons émis • Photo-toxicité et photo-blanchiment  intensité du laser doit être modérée •  faible flux de photons ( bruit de Poisson) • Augmenter le diamètre  du diaphragme  le signal augmente, mais aussi la fluorescence parasite émise hors plan focal (compromis typique:  = tâche d’Airy) • Même pour =0, l’image est floue à cause de la limite de diffraction ARC DEMITRI – 17 dec. 2004

  8. PSF d’un microscope confocal • Modèle de PSF théorique [Sheppard & Cogswell 1990] • Hypothèses: • PSF invariante par translation • ex = em , • pas d’aberrations optiques, • valable pour   0. • Limite de résolution importante pour la biologie cellulaire • Ex: cellule de levure:  = 1 m  Amélioration possible par déconvolution (=0) PSF confocale theorique 3 m 0.5 m ARC DEMITRI – 17 dec. 2004

  9. Acquisitions d’images tests • Objets de géométrie connue pour évaluer les résultats de déconvolution • Billes fluorescentes calibrées (FocalCheck): • Immobilisees dans gel d’agarose • Microscopie: • Zeiss Axiovert 200M confocal/bi-photon, grossissement interne 3.3x. • Objectif d’huile à immersion, grossissement 63x, ouverture numérique 1.4. • Laser: ex =520 nm, em =488 nm; diaphragme  = 1 Airy • Echantillonnage: dx = dy = 89 nm, dz = 230 nm 6 m 15 m 0.5-0.7 m ARC DEMITRI – 17 dec. 2004

  10. o f Image observée Image originale Noyau de convolution (PSF connue) Équation d’observation Les images observées sont dégradées : Bruit de Poisson ARC DEMITRI – 17 dec. 2004

  11. o f Modèle Probabiliste • Formation de l’image : • Probabilité de vraisemblance • Probabilité d’observer o sachantf (et h) • trouver f qui maximise cette probabilité ARC DEMITRI – 17 dec. 2004

  12. Algorithme standard • Minimiser -log[ p(o/f) ] • Fonctionnelle à minimiser • Richardson-Lucy: algorithme itératif multiplicatif de gradient [Richardson74] [Lucy72] ARC DEMITRI – 17 dec. 2004

  13. Algorithme de déconvolution • Pourquoi Richardson-Lucy (astronomie et confocal) ? • adapté au bruit dePoisson • Contrainte de positivité • Limitations • amplification du bruit au cours des itérations • Régularisation : arrêt des itérations • Incorporer une régularisation ARC DEMITRI – 17 dec. 2004

  14. Attache aux données Terme de régularisation Régularisation • Méthodes mono-échelle[Tikhonov, Geman & McClure, Charbonnier, …] Régularisation + préservation des contours On cherche f qui minimise J(f) : J(j) = ||o-h*f||2 / 2s2+ F(f) • Méthodes multi-échelle[Mallat, Bijaoui, …] Analyse multirésolution  ondelettes • Inversion puis seuillage des coefficients en ondelettes • Régularisation des méthodes itératives classiques (par seuillage d’une transformée en ondelettes) ARC DEMITRI – 17 dec. 2004

  15. o o o f f f ~ Modèle Probabiliste • Probabilité a posteriori p(f/o) • Appliquer un modèle sur l’objet à reconstruire p(f) est le terme de régularisation • Régularisation quadratique • [Tikhonov63] [v.Kempen & v.Vliet97] [v.d.Voort & Strasters95] ARC DEMITRI – 17 dec. 2004

  16. On cherche f qui minimiseJ(f) : • Régularisation par Variation Totale (TV) [Rudin92, Charbonnier94,…] Régulariser et préserver les contours Min f ARC DEMITRI – 17 dec. 2004

  17. Régularisation • Fonctionnelle à minimiser • Algorithme de Richardson-Lucy régularisé ARC DEMITRI – 17 dec. 2004

  18. Résultats • comparer entre RL standard et RL régularisé par TV • Données simulées et données réelles acquises à l’institut Pasteur • Critères numériques de qualité [Csiszar91] • EQM • I-divergence ARC DEMITRI – 17 dec. 2004

  19. y x z x Objet simulé 3D • même échelle en X et Y, mais différente en Z ARC DEMITRI – 17 dec. 2004

  20. Données dégradées • Dégradations par du flou et du bruit simulés • Flou 3D : modèle de PSF d’un microscope confocal • bruit: simulation d’un bruit de Poisson ARC DEMITRI – 17 dec. 2004

  21. Déconvolution RL • Richardson-Lucy sans régularisation • itérations: arrêt avant l’amplification du bruit • oscillations dans l’image restaurée • Les bords des objets restent flous (en XY) • Les objets sont plus fins qu’en réalité (en XZ) ARC DEMITRI – 17 dec. 2004

  22. Déconvolution RL avec régularisation TV • Richardson-Lucy avec régularisation TV • Pas d’amplification du bruit • Pas d’oscillations d’intensité • bords francs (en XY) • épaisseur originale des objets (en XZ) ARC DEMITRI – 17 dec. 2004

  23. Comparaison des résultats originale dégradée RL RL+TV ARC DEMITRI – 17 dec. 2004

  24. Résultat: Image 3D de microscopie confocale Coquille sphérique algo. RL algo. RL + VT @Pasteur Épaisseur mesurée de l’anneau: ~500 nm en réalité , ~900 nm image dégradée, ~ 400nm surRL, ~500nm sur RL+TV ARC DEMITRI – 17 dec. 2004

  25. Résultats sur données réelles • Profil d’une image • rouge: données brutes • vert: restauration RL • rouge: données brutes • vert: RL+TV ARC DEMITRI – 17 dec. 2004

  26. Conclusion • Qualitativement: bonne restauration • coin arrondis • Reste localement un peu de flou(diagonales) • Pas adapté aux textures et petits objets • Quantitativement : amélioration de la I-divergence et de l’EQM: de 1 (RL) à [0.30  0.50] (RL+TV) • Nombre de compte non conservé ARC DEMITRI – 17 dec. 2004

  27. La restauration par Transformées en ondelettes • Représentation dans le domaine des ondelettes • représentation compacte du signal, • bonne représentation des textures. • Choix de la base • Représentation de l’image sur peu de coefficients de valeurs fortes • Le bruit est réparti sur tous les coefficients • Seuillage des coefficients en ondelettes efficace pour le débruitage [Donoho & Johnstone 92] • Déconvolution : • Méthode directe [Mallat & Kalifa 99] • Méthodes itératives [Stark & Bijaoui 94… ] ARC DEMITRI – 17 dec. 2004

  28.  Invariance par translation et rotation  Sélectivité directionnelle  Reconstruction parfaite  Algorithme rapide O(N)  Redondance 2m:1, m = dim • quad-arbre en 2D (4 arbres d’ondelettes parallèles) [Kingsbury 98] • filtres décalés d’½ pixel entre les arbres • combinaison des arbres  coefficients complexes • ondelettes biorthogonales Ondelettes Complexes Propriétés : ARC DEMITRI – 17 dec. 2004

  29. a1 d11 a1A d11A a1B d11B d21A d31A a0 (image) d21 d31 d21B d31B a1C d11C Arbres parallèles ABCD Transformée non décimée d21C d31C B B B A A D B C C C D D C A D A C D A A D A D A D B C C C B B B A A A A A A A A A C C C C C C C C C C B C B D C B A A A D A C D B D A D A B D B C D A B A B C C D C a1D d11D B B B B B B B B B D D D D D D D D D d21D d31D Quad-arbre : 1er niveau Reconstruction parfaite : moyenne (A+B+C+D)/4 ARC DEMITRI – 17 dec. 2004

  30. M dkj,A Zkj+ dkj,B dkj,C Zkj- dkj,D ! 4 sous-bandes réelles 2 sous-bandes complexes symétriques Z + = (A - D) + i (B + C) Z - = (A + D) + i (B - C) L’ondelette continue n’est pas une fonction complexe. Ce ne sont pas exactement des ondelettes complexes ! Coefficients complexes ARC DEMITRI – 17 dec. 2004

  31. Pas d’invariance par translation  artefacts (moyenne sur translations) Pas d’invariance par rotation Directions privilégiées : horizontale / verticale • mauvaise représentation des textures orientées (diagonales) Comparaison avec les ondelettes réelles ARC DEMITRI – 17 dec. 2004

  32. hhg d14 ghg d15 (x,y,z) hhh a1 a0 volume ggg d17 hgg d16 y z x Ondelettes 3D réelles ghh d11 hgh d12 ggh d13 Transformée 1er niveau ARC DEMITRI – 17 dec. 2004

  33. Ondelettes complexes 3D 8 Arbres parallèles ABCDEFGH ARC DEMITRI – 17 dec. 2004

  34. M dkj,A Zkj,1+ Zkj,1+ dkj,B dkj,C 4 sous-bandes complexes symétriques Zkj,2- Zkj,2- dkj,H dkj,G dkj,D dkj,E dkj,F 8 sous-bandes réelles Z 1+ = (A - D - F - G) + i (B + C + E - H) Z 1- = (A + D + F + G) + i (B + C - E + H) Z 2+ = (A + D + F - G) + i ( - B + C + E + H) Z 2- = (A + D - F + G) + i (B - C + E + H) Coefficients complexes 3D ARC DEMITRI – 17 dec. 2004

  35. 5 6 1 2 7 8 hhg d14 3 4 ghg d15 (x,y,z) hhh a1 ghh d11 a0 volume Z1+ Z2+ ggg d17 Z1- Z2- hgg d16 hgh d12 ggh d13 Im Re y ... z x Transformée 1er niveau Ondelettes 3D complexes 4 sous-bandes /détail * 7 détails/niveau = 28 sous-bandes complexes/niveau ARC DEMITRI – 17 dec. 2004

  36. Algorithme de débruitage par Ondelettes Transformée directe seuillage Transformée inverse Choix de la base : • compacité • reconstruction • propriétés d’invariance Choix de la fonction de seuillage Valeur optimale du seuil ? ARC DEMITRI – 17 dec. 2004

  37. a) b) c) d) contours plus nets moins d’oscillations c) Débruitage par la CWT : Comparaison CWT - DWT 3D a) Image originale 128x128x64 b) Image bruitée, bruit gaussien de variance 900 c) Débruitage par la CWT d) Débruitage par la DWT ARC DEMITRI – 17 dec. 2004

  38. CWT Seuillage doux DWT ~ 2 dB ~ 2 dB ~ 2 dB CWT CWT Seuillage dur Seuillage Oracle DWT DWT Comparaison CWT - DWT 3D • CWT meilleure de ~2 dB par rapport à DWT • Le seuillage doux donne les meilleurs résultats ARC DEMITRI – 17 dec. 2004

  39. Résultatimage réelle • Débruitage de l’image des billes acquises à l’Institut Pasteur (256x256x128). • Seuillage des coefficients complexes 3D (T=1.6sk). ARC DEMITRI – 17 dec. 2004

  40. Débruitageimage réelle • Image réelle (156x156x30) : embryon de drosophile en train de réaliser la fermeture dorsale (coupe). Laboratoire biologie cellulaire UNSA/CNRS • Débruitée par seuillage de la transformée en ondelettes complexes. ARC DEMITRI – 17 dec. 2004

  41. Algorithme de déconvolution par Ondelettes Déconvolution brutale Transformée directe Transformée directe seuillage seuillage Transformée inverse Transformée inverse Déconvolution • Mais il y a des zéros dans le spectre de la PSF • Déconvolution par RL + TV ARC DEMITRI – 17 dec. 2004

  42. Résultatimage synthétique Image floue Débruitée par TOC + RLTV TOC + RLTV et bruitée TOC 25 itérations convergence (l=2.10-3) (l=2.10-3) ARC DEMITRI – 17 dec. 2004

  43. Comparaison des résultats Image floue TOC + RL+TV Image floue RL+TV et bruitée convergence et bruitée convergence (Gaussien 100) (l=2.10-3) Poisson (l=2.10-3) ARC DEMITRI – 17 dec. 2004

  44. Résultatimage réelle Image floue Débruitée par et bruitée TOC TOC + RLTV TOC + RLTV 25 itérations convergence (l=2.10-4) ARC DEMITRI – 17 dec. 2004

  45. Conclusion • Tenir compte de la statistique du bruit : loi de Poisson • Anisotropie en Z • Transformée en paquets d’ondelettes : CWP? • Méthodes hybrides : déconvolution itérative + débruitage par CWT [Bijaoui 95, Malgouyres02,Stark 04,Bect 04] ARC DEMITRI – 17 dec. 2004

  46. Bilan de l’ARC Demitri • Collaboration entre les équipes : • Nombreux longs séjours de Nicolas Dey à l’Institut Pasteur (2 à 4 semaines par séjour) • Visites régulières d’Ariana à Pasteur (JZ et LBF, 3 à 4 par an) et de Pasteur à Ariana (2 à 3 par an). • Une visite par an de Zvi Kam en France (une semaine à l’Institut Pasteur, une semaine chez Ariana) et une visite de 10 jours de N. Dey à l’Institut Weizmann en juillet 2004. • Publications • ISBI 04, SSIAB 04 (papiers invités), ICASSP 05 • Rapports de recherches : un paru (N. Dey et al. juil.04) et un à paraître (G. Pons et al.). • Un article en préparation pour Microscopy Research and Technique ARC DEMITRI – 17 dec. 2004

  47. Perspectives • Par rapport à l’ARC Demitri • Débruitage et déconvolution… encore des recherches à mener (CWP, anisotropie en Z pour les ondelettes, méthodes itératives avec ondelettes). • Validation (pb d’optique) du modèle de réponse impulsionnelle (PSF) • Déconvolution aveugle : à faire • Collaborations futures • Thèse de Bo Zhang 04/07, financement BDI CNRS • Math/Stic 04/05 : Ariana, Dieudonné, Pasteur (financement CNRS) • Proposition Franco-Israëlienne: Ariana, Pasteur Technion, Weizmann (réponse fin décembre 04) • Projet Européen NEST : PI Pasteur, Ariana, Weizmann, EPFL, Université de Delft (réponse début 2005) • Proposition ACI NIM 04 à resoumettre en 05 : Ariana, Dieudonné, CMAPX, Pasteur. • Comité IEEE BISP : JZ élue pour 05/07, candidature de JCOM proposée pour 06/08. ARC DEMITRI – 17 dec. 2004

More Related