Miroslav Melichar (podle práce Umeshe Adigy)

1. Nástroj pro segmentaci buněk v obrazu tkáně pořízeném konfokálním mikroskopem. Kvantitativní analýza FISH signálů. Miroslav Melichar (podle práce Umeshe Adigy)

2. Konfokální mikroskopie • Ostře zaměřený laserový paprsek skenuje zkoumaný vzorek v určité ohniskové rovině • Výběr ohniskové roviny a řízení skenování provádí počítač připojený k mikroskopu • Výsledkem je zásobník 2D obrazů • Hloubka zásobníku je osa Z

3. Schéma konfokálního mikroskopu

4. FISH signály • Fluorescence in Situ Hybridization • Biologická metoda umožňující vizualizovat části DNA • Zkoumané části DNA jsou zobrazeny odlišnou barvou

7. Cíle práce • Poloautomatická segmentace buněk v 3D obraze • Automatická segmentace FISH signálů • Kvantitativní analýza FISH signálů • Počet FISH signálů na jednu buňku • Nutné vyšetřit celý (3D) obsah buňky • Visuální počítání v zásobníku 2D obrazů je obtížné • Obvykle 2 FISH signály na buňku • Pokud chybí(monosomie) nebo přebývají(trisomie), jde o chybu vgenetické výbavě buňky (např. indikuje rakovinotvorný nádor)

8. Předzpracování obrazu • Úkolem potlačit šum a zvýraznit důležité rysy • Prahování (odliší pozadí a objekty zájmu) • Zostření • (směrové) Vyhlazení - odstraní šum

9. Prahování • Vhodné pokud jasová složka dostatečně charakterizuje objekt • Dynamický práh (mění se dle polohy bodu), a hledá se analýzou histogramu • Obvykle v „údolí“ mezi dvěma vrcholy histogr. • Pokud není údolí, hledá se na „rameni“ • Poté se odstraní malé objekty a zalepí malé díry • Objekt: popředí obklopené pozadím • Díra: pozadí obklopené popředím

10. Hledání prahu na „rameni“ histogramu

12. Zostření obrazu • Přidáním gradientu nebo vysokofrekvenčního signálu do obrazu • Směrové vyhlazení (odstraní šum) • Zachovává hrany a odstraňuje rušivé výčnělky na okraji (na hranách) • Bere maximální hodnotu ze směrového průměru

13. Směrový (Gaussův) filtr

14. Detekce vnějších hranic buněk • Filtrem LoG (Laplacian of Gauss) • Laplacian (druhá derivace) po Gaussovi (vyhlazení) • Najde vnější hranice • Nenajde hranice dotýkajících se nebo překrývajících se buněk (je zde malý gradient)

15. (a)originál (b)detekované hranice (c)co bychom chtěli

16. Segmentace 3D obrazu s využitím vrstev • Poloautomatická procedura • Provede se interaktivní (myší) segmentace jednoho representativního obrazu (vrstvy) • Informace o segmentaci representativního obrazu je použita pro segmentaci sousedních obrazů • Předpokládá se podobnost sousedících obrazů

17. (a)originál (b)celková hranice (c)interaktivně segmentovaný obraz

18. Segmentace s využitím informace o segmentaci sousední vrstvy (1) • E1 – množina pixelů z vnějších hran v aktuálním obraze (získaná LoG) • E2 – množina pixelů z hran správně segmentovaného sousedního obrazu • Pokud je v „okolí“ E2 nalezen pixel z E1, je daný pixel z E2 vypuštěn. Množinu zbylých pixelů z E2 nazýváme E3

19. Segmentace s využitím informace o segmentaci sousední vrstvy (2) • E3 slouží jako základ pro hledání hranice mezi dotýkajícími se nebo překrývajícími se buňkami. • V okolí E3 se hledají pixely, které mají vysokou hodnotu lokálního gradientu = hranice mezi buňkami • práh pro gradient je nižší než u LoG

21. Prohledávání „okolí“ pixelu

22. Výskyt nových a odstranění nežádoucích buněk • Výskyt nových buněk při průchodu vrstvami • Pokud je náznak buňky potvrzen výskytem ve dvou sousedních obrazech, jde o novou buňku • Odstranění nežádoucích buněk • Buňky na kraji obrazu a v krajních obrazech zásobníku jsou považovány za ořezané (tj. nežádoucí) • Odmítnutí buňky možné i interaktivně

23. Označkování (labeling) buněk • Vrstvy se prochází postupně, prvnímu neoznačenému voxelu se přiřadí unikátní označení (číslo). • Projdou se všechny jeho sousední voxely a dostanou stejnou značku. • Poté se pokračuje tam, kde skončil bod 1.

24. Vizualizace označkované buňky

25. Interpolace pro zvýšení axiálního (Z) rozlišení (1) • Pokud se sousední snímky liší výrazněji, je třeba prohledávat větší region • Výpočetně náročné O(n*m3), n=počet pixelů, m=velikost regionu • Zvýšení rozlišení umožní, aby si dva sousední obrazy byli více podobné • Je možno zmenšit velikost prohledávaného regionu na polovinu => snížení výpočetní složitosti

26. Interpolace pro zvýšení axiálního (Z) rozlišení (2) • Úloha: máme dva binární obrazy (pozadí a objekty) a chceme vytvořit obraz (vrstvu) mezi nimi. • Řešení: • Pro vytvoření hranic binárního obrazu se použije matematická morfologie • Pro vytvoření šedotóní informace v obraze se použije míchání (tj. průměrování, příp. vážené)

27. Vytvoření hranic ve vloženém obraze

29. Segmentace FISH signálů (1) • Jednodušší než segmentace buněk • Jsou více lokalizované (malé), vysoký jas • Nezajímají nás FISH signály mimo buňky • Vyhlazení: Gaussův filtr • Odstraní ostrá ojedinělá maxima způsobené šumem, ale rozmaže i FISH signál • Vyhledání FISH sinálů: TopHat filtr • Označí bod jako FISH signál, pokud je rozdíl maximálních hodnot v jádře a okolí filtrů větší než zadaný práh

30. TopHat filtr

31. Segmentace FISH signálů (2) • Následuje heuristika na velikost a tvar a umístění FISH signálů • Velikost: experimentálně zjištěný počet voxelů • Tvar: musí zabírat alespoň 2 vrstvy • Umístění: alespoň z poloviny v buňce • Pokud je FISH signál příliš veliký, šetří se zda nejde o 2 FISH signály • Musí být přítomny alespoň 2 intenzitní vrcholy s předdefinovanou minimální vzdáleností • Posledním krokem je označkování FISH signálů

32. Vyhledávání FISH signálu: • Originál • po Gaussově vyhlazení • Po TopHat filtru • Po heuristice na velikost a tvar

33. Kvantitativní analýza FISH signálů • Pro každou buňku se zjistí počet FISH signálů • Jednoduché, neboť obojí je již označkované • Výsledky • 6 vzorků tkání, 4-8 buněk na vzorek, 77 FISH sig. • Algoritmus nalezl 73 FISH signálů, tj. 5% chyba • Velmi přijatelný výsledek • Patologové také nejsou při ručním označovaní jednotní • Ulehčí únavnou práci patologům