1 / 47

作者： Xin Qi * ets 出處： IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING

Robust Segmentation of Overlapping Cells in Histopathology Specimens Using Parallel Seed Detection and Repulsive Level Set. 作者： Xin Qi * ets 出處： IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING. Outline. Abstract Introduction Touching cell segmentation Cell segmentation Experimental results

arkadiy-popov
Download Presentation

作者： Xin Qi * ets 出處： IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Robust Segmentation of Overlapping Cells inHistopathology Specimens Using Parallel SeedDetection and Repulsive Level Set 作者：XinQi*ets 出處：IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING

  2. Outline • Abstract • Introduction • Touching cell segmentation • Cell segmentation • Experimental results • Discussion and conclusion

  3. Abstract • TMAs(微陣列系統): • 微陣列系統可分為： • DNA晶片 • 蛋白質晶片 • 細胞晶片 • 組織晶片 • TMAs能有效的保存組織並具有高處理能力(Throughput) 。

  4. Abstract • 分析的影像為TMAs中的乳腺癌組織,將要對TMAs做定量分析(quantitative analysis) 。 • 一般分析傳統的細胞影像常會遇到重疊或過於擁擠的情形。 • 本論文提出一個具有可靠性的演算法將相連的細胞分開,影像的部份為乳腺癌TMA樣本,利用RGB鏡頭擷取影像。

  5. Abstract • 此演算法主要可分成兩個步驟: • 第一：使用單路徑表決(single-path voting)與群集的平均偏移(mean-shift clustering)對物件中心定位。 • 第二：以交互模式 (interactive model)與Level set的演算法,得到每一個細胞的輪廓。 • 在實驗部份,使用了234組,超過2200個細胞進行密集細胞的分割實驗。

  6. Introduction • 要分析病理組織相關影像時，將病理組織標本數位化後利用自動影像分析把細胞做分割。 • 目前的文獻中，在細胞沒有很擁擠的部分可以產生很好的分割效果，但他們無法將較密集的細胞做分割. • 以下這些方法可以處理具有緊密或輕微重疊的細胞核，但是他們不適合使用在含有大量細胞重疊的區域。

  7. Introduction • 目前使用在細胞分割的相關方法： (5項) • 1.分水嶺(watershed)演算法最常被使用在解決較密集接觸的細胞,但分水嶺演算法常會過度分割。 • 2.利用圖像亮度的強度(intensity)與幾何資訊(geometric information)對2D、3D的重疊細胞做分割。 • 3.追蹤梯度流動量(gradient flow tracking)演算法在三維的顯微鏡影像中切割細胞核。

  8. Introduction • 4.利用型態匹配(template matching)來做細胞分割,此方法是利用affine registration尋找細胞的相關特徵點，其型態(template)大小從70%~120%不等，來尋找最佳匹配。 • 5.Al-Kofahiet al.提出一個自動細胞核分割的方法，seed偵測的結果使用於細胞核分割的初始化標記，在結構相異的區域中有很好的效果。

  9. Introduction • 本論文貢獻： • 1.具有高效率的演算法，提供了準確的種子(seed)偵測中心點，且利用level set model做為初始化，將較密集的重疊細胞做定位與分割。 • 2.這個演算法的設計具有平行計算,其數據較具獨立性(independence) 。

  10. Touching cell segmentation • 本論文所提出的分割演算法不僅限於限定的染色方法。 • 本論文所實驗的標本為乳房與血液的樣本以TMAs的方式保存,並使用40倍顯微鏡將RGB圖像擷取。 圖1.實驗的TMAs樣本

  11. Touching cell segmentation • 細胞相互重疊時，重疊區域的強度(intensity)比不重疊區域的強度暗。 圖2.黃色框框為重疊區域

  12. Touching cell segmentation • 細胞定位與分割的過程可以分成兩個步驟： • 首先使用single-pass投票得到候選種子， 利用種子使用mean-shift尋找幾何中心(geometric center)的位置。 • 第二部份，利用定位出的中心點，以level set擷取每顆相連細胞的輪廓 。

  13. Touching cell segmentation • A.輸入影像 • B.擷取上表皮區域 • C.尋找候選種子 • D.上表皮區域內細胞輪廓的連通元件 • E.所有連通元件的結果圖 圖3.系統流程

  14. Touching cell segmentation • A. Seed detection ： • 相似研究： • Al-Kofahi，以Laplacian-of-Gaussian (LoG) filtering方法來定位中心點，並使用iterative voting的方法偵測重疊細胞的中心。 • Parvinet ，使用constrained multiscaleLoG，經演算後給予細胞核一個評分值，利用評分值將多個核心分開。 Laplacian-of-Gaussian

  15. Touching cell segmentation 候選種子點 本論文的方法,定位中心點 梯度影像 誤判 改良前的演算法 與x軸計算的梯度影像 原圖的候選種子點

  16. Touching cell segmentation(相關介紹) • 當重疊區域比不重疊區域強度(intensity)亮或暗時，在重疊區域設定(false seeds) 。 • 轉換原始圖像的背景為黑色或較暗的色系： • 希望藉此增加強感度，因此可以得到物件中心到其他物件中心向外的方向為負的定義。 漸亮 亮 漸暗 亮 暗

  17. Touching cell segmentation(定義錐形) • 假設I(x, y)為原始影像，∇I(x, y)梯度方向，||∇I(x, y)||為強度。 • α(x, y)為投票距離→與其它候選中心點方向的趨勢，並由以下式子定義負梯度距離： • −∇I(x, y)/||∇I(x, y)||=−(cos(θ(x, y)), sin(θ(x, y))) • θ是X軸所夾角的角度。 • A(x, y; rmin, rmax, Δ) →voting area。 (投票區域) • <每個像素點皆被定義為圓錐的頂點> • 選擇以錐形為投票區的原因： • 中心點具有遠離邊界的特性。 • 減少須計算的數量

  18. Touching cell segmentation(定義投票的範圍) • 定義一個2D的高斯核心g(x, y, μx, μy, σ)與它的平均投票方向(μx, μy )，位於面向投票區域中心點α(x, y)。 • 定義shifted Gaussiankernel • 當μx = x + (rmax + rmin) cosθ/2 與μy = y − (rmax +rmin) sinθ/2成立時，目標物件中心點的投票區域將被放大。 進行投票的種子範圍。

  19. Touching cell segmentation(投票) • 定義V (x, y; rmin, rmax, Δ)為投票的圖像，假設有一張相同尺寸的原始影像I(x,y)，設置初始V(x,y)的所有像素為0，我們在更新單通道(single-pass) 投票影像的做法為： • 透過以上投票的總合取得候選種子。 投票範圍內的所有點 梯度方向 投票範圍

  20. Mean shift 假設有一個圓，我們要計算圓心到這個 圓中所有點的向量總和，得到Mean shift 。

  21. Touching cell segmentation(相關介紹) • mean shift： • 由Fukunaga等人提出，計算偏移的均值向量。 • mean shift一般指一個迭代的步驟，先計算出當前點的偏移平均值，移動該點到其偏移平均值後再繼續移動，直到滿足條件為止。

  22. Touching cell segmentation • 以上方法由“Iterative voting for inference of structural saliency and characterization of subcellular events”加以改良。 • 改良內容： • a.)原演算法每點的梯度值偏高，我們改由高斯核心(shifted Gaussian kernel)的偏移量來代替梯度值。 • b.)中心點的特性為遠離邊界，我們藉由高斯核心的方法後，在投票時趨勢會偏向物件的中心點。 • 改良成果： • A.)在重疊的細胞中獲得較準確的結果。 • B.)避免在重疊區域中出現假的中心點。

  23. Parallelization of the Seed Detection on the Graphic Processing Unit • 經過種子偵測的步驟後，每一個投票像素(x,y)皆利用錐形投票區域A(x, y; rmin, rmax, Δ)進行範圍內的投票。 • 在最終影像中透過投票公式獲得的最終結果(找到中心點)。

  24. Cell segmentation(相關介紹) • 交互模式(interactive model)： • 1.防止輪廓重疊 。 • 2.每個像素皆被指派到差異最小的成員中。 • 交互模式(interactive model) ： • 由下而上的模式（bottom-up model） • 由上而下模式（top-down model） • 交互模式（interactive model) <交互模式具有結合上面兩個模式>

  25. Cell segmentation(邊界切割) • 每顆細胞都擁有自己的等位能量函數。 • 假設影像I內含N顆細胞。 • Ci(i=1~N) ， Ci與Cb分別代表了細胞區域與背景區域的平均強度。 • Ai為細胞的區域{Ai |i = 1, 2, . . .,N} • Ωb為區域以外的所有細胞：out(C1 )∩out(C2 )∩…∩out(CN ) 。 • 在運算符號()的內以及外，分別代表了細胞內與外的區域。 • λ0 、λb、 ω 、 u皆為固定的權重參數。 • 能量函數E ： 細胞區域 背景區域 細胞區域梯度值

  26. Cell segmentation(邊界切割) • g為sigmoid函數： • α ：輸出曲線。 • β ：斜率的大小。 • 因要得到能量函數Ψi (t, x, y) ，所以經以下函數的推導： • 分割的部份是透過level set使用能量函數(E)而來。 • 為了表達等位能量函數(E) ，我們提出一個正規化的Heaviside函數。 • ε為H函數的調節參數。 經改變的黑維賽階耀函數

  27. Cell segmentation(邊界切割) • delta函式的定義為： • 能量函數可以透過梯度下降法進行迭代得到最小化的能量函數。 • 透過推導Euler-Lagrange方程，獲得每個能量函數Ψi (t, x, y)。

  28. Cell segmentation(邊界切割) • 經level set的輪廓不斷演化後，細胞區域Ci與背景區域Cb疊代更新， 獲得細胞的輪廓。

  29. Experimental results • 我們使用約234張影像，2200顆細胞。 • 實驗步驟可分成： • 種子偵測。 • 細胞邊緣分割。 • 實驗切片： • 乳癌切片(細胞密度高，形狀較不一致)。 • 血液抹片(細胞較獨立，且形狀較一致)。

  30. Experimental results(種子偵測) • a.)原始雙疊與三疊細 胞。 • b.)未改進的演算法產生假種子。 • c.)使用mean shift前的候選種子。 • d.)改進後的演算法。 • 未改進的演算法在重疊區域中有較暗/亮的時候，中心點會有誤判情形。

  31. Experimental results (種子偵測) • TMA保存方式的乳房上表皮細胞。 • 可以看出中心點皆在物件的中心，沒有出現再重疊區域。

  32. Experimental results (種子偵測) • 我們的方法提供了準確的中心點。 未改進前錯誤的種子中心 改進後正確的種子中心

  33. Experimental results (種子偵測) • 血液細胞也有很好的效果。 • 定位的中心幾乎都在細胞的中央。

  34. Experimental results (種子偵測) • 為了評估種子檢測的準確性，定義一個計算距離的誤差函數E(失誤率) 。 • 評估內容：由種子定位中心點與人工定位中心點之間的距離誤差。 • 80% ：在所有樣本實驗中具有8成準確率的排序。(represents the sorted 80% accuracy) 。 • 使用改進後的演算法在失誤與假種子平均統計為0.2與0.8 。 • 使用未改進的演算法在失誤與假種子平均統計為1與1.2 。 E的定量比較表 中位數： 例如有1 、2 、3 、4 、5 中位數為3

  35. Experimental results (種子偵測) • 左為均值向量(mean shift)的平均誤差。 • 說明我們的種子偵測演算法，在參數初始化的部份較不具敏感度。 • 第一列為RGB影像。 • 第二列是均值向量的細胞最小直徑與頻帶寬的平均誤差。 • 第三列是說明，平均誤差小於5個像素時，在容忍範圍內 。 2~20間隔2 4~11間隔1 頻帶寬 0~40間隔5 直徑

  36. Experimental results(邊緣分割) • 第一列：原始影像。 • 第二列：人工圈選。 由人類專家頻估(human experts) 。 • 第三列：未改進的演算法。 舊種子做level set分割。 • 第四列：改進後的演算法。 新種子做level set分割。

  37. Experimental results • 為了評估這種定量結果的準確性： • 假設P=精確度(precision)，R=召回率(recall) 。 • P、R定義為自動分割與手動分割結果的交集(intersection)。 • 未改進的演算法： • P與R的平均(mean)與標準偏差(standard deviation ) 為0.84 ± 0.04與0.64 ± 0.02。 • 改進的演算法： • 平均與標準偏差為0.90 ± 0.02 與 0.78 ± 0.01。 顯示手動與ground truth之間具有一致性。 標準偏差(standard deviation ) ： 標準偏差是一組觀察平均值分散程度的數值。

  38. Experimental results • 利用中心種子使用level set演算法分割的結果。

  39. a.)原始影像。 • b.)使用我們的種子為標記的分水嶺演算法。 • c.)使用mean-shift的結果。 • d.)使用Isoperimetric分割的結果。(等周演算法，對相同面積有較好結果。) • e.)使用未改進的方法。 • f.) g.)本論文的演算法。

  40. Experimental results 精確度 召回率 • 與其他人所提出的方法或演算法比較。 • 由於我們修正了錯誤的種子，因此取得較好的分割結果。

  41. Discussion and conclusion • 本文提出了一個 分割重疊細胞的演算法，並在臨床的數據中進行實驗。 • 經實驗，要準確分割細胞必須要有準確的中心點。 • 我們證明了利用single-pass加上mean-shift演算法，可以在密集的區域中準確的找到細胞的中心點並加以分割。 • 由於有準確的中心點，利用level set演算法在互動模式中能有效的切割細胞。 • 我們改進了分割的結果，實現以準確的中心點數量，利用邊緣排斥力(repulsion term)在等位函數法的能量函數中分開重疊的邊界。

  42. 相關討論

  43. Image gradient X軸的梯度變化 Y軸的梯度變化

  44. Gaussiankernel • 高斯核函數(Gaussiankernel): • 最常應用在RBF(Radial Basis Function )中。 k(||x-xc||)=exp{- ||x-xc||^2/2*σ^2) } • xc為核函數的中心。 • σ為函數的寬度。

  45. level set • 等位函數法屬於主動型輪廓的一種。 • 假設一張影像I，我們建立一張與I大小相同的函數F，此時每個I的像素都會對應到一個F值。後續定義F=0所成的集合為我們所要表示的輪廓，F>0輪廓的外部，F<0輪廓內部。 • 接著要找到方法更新的ψ使輪廓可以停在 想要的邊界。 F>0 F<0 F=0

  46. Heaviside • 又稱黑維塞階躍函數。 • 它是個不連續數，其「微分」是迪拉克函數。

  47. Euler-Lagrange equation • 歐拉-拉格朗日方程： • 為變分法中的一條重要方程。 • 求泛函數平穩值的一個方法。 • 全部可分成兩個方程： • 第一方程： • 第二方程：

More Related