1 / 30

結合空間關係之正交基底 Multiple-Instance 影像擷取方法

結合空間關係之正交基底 Multiple-Instance 影像擷取方法. Content-Based Image Retrieval Based on Feature Spatial Structure (FSS). 研究生：賴勤寧 指導教授：蔣依吾 博士 國立中山大學資訊工程學系. ( 顏色 , 形狀 , 紋理 ). 影像搜尋基本模型. 橘紅. 柳丁. 青. 橘子. 紅. 蘋果. 影像特徵擷取方法 - 顏色 (Color). Color Histogram [Ballard91] [Novak92][Swain94].

palmer-mcfarland
Download Presentation

結合空間關係之正交基底 Multiple-Instance 影像擷取方法

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 結合空間關係之正交基底Multiple-Instance影像擷取方法結合空間關係之正交基底Multiple-Instance影像擷取方法 Content-Based Image Retrieval Based on Feature Spatial Structure (FSS) 研究生：賴勤寧 指導教授：蔣依吾 博士 國立中山大學資訊工程學系

  2. (顏色, 形狀, 紋理) 影像搜尋基本模型

  3. 橘紅 柳丁 青 橘子 紅 蘋果 影像特徵擷取方法-顏色(Color) Color Histogram [Ballard91] [Novak92][Swain94] Reference Color Table Method [Mehtre95][Mital98] 事物不相似卻有相似顏色;同一件事物有不同顏色代表之

  4. 籃球 橘子 金字塔 影像特徵擷取方法-形狀(Shape) Sobel Edge Detection [Shu87][Chan92] Chain Code [Gam82][Kaneko85] 事物不相似卻有相似形狀;同一件事物有不同形狀代表之

  5. 影像特徵擷取方法-紋理(Texture) 影像具重複性週期性出現之特徵單元以區分影像 Co-occurrence Matrix [Haralick70][Argenti90] Tamura Texture[Tamura78][Bae97] 只適用在純紋理的影像

  6. 影像搜尋應用: 多數影像搜尋系統不會只使用單一方法擷取特徵，例如：QBIC: 提供顏色、形狀、空間關係； 上述所建立索引檔資訊仍不能明確代表影像

  7. 使用碎形正交基底技術，具良好索引性質(Z.Z.Tsai,2003)使用碎形正交基底技術，具良好索引性質(Z.Z.Tsai,2003) • 單一張影像進行檢索條件不明確 • 輸入多張影像，透過Multiple-Instance Learning 法則自動找出影像特徵，使搜尋條件更為明確。

  8. Multiple-Instance Learning 3張正相關影像 共有特徵為： 瀑布、岩石。 負相關影像特徵有： 藍天、白雲、草原、岩石。 Concept(3+,1-) ={瀑布,岩石}–{藍天,白雲,草原,岩石} ={瀑布} 使用MIL會產生找不到特徵問題

  9. Diverse Density (DD)[Maron98] 找出空間上一理想特徵點t 5張正相關影像， 標示為1~5； 3張負相關影像 ， 標示為6~8 共有特徵

  10. 資料庫影像1 搜尋影像 資料庫影像2 影像加入空間限制 • 無法詮釋影像在空間上的關係 • 特徵間的空間關係: 比例大小、位置、方向

  11. 影像中物件表示 • MBR • (Minimum Bounding Rectangle) • 2. 2d-SS string y a b x 2d-x string: aL,bL ,aR, bR 2d-y string: bW ,bH , aW , aH =

  12. 空間關係推理技術 (2) [2001] [97] [2001] [91] (1) [97] [2001] [88] [87] [92] [92] [2005] [2004] [88] (3) [2001] [95] [99] [91] [2005]

  13. Completely Spatial relationships on 1D 種空間關係 13 7 推論出169(13*13)種空間關係 on 2D

  14. 由於169空間關係過於複雜，對於真實影像限制過於嚴格。(SBA,2005)由於169空間關係過於複雜，對於真實影像限制過於嚴格。(SBA,2005) 缺點: 無法判斷物件間在空間上方位關係

  15. 由於SBA對於空間關係定義過於簡單， 空間關係視為相同 本論文將提出另一空間關係以解決上述類似問題

  16. 本論文提出之空間關係定義 分成兩類討論: (1)Non-overlap: 20 (2)Overlap: 17 1.MBR extend overlap: 4 2.Truly overlap: 13

  17. b b b b b b b b b b a b b b b b b b b b b (1)Non-overlap: 20 a b 6.5 6

  18. (2)Overlap: 17 MBR Object Extent Overlaps: 4 a a b b a b Rank: 2 Rank: 4 a b b a Rank: 8 Rank: 6

  19. Truly Overlaps: 13 Rank value: (X, Y) X: 方位 Y: 重疊 b a Rank_ab: (8, 1)

  20. b b b b a a a a Rank: (2, 1) Rank: (1, 1) Rank: (8, 1) a a a b a b b b a b Rank: ( 0, 1) Rank: (7, 1) Rank: (3, 1) a a a a b b b b Rank: (4, 1) Rank: (5, 1) Rank: (6, 1)

  21. 特徵區域分散程度 特徵群比例 特徵群結構 {橘紅60%,白40%} {橘紅80%,白20%} 碎形正交基底相似性測量 影像物件在空間上相似性測量 • 物件方位關係 • 物件個數 • 大小 • 顏色分類 • 距離

  22. 影像資料庫建立 • 影像尺寸不限, 熱帶魚影像數目:3138

  23. 比較方法1: SSR(2004) “相同特徵表示”+“相異空間限制” 比較方法2: SBA(2005) “相異特徵表示”+“相同空間限制” 比較方法3: Vector quantization(1997) 比較方法4: Multiscale Entropy(2000) 本論文系統模型

  24. 實驗結果 Precision: Recall: 相似影像輸出數 相似影像輸出數 所屬搜尋影像類別之總數 搜尋輸出影像總數

  25. Example: Clownfish (小丑魚) 所屬搜尋影像類別總數: 21

  26. 相異特徵表示 + 相同空間限制(2d-SS) FSS method 碎形正交基底 比較方法1: VQ method R,G,B Codebook訓練 by LBG algoruthm.

  27. 相異特徵表示 + 相同空間限制(2d-SS) FSS method 碎形正交基底 比較方法2: ME method Wavelet transform

  28. 相同特徵表示(fractal)+ 相異空間限制 FSS method Overlap: 17 Non-Overlap: 20 比較方法3: SSR method Overlap: 9 Non-Overlap: 8

  29. 相同特徵表示(fractal)+ 相異空間限制 FSS method Overlap: 17 Non-Overlap: 20 比較方法4: SBA method Overlap: 5 Non-Overlap: 2

  30. 結論 -明確清楚使用者所欲搜尋特徵 • 未來工作 -進行連續影像(影片)比對 -找出更適合的空間關係定義 -空間關係 直觀認知特徵 及特徵間方位

More Related