1 / 33

IMAGE RETRIEVAL USING WAVELET-BASED SALIENT POINTS

IMAGE RETRIEVAL USING WAVELET-BASED SALIENT POINTS. Q.Tian, N.Sebe, M.S.Lew, E.Loupias, T.S.Huang Journal of Electronic Imaging, Vol.10, No.4, pp.835-849, 2001. 研究背景 (1). 画像検索に関する研究が盛んに行われている デジタル画像の増加 従来の手法 テキストベースの画像検索 問題点 画像に注釈を付ける手間 多義語，同義語. 低レベルな画像特徴を用いた内容に基づく画像検索 (CBIR). 研究背景 (2).

cliff
Download Presentation

IMAGE RETRIEVAL USING WAVELET-BASED SALIENT POINTS

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. IMAGE RETRIEVAL USING WAVELET-BASED SALIENT POINTS Q.Tian, N.Sebe, M.S.Lew, E.Loupias, T.S.Huang Journal of Electronic Imaging, Vol.10, No.4, pp.835-849, 2001

  2. 研究背景(1) • 画像検索に関する研究が盛んに行われている • デジタル画像の増加 • 従来の手法 • テキストベースの画像検索 • 問題点 • 画像に注釈を付ける手間 • 多義語，同義語 低レベルな画像特徴を用いた内容に基づく画像検索(CBIR)

  3. 研究背景(2) • 画像全体の特徴を用いたCBIR • 画像から特徴を抽出 • 2つの特徴ベクトルを比較 • 問題点 • 画像は不均質な領域から成り立っているため，効果的な検索をするためには局所的な特徴量が必要 interest points C.Schmid, R.Mohr, Local grayvalue invariants for image retrieval, IEEE Trans on PAMI, Vol.19, No.5, pp.530-535, 1997

  4. Corner Detectors • interest pointsの一種 • ロボット工学 • ステレオグラムから3D画像を作成

  5. Harris’ corners detector • corner detector として最も良く使用されているもの I(x,y) : Image 固有値を計算 α, β C.Harris, M.Stephens, A COMBINED CORNER AND EDGE DETECTOR, Proc. of 4th Alvey vision Conference, pp.147-151, 1988

  6. Harris’ corners detector β edge corner Corner Response Function edge flat α k=0.04 R(α,β)がどの領域に入るか

  7. Contrast-based points detector • Interest points detectorの一種 • corner detectorではない • Contrast pyramid Gaussian pyramid level k level k-1 level k-2 ... original image (2k×2k) level 0 S.Bres, J.M.Jolion, Detection of interest points for image indexation, 3rd int’l Conf. on Visual Information Systems, Visual’99, pp.427-434, 1999

  8. Contrast-based points detector original image アップサンプリング ダウンサンプリング contrast energy image 閾値より大きければinterest points

  9. 問題点 • corner以外にも視覚的特徴点がある • 滑らかな領域の特徴を考慮できない • cornerは小さな領域に集中する • 全体の特徴を網羅できない salient points detector

  10. Salient points detector • ウェーブレット変換を使用 • Haar, Daubechies Daubechies Haar LPF WLLL I サブバンドフィルタ LPF WLLH I LPF HPF I(x,y) HPF WlH I HPF WH I

  11. 多重解像度 多重解像度：例 original image Haar transform Haar basis function

  12. salient points tracking • 各解像度での同じ位置にあるsaliencyの和を計算し，その値の大きいものをsalient pointsとする wavelet変換 tracking

  13. Interest pointsの比較 • 各points detectorを用いて，100個の点を検出 original image Harris corners contrast-based points Haar salient points Deubechies salient points

  14. 各ポイントの比較 original image Harris corners contrast-based points Haar salient points Deubechies salient points

  15. Salient points 評価実験 • 他のpoints detectorとの比較 • 画像全体の特徴を用いたものとの比較 • 使用する画像検索システム • Multimedia Analysis and Retrieval System (MARS) • 類似画像検索(Query by Example) • 使用する画像特徴 • カラー，テクスチャ • 実験に用いる画像ライブラリ • CORELimages

  16. 実験1:point detectorの比較 • 画像特徴 • テクスチャ(Gabor features) • point数は200 • 画像の類似度 • 特徴ベクトルのユークリッド距離 • 評価方法 • recall-precision • points detectorの種類 • Harris detector • Contrast-based detector • Haar salient detector • Daubechies salient detector • randomly chosen • color histogram

  17. Gabor filter Gabor function Gaussian distribution U,V direction Gabor function bandwidth filtered image input image

  18. Gabor features Gabor filter 90° Gabor filter 45° original image a salient point 32 スケール3種類 方向8種類 最大値と最小値の差 32 24次元

  19. recall-precision • 実験に用いた画像 • 9つのクラスを選択 • 手順 • あるクラスから1枚のクエリー画像を選択 • 選択されたクラスにはNC枚の画像 • 検索結果n枚 • n枚の中にクエリー画像と同じクラスの画像r枚

  20. 実験1:結果

  21. 実験2:salient pointsを用いた検索 • 画像特徴 • カラー(平均，分散，歪度) • salient point数は50 • 画像の類似度 • 特徴ベクトルのユークリッド距離

  22. color features • HSV表色系 • Hue, Saturation, Value 歪度 平均 分散 a salient point 3 HSV表色系3種類 特徴量3種類 3 9次元

  23. 実験2:結果

  24. 実験2:結果

  25. 実験3:画像全体との比較 • 画像特徴 • カラー，テクスチャ • salient points数は50 • 類似度 • 2つのユークリッド距離の和 • 評価方法 • rank(何枚目に表示されたか) カメラの角度が異なる Query image

  26. salient points 特徴量 a salient point 3 HSV表色系3種類 特徴量3種類 3 9次元 a salient point 9 スケール2種類 方向6種類 平均と分散 9 24次元

  27. 画像全体の特徴量 • HSVカラーヒストグラム • global Wavelet features • coarseness, contrast, directionality(tamura feature) • global Gabor features • スケール3種類，方向6種類，平均と分散:計36次元

  28. 実験3:結果

  29. 実験結果3:検索精度の比較 • 各カテゴリの検索精度 • 画像特徴はカラー

  30. 実験3:計算コストの比較 • objectはk-means法を用いたセグメンテーション

  31. 実験4:検索精度の比較salient points, global CW, global CG • 画像特徴 • カラー，テクスチャ • salient points数は50 • データベースの画像を8つのカテゴリに分類 • Building, Flower, Tiger, Lion, Roads, Forest, Mountain, Sunset • 検索精度の測定 • ランダムに5枚のクエリー画像を選択 • 検索結果のTop20の中に正しいカテゴリの画像が何枚含まれているか

  32. 実験4:結果

  33. まとめ • wavelet-based salient points • corner以外の特徴点を検出可能 • テクスチャ領域に集中する問題を解決 • 検索時の画像特徴 • カラー・・・salient points近傍のHSVカラーヒストグラム • テクスチャ・・・Gaborフィルタリング画像の平均と分散 • メリット • 他の検出器よりも高精度 • 画像全体の特徴を使った場合より計算コストが小さい

More Related