1 / 38

An Image Retrieval System With Automatic Query Modification

An Image Retrieval System With Automatic Query Modification. Gaurav Aggarwal, Ashwin T.V., and Sugata Ghosal,. IEEE TRANSACTIONS ON MULTIMEDIA, VOL.4, NO.2, JUNE 2002, pp 201-214, 2002. 2002 年 8 月 9 日 論文紹介者：　 牧之内研究室 　　　　　　　修士 1 年　大橋 巧. 目次. 背景 概要 iPURE 画像検索システム セグメンテーション

suchin
Download Presentation

An Image Retrieval System With Automatic Query Modification

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. An Image Retrieval System With Automatic Query Modification Gaurav Aggarwal, Ashwin T.V., and Sugata Ghosal, IEEE TRANSACTIONS ON MULTIMEDIA, VOL.4, NO.2, JUNE 2002, pp 201-214, 2002 2002年8月9日 論文紹介者：　牧之内研究室 　　　　　　　修士1年　大橋 巧

  2. 目次 • 背景 • 概要 • iPURE画像検索システム • セグメンテーション • Query Modification • Intra-Query Learning • 実験結果 • まとめ

  3. 背景 • Content-Based Image Retrieval • データベースの画像は色,テクスチャ,位置といった特徴ベクトルによって表現される • 全自動であらゆる人間の知覚を考慮できる情報はない ⇒ユーザフィードバック型のCBIR • 問題点: • 繰り返しデータベースにアクセスするため高負荷 • WWWを使うシステムの場合,不必要な画像のダウンロードは検索スピードを著しく遅くする • クエリー画像からユーザの認識を理解 • iPURE(Perceptual and User-friendly REtrieval) • クライアントでユーザフィードバックを行う • ユーザが重視したい画像の特徴に関して取捨選択を行う

  4. iPURE System Architecture • セグメンテーションベースの画像検索システム • ユーザは検索したいセグメント(複数可)を指定 • ユーザ • サーバにQuery Imageを送信する • サーバからSegmented Query Imageが返信されるので,検索したオブジェクトを表したセグメントをクリックして選択する • Image modificationに対してrelevant,irrelevantを与える • クライアント • Image modification • サーバ • Segmentation • Intra-Query Learning • セグメントの特徴量 • 色,位置,サイズ,向き,形 Query Image Segmented Query Image セグメント:分割された領域

  5. iPUREシステム Segmentation and Feature extraction Query Image Select segment(s) Segmented Query Image Automatic Modifications Intra-query Learning User Feedback Database Modified Images Match segment descriptors User Feedback Top-K Results クライアント サーバ

  6. Image Segmentation In iPURE • 新しいセグメンテーションスキーム • リージョンベースとエッジベースの統合 • リージョンベースだけ⇒開始点と色の決定が困難 • エッジベースだけ⇒まぎれが多い • オブジェクトレベル • カラーを用いたセグメンテーション • mean shift algorithm • エッジによるセグメントのマージ • hysteresis threshold • 画像全体から統計的に閾値を算出するので,エッジ強度の正規化が可能 • セグメントの形を正規化する • 2次元最適化問題をニューラルネットワークを用いて解く

  7. A. Feature-Driven Color Region Segmentation • LUVカラースペース • 人間の視覚とほぼ同質 • 光量と色情報を分離することができる • LUVカラースペースにおける輝度ヒストグラム(Luminance)によってセグメンテーション • mean shift algorithm • 平均値シフトアルゴリズム • over-segmented

  8. mean shift algorithm original image 濃度勾配を計算する Luvカラースペースにマップ 1つの山ごとにグループ分けを行う このグループ化された色を画像に反映させると 画像のセグメンテーションが行われたことになる

  9. B. Edge-based Color Region Merging • 目的 • 過度に分割されたセグメントをマージする • L,U,V各々の値についてエッジヒストグラムを計算する • 画像中の各要素について濃度勾配の変化部を検出するフィルタをかける(1次微分) • Sobol operator • 各画像のエッジの強さから統計的に閾値を決定する • hysteresis threshold

  10. Sobel operator • h1:垂直方向のエッジ検出 • 得られたエッジ強度: y • h2:水平方向のエッジ検出 • 得られたエッジ強度: x • ピクセルのエッジ強度: 3×3ピクセルの画素 255 255 0 255 255 0 255 255 0 255:white 0:black 垂直エッジ強度(h1) 水平エッジ強度(h2) エッジ強度:1020

  11. 閾値 • 閾値α • セグメントの境界のピクセルのエッジ強度が,大きい方から10%の値 • L,U,Vすべてがαよりも大きなエッジ強度をもつ境界の2つのセグメントはマージしない • 閾値β • 閾値αの40%程度のエッジ強度の値 • 2つのセグメントの境界のピクセルで,L,U,Vすべてについてβよりも大きなエッジ強度をもつものが50%以下ならばマージする

  12. エッジ強度を使わないマージ • 隣接するセグメントのカラーは似ているのでα,βが極めて信頼性があるとはいえない. • セグメントのカラーの平均値同士の距離θが閾値τlより小さければマージする • 同様に,閾値τhより大きければマージしない

  13. region mergingの流れ セグメントj セグメントi 境界のピクセルのエッジの強さ:MB Start Yes Not merging No すべての境界ピクセルが MB>α Yes No No Yes MB<βとなるピクセル数が 境界のピクセル数の50%以下 Yes No Merging

  14. C. Regularization of Segment Shapes • 人間の目は局所的な変化よりもなめらかな形に対して認識する傾向がある • しかし,これまでの処理で得られる輪郭は複雑になりがち • iPUREシステムは,輪郭を滑らかにすることを2次元の最適化問題として公式化し,ニューラルネットワークを用いて解決する

  15. 最適化問題 Nは画像のピクセル数 ピクセルYがセグメントjに属するとき: そうでないとき: Mはセグメント数 A=0.75 B=0.001 C=0.5 セグメントの 大きさが不変 画像が1つの セグメント Eを最小にする･･･ この2項は互いに影響しあうので, 最適な解をもとめるためにニューラルネットワークを用いる

  16. ニューラルネットワーク • Hopfield Network • 多くの単純な計算ユニットが連なったもの • 他のニューロンからの重み付けられた入力を受けて,0~1の値を出力する • 15~30回の反復で良い結果が得られた.

  17. D. Feature Extraction and Database Creation • マッチングと検索は,セグメントのディスクリプタを基に行われる • ディスクリプタ • L,U,Vそれぞれの平均値 • 位置(重心) • 大きさ(ピクセル数) • 向き • 形(移動,回転,拡大縮小に対して不変な量) • the central moments • セグメント間の距離 • マハラノビス距離･･･データの分散共分散行列

  18. セグメンテーション結果 • Original Image • over-segmented(Color Region Segmentation) • region-merged(Color Region Merging) • shape regularized(Regularization of Segment Shapes)

  19. マハラノビス距離 A ユークリッド距離 rA マハラノビス距離 (重心から等距離) rB B • データの各属性の相関を考慮した距離 Q: 分散共分散行列の逆行列 A,B:クエリーポイント :データ :全データの重心 重心からの 　・ユークリッド距離 rA>rB :点Bが近い 　・マハラノビス距離 rA<rB :点Aが近い

  20. iPURE Query Modification • ユーザが選択したセグメントに対して,クライアントアプリケーションは各ディスクリプタに対して修正を行った画像を提示する • 修正画像に対して,ユーザはラベルを付ける⇒ユーザフィードバック • relevant or irrelevant • ラベル付けによってディスクリプタの優先度を決定し,楕円の形をユーザの要求に近づける

  21. A. Single Segment Modification • 修正対象となるディスクリプタ • 色,位置,大きさ,向き Selected Segment 色 位置 大きさ 向き Modified Images Labels by User Feedback relevant irrelevant irrelevant relevant iPUER Server

  22. 色の修正 • セグメントのR,G,Bそれぞれの値をビット反転させた色を修正色とする • 最遠の色ではないがシンプル bit flipping Original Image Modified Image

  23. 位置の修正,向きの修正 • 画像の水平,垂直の端に移動する • 選択されたセグメントを90度回転させる Original Image Horizontal Vertical Orientation Modified Image

  24. 大きさの修正 • 選択されたセグメントをS倍,1/S倍する • 画像の淵に接触しているものは縮小のみを行う Original Image Scaling-up Scaling-down Modified Image

  25. B. Multiple Segment Modification • ユーザはセマンティックなオブジェクトを複数のセグメントで指定することができる • ユーザが複数のセグメントを選択したときに,その位置的な関係を考慮する必要がある • mutually related or independent • すべての可能性に対して修正画像を作成すると,ユーザのフィードバックする負担が増加 • 修正対象となるディスクリプタ(Automatic Modification) • 形,大きさ,位置 • 複数のセグメントの関係は以下の3つの内のいずれかであると仮定する • 1.同一のセマンティックなオブジェクト • 2.複数の独立したオブジェクト • 3.オブジェクトと背景 • セグメント間の関係はAutomatic Modificationによって処理された画像に,ユーザがrelevant,irrelevantを与えることで判別される

  26. Manipulation of Segment Contiguity • M: ユーザが選択したセグメントの数 • C=[cij] • C: M×Mの大きさの行列 • cij: セグメントiとセグメントjの隣接しているピクセル数 • 手順 • 1. どのセグメントとも隣接していなければその行と列をCから削除 • 2. 隣接ピクセル数の最も多いセグメントを計算する • 3. 2で定まったセグメントをM-1から成る凸面からはじく • 4. 2のセグメントの行と列をCから削除し2へ戻る • 手順3が不可能のとき • 各セグメントの重心を基準に縮小 • 境界を基準にして,セグメントを縮小 • 以上の修正が容認されなければセマンティックオブジェクト

  27. 例 • (a) 3つのセグメントからなる三角形のオブジェクト • (b) 隣接ピクセル数の最も多いセグメントを凸面からはじく • (c) 重心を基準に縮小 • (d) 隣接ピクセル数の最も多いセグメント以外のセグメントを境界を基準に縮小 (b) or (c) or (d) の結果の画像がユーザにとって 所望するものであれば･･･セマンティックオブジェクトでない 所望するものでなければ･･･セマンティックオブジェクト

  28. Background Detection • ユーザの選択したセグメントの1つが背景だとすると,拡大縮小,移動,回転に関する修正画像は無駄である • ２つの発見的学習 • あるセグメントが他のセグメントをほぼ囲っているとき,前者は背景とみなす • あるセグメントが水平または垂直方向の淵の大きさまで満たしているとき,背景とみなす

  29. iPURE Intra-Query Learning and Relevance Feedback • ユーザフィードバックにより得られたディスクリプタの重みに関して学習を行う • q: Query-point(重みを考慮したrelevantデータの重心) • x: relevantラベルのセグメント • Q:マハラノビスの楕円形(を決定する相関行列) • wi: i番目のセグメントの重み.1で初期化

  30. A. Intra-Query Learning on Modified Images • ユーザからrelevant のラベル付けされた画像のセグメントの重みを,標準偏差σを用いて学習した値に更新する • この重みはサーバでの学習においてqとQの初期値を与える User Feedback Learning wnew=1/(1+kσi) Modify Weight wcolor 色 relevant 1 iPURE Server irrelevant 位置 0 大きさ relevant 1 wsize 向き relevant 1 形 irrelevant 0 worientation

  31. B. Relevance Feedback on Images Retrieved From the Database • マハラノビスの楕円がirrelevantなデータを含まないようにqとQの値を学習により更新する • 重みwは,relevantセグメントの中ですべてのirrelevantセグメントからの距離の和とする • 手順 • (1) q,Qを計算する • (2) qからのマハラノビス距離の最も大きいセグメントの重みを0とする • (3) irrelevant セグメントからのマハラノビス距離の総和を新しい重みとする • (4) 以上の手順を楕円がirrelevant セグメントを含まなくなるまで続ける

  32. qとQの学習結果

  33. 実験結果 • Single Segment Modification • select a white-round segment • Multiple Segment Modification • select Mushroom segments

  34. Single Modification 位置がクエリー画像と 同じで,とにかく丸い セグメントが写っている 画像が欲しい

  35. Single Results Without Intra-Query Learning With Intra-Query Learning 検索結果が上位7位まで同じであるので8位から18位までの11枚を提示

  36. Multiple Modification Semantic Object or Independent Segments irrelevant Semantic Object 真中にこの色のマッシュルーム のある画像が欲しい

  37. Multiple Results Without Intra-Query Learning With Intra-Query Learning

  38. まとめ • ユーザの認識を考慮した新しいCBIRシステム • iPURE画像検索システム • 新しいセグメンテーションスキーム • region-based and edge-based • オブジェクトレベルの検索 • multiple segment modification • ユーザの所望する画像の推定 • ユーザフィードバック(relevant, irrelevant) • Intra-Query Learning

More Related