1 / 36

マルチ識別器を用いた 花画像検索システムの構築

マルチ識別器を用いた 花画像検索システムの構築. 神戸大学 福田恵太・滝口哲也・有木康雄. 研究背景. 道端、庭先、山にある自然物の情報が知りたい. 検索対象の大半が、 「イメージ」 である 「キーワード」 分類の従来図鑑の不便さ IC タグで扱えない自然物認識. 知りたい情報をユーザーが負担なく得るために …. 「イメージ」 から検索可能な図鑑システム. 本研究について. 従来手法 花という一点からの特徴を捉えているため、 どの花に対しても同じ特徴量 を扱う。 提案手法 花の構造により分類し、 構造に依存した特徴量 を 選択する マルチ識別器を構成する。.

chandler-mullen
Download Presentation

マルチ識別器を用いた 花画像検索システムの構築

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. マルチ識別器を用いた花画像検索システムの構築マルチ識別器を用いた花画像検索システムの構築 神戸大学 福田恵太・滝口哲也・有木康雄

  2. 研究背景 道端、庭先、山にある自然物の情報が知りたい • 検索対象の大半が、「イメージ」である • 「キーワード」分類の従来図鑑の不便さ • ICタグで扱えない自然物認識 知りたい情報をユーザーが負担なく得るために… 「イメージ」から検索可能な図鑑システム

  3. 本研究について • 従来手法 花という一点からの特徴を捉えているため、 どの花に対しても同じ特徴量を扱う。 • 提案手法 花の構造により分類し、構造に依存した特徴量を 選択するマルチ識別器を構成する。

  4. システム全体の流れ 検索画像 • 表示画像 • 特徴量 • 花の名前 • 科名 • 属名 etc.. 花弁領域抽出 データベース 特徴量抽出 マルチ識別器 結果表示

  5. 花弁領域抽出 面積最大領域 画像入力 輪郭抽出 HSV色空間に変換 画像出力 K-平均法による減色処理 中央でなおかつ画素の多い色の領域を自動抽出 マウス操作により修正

  6. 特徴量抽出 色特徴量 10×10次元のHS色空間における二次元ヒストグラム (分布量) 形特徴量 低周波数成分における30次元の正規化されたスペクトルの強さ 色特徴量 Power d DFT l Freq 形特徴量 一次元形状グラフ

  7. 構造による分類 円形に近い花 複数の花弁をもつ花 明確な花弁をもつ花 各構造に依存した特徴を重視することが可能になる。

  8. Fuzzy C-means法 • １つのサンプルが複数のクラスタに属することを想定している． • ０～１で帰属度を示す． ｛円形花らしさ，複数花らしさ，明確花らしさ｝ というベクトル空間を構成する． 円形:0.04 複数:0.03 明確:0.93 円形:0.53 複数:0.07 明確:0.40 複雑 その目的として • 検索画像と帰属度が類似したものに候補を絞る． • 検索画像の重視すべき特徴がわかる． 円形 明確

  9. 認識法 識別器 検索画像の帰属度 検索画像 円形 0.04 複数 0.03 類似度 明確 0.93 FCM 結果表示 呼び出し 候補の削減 データベース 小データベース

  10. 各識別器の構成 類似度計算：ヒストグラムインターセクション 色特徴量：10×10次元の色特徴量 形特徴量：30次元の形特徴量＋α ※　動径最小/最大は，花弁が長いほど値が低く，短いほど値が高くなる．

  11. 形類似度計算 ピーク値 検索画像 形類似度 Histogram Intersection ガウス重み N(5,1^2) 画像

  12. 実験条件 • 112種類花画像×４枚 • 1枚を検索用，残りをDBとしたCV法 • 評価方法：MRR (Mean Reciprocal Rank) • 評価実験(1) ファジィ化の度合いによる認識率の変化 • 評価実験(2) 識別器の統合による認識率の変化

  13. 評価実験(1) ファジィ係数が大きくなればなるほどファジィ化の度合いが大きい． 特にファジィ係数=1.0のときは，クリスプ C-means法となる．

  14. 評価実験(2) 各識別器で最もMRRが高かった時の形色重み比率を 採用しマルチ識別器を構成． 第３候補まで68.5％，第５候補まで79.2%，第10候補まで92.0%の認識率

  15. まとめ 考察 • 　特に輪郭形状が安定した花は認識率が高い． • 　ファジィ化を行うことで精度が向上． • 　識別器の統合により精度が向上． 今後の課題 • 　同じ花でも色形が異なる花の認識率の精度向上． • 　アジサイのような集合花などへの対応． • 　さらに多くの自然物に対応する図鑑システムの構築．

  16. 本研究について • 従来手法 花という一点からの特徴を捉えているため、 どの花に対しても特徴量が同じ。 • 提案手法 花の構造により分類し、構造に依存した特徴量を 重視するマルチ識別器を構成する。

  17. 花弁領域抽出 面積最大 画像入力 輪郭抽出 画像出力 K-means K-means K-means 例．黄色領域 花弁領域抽出 H：60度付近 S：0.3以上 V：0.6以上 Yes No マウスによる修正

  18. 抽出成功例

  19. 抽出失敗例

  20. FCM処理結果(1) 帰属度 べき乗パラメーター　m = 2.5のとき エントロピー

  21. FCM処理結果(2) 帰属度 べき乗パラメーター　m = 2.5のとき 円形度

  22. Histogram Intersection ピーク値 検索画像 形類似度 Histogram Intersection ガウス重み N(5,1^2) 画像

  23. 類似度計算 ：識別器jにおける画像iとの類似度 ：類似度の重み ：MAX 1 min 0　の各類似度

  24. 識別器の統合 円形:0.03 複数:0.91 一花:0.06 のとき， 検索画像 ：識別器jにおける画像iとの類似度 この場合，「複数」を扱う識別器の結果が重視される．

  25. クラスタリング精度 エラー率：正解の３サンプルが小データベースに入らなかった割合 削減率：（除外されたデータ数/データベースのデータ数)の割合

  26. マルチ識別器の評価(2) 色類似度の重み w1と形類似度の重み w2を w1 + w2 = 1.0とし， W1の値を0.0から0.1刻みで1.0まで変化させたときの認識率順位

  27. シングル識別器 各識別器で用いた識別器をそのまま特徴量に用いた場合．

  28. Mean Reciprocal Rank 順位逆数の総和を平均した評価法（平均逆順位法）

  29. マルチ識別器の評価 各識別器で最もMRRが高かった時の形色重み比率を 採用しマルチ識別器を構成．

  30. 色が異なる花への対処 現時点のシステムでは対処できない．(例．チューリップ) • 色別にモデルをデータベースに登録する． • 個々に知識データベースを用意しておく． (個々の花ごとに重要な特徴量を定義しておく．) • 再検索の要求

  31. フィードバック機能 現時点のシステムは再検索機能がない． • 類似度が低かった場合に再検索を要求する． • 色または形特徴量の重みをユーザーが変更． • 既知の情報などにより精度の向上．

  32. ファジィ化の目的 輪郭が不安定であるため，３つの構造いずれに属するか決定することが困難である．

  33. サクラソウ

  34. 評価実験 • 112種類花画像×４枚 • 3枚をDBに１枚を検索用とするクロスバリデーション • ファジィ化の度合いによる変化ごとのMRR (Mean Reciprocal Rank) 第３候補まで68.5％，第５候補まで79.2%，第10候補まで92.0%の認識率

  35. アプリケーション

More Related