1 / 28

「自動三角網」 「アプリに適するコードへ再編」

「自動三角網」 「アプリに適するコードへ再編」. M1 三村　純一. 目的. 自動三角網をする目的 現在、カメラ運動を実装する際、三角パッチ切り出しによる動画が最も有効。 また、全自動化を目指すため自動三角網を考える。. 動画. 三角網とは. 形状に合わせて三角パッチを張り合わせたアミ. 初期三角網を作る. まずは、背景画像を気にしないで三角網を実装！. 三角網の条件. 条件１ 三角パッチ同士は重ならない。 条件２ 三角網は閉路である。. 図１ . 重なり合う三角パッチ. 図２ . 開路を持つ三角網. 領域２. 領域１. 領域３. 領域４.

makya
Download Presentation

「自動三角網」 「アプリに適するコードへ再編」

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 「自動三角網」「アプリに適するコードへ再編」「自動三角網」「アプリに適するコードへ再編」 M1 三村　純一

  2. 目的 • 自動三角網をする目的 現在、カメラ運動を実装する際、三角パッチ切り出しによる動画が最も有効。 また、全自動化を目指すため自動三角網を考える。 動画

  3. 三角網とは 形状に合わせて三角パッチを張り合わせたアミ

  4. 初期三角網を作る まずは、背景画像を気にしないで三角網を実装！

  5. 三角網の条件 • 条件１ 三角パッチ同士は重ならない。 • 条件２ 三角網は閉路である。 図１. 重なり合う三角パッチ 図２. 開路を持つ三角網

  6. 領域２ 領域１ 領域３ 領域４ ボロノイ図＆ドロネー網 例：

  7. ボロノイ図＆ドロネー網 例： 円2 × 円1 ×

  8. 実写真 ボロノイ図 ドロネー網 実写真の初期三角網

  9. 三角網の最適化 境界辺 • ピクセル値を基に画像へのマッチングを評価。 • 黄色の辺を含む２つの三角パッチに注目！ • 対角辺への入れ替えを行い、次々とマッチングを行う。 • 境界辺については、入れ替える必要なし。 マッチング後

  10. マッチングの評価方法 w=30 w=100 採用！！ • 各辺が、本当に被写体の辺であるかを評価する！ • 方法： • 辺の評価値ｗ（マッチングの度合いを示す指標）を定義、計算 • また辺の対角辺の評価値ｗも計算 • もし対角辺の評価値の方が小さければ、辺の入れ替えを行う

  11. 100×100の固定テンプレート Q B Q A B A P P 評価値の定義は？ アフィン変換 射影変換 • 辺を含む三角パッチを切り出す！ • 切り出された四辺形APBQを固定テンプレートへ射影。 ただし射影方法は、アフィン変換と射影変換の２通り！

  12. Q B 検出テンプレート Q Q B B A P A P A P A B アフィン変換 射影変換 • ２つの画像の差画像を取得 • 検出テンプレートとの相関を評価値ｗとする。 w=画素毎の積の総和 注意： 境界線 　　・・・　w=-1 四辺形が凸　・・・　w= 0

  13. Q B A P Q B A P 差画像の比較 評価値ｗ　→　大 アフィン Q A B P 射影 評価値ｗ　→　小 アフィン A P Q 射影 B 採用！

  14. 提案手法の整理（アルゴリズム） 辺の組み合わせを調べる w1={1,2} w2={2,3} w3={4,5} ： w12={7,8} 全ての辺の評価値を計算 辺の組み合わせが等しい 最大値がw=0の場合 最大の評価値を持つ辺を選択 w1=0 w2= -1 w3=150 ： w12=30 w2<w2’ ⇒辺そのままw2=0 w2>w2’ ⇒辺入れ替えw2=0 周り４辺を再計算 対角辺の評価値を計算 w2’=150 終了！

  15. 実験Ⅰ • 写真１枚・・・やや複雑な写真 特徴点 ・・・ ２５個

  16. 結果 初期三角網 最適化 正解率　７４％（３１/４２） 正解率　９０％（３８/４２）

  17. 実験Ⅱ • 写真２枚で同じ特徴点を持つ場合 写真１ 写真２ 写真１と写真２は全て同じ特徴点 初期三角網も同じものを使う テンプレートで相関をとる際、写真１からの差画像と写真２からの差画像を足したものに相関を考える。 w = w_pic1 + w_pic2

  18. 結果 初期三角網 最適化 写真１ 正解率　７４％（３１/４２） 正解率　１００％（４２/４２） 写真２ 正解率　１００％（４２/４２） 正解率　７４％（３１/４２）

  19. 実験Ⅲ • 写真８枚で違う特徴点を持つ場合 写真４ 写真１ 写真２ 写真３ 写真７ 写真８ 写真５ 写真６ 同じ特徴点を持つ写真同士のグループを作る グループ内では初期三角網は同じものを使う 各グループで、最適な三角網を作る グループ同士で異なる三角網は揃える

  20. 同じ特徴点を持つ写真同士のグループを作る グループ１ グループ２ 写真８ 写真１ 写真２ 写真３ 隠れ点・・・「５」 隠れ点・・・「６」 グループ４ グループ３ 写真７ 写真５ 写真６ 写真４ 隠れ点・・・「７」 隠れ点・・・「８」

  21. グループ内では初期三角網は同じものを使う グループ１ グループ２ 写真８ 写真１ 写真２ 写真３ 全ての写真 正解率　１００％（６/６） たまたまです。 グループ４ グループ３ 写真７ 写真５ 写真６ 写真４

  22. 各グループで、最適な三角網を作る グループ１ グループ２ 写真８ 写真１ 写真２ 写真３ 全ての写真 正解率　１００％（６/６） 最適化成功！ グループ４ グループ３ 写真７ 写真５ 写真６ 写真４

  23. グループ同士で異なる三角網は揃える グループ１ グループ２ 写真８ 写真１ 写真２ 写真３ 全ての写真 揃えることに成功！ グループ４ グループ３ 写真７ 写真５ 写真６ 写真４

  24. 結果 写真１ 写真２ 写真３ 写真４ 写真５ 写真６ 写真８ 写真７ 正解率　１００％ 三角網は全て一致している！

  25. アプリケーションにおける問題点 • 実行速度 アプリケーションなので、より良いソフトにするためには、実行速度は速くする必要がある。 → 　プログラムの改良 ☆改良結果 隠れ点推定　⇒　自動三角網　⇒　 ３次元復元 ⇒　３次元CG　⇒　カメラ運動復元　⇒　avi書き出し 環境： CPU Pentium4 3.0GHz メモリ 512MB OS FreeBSD 5.4 計算機 MATLAB version 6.5.1 16[s] 16[s] 67[s] 51[s] 69[s] 2[s] 総合： 現在： 従来： 4[h]以上 113[s] 29[s] 70[s] 1[s] 84[s] 14[s] 従来： 2[h]以上

  26. 変数メモリ マシン環境によってはメモリ不足になる恐れがあるので、改良する必要がある。 → 　大きい変数は、ファイルで書き出す！ ☆改良結果 ＜一番大きい変数＞ 写真毎に切り出した 各三角パッチの写真 ４８０×６４０ × ３ × ８ × ６ ＝４４２３６８００B ＝４４．２MB 各３kbのjpegファイル CRASH！！

  27. 他のソフトウェア • 動画を書き出すために、「ImageMagick」を使用してアニメーションgifを作成。 • また、「Gimp」でファイルを圧縮。 • さらに、動画を表示するために「Mozilla」を使用。 よって、これらのソフトウェアが無い環境だと、実行出来ない。 ⇒ 全てMATLABで行う環境に改良。 アニメーションgif →　ムービーフレーム （oraviファイル） 動画の表示 →　movie関数　 （oravi再生ソフト） ☆改良結果 アニメーションgif aviファイル 圧縮後：　　　４６６　KB 圧縮前：　３３６００　KB 圧縮後：　４９８　KB 圧縮前：　５４３　KB

  28. 入力：特徴点位置座標 今後の展望 • 実行速度のさらなる向上 可変型テンプレートetc • アプリに現実行プログラムを適用 現在、入力：「特徴点位置座標」のみで以下全てが実行される環境 隠れ点推定　⇒　３次元復元　⇒　自動三角網　⇒ ⇒　テクスチャマッピング　⇒　カメラ運動復元 • 論文作成

More Related