1 / 76

高速な三次元再構成のための 最適化アプローチ

高速な三次元再構成のための 最適化アプローチ. CS 専攻 博士前期 2 年 システム数理研究室 正木 俊行 指導教官 : 久野 誉人. 3 次元再構成とは 本研究であつかう問題 研究の目的 俯瞰. はじめに. (1) 3 次元再構成とは. 3 次元再構成 2 次元の画像情報から 3 次元構造を復元 応用 モーションキャプチャー ( 光学式・画像式 ) 3D カメラ 映画の撮影 モバイル機器 AR ( 拡張現実感 ) ロボット工学 など多数の応用が考えられる. 3D カメラ.

kapono
Download Presentation

高速な三次元再構成のための 最適化アプローチ

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 高速な三次元再構成のための最適化アプローチ高速な三次元再構成のための最適化アプローチ CS専攻博士前期 2年 システム数理研究室 正木 俊行 指導教官: 久野 誉人 2012/06/14 CSセミナー

  2. 3次元再構成とは 本研究であつかう問題 研究の目的 俯瞰 はじめに 2012/06/14 CSセミナー

  3. (1) 3次元再構成とは • 3次元再構成 • 2次元の画像情報から3次元構造を復元 • 応用 • モーションキャプチャー(光学式・画像式) • 3Dカメラ • 映画の撮影 • モバイル機器 • AR (拡張現実感) • ロボット工学 • など多数の応用が考えられる 3Dカメラ http://japan.internet.com/webtech/20100107/3.html http://www.smartkeitai.com/sprint-htc-evo-3d-review/htc-evo-3d-dual-3d-camera/ 2012/06/14 CSセミナー

  4. (2) 本研究で扱う問題 • Structure and Motion Problems • シーンの 3次元構造(and/or) • カメラの方向･位置(軌道)を求める問題の総称 • 何を求めるかによって • のように呼び分けられる • Triangulation • Camera Resectioning • Homography Estimation • Known Rotation (Orientation) 2012/06/14 CSセミナー

  5. (3) 研究の目的 • 目的:大規模なStructure and Motion 問題 を 高速に解きたい • 手法:定式化の工夫により • 扱いやすいクラスの 最適化問題 に帰着させる • ⇒ 既存の高速なソルバーや専用のハードウェアを利用できる 2012/06/14 CSセミナー

  6. (4) 俯瞰 ① モデル化 ② 定式化 ③ 解決 • ピンホールカメラモデル • 目的関数 • 制約 • アルゴリズム • ソルバー 実世界 カメラモデル 三次元再構成 最適化問題 2012/06/14 CSセミナー

  7. (4) 俯瞰 ① モデル化 ② 定式化 ③ 解決 • ピンホールカメラモデル • 目的関数 • 制約 • アルゴリズム • ソルバー ここがポイント！ 問題の複雑さを 抑える工夫 実世界 カメラモデル 三次元再構成 最適化問題 これがうれしい！ 大幅な高速化 2012/06/14 CSセミナー

  8. ピンホールカメラモデルとは ピンホールカメラによる射影 モデル化 2012/06/14 CSセミナー

  9. (1) ピンホールカメラモデルとは • ピンホールカメラモデル: • カメラの機能を表現するための数理モデル • 画像面 と 光学中心 とで構成される 像(イメージ) カメラ 被写体(オブジェクト) 画像面 画像面 光学中心 2012/06/14 CSセミナー

  10. (2) ピンホールカメラによる射影 グローバルな座標系 2012/06/14 CSセミナー

  11. (2) ピンホールカメラによる射影 グローバルな座標系 ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ 2012/06/14 CSセミナー

  12. (2) ピンホールカメラによる射影 グローバルな座標系 ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ 2012/06/14 CSセミナー

  13. (2) ピンホールカメラによる射影 原点: 光学中心 画像面–原点間の距離: 1 となる座標系 2012/06/14 CSセミナー

  14. (2) ピンホールカメラによる射影 原点: 光学中心 画像面–原点間の距離: 1 となる座標系 2012/06/14 CSセミナー

  15. (2) ピンホールカメラによる射影 原点: 光学中心 画像面–原点間の距離: 1 となる座標系 2012/06/14 CSセミナー

  16. (2) ピンホールカメラによる射影 原点: 光学中心 画像面–原点間の距離: 1 となる座標系 2012/06/14 CSセミナー

  17. (2) ピンホールカメラによる射影 原点: 光学中心 画像面–原点間の距離: 1 となる座標系 2012/06/14 CSセミナー

  18. (2) ピンホールカメラによる射影 • まとめ • 被写体： • カメラ行列： • 像： 2012/06/14 CSセミナー

  19. Structure and Motion Problems 従来の定式化と解法 定式化 2012/06/14 CSセミナー

  20. (1) Structure and Motion Problems • Triangulation ー 被写体の3次元座標の推定 • 既知： , • 未知： 三次元空間 ？？？ 2012/06/14 CSセミナー

  21. (1) Structure and Motion Problems • Triangulation ー 被写体の3次元座標の推定 • 既知： , • 未知： 三次元空間 ？ ？？？ ？ ？ 2012/06/14 CSセミナー

  22. (1) Structure and Motion Problems • Camera Resectioning ー カメラの姿勢を推定 • 既知： , • 未知： 三次元空間 ？？？ 2012/06/14 CSセミナー

  23. (1) Structure and Motion Problems • Camera Resectioning ー カメラの姿勢を推定 • 既知： , • 未知： 三次元空間 ？？？ ？ 2012/06/14 CSセミナー

  24. (1) Structure and Motion Problems • Camera Resectioning ー カメラの姿勢を推定 • 既知： , • 未知： 三次元空間 ？？？ ？ ？ ？ 2012/06/14 CSセミナー

  25. (1) Structure and Motion Problems • Camera Resectioning ー カメラの姿勢を推定 • 既知： , • 未知： 三次元空間 ？？？ ？ ？ ？ 2012/06/14 CSセミナー

  26. (1) Structure and Motion Problems • Known Rotation (Orientation) ー 被写体･カメラの3次元座標を推定 • 既知： , • 未知： , 三次元空間 ？？？ カメラの “方向”のみ既知 2012/06/14 CSセミナー

  27. (1) Structure and Motion Problems • Known Rotation (Orientation) ー 被写体･カメラの3次元座標を推定 • 既知： , • 未知： , 三次元空間 ？ ？？？ カメラの “方向”のみ既知 2012/06/14 CSセミナー

  28. (1) Structure and Motion Problems • Known Rotation (Orientation) ー 被写体･カメラの3次元座標を推定 • 既知： , • 未知： , 三次元空間 ？？？ ？ カメラの “方向”のみ既知 2012/06/14 CSセミナー

  29. (1) Structure and Motion Problems • Known Rotation (Orientation) ー 被写体･カメラの3次元座標を推定 • 既知： , • 未知： , 三次元空間 ？ ？？？ ？ カメラの “方向”のみ既知 2012/06/14 CSセミナー

  30. (1) Structure and Motion Problems • Triangulation ー 被写体の3次元座標の推定 • 既知： , • 未知： • Camera Resectioning ー カメラの姿勢を推定 • 既知： , • 未知： • Known Rotation (Orientation) ー 被写体･カメラの3次元座標を推定 • 既知： , • 未知： , ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ※ ： 回転行列 (カメラの向き) ： 並進ベクトル (カメラの位置) 2012/06/14 CSセミナー

  31. (1) Structure and Motion Problems • Triangulation ー 被写体の3次元座標の推定 • 既知： , • 未知： • Camera Resectioning ー カメラの姿勢を推定 • 既知： , • 未知： • Known Rotation (Orientation) ー 被写体･カメラの3次元座標を推定 • 既知： , • 未知： , ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ※ センサー類による 取得が容易 ： 回転行列 (カメラの向き) ： 並進ベクトル (カメラの位置) 2012/06/14 CSセミナー

  32. (1) Structure and Motion Problems • Triangulation • 既知： , • 未知： • Camera Resectioning • 既知： , • 未知： • Known Rotation (Orientation) • 既知： , • 未知： , 共通：が未知数について線形 2012/06/14 CSセミナー

  33. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] 2012/06/14 CSセミナー

  34. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] 残差： 2012/06/14 CSセミナー

  35. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] 残差： 2012/06/14 CSセミナー

  36. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] 残差： 2012/06/14 CSセミナー

  37. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] 残差： 2012/06/14 CSセミナー

  38. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] 残差： 総残差 2012/06/14 CSセミナー

  39. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] 残差： 総残差 非線形 2012/06/14 CSセミナー

  40. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] 残差： 総残差 ∞ 2 2012/06/14 CSセミナー

  41. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] ∞ 2 2012/06/14 CSセミナー

  42. (2) 従来の定式化と解法 [F.Kahl,R.Hartley 2008] • [F.Kahl, R.Hartley 2008] • 2-ノルムの内側が非線形なので，解きにくい． • が定数であれば二次錐計画問題(SOCP)になるので， • 二分法探索を行い，実行可能な最小の を見つける． ∞ 2 2012/06/14 CSセミナー

  43. 線形な残差 最適化問題への帰着 無制約QPと最小二乗法← New!! 従来モデルとの比較 ふたつのモデルの関係 提案モデル 2012/06/14 CSセミナー

  44. (1) 線形な残差 残差： 2012/06/14 CSセミナー

  45. (1) 線形な残差 残差： 2012/06/14 CSセミナー

  46. (1) 線形な残差 残差： 残差： 2012/06/14 CSセミナー

  47. (1) 線形な残差 残差： 残差： 2012/06/14 CSセミナー

  48. (1) 線形な残差 残差： 残差： 線形 2012/06/14 CSセミナー

  49. (1) 線形な残差 残差： 残差： 線形 2012/06/14 CSセミナー

  50. (2) 最適化問題への帰着 2012/06/14 CSセミナー

More Related