280 likes | 457 Views
Nonrigid Structure from Motion in Trajectory Space. 清水彰一. はじめに. 剛体の構造復元 [C. Tomasi and T. Kanade : “Shape and motion from image streams under orthography: A factorization method,” IJCV, Vol. 9, pp. 137–154, 1992] 非剛体の構造復元 形状スペース
E N D
はじめに • 剛体の構造復元 • [C. Tomasi and T. Kanade: “Shape and motion from image streams under orthography: Afactorization method,” IJCV, Vol. 9, pp. 137–154, 1992] • 非剛体の構造復元 • 形状スペース • [C. Bregler, A. Hertzmann, and H. Biermann: “Recovering non-rigid 3D shape from image streams,” CVPR, Vol.2, pp.690–696, 2000] • 追跡スペース • [I. Akhter, Y.A. Sheikh, S. Khan, and T. Kanade: “Nonrigid Structure from Motion in Trajectory Space,” Neural Information Processing Systems, 2008]
剛体の構造復元 モーションと形状を同時に推定 http://journal.mycom.co.jp/series/interview/179/index.html
非剛体の構造復元 • 形状空間 • 軌跡空間
三次元位置の表現 時刻t、P点の三次元位置 基本形状の線形的な組み合わせとして表現可能 3 P
数フレームに亘る三次元位置 形状空間 F 追跡空間 3P 形状空間と追跡空間の関係が表現可能
軌跡基底における三次元表現 • あるP点の三次元位置をT(i)=[Tx(i)TTy(i)TTz(i)T ]とする • 離散コサイン変換で表現
構造行列の因子分解 構造行列は射影行列と係数行列で表現可能 3F 3k k P P 3k
観測行列の定義 • 観測行列(measurement matrix) • FフレームP点の画像座標の集まり 2F P
観測行列の分解 観測行列Wを正射影行列 と構造行列Sに分解 と を用いて変形 2F 3F
SVDを用いた因子分解 特異値分解 可逆行列Qによる校正 因子分解の結果は一意に決定できない
Metric upgrade と を構成する行列Qは三列だけで十分 さらに が2i-1×2iとすると、単位行列I2×2と 基底ベクトルの2乗q 2と等価になる を非線形最小化問題として解く
各パラメータの算出 回転行列 を から算出 Lの算出 係数行列 の算出
評価実験 • 実験1 • 動きが複雑なモーションキャプチャデータによる評価 • バレーボール、逆立ち、空手、踊り • 実験2 • 軌跡基底kの違いによる安定性と復元精度の評価 • Drink, Pickup, Yoga, Stretch, Multirigid, Dance, Shark • 実験3 • 実画像による評価 • PIEデータセットから顔シーケンス、Matrix、キューブ、恐竜
実験1 • 動きが複雑なモーションキャプチャデータによる評価 真値 復元値
実験2 軌跡基底kの違いによる安定性の評価 • 対象物の変化量が少ない、またはカメラのモーションが大きい 安定して復元可能
実験2 復元精度の評価
おわりに • Nonrigid structure from motion in trajectory space の調査 • 軌跡空間において軌跡基底の線形的な組み合わせにより 三次元位置を表現 • 高精度に非剛体の形状を復元することが可能