多関節 CG モデルと距離画像による上半身の姿勢推定

多関節CGモデルと距離画像による上半身の姿勢推定多関節CGモデルと距離画像による上半身の姿勢推定平尾公男†, 中澤篤志†‡, 清川清†‡, 竹村治雄†‡ †大阪大学大学院情報科学研究科 ‡大阪大学サイバーメディアセンター

背景 • 人間の動作解析技術が幅広い分野で利用されている • ユーザインタフェース • ゲーム, 仮想環境, アニメーション，リモート制御などの制御機能 • 福祉, 医療，スポーツ • 臨床研究, 整形外科患者の診断，運動選手の動作理解の支援などの分析機能 • セキュリティ • 人物の動作解析などの監視機能

関連研究 • 掌の姿勢推定 • 今井ら，2004 • 二次元アピアランスに基づく → 奥行き情報の欠如による，推定の限界 • 上半身の姿勢推定 • D’Apuzzoら，2003 • マーカレス • 3台のカメラを使用 → オプティカルフローの推定に時間がかかる

目的とアプローチ 目的 • 関節角度を求める • アピアランスベース手法 • 2Dアピアランスと3Dアピアランスの利用 • モーションキャプチャデータを用いた初期関節角度の探索 • 漸近的収束 • 初期関節角度の推定確度の向上 • 両腕の姿勢推定 • リアルタイム処理が可能 • マーカレスであるアプローチ

モーションキャプチャデータを用いることの特徴モーションキャプチャデータを用いることの特徴 • 事例に基づいた探索 • 可動範囲内の関節角度の推定 • 可能な関節角度の組み合わせの推定 • 高速化 • 限られた事例パターンによる初期値の推定 • より良い初期値による探索時間の減少 • 全ての関節角度を推定できるわけではない • 関節角度の収束処理により真値に近づける

事前処理 画像入力処理マッチング処理処理の概要モーションキャプチャデータユーザの上半身サイズカメラパラメータ画像入力距離画像入力 CGモデル画像の生成細線化と膨張処理 CGモデルの両腕の距離画像の生成 CGモデルの片腕画像の生成ラベリング顔と腕領域の抽出細線化と膨張処理イメージマッチング (1段階目のマッチング) 関節角度の初期推定推定角度の改善 (2段階目のマッチング) 関節角度の推定

画像入力・領域抽出 手順 1. 画像を入力 2. 背景画像との差分処理，　　明るさ閾値，距離閾値による2値化 3. 5ピクセル膨張 4. 細線化右腕 5. 10ピクセル膨張 6. ラベリング左腕 7. 腕の抽出面積の最も大きい3領域の重心比較

事前処理 • 関節角度の取得 • 市販の光学式モーションキャプチャによる姿勢データから導出 • 多関節CGモデルの生成 • 体の大きさをユーザと同サイズに統制 • 肩の自由度 : 3 (x 2), 肘の自由度 : 1 (x 2) • 基準立方体によるカメラキャリブレーション • 多関節CGモデルの • 片腕画像を生成 • 右：4796, 左:4796, 計9592枚 • 細線化, 10ピクセル膨張 • 両腕の距離画像を生成 • 4796枚

B A∩B A マッチング処理 1 • マッチング対象となるCGモデル画像を選択 • 比較する腕領域のバウンディングボックスについて適切な閾値を設定し絞込む重なり合う面積アスペクト比の差横(縦)の長さの差中心位置の差

I: CGモデルの腕領域 J: CGモデルの腕の骨格領域輝度値の評価距離値の評価マッチング処理 2 • マッチング評価式 • 輝度値と距離値を考慮 pz (x, y)：入力距離画像 p (x, y)：入力画像 mz (x, y)： CGモデルの距離画像 m (x, y)： CGモデル画像輝度値: 0～100 距離値: 0～100

マッチング処理 3 • 輝度値の評価 • 距離値の評価 10ピクセル膨張距離画像腕領域の輝度値 : 1以上背景領域の輝度値 : 0 骨格部が一致するほど良い評価値を得る

実験結果（1段階目のマッチング） カメラ実験風景動作例結果(輝度値+距離値) 入力画像結果(輝度値) フレームレート: 10 frames/sec

実験結果 (距離値の有効性) 1stマッチング結果(輝度値) 1stマッチング結果(輝度値+距離値) 入力画像

考察 • 事前のモーションキャプチャデータに存在しない関節角度を推定する必要がある

推定角度の改善(1) 関節角度の初期推定画像入力片腕の微小変化画像の生成細線化と膨張処理顔と腕領域の抽出細線化と膨張処理ラベリングイメージマッチング関節角度の更新最大5 回繰り返す関節角度の推定

推定角度の改善(2) • 片腕の微小変化画像の生成 • 各関節を表す四元数のパラメータを微小に変化 • 生成枚数：8枚 • 一度に変化させる関節を一箇所にする • マッチング評価式を適用 • 距離値を考慮しない • 全ての関節について以上の処理を繰り返す • 以上の処理を最大5回繰り返す

実験結果 (2段階目のマッチング) 1stマッチング結果 2ndマッチング結果入力画像フレームレート: 3.6 frames/sec

考察入力画像 1stマッチング結果 2ndマッチング結果

まとめと今後の課題 • まとめ • 多関節CGモデル画像と距離画像による両腕の姿勢推定手法の提案, 実験結果の提示 • あらかじめ姿勢データを準備しておくことによる高速化，人の可動範囲内の角度推定の実現 • 漸近的収束による関節角度の推定確度の向上 • 今後の課題 • 顔や腕の領域重畳時のラベリング • 腰の自由度と頭部姿勢を加えた，上半身全体の姿勢推定 • 処理速度の向上

実験結果 (距離値の有効性) 1stマッチング(輝度値+距離値)+ 2ndマッチング 1stマッチング(輝度値)+ 2ndマッチング入力画像

実験結果 (距離値と2ndマッチングの有効性) 1stマッチング(輝度値) 1stマッチング(輝度値+距離値)+ 2ndマッチング入力画像

実験結果 (エラー例) 誤り例 1 　領域の分断誤り例 2 　領域の重畳

考察（入力画像274枚について） • 1段階目のマッチングについて • 閾値によるCGモデル画像枚数の絞込み結果 • 1枚~368枚 • 平均：40枚 • 2段階目のマッチングについて • 繰り返し回数 • 1~5回 • 平均:2.02回

多関節CGモデル画像の生成時間 • 4796枚生成に57'50“ • Pentium3 Mobile 866MHz • 256MB RAM

多関節 CG モデルと距離画像 による上半身の姿勢推定