1 / 21

HOG 特徴に基づく 単眼画像からの人体 3 次元姿勢推定

HOG 特徴に基づく 単眼画像からの人体 3 次元姿勢推定. 神戸大学　工学研究科　情報知能学専攻 大西　克則. 研究背景. 仮想世界の構築. 人体全身の姿勢推定. ハードウェアの進歩： 2D → 3D. 人間を見るビジョン技術のニーズが高まっている 人体の姿勢推定 画像監視 ロボットとのインタラクション ゲーム，映画等のエンターテインメント. 研究目的. ３次元姿勢推定方法. モーションキャプチャ. 身体の動きのデータを正確に収集できる. 問題点. 単眼カメラからの姿勢推定. 体にマーカを装着する 複数個のカメラに囲まれた環境での撮影. 従来手法.

norah
Download Presentation

HOG 特徴に基づく 単眼画像からの人体 3 次元姿勢推定

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. HOG特徴に基づく単眼画像からの人体3次元姿勢推定HOG特徴に基づく単眼画像からの人体3次元姿勢推定 神戸大学　工学研究科　情報知能学専攻 大西　克則

  2. 研究背景 仮想世界の構築 人体全身の姿勢推定 ハードウェアの進歩：2D→3D • 人間を見るビジョン技術のニーズが高まっている • 人体の姿勢推定 • 画像監視 • ロボットとのインタラクション • ゲーム，映画等のエンターテインメント

  3. 研究目的 ３次元姿勢推定方法 モーションキャプチャ 身体の動きのデータを正確に収集できる 問題点 単眼カメラからの姿勢推定 体にマーカを装着する 複数個のカメラに囲まれた環境での撮影

  4. 従来手法 画像の人体特徴抽出方法 シルエット画像を用いる • 体の変形等により隠れ部分が発生する(自己オクルージョン)に弱い 体の輪郭だけではなく 内部のエッジ情報も考慮した特徴量が必要

  5. HOG特徴 N.Dalal and B.Triggs，” Histograms of Oriented Gradients for Human Detection”, CVPR 2005 輝度勾配を計算 入力画像 輝度勾配画像 • HOG (Histograms of Oriented Gradients) • 従来，人や物体の検出に用いられてきた特徴量 • 内部のエッジ情報も考慮

  6. HOG特徴 勾配方向を 9方向に量子化 照明や影の影響を受けにくい 局所的な幾何学変化に頑健

  7. PCAによる背景領域の次元削減 PCA HOGのブロック毎にPCAを行う 背景領域 人物領域 特徴次元 高 あまり 削減されない 大きく次元削減 低 HOGは画像全体の特徴量であり，背景領域にも不必要な特徴が多く存在する 人物領域の重要な領域のみ特徴量を使用したい

  8. 人体3Dモデル →関節角を与えることで人体が表現可能 関節角を３次元人体モデル の特徴量とする 画像から関節角を推定することで 姿勢推定を行う 人体は多関節物体であり，様々な形に変形する 各関節間の体節部分は剛体とみなせる

  9. 姿勢推定方法 ３Dモデル特徴： 画像特徴： 変換行列Aは最小二乗推定により決定する 学習データをn個用意 回帰分析に基づく姿勢推定

  10. 実験条件 • 一般的な家庭用カメラを用いて人体を撮影 • 人体を水平方向に回転させ，８方向から撮影する • 直立，歩く，走る，手を上げる，手を広げる，の５姿勢 • 学習データ:240枚 テストデータ:123枚 • 従来手法であるシルエットの輪郭から抽出される Shape Contexts 特徴との比較 • 評価は推定誤差で行う

  11. 実験結果 走る 歩く 手を広げる 手を上げる

  12. 評価 従来手法と比較すると，推定誤差が約5.35度減少

  13. まとめと今後の予定 • まとめ • シルエット画像ではなく，HOG特徴を用いた３次元姿勢推定を行った • ブロック毎にPCAをすることで，背景領域の特徴次元を削減した • 従来手法と比較すると，推定誤差が約5.35度減少 • 今後の予定 • 姿勢推定の方法を改良する

  14. ご静聴ありがとうございました

  15. Shape Contexts シルエット画像から輪郭を離散点で表す 各点に対して逆log-polarマッピングを行い，参照している点から近い点を細かく，遠い点を粗く参照する 1点に対して60次元ヒストグラム特徴

  16. 特徴抽出 画像数×特徴点数　次元 … … … … … … … … … … … … … … … … … … … … 60次元 … Shape Contexts 特徴量を抽出 K-meansによるベクトル量子化 Shape Contexts 特徴空間 (60次元)

  17. 各パラメータの値 • 画像サイズ:150×200画素 • HOG特徴 • セルサイズ:10×10画素 • ブロックサイズ:3×3セル • 特徴次元:18954 • PCA(累積寄与率90%)後の次元:4867 • 人体3次元モデル特徴次元:24

  18. 実験データの詳細 (a) 学習データと同じ条件で撮影された画像 (b) ノイズが多い画像 (c) http://www.nada.kth.se/~hedvig/data.html のデータ

  19. 失敗例

  20. 処理時間 実験環境 Windows XP Intel(R) Core(TM)2 CPU 6600 2.4GHz， 2.0GB RAM

  21. 評価

More Related