1 / 36

分散協調視覚による動的３次元状況理解

分散協調視覚による動的３次元状況理解. 松山　隆司 京都大学. プロジェクトの構成. リーダー：松山隆司（京都大学） コアメンバ： 美濃導彦（京都大学） 浅田　稔（大阪大学） 和田俊和（京都大学） サテライトメンバ： 出口光一郎（東北大学）　池内克史（東京大学） 尺長　健（岡山大学）　　　谷口倫一郎（九州大学） 吉田紀彦（長崎大学）　　　東海彰吾（福井大学） 日浦慎作（大阪大学）　　　杉本晃宏（京都大学）. 研究目的. 有線・無線ネットワークで結ばれた多数の 観測ステーション（多自由度カメラ雲台を備 えた実時間映像処理装置）や視覚機能を備

dore
Download Presentation

分散協調視覚による動的３次元状況理解

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 分散協調視覚による動的３次元状況理解 松山　隆司 京都大学

  2. プロジェクトの構成 • リーダー：松山隆司（京都大学） • コアメンバ： • 美濃導彦（京都大学） • 浅田　稔（大阪大学） • 和田俊和（京都大学） • サテライトメンバ： • 出口光一郎（東北大学）　池内克史（東京大学） • 尺長　健（岡山大学）　　　谷口倫一郎（九州大学） • 吉田紀彦（長崎大学）　　　東海彰吾（福井大学） • 日浦慎作（大阪大学）　　　杉本晃宏（京都大学）

  3. 研究目的 有線・無線ネットワークで結ばれた多数の 観測ステーション（多自由度カメラ雲台を備 えた実時間映像処理装置）や視覚機能を備 えた移動ロボットを能動視覚エージェントと 考え、エージェント群の協調により、以下の ２つの機能を実現することを目的としている。 １．分散協調型状況理解 ２．対話的実時間映像生成　 Ubiquitous Vision （どこにもカメラ）

  4. ３次元ビデオ映像

  5. 分散協調視覚システムの応用 • 実時間広域監視・交通管制システム • 分散配置された能動カメラ群による複数対象の協調追跡 • ３次元立体テレビ・知的テレビスタジオ • ３次元ビデオ映像の撮影・編集・表示 • 対話型遠隔会議・講義システム • 【デモ】 • 移動ロボット群によるチームプレイの実現（サッカー） • 【デモ】

  6. 能動カメラ群を備えたPCクラスタシステム Myrinet (1.28Gbps) PC Cluster ネットワークソフト： PMLibrary （RWC　開発） PC:　１６台（３０台） カメラ：１２台（２５台） 視点固定型 パン・チルト・ズーム カメラ

  7. 視点固定型パン・チルト・ズームカメラ 投影中心　＝　回転中心

  8. 視点固定型パン・チルトカメラ

  9. 視点固定型パン・チルト・ズームカメラを使った視点固定型パン・チルト・ズームカメラを使った 能動的対象追跡

  10. 頭部モデルを用いた複数人物の追跡

  11. 分散配置された能動カメラ群による複数対象の協調追跡分散配置された能動カメラ群による複数対象の協調追跡 ネットワーク 通信機能 能動視覚エージェント 視覚認識機能 行動（カメラ制御）機能

  12. 能動視覚エージェント群による複数対象の協調追跡能動視覚エージェント群による複数対象の協調追跡

  13. ３次元ビデオ映像 • CGアニメーションではない！ • スポーツやダンスといった実世界での人間の動作をそのまま３次元的に記録した立体映像 好みの視点からの鑑賞 ３次元世界での編集 立体ディスプレイによる３次元映像

  14. 視体積交差法による３次元形状の復元 投影中心 画像平面 対象の シルエット ３次元物体

  15. 平行平面群 1 2 平面間投影を用いた視体積交差法 • ボクセル空間を平面集合に分割することにより、視体積交差法の計算が、2次元平面上での交差計算に分割される。

  16. Base Silhouette Generation Base Silhouette Generation Base Silhouette Generation Base Silhouette Generation PCクラスタを用いた並列３次元形状復元 PC1 PC2 PC3 PC4

  17. 2.5m 4.0m 4.0m 実時間３次元形状復元の実験結果 Online Volume Reconstruction Result Volume reconstruction area： 2m×2m×1.7m Voxel size : 2cm

  18. 性能評価 Average elapsed time for 50 frames

  19. 3D Voxel Polygon Patch Marching cube 3D Video Texture mapping ３次元ビデオ映像の生成　(Off-Line)

  20. ３次元ビデオ映像 ３次元ビデオ映像 自由なカメラワーク 入力ビデオ

  21. 視覚化 (２Dビデオ or ３D立体映像) ３次元ビデオ映像の編集全天空全方位背景画像＋自由なカメラワーク

  22. 編集された３次元ビデオ映像 (I)

  23. 編集された３次元ビデオ映像(II) 映像と音楽との同期

  24. 編集された３次元ビデオ映像(III) ３次元世界でのコピー

  25. ３次元ビデオ映像の応用 • 伝統的舞踊のディジタル・アーカイブ • スポーツ・運動解析 • ３D動物辞典 • ３Dゲーム • ３D音楽 DVD/CD • 3Dテレビ • etc

  26. 実用化に向けての技術課題 • 処理速度の向上(>30fps) • 画質の向上 (<1cm) • データ圧縮法の開発 • ３次元形状 (patch simplification) • 表面テクスチャ (reflectance analysis) • ３Dビデオ映像エディタ • 3D (幾何学空間) + 1D (時間軸) • マルチメディア編集 プロジェクトの成果を今後もさらに発展させる計画

  27. 能動カメラを使った遠隔講義

  28. システムで撮影された映像

  29. 移動ロボットの協調動作

  30. 障害を回避してパスを行う動作

  31. 研究成果（I) • 分散協調視覚の理論モデルの構築 • 知覚、行動、通信機能の動的統合による知能の創発　　（知能 ＝ 知覚 ＋ 行動 ＋ 通信） • ダイナミックメモリ • 並列プロセスの動的統合機構 • ハードウェア，ソフトウェア基盤の構築 • 実時間多視点ビデオ映像撮影・処理用PCクラスタ • 多重画像の統合による多機能高精度視覚センサの開発 • 実時間３次元距離画像計測用多重フォーカスカメラ • 視点固定型パン・チルト・ズームカメラ • 視点固定型3眼ステレオカメラ • 分光スペクトルカメラ

  32. 研究成果（II) • 変動する環境下での対象検出 • 照明変化に対して頑健な背景差分法 • 動的背景中の対象検出 • 視覚・行動機能の統合による能動的対象追跡 • 視点固定型パン・チルト・ズームカメラを用いた能動的背景差分 • ダイナミックメモリを用いた実時間対象追跡 • 信頼度付き仮説群の相互作用に基づく複数人物追跡 • 能動視覚エージェント群による複数対象の協調的追跡 • 対象同定のための仮想同期機構 • 階層的動的インタラクション機構

  33. 研究成果（III) • 動的３次元シーンの能動的映像化 • 能動カメラによる遠隔モニタリング • イベント駆動型カメラワークによる動的シーンの効果的映像化 • PCクラスタを用いた身体動作の実時間３次元映像化　（３次元ビデオ映像の撮影・編集・表示） • ３次元講義室空間の動的状況把握による映像生成法の開発 • 視覚に基づくロボットの多種行動の獲得及び統合方式の開発

  34. 研究成果（IV) • PCクラスタを用いた実時間モーションキャプチャシステム • 顔画像の分散協調登録と認識システム • 分散協調型多体追跡アルゴリズム • ロボットアームのビジュアルサーボシステム • ロボットと人間の協調作業システム

  35. 第４回分散協調視覚プロジェクト国際ワークショップ第４回分散協調視覚プロジェクト国際ワークショップ • 日時：平成１３年３月２２日（木）ー２４日（土） • 場所：京大会館・京都大学電気系教室 • 内容：講演とデモ • 詳細：ホームページ Http://vision.kuee.kyoto-u.ac.jp/CDV-PRJ

  36. Real-Time Object Tracking with Dynamic Memory With (Parallel) Without (Sequential)

More Related