岸野文郎 大阪大学大学院工学研究科 電子情報エネルギー工学専攻 kishino@eie.eng.osaka-u.ac.jp

1. インタラクションによるマルチメディア・コンテンツの検索インタラクションによるマルチメディア・コンテンツの検索 岸野文郎 大阪大学大学院工学研究科 電子情報エネルギー工学専攻 kishino@eie.eng.osaka-u.ac.jp

2. プロジェクト開始時の目標 様々なマルチメディア・ コンテンツを保持した データベースから 映像と３次元 物体に着目 マルチメディア データベース 新たなマルチメディア・ コンテンツを生成する 子供からお年寄りまでが わかりやすい直感的な インタフェースで 必要な要素やデータを 検索・取得し

3. インタラクティブな映像データベース • 興味対象オブジェクトが思い通りに移動 • 客観的なパラメータの利用 • 結果の提示手法の考慮 ジェスチャによるインタラクション • 自然言語では表現が困難な，時間的，空間的な特徴を直感的に表現可能 • サンプル映像を準備しなくてよい

4. 技術的課題 動コンテンツのパラメータ蓄積 検索結果と場との融合提示 シーンだけでなく，インタラクションも考慮 検索シーンと動コンテンツの状態からの提示開始位置決定 客観的なパラメータも蓄積 検索結果そのものの提示だけでなく環境との連続性を重視した融合提示 情報組織化 実時間で蓄積 蓄積 情報流通 提示 情報検索 検索 インタラクションによるデータベース検索 ユーザの意図，周囲の環境，動コンテンツの状況に応じた検索キーの生成とシーン検索

5. 開発システムーインタラクティブ映像データベースー開発システムーインタラクティブ映像データベースー 検索 ジェスチャ入力 水槽中の金魚 映像ソース 特徴パラメータ 特徴パラメータ 蓄積 マッチング 検索キー インデックス データベース 現在の拡張仮想空間の状況 特徴パラメータ 融合提示 新たな拡張仮想空間 提示

6. 蓄積映像からのオブジェクト抽出 入力実映像から実時間で動物体輪郭線を高精度に抽出 動き情報による概略領域抽出とエッジ情報による詳細領域抽出 処理範囲の限定、動きの情報の抽出

7. 蓄積 輪郭線，バウンディングボックス，姿勢の傾き，動きベクトル等 インデックスの付加 セグメントを単位としたインデックス付け セグメント • 1セグメントは注目フレームを中心とした数フレームで構成 • 全フレームにセグメントを定義する • セグメントを検索の最小単位とする フレーム ・・・ ・・・ n 第ｎセグメント 1セグメントを5フレームで構成した例

8. 検索 利用者の入力軌跡を直接検索に使用 利用者の入力軌跡を特徴ベクトル化して検索キーにする データベース 適切なコンテンツが見つからない 利用者の入力軌跡を 特徴ベクトルに分解 データベース 利用者の望む コンテンツ 特徴ベクトル毎に検索

9. 検索 インデックス 利用者の入力軌跡情報 マッチング 形状(輪郭線)， バウンディングボックス， 姿勢の傾き， 動きベクトル等 特徴ベクトル 方向のラベル オブジェクトの形状 動きベクトルの長さ 結果 オブジェクト インデックス

10. t 実時間抽出 映像オブジェクト 実時間抽出 映像オブジェクト 蓄積映像 オブジェクト インタラクション 検索結果のシーン 違和感 違和感 提示 実映像から抽出したオブジェクトとデータベース内のオブジェクトの置換の際の違和感が発生 違和感軽減のためにモーフィングを利用

11. 特徴の自動 関連付け ソース 正規化 クロス ディゾルブ ターゲット 提示 形状のモーフィング テクスチャのモーフィング

12. ３次元コンテンツの作成 ３次元形状 Top 実空間 Side テクスチャ補正 Front 直交３視点による 入力映像 輪郭線 抽出結果 シルエット 画像

13. 新規性 従来の映像データベース インタラクティブ映像データベース 蓄積 ソースとインデックスのみを蓄積 手動によるインデックス付け コンテンツとその特徴パラメータ の蓄積，自動インデックス付け 検索 特徴パラメータを利用 直感的なインタフェース 仮想空間の状況を考慮 キーワード検索 設計者と利用者の概念の差 提示 検索結果の単純な提示 仮想空間と検索結果を融合提示

14. 研究成果と今後の展開 Interactive Digital Fishtank • 単調な入力画像からジェスチャ入力により様々な映像を作成 • 複数のカメラ入力を用いることにより3次元仮想環境を生成

15. 研究成果と今後の展開

16. マルチメディアデータベースとバーチャルリアリティマルチメディアデータベースとバーチャルリアリティ インタラクティブ映像データベースを提案 • バーチャルリアリティ技術を用いたインタラクティブな操作 • インタラクティブな操作・検索によりマルチメディアコンテンツ作成を支援 インタラクティブ検索の展開 • 複数移動軌跡の時間的・空間的関連を用いた検索 • 広大な仮想環境の検索 • バーチャル適塾ナビゲーションシステム • オブジェクト指向アクティブユーザインタフェースによる検索 • ActiveCube

17. 複数移動軌跡の時間的・空間的関連を用いた検索複数移動軌跡の時間的・空間的関連を用いた検索 • 移動体の複雑な動きを指定 • 描画速度に応じた問合せ 描画軌跡 時系列データ 時系列マッチング （ DPマッチング ） DTWに対応数の制限 移動速度を考慮 映像データ 時系列データ

18. 複数移動軌跡の時間的・空間的関連を用いた検索複数移動軌跡の時間的・空間的関連を用いた検索 ユーザが指定した範囲を網羅するように 移動体が動いている映像の問合せ 指定した範囲からなるべく出ないような動き 指定した範囲をできるだけ網羅 するような動き ２つの測度から重み付けを行い映像区間を選出 キャンバスに直接描いた問合せ範囲

19. 複数移動軌跡の時間的・空間的関連を用いた検索複数移動軌跡の時間的・空間的関連を用いた検索 時間的な関係 同期 非同期(横軸が時間の流れ） 絶対的 空間的な関係 　相対的

20. ActiveCubeを用いた3次元物体の検索 オブジェクト指向アクティブユーザインタフェースによる検索 各種センサ，ディスプレイ・アクチュエータを入出力装置として装備 相互通信機能を有するブロックによるリアルタイム3次元形状認識

21. ActiveCube

22. ActiveCubeを用いた3次元物体の検索 特徴パラメータ 特徴パラメータ 3次元モデルから特徴量を抽出 検索インタフェース(ActiveCube)から特徴量を抽出 マッチング 3次元モデルデータベース 検索結果