マルチメディア･コンテンツの生成支援機構

1. マルチメディア･コンテンツの生成支援機構 現実空間からのデータと 人工的なデータを統合し て新たなコンテンツを創出 する． バーチャルリアリティ技術 ⑥生成支援機構 ＤＢ • データベースの活用 • マルチモーダルインタ フェースの実現 料理屋の仕事 岸野，北村，正城

2. 研究概要 • マルチメディアデータベース • （ﾏﾙﾁﾒﾃﾞｨｱ･ｺﾝﾃﾝﾂを構造化して蓄積） • 検索･加工・編集 • 提示機構の確立，生成支援機構の確立

3. ライブビデオ 実空間 対象とするマルチメディア・コンテンツ テキスト，音声，静止画，動画像シーン 従来のコンテンツ 複数静止画 （空間情報） 複数の動画像シーン （時間情報） マルチメディア・コンテンツ ３次元CG(Image‐based含む) （時空間情報）

4. ３次元CG+インタラクションによるコンテンツの提示・生成３次元CG+インタラクションによるコンテンツの提示・生成 • 対象コンテンツ • 実画像から抽出(例えば，魚) • ３次元モデル • 抽出データ • ３次元データ • テクスチャ • モーション • インタラクション • 直接操作 • オートノミー • ユーザモデル（意図，関心度）

5. 融合環境内の実物体と仮想物体に対する操作の統一性融合環境内の実物体と仮想物体に対する操作の統一性 Environment Real Object Real Object Virtual Object ｺﾝﾃﾝﾂ（物体） ﾍﾞｰｽの操作 物体に 作用する 物理法則 直感的 直接操作

6. 融合空間における仮想・現実物体の統一的操作法の実現融合空間における仮想・現実物体の統一的操作法の実現 • 映像ｺﾝﾃﾝﾂに対するｲﾝﾀﾗｸﾃｨﾌﾞ操作 • Interactive Digital Fishtank • 仮想・現実物体に作用する物理法則を考慮した統一的物体操作の実現 • 磁石のメタファを利用

7. インタラクティブ･ディジタル水槽 実空間の水槽 Graphics Workstation ユーザ ビデオカメラ ビデオ映像 抽出 ビデオカメラ インタラクション 生の映像からだけでは様々なインタラクションに対応できない インタラクションに適した映像コンテンツのデータベースの必要性

8. Process1 抽出データ 実映像入力 DB DB 画像 コンテンツの抽出 Process2 振る舞い制御 3次元モデリング 実映像コンテンツの抽出 共有メモリ インタラクション制御 描画 拡張仮想空間の構築 Process1 Process2 抽出データ 実映像入力 モデリング 振る舞い制御 画像 コンテンツの抽出 インタラクション制御 描画 拡張仮想空間の構築 構築方法

9. インタラクションに適したデータベースの構成インタラクションに適したデータベースの構成 従来の映像データベースに関する研究 • 意味構造（シーン，カット）を持った映像(映画，ドラマ，ニュース)に対するスキミング • インタラクションをアプリケーションとする • 事前に蓄積した映像データベースから，インタラクションに応じて最適な映像を利用 • 意味構造をもたない映像群を利用 • 検討内容：蓄積(構造化，組織化）・インデックス・検索 新たな映像データベースに関する研究

10. 現状と可能性 Augmented Virtuality CG魚と の共存 ｲﾝﾀﾗｸｼｮﾝの 多様化 CGｵﾌﾞｼﾞｪｸﾄと のｲﾝﾀﾗｸｼｮﾝ 仮想世界 との融合 3次元対話ﾃﾞﾊﾞｲｽ によるｲﾝﾀﾗｸｼｮﾝ 3次元 対象物に応じた 直感的ｲﾝﾀﾗｸｼｮﾝ 法の検討 ｽﾃﾚｵ画像計測 動画像処理の高速化 ・高精度化・安定化 A-Life 動画像DB 対象領域 の拡大 餌付けのｼｰﾝ 求愛のｼｰﾝ 逃走のｼｰﾝ …….. 魚の振舞いの 多様化 実際の魚 を対象 ﾏｳｽ，ｷｰﾎﾞｰﾄﾞ によるｲﾝﾀﾗｸｼｮﾝ 映像ｺﾝﾃﾝﾂに 対するｲﾝﾀﾗｸｼｮﾝ 2次元 抽出結果と動きのｺﾋﾟｰ 動物体抽出・追跡 （単一対象，背景固定） 簡単な動物体の 振舞い制御 (ﾓｰｼｮﾝｷｬﾌﾟﾁｬ+α） おもちゃの魚 （ほぼ剛体，動き予測可能）

11. Interactive Digital Fishtank

12. 各テーマの位置付け 静止画・動画像シーン ＋ハイパーリンク ３次元CG ＋インタラクション 空間位置抽出 ﾕｰｻﾞ意図抽出 インタラクション 空間位置抽出 ﾕｰｻﾞ意図抽出 融合提示 プラットホーム(WS+ARML) マルチメディア・データベース （複数静止画，動画像シーン，ライブビデオ，３次元CG，実空間）