1 / 19

聞き手の非言語的反応と 協調的アノテーションに基づく ミーティングキャプチャシステム

聞き手の非言語的反応と 協調的アノテーションに基づく ミーティングキャプチャシステム. 京都大学大学院情報学研究科 勝木弘，角康之，西田豊明. はじめに. ミーティング 知識交流や新たな知を創造する重要な場 記録・構造化による知的活動支援 参加者への負担、制限が厳しい 話し手の発話内容や振る舞いに注目. 参加者の非言語インタラクションと、メモや書き込み といった聞き手の行う協調的アノテーションをもとに、 ミーティングの知識コンテンツ化をおこなう. システムの流れ. 実世界会話場. 提示・支援. 会話記録. ミーティング. DB. 支援システム.

nuncio
Download Presentation

聞き手の非言語的反応と 協調的アノテーションに基づく ミーティングキャプチャシステム

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 聞き手の非言語的反応と協調的アノテーションに基づくミーティングキャプチャシステム聞き手の非言語的反応と協調的アノテーションに基づくミーティングキャプチャシステム 京都大学大学院情報学研究科 勝木弘，角康之，西田豊明

  2. はじめに ミーティング • 知識交流や新たな知を創造する重要な場 • 記録・構造化による知的活動支援 • 参加者への負担、制限が厳しい • 話し手の発話内容や振る舞いに注目 参加者の非言語インタラクションと、メモや書き込み といった聞き手の行う協調的アノテーションをもとに、 ミーティングの知識コンテンツ化をおこなう

  3. システムの流れ 実世界会話場 提示・支援 会話記録 ミーティング DB 支援システム 知識コンテンツ化 ・会話シーン認識 ・インデクス付与

  4. 獲得する非言語行動 • 視線検出、顔認識 • 全方位カメラorカメラ 　＋顔認識ソフトウェアOKAO VISION • 音声検出 －環境マイク • うなずき検出 －加速度センサを利用 • 本棚，ホワイトボードの利用 • 協調的アノテーション • Photochatで行われる写真撮影や書き込み

  5. Photochatによる協調的アノテーション • 写真撮影・手書きメモ機能 • リアルタイム共有 • 写真上での仮想的な会話 • ⇒参加者の興味や感心を反映 [角 et al. 08]

  6. 参加者撮影用 ネットワークカメラ スクリーン 俯瞰映像用 本棚監視用 俯瞰映像用 ◯◯◯について ・xxxxxxx ・vvvvvvv ・tttttttttt 本棚 ホワイトボード監視用 AAAABBBBCCC Aaabbbccc 加速度センサ ホワイトボード ・・・・・・ 全方位カメラ・マイク PhotoChat 俯瞰映像用 俯瞰映像用

  7. システム構成図 カメラアレイ 全方位カメラ 加速度センサ マイク Photochat フレーム補完 マスク処理 正規化 発話区間検出 同期処理 顔認識 首振り検出 映像圧縮 動作検出 顔追跡 ノイズ除去 操作抽出 文字認識 3次元ベクトル化 パターン分類 キーワード抽出 視線　　　うなずき　　発話　　 協調的アノテーション 非言語インタラクションパターン検出 会話シーン認識 知識コンテンツ化

  8. 非言語行動の検出－視線－ • 全方位カメラLadybug2 • OKAO Visionによる顔認識・視線方向認識 • 顔追跡とエラー訂正処理 • 2次元情報→3次元上の顔の位置と視線方向 全方位カメラ 2048(ピクセル) Ladybug2 1024 (ピクセル)

  9. 非言語行動の検出－うなずき－ 頭部につけた加速度センサからうなずき動作を検出する • 加速度センサの傾きを補正 • 鉛直方向の動きを窓幅600ミリ秒で分散をとり，抽出する • 首振り動作以外の動きを除去する • －顔方向を変える動作 顔方向を変える動作 首振り動作区間 加速度の二乗和 分散 垂直方向の動作区間 [斎賀 et al. 10]

  10. 非言語行動の検出－その他－ • 発話 テーブル中心に設置した環境マイクの音声から発話区間検出 • 協調的アノテーション 撮影、書き込み、閲覧といった操作 操作パターンなどによる仮想会話の分類 • 本棚、ホワイトボードの利用 カメラ映像の差分による行動検出

  11. 知識コンテンツ化：会話シーン認識 • 再利用性の高い重要シーンの獲得 • 再利用性の高いシーンを得るには参加者の意図に沿うことが重要 • 非言語情報から会話の状況や参加者の意図を掴む • 意味情報までは踏み込まない（キーワード単語の利用程度） ・参加者間の非言語インタラクション • 発話交替、視線集中，うなずきの同期，… ・参加者のつける意味的アノテーション • メモ・写真情報＋それを書き込む（撮る）という行為 特徴的な会話シーンの獲得

  12. 知識コンテンツ化：インデクス付与 　会話シーンのもつ情報インデクス • スライドやメモから得たシーンに出てきたキーワード • 会話状況 • 話題転換や盛り上がり、注目が集まっているなどの特徴的な会話状況 • 非言語インタラクション • 協調的アノテーション • ミーティング・参加者情報 • これらのインデクスを利用してミーティングの構造化や、 • 現在の状況と照らし合わせた提示を行う

  13. まとめと今後 • 参加者の非言語インタラクションと、メモや書き込みといった協調的アノテーションをもとに、知識コンテンツ化をおこなうミーティングキャプチャシステムの提案 • 記録したミーティングを分析して会話シーン認識のモデルを構築し知識コンテンツ化を行う • 日常的に運用し、有用性を確認する

  14. まとめ • グループ内の知識流通サイクルを実現する • ミーティング，立ち話，本棚周辺における会話の獲得 • 非言語情報を用いた重要シーン切り出し • 会話シーンの関連付けによるメタ構造の導入 • 有益な会話の促進や知識共有のための提示システム • 研究室内において日常的に運用することで，グループ内における知識流通が促進される　ことを確認する

More Related