1 / 83

室内利用者と外出利用者における共同外出感を実現する手法に関する研究

室内利用者と外出利用者における共同外出感を実現する手法に関する研究. システム情報工学研究科 コンピュータサイエンス専攻 博士後期課程 3 年次 201130172 張　慶椿 指導教員：高橋 伸. 博士論文及びスライドの構成. 一章：序論 二章：関連研究 三章：予備実験 四章： WithYou システム 五章： WithYou システムの評価実験 六章： WithYou2 システム 七章： WithYou2 システムの評価実験 八章：結論. 発表済み論文 (1/2).

jena-stevens
Download Presentation

室内利用者と外出利用者における共同外出感を実現する手法に関する研究

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 室内利用者と外出利用者における共同外出感を実現する手法に関する研究室内利用者と外出利用者における共同外出感を実現する手法に関する研究 システム情報工学研究科 コンピュータサイエンス専攻 博士後期課程3 年次 201130172 張　慶椿 指導教員：高橋 伸

  2. 博士論文及びスライドの構成 • 一章：序論 • 二章：関連研究 • 三章：予備実験 • 四章：WithYouシステム • 五章：WithYouシステムの評価実験 • 六章：WithYou2システム • 七章：WithYou2システムの評価実験 • 八章：結論

  3. 発表済み論文(1/2) • WithYou - A Communication System to Provide Out Together FeelingChing-Tzun Chang, Shin Takahashi and Jiro Tanaka , Advanced Visual Interfaces 2012 International Working Conference, pp. 320-323 (2012). • 関連章節：四章 • Analyzing Interactions between a Pair Out Together Real and VirtualChing-Tzun Chang, Shin Takahashi and Jiro Tanaka, The Sixth International Conference on Collaboration Technologies 2012, pp. 100-105 (2012). • 関連章節：三章、四章、五章

  4. 発表済み論文(2/2) • A Remote Communication System to Provide “Out Together Feeling”Ching-Tzun Chang, Shin Takahashi and Jiro Tanaka、 Journal of Information Processing, Vol. 22, No.1 (2014). • 関連章節：三章、四章、五章 • Provide "Out Together Feeling” by Sharing Panorama Live Image Between Outdoor and Indoor Users Ching-Tzun Chang、 Shin Takahashi and Jiro Tanaka, 22nd International Symposium on Human Factors in Telecommunications (HFT2013), pp. 12-19 (2013). • 関連章節：六章、七章

  5. 一章：序論

  6. 研究背景：臨場感通信 • 近年、モバイルネットワークの高速化に伴い、モバイル方式による臨場感通信が期待される • 共室感、対面感を強調した研究が多数行われた。その多くは固定場所でのビデオ通信をさらに強化することを目的とする、外出中の応用は難しい • これらの研究は主に相手の顔、体の形状・動き等「相手を映した状態」の情報を表示する。周辺環境を共有するのは難しい • ビデオ通信の応用により、「誰かと同じ場所にいる」といった感覚を与える可能性を示している

  7. 1.3節：本研究の目的 • 本研究は「相手と一緒に外出する感覚」を「共同外出感」と定義し、また、この感覚を作り出すことを目的とする • 我々はカメラ、ビデオ通信と遠隔映像の提示手法（没入型表示空間、GUI）を組み合わせによって、共同外出感を達成するための様々な手法について研究する

  8. 共同外出感の利用者 • 共同外出感は、実際に外出してない人に、人と共に外出するような感覚、体験である • 利用者は観察者（室内利用者）と移動者（外出利用者）に分かれている。二人は我々のシステムを用いて、相手と一緒に出かけるような感覚を味わう 観察者（室内利用者） 移動者（外出利用者）

  9. 1.4節：本研究の貢献 本研究の貢献は以下の通りである • 共同外出感を定義し、予備実験により共同外出感を達成する基本要素を考察した • WithYouという遠隔通信システムとそのインタラクション手法を設計し、共同外出感の基本要素を部分に実現した • WithYou2システムを設計し、WithYouで残された課題を解決した上、共同外出感もより高い程度で実現した。また、本研究で提案した三つのインタラクション手法を有意義であることを評価実験によって証明した

  10. 二章：関連研究

  11. 関連研究分野 • 2.1節：遠隔指示と行動支援 • この概念を用いた研究では多くの場合、利用者は指示者と実施者に分けられる。指示者は遠隔地の映像情報などを把握し、作業場所にいる実施者に指示、協力をする

  12. Head Mounted Display (HMD)によるShared-View Systemを用いた遠隔指示・支援システムの検討太田祥一,行岡哲男,山崎敬一,山崎晶子,葛岡英明,松田博青,島崎修次日本救急医学会雑誌, Vol.11, No.1, pp.1-6(2000). 実施者の様子 • Shared-Viewは遠隔環境で心肺蘇生法を指示する遠隔指示・支援システム • オペレータと指示者に分かれており、オペレータはHMDとカメラを装着し、指示者の指示で行動する • 指示者は遠隔地でオペレータと同じ視野をみながら、音声と画面上の指さしにより救急蘇生法の指示を行う

  13. GestureMan:実空間上の遠隔コミュニケーションを支援するシステムの開発小山慎哉, 葛岡英明, 上坂純一, 山崎敬一, 情報処理学会論文集, Vol.45 No.1(2004). • ロボットの頭部に三つのカメラを搭載し、リアルタイム映像を指示者側に送信する • ロボットの頭部回転を指示者の頭の振り向きと連動させる • ロボットでは可動の腕と指示用のレーザーが備えられ、指示者の腕はモーションセンサーでロボットの腕と連動する

  14. 遠隔指示と行動支援と本研究との違い • 本研究では指示者と実施者という概念はなく，ローカル利用者（観察者）と遠隔利用者（移動者）に対等な体験感を与えることを目指した • 本研究は遠隔映像を提供するだけではなく，利用者の間に複数のインタラクション手法を提案した

  15. 関連研究分野 • 2.2節：ウェアブルロボットを用いた仮想的な活動と遠隔コミュニケーション支援ローカル利用者は遠隔利用者の体に乗せたロボットを操作しながら仮想的な活動をする。多くの場合、操縦されるロボットは人間の存在を演じ、活動範囲の延長と考えられる

  16. TEROOS: a wearable avatar to enhance joint activitiesTadakazuKashiwabara, HirotakaOsawa, Kazuhiko Shinozawa, and Michita Imai, CHI'12, pp. 2001-2004 (2012). • ローカル利用者と遠隔利用者の間に共同活動感覚を促進するウェアブルアバターである • パン・チルド・ロールカメラと表情を演出できる目を装備した • カメラ及び表情はローカル利用者によって遠隔制御される • アバターを通して遠隔側にいる他の人物とコミュニケーションを取れる 肩に乗せるアバター ローカル利用者の操作インタフェース

  17. Telecommunicator: A Novel Robot System for Human CommunicationsYuichi Tsumaki, Yutaro Fujita, Akiharu Kasai, Chiaki Sato, Dragomir N. Nenchev and Masaru Uchiyama, International Workshop on Robot and Human Interactive Communication, pp. 35-40 (2002). • Telecommunicatorは利用者の肩に乗せたロボットであり、ロボットに回転できるカメラと上下運動のできるシンプルな腕が装着された • ウェアブルロボットを用いて遠隔相手とコミュニケーションを取る手法を提案 • ローカル利用者はHMDを装着、頭の振り向きによって遠隔のカメラを回転させる 肩に乗せるロボットとシンプルな腕 ローカル利用者はHMDで遠隔映像を把握

  18. ウェアブルロボットと本研究との違い • 本研究ではウェアラブルロボットと同じく、「人間同士に経由した共同外出」という概念を採用したが、アバターという概念を採用していない • ウェアラブルロボットの研究が多くの場合、積極的に装着した利用者の身体情報を計測していない • 我々の研究は観察者と移動者において、カメラの主導権（例えば、誰がカメラの向きを制御する）と向き方向によるインタラクションに着目する • 本研究が提案した注目状態の伝達機能と「共同注目」インタラクションは，利用者たちに同じ方向に注目させる

  19. 他の関連研究分野 • 2.3節：遠隔操作ロボットを介した遠隔コミュニケーション支援 • 2.4節：臨場感通信 • 2.5節：ヒューマンインタラクション MeBot t-Room 2.0

  20. 三章：予備実験

  21. 実験目的 • 共同外出感が成立する基本要素を知るため、予備実験によって以下の問題を考察する • 実験A：実際に共同外出する時、相手とどのようなコミュニケーションを取ったのか？ • 実験B：テレビ電話を用いて共同外出を試すと、どのような問題に直面し、そしてどのようなインタラクション手法によって問題を克服するかのを確認する • １と２の結果をまとめて、共同外出感が成立するための基本要素を考察する

  22. 実験設計 • 被験者は秋葉原の電気街でショッピングする • 被験者は自分で達成目標を決める（買い物、商品を調査する等） • 二組（四人）の被験者が予備実験に参加した。実験Aを参加した被験者は引き続き実験Bに参加した • 実験中、被験者たちの中で行われたインタラクション手法を観察する

  23. 3.3節実験A：二人が実際に共同外出する • 二名の被験者は秋葉原電気街でショッピングする • 被験者たちは２０分以内で任務（買い物、調査）を達成する • 実験中、二人のスタッフは被験者たちの後ろに付いた、一人は実験の過程を録画し、もう一人は被験者二人の中で行われた行動とインタラクション手法を記録した 実験Aの実行様子

  24. 予備実験Aの録画

  25. 実験Aの結果 示した回数は、二組の被験者からの総計回数になる • 実験中、以下のインタラクションパターンを観察できた。これらのパターンは被験者の間で情報交換を行うインタラクション手法を判断し選んだ • 相手の向き方向に気づき、自分も同じ方向を見る(12回) • 指差し(7回) • 相手が止まってどこかを注目していることに気づき、同じ方向を見てみる(5回) • 手で物（商品）を持って一緒に見る(5回) • ジェスチャで説明する(3回) • 後ろを振り返って相手はついて来ているかを確認する(2回)

  26. 実験Aの考察 • 実験Aの結果により、お互いの注目方向に関するインタラクションとジェスチャは共同外出の感覚を促進する二つの要素であると考察した • このことから、本研究では観察者と移動者に、向き方向と注目状態の検出、伝達手法を設計する必要がある • ジェスチャに関しては、本研究の観察者がカメラを通して移動者のジェスチャが見えるが、観察者のジェスチャはどのように移動者に伝えるのは重要である

  27. 3.4節：実験B：テレビ電話を用いて共同外出を試す3.4節：実験B：テレビ電話を用いて共同外出を試す • 実験はヨドバシカメラ秋葉原店内で行われた • 観察者は休憩エリアで座り、移動者は観察者の要求で各販売フロアに移動してショッピングする 移動者 観察者

  28. 予備実験Bの録画 移動者：ショッピング 観察者：休憩エリア

  29. 実験Bの結果(1/2) 実験中、以下のインタラクションパターンを観察できた • 移動者は商品の情報（価格等）を携帯のカメラに介し観察者に見せた(7.5回) • 移動者は価格及び商品情報を観察者に読み上げた(4回) • 観察者は移動者をどこかに移動するように要求した(4回) • 移動者は観察者のために商品を探した(3.5回) • 観察者はカメラの向き方向を変えるように要求した(3回 回数は、二組の被験者の平均回数である

  30. 実験Bの結果(2/2) ：被験者アンケート • 質問: 実験全体の印象を述べてください 移動者： • 実験中では「移動者はカメラを動かし、観察者は映像を確認しながら再びカメラの向き方向を変えるように要求する」という流れになっていた • 観察者の顔を見る時間はなかった • 音声通話と変わらなかった 観察者： • 映像の焦点がぼけたため、商品包装に印刷された文字は読み難かった

  31. 実験Bの考察 問題点 • カメラの向き方向は完全に移動者にコントロールされるため、観察者は周囲を自由に見れなかった • 観察者は移動者の向き方向を認識し難く、これも観察者は思い通りに見え難かったことの理由と考えられる

  32. 3.5節共同外出感を達成するための基本要素の考察3.5節共同外出感を達成するための基本要素の考察 • 予備実験の結果と考察により、共同外出感の基本要素を以下三つと考察した • 二人それぞれが周囲を自由に見渡すことができる • 相手がどこを見ているか分かる。注目方向は相手の興味を表し、会話がなくても相手の興味と傾向を伝達できる • ボディアクションとジェスチャも共同外出の重要な要素である。共同外出感を実現するにはある種の非言語、且つ直接なインタラクション手法が必要とされる • 以上の要素の他に、相手の顔を見たり、会話したりすることも基本要素と考えられる

  33. 四章：WithYouシステム 共同外出感を実現する手法の設計

  34. WithYouシステム • 観察者の頭の振り向きによって移動者側のパン・チルドカメラを制御し、遠隔環境を見渡すことができる • 観察者側はヘッドマウントディスプレイ（HMD）によって移動者の外在環境を遠隔で体感する • パン・チルドカメラを移動者の胸の前に設置し、移動者はカメラの向いている方向を見ると観察者の向きを把握できる • 肩掛けのフレームを用い、遠隔画像の揺れは少なく安定な映像が得られた

  35. システム概要 35

  36. WithYouシステムのデモ

  37. 観察者側GUI 青ラインの上下位置：観察者の上下の向き角度 緑ラインの長さ：観察者の横の向き角度 赤ラインの長さ：移動者の横の向き角度 赤枠：移動者が見ているところ

  38. インタラクション手法 4.1節：観察者の自由視野 4.2節：向き方向の共有及び注目状態の伝達 4.3節：ジェスチャインタラクション

  39. 4.1節：観察者の自由視野 • カメラの向きは観察者の頭の向きと連動し。観察者は右に向けば、カメラも右に回転する • 相対視野モード（デフォルト）：カメラの写す方向は移動者の体の向きによって変わる • 絶対視野モード：移動者は体の向きが変わってもカメラは本来の写す方向（絶対角度）へ補正する 観察者の向きとカメラの向き

  40. 4.2節：向き方向の共有(1/2) • 移動者は胸の前に置かれたカメラの向きを見て観察者の向き方向を把握する 見る カメラは正面に向く 胸にあるカメラを見る移動者 カメラは右に向く

  41. 4.2節：向き方向の共有(2/2) • 観察者はGUIの表示によって移動者及び自分の向き角度を確認する 赤ラインの方向と長さ 観察者側GUI 移動者の向き角度

  42. 4.2節：注目状態と共同注目 • 同じ方向を向いて3秒以上動かないでいると、その方向に「注目」となる • 二人の同じ方向に「注目」すると、共同注目になる • 共同注目状態になると、お互いにメッセージと音声で提示される。これにより、相手が同じ方向に注目していることが認識できる 共同注目のメッセージ表示

  43. 4.2節：共同注目の流れ 観察者 Live image 観察者は前を向く 観察者は右に向き、青い三角錐を注目する 移動者 移動者は前を向く カメラは右に回転した直後、移動者は気づいた 移動者も右を向き、同じ方向を見る STEP1 STEP2 STEP3

  44. 4.3節：ジェスチャインタラクション • ジェスチャの種類コントローラを持って前後に振るコントローラを持って左右に振る • 通知方法ジェスチャが検出されると、相手側のコントローラが振動し、音声提示と文字メッセージが流される。またボタンを押して知らせメッセージを送ることもできる 観察者はコントローラを握って 前後に振る

  45. 五章：WithYouの評価実験

  46. 実験目的と方法 • WithYouシステムの有効性を検証し、予備実験と比較してインタラクションはどのように変化したのを考察する • 4人の被験者がペアで実験に参加する • 被験者の一人（移動者）は外出し、もう一人の被験者（観察者）は室内にいる • 観察者に与えられた任務は興味のある商品を実際に購入することである（セッション時間：20分） • 実験は二日に分けて行い、被験者は交代して実験を受けるため2ペア、4セッションの結果を得た • 音声通信について，観察者はSkypeを用いて移動者側の携帯電話にかけて通話した

  47. WithYouシステム：実験の様子 画像の送受信速度は、1～14FPSに変動していた

  48. ※点数は被験者からシステム機能に対する平均評価点数です点数は1から5まで、1は同意しない、3はどちらでもない、5は同意する※点数は被験者からシステム機能に対する平均評価点数です点数は1から5まで、1は同意しない、3はどちらでもない、5は同意する アンケート結果（一部セレクト） システムを使って、共同活動感覚を感じましたか？ 思うとおりに見たい方向（もの）を見れたのか？ 相手の注目方向（物）をうまく把握したのか？ 注目状態になる時と自分が注目する時は合ってますか？ 共同注目は相手の行動を把握するには役に立ったか？

  49. 被験者コメント（一部セレクト） • 質問：どのような状況で最も共同外出感を感じたのかを説明してください 観察者： • 最初はビデオを見ているような感じでしたが、移動者と会話すると一緒に買い物をするような感じがした • 物を買う時と遠隔相手と会話する時は一番感じた 移動者： • 買い物の時は特に感じた、携帯電話と違ったところは観察者も同じものを見ているから説明する必要はない • 外に歩いてた時、観察者は横のポスターを見て私に声をかけた。その後、移動者視野機能を使ってポスターを観察者に見せた時に感じた

  50. 実験の考察：共同外出感の達成について(1/2) 観察者の自由視野： • 質問2の結果により、観察者は自由に移動者側の環境を見渡せた傾向がある • 被験者から「自分が向いた方向にカメラが左右に動くので便利だった」とコメントがあった 向き方向の共有と共同注目： • 質問3の結果により、 「観察者も移動者も相手の向き方向を把握できたこと」を示した • 質問4にの結果により、観察者は移動者よりも注目状態の知らせを察知できた（メッセージの表示、音声等）

More Related