コンピュータビジョンとその応用（２） ～ 画像監視・移動ロボット

1. コンピュータビジョンとその応用（２）～　画像監視・移動ロボットコンピュータビジョンとその応用（２）～　画像監視・移動ロボット 　 鹿児島大学大学院　理工学研究科 渡邊　睦mutty@ics.kagoshima-u.ac.jp

2. 渡邊研究室研究内容：３次元・動画像処理・認識技術渡邊研究室研究内容：３次元・動画像処理・認識技術 • 3次元物体認識 • 動画像処理・認識 • 統計的画像パターン認識 • 並列協調分散画像認識　　（親和的情報空間の構築） • 移動ロボット視覚認識 • 福祉応用ビジョンシステム • 画像監視ビジョンシステム・・・ 渡邊研究室： http://www.ics.kagoshima-u.ac.jp/~fics/

3. 親和的情報空間とはFriendly Ｉｎｆｏｒｍａｔｉｖｅ Ｃｙｂｅｒ Ｓｐａｃｅ（ＦＩＣＳ） 人間（群）とコンピュータ（群）が自然・自在にコミュニケーションできる環境（物理空間，情報空間，認知空間のシームレスな結合） • 身近・手軽・リアルタイム・完全非拘束 • ロバスト（環境変動，照度変化，有限視野，・・） • エージェントベース　～状況に応じた発現（隠身・気付き・気配り） • 学習・進化発展

4. 関連研究 • Forest of Sensors～ MIT・AI Lab / E.Grimson & INRIA / O.D.Faugeras 複数物体の移動状態追跡による屋外監視 • Smart Room～ MIT Media Lab./ A.Pentland et al. “Perceptual intelligence”を持ったアシスタント（ＡＬＩＶＥ） • ロボティック・ルーム～　東大先端研 / 佐藤（知） インテリジェントな病室の実現 • Human Reader～ ATR・知能映像通信研 / 間瀬 ビジョンベース・マンマシンインタフェースの実現 • 就寝状態自動モニタリングシステム～ 東芝・渡邊ら / 愛媛大・石原ら 夜間無呼吸症の自動監視（福祉用途）の実現結合されたコンピュータ群、

5. 親和的情報空間構築の意義 • 少子化・高齢化社会の進行～　２０２０年には４人に一人が高齢者（６５歳以上）　　　痴呆者　現在１８０万人　⇒　数年後３００万人へ • 効率重視型（省力・自動化）⇒人間中心型～ＣＶ・ＰＲ　キラーターゲットの変遷 • 次世代研究テーマの発掘 ⇒能（脳）力補完・補助ｖｓ　脳機能・日常活動の阻害 ～　分散並列ＡＩ，4次元（3次元＋動画像処理）ビジョン，　　感性情報処理・認識，意識の解明・人工意識の実現

6. 親和的情報空間のイメージ１（自動ドア） ドアの傍に所在 人物がドアに向って接近したら開く 移動中の人物を追跡 屋外：　信号機の適応的制御，迷子用道案内，・・ 動画像処理：　計測⇒利便性向上

7. 親和的情報空間のイメージ２（訪問者応接） 訪問者認識・ 　　挨拶 訪問者の作業状態（多忙・暇）に 応じた出現・消滅 訪問者の心理状態に応じた応接 ～　対話， 自律移動ロボット によるサービス

8. 現在目標：　分散協調視覚認識による 親和的情報空間の構築現在目標：　分散協調視覚認識による 親和的情報空間の構築 物理的空間に配置された複数カメラの動画像入力 ↓ 自律エージェント群による分散並列視覚処理・認識　　　　　　　　　　　　　↓ 人物の挙動，状態のリアルタイム認識 対話型コミュニケーション（CGアニメーション，音声） ～アフォーダンス付加 自律移動ロボットの視覚制御

9. 渡邊研究室の構成 • Ｈ１６年度メンバー（１５名） • Ｄ３：　古賀由紀夫（休学中） • Ｄ１：　勝間大輔，福添孝明 • M２：　片山明伯，西奈津子，山本大樹 • Ｍ１：　伊藤雅人，下脇克友，中野広樹，矢野雅之，水戸大輔 • B4：　清水大輔，竹井沙織，田中宏樹，堀之内あすか • 研究Ｇ ★状況認識Ｇ：福添，伊藤，水戸，田中，堀之内 ★3D物体認識Ｇ：勝間，矢野，竹井 ★移動ロボットＧ：　（古賀），片山，下脇，中野 ★スポーツ映像解析Ｇ：　山本，清水 ★福祉ビジョン：　西

10. 研究目標（個別） • 動画像シーンの実時間記述作成 • シーン変化の実時間認識 • 移動人物実時間追跡 • 人物状況認識（当面：制約状況下） • 実時間個人認証 • 3次元物体認識（当面：研究室内備品を対象） • 環境認識（当面：研究室を対象） • 移動ロボットと人間のインタラクション支援 • 映像解析による利便性向上（当面：スポーツ映像を対象） • 意思疎通支援（当面：障害者・高齢者を対象） • 動画像シーンの実時間記述作成 • シーン変化の実時間認識 • 移動人物実時間追跡 • 人物状況認識（当面：制約状況下） • 実時間個人認証 • 3次元物体認識（当面：研究室内備品を対象） • 環境認識（当面：研究室を対象） • 移動ロボットと人間のインタラクション支援 • 映像解析による利便性向上（当面：スポーツ映像を対象） • 意思疎通支援（当面：障害者・高齢者を対象）

11. 複数移動物体追跡技術による在席自動管理システムの構築複数移動物体追跡技術による在席自動管理システムの構築 伊藤　雅人 学会発表：伊藤，福添，水戸，田中，堀之内，渡邊， “複数移動物体追跡技術による在席自動管理システムの構築”， H16年電気関係学会九州支部連合大会講演論文集， Vol.？？, pp.- (2004.9)

12. 在席自動管理システムの処理内容 アクティブカメラを制御し人物の追跡、着席判定を行いその着席位置の情報をサーバに送る • 人物の固有情報を検出時に取得し，テンプレートマッチング技術を用いて追跡を行う • 人物が着席したということを判断し、その時のカメラの角度情報から着席位置を表示する

13. 全体の処理の流れ テンプレート取得領域 全てに変化があるか N Y テンプレート取得　追跡開始 着席があるか N Y サーバにカメラの追跡最後の 角度情報を送る 角度情報から着席位置を表示する カメラが初期位置に戻る

14. 実験条件1 左カメラ 右カメラ 実験室全景 左右カメラ位置 現在(2004.9)は部屋の４隅にアクティブカメラを設置

15. 実験条件2 右カメラからの視野 左カメラからの視野

16. 　着席検出実験例（実験室３・原画像）

17. 結果 右カメラ 左カメラ サーバ

18. 実験結果 （2004.2時点） 8人がそれぞれ8箇所の席の中からランダムに選んだ5箇所の席に着席する状況で，合計40回の着席検出実験を実施 ・追跡成功率（進入から着席直前まで）85%（34/40回成功） ・着席判定率（進入から着席位置表示まで）70%（28/40回成功） 処理速度： 待機中15FPS追跡中3～４FPS

19. 分散協調視覚システムにおける完全無拘束型人物認証システム分散協調視覚システムにおける完全無拘束型人物認証システム 福添　孝明 学会発表：福添，伊藤，水戸，渡邊， “分散協調型人物認証方式の研究開発”， 第7回画像の認識・理解シンポジウム（MIRU2004)論文集， Vol.1, pp.607-612 (2004.7)

20. 概要 人物認証を制約的に実施できない環境において， 個人性を反映すると考えられる画像特徴を 複数同時取得し， 確率的手法にて統合判断することにより， 人物認証を行う手法の開発

21. 適用例：　親和的情報空間化 • 研究室等の在室管理 • 講義における出席管理 • コンビニ等における利便性向上 • CDショップの防犯(株式会社Ｍｉｓｕｍｉ）「鹿児島TLO情報交換会」

22. Aさん?Bさん?Cさん? 分散協調個人認証手法の概要 たぶんBさんだ！ 体型が細めなら AさんかBさんだろうな 顔が黒いなら Bさんだろうな 身長が高いなら BさんかCさんだろうな

23. 人物領域の取得 頭位置の取得 顔向き判定 人物特徴取得 統合判断 提案手法の流れ

24. 人物領域の取得1 背景画像 入力画像

25. 人物領域の取得2 背景差分

26. 人物領域の取得3 人物領域

27. 頭位置の取得

28. 後 前 顔向き判定 頭部明度ヒストグラム

29. 人物特徴の取得 現時点では，数値（１次元）化可能な特徴のみ利用

30. 人物認証手法 １．ベイズ（ネットワーク）判別： ２．最大事後確率推定（MAP)法： ３．多数決原理： 動画像系列において最大判別数を持つ人物を当該人物として認証

31. 人物特徴の蓄積情報 2.02.11.92.32.22.12.22.11.9 時系列観測 人物特徴の蓄積情報 人物特徴

32. 人物認証実験例（プログラム演習室） 最大事後確率値（多数決）を有する人物 大 小

33. 実験結果（判別結果推移例） 認証対象者：山本(People02)

34. 10名による認識成功率（2004.2時点） • 実験室（人物特徴６つ） 80% • 実験室（人物特徴4つ） 70% • 実験室（人物特徴2つ） 50% 処理速度：15FPS，CPU使用率20%前後

35. 動画像処理による講義自動評価システムの研究動画像処理による講義自動評価システムの研究 水戸　大輔 学会発表：水戸，福添，伊藤，田中，堀之内，渡邊， “動画像処理による講義自動評価システムの研究”， H16年電気関係学会九州支部連合大会講演論文集， Vol.？？, pp.- (2004.9)

36. 背景～ＦＤと授業評価～ • アンケートによる授業評価の問題点 ・当該時間の指導内容を評価していない 　・生徒の評価者としての信頼性 理想的なＦＤにはアンケートだけの判断でなく さらに複眼的な講義状況の把握の必要性

37. 　　　　研究目的 　講義をテーマに受講者の状態　　 　を把握するシステムの開発 遠隔授業や授業評価　 システムの発展へ

38. 処理の流れ • 座席領域の設定（手動） • ターゲットの着席判定 • ヒストグラムを用いた「正面顔」パターンの学習 ヒストグラム解析による顔向き判別 時系列変化の解析による動作認識 顔向き判定＋ターゲットのアクティブ判定 による統合判断 ⇒集中度をリアルタイム表示

39. 講義自動評価実験の様子

41. 講義評価時の状態認識 動き 顔向き 状態未知

42. 実験環境 • 実験場所　　　鹿児島大学情報工学科棟 72号講義室 • 実験講義　　　人工知能基礎(渡邊) • 実験対象者　 ３年生　１２名(１７名中) PPTによる講義のため消灯する⇒　居眠りなどが発生

43. 実験の様子－１　 上段：　動き認識結果下段：　顔向き認識結果

44. 実験の様子－２ 上段：　動き認識結果下段：　顔向き認識結果

45. 講義自動評価実験まとめ 処理速度：　　　　８ＦＰＳ

46. 　自律移動ロボットにおける 　人物追跡の研究　自律移動ロボットにおける 　人物追跡の研究 中野　広樹 学会発表：中野，下脇，片山，渡邊， “カルマンフィルタを用いた人物位置予測に基づく 自律移動ロボットの人物追跡システム”， 第22回日本ロボット学会学術講演会論文集， Vol.？？, pp.- (2004.9)

47. 　目　的 • 移動ロボットから送信される動画像を解析することにより，人物の足領域を検出・位置特定し、実時間で追跡を行うシステムの開発

48. 　背　景 • 自律移動型ロボットの用途の広がり • 介護・活動支援（例）盲導犬ロボット，知的車椅子 • 日常生活支援（例）掃除機ロボット，スーパー自動買物カート • 教育・アミューズメント支援（例）ペットロボット，自動運転シミュレータ

49. 人物追跡時 エッジ検出処理を行い、この結果に対してカルマンフィルタによる一期先予測を行い、人物の場所を推定 （繰り返し） 上記で推定した人物の存在方向にロボットが移動 　今回提案するシステム 背景差分による処理領域内への人物の進入を検出 初回検出時

50. 　人物検出（背景差分）【システム1番目の処理】　人物検出（背景差分）【システム1番目の処理】 • 背景差分を用いて人物の処理領域内への進入を検知 • X・Y軸方向の累積投射のピークを検出することにより， 　　人物の下端（足元）座標を決定 • このエッジ周辺の色相ヒストグラムパターンを学習