距離画像と色情報を用いた 屋外シーンの認識

1. 距離画像と色情報を用いた屋外シーンの認識 基礎工学部 情報科学科 ソフトウェア科学コース 竹村研究室所属 松村 未来

2. シーンの認識 研究背景 人と生活空間を共にするロボットの需要 チャイルドケアロボット 患者シミュレータ レスキューロボット 全ての動作を人が指示するのは難しい ロボットが周囲の環境を理解することが必要

3. 研究背景 様々なシーン認識手法 屋外 屋内 限定された環境

4. 屋外シーンを対象とする手法 • Nicolas Vandapelらの手法 散乱 線形 木 電線 平面 地面 様々な環境の認識 対象： 森林環境 より汎用的な認識手法が必要 参考文献： N. Vandapel, D. Huber, A. Kapuria, and M.Hebert, ”Natural terrain classification using 3-D ladar data”

5. 研究の目的・アプローチ 目的：汎用的なクラスで屋外シーンを認識 各点のクラスを判別 × ? • 　局所特徴量 →色を同時に見ることで判別できる →物体全体としては違う特徴量を持つ →色を同時に見ることで判別できる →物体全体としては違う特徴量を持つ アプローチ • 複数の種類の局所特徴量を併用 • 　周囲のクラスを参照して領域的に見る

6. 入力データ：屋外シーンの計測 レンジセンサ 全方位カメラ 全方位画像 3次元点群

7. 処理概要 • ユーザが定義したクラスで認識 • 例）建物・葉・幹・自転車・自動車・他人工物・起伏のない地面・起伏のある地面 統計的に学習 統計的に学習 教師データ(手動で分類) 認識 認識

8. 学習 認識 処理の流れ 教師データ 入力データ 各点の局所特徴量を計算 各点の局所特徴量を計算 平面度と傾き スピンイメージ 色の平均・分散 特徴量の分布を学習 特徴量の分布を学習 各クラスの 確率を計算 各クラスの 確率を計算 周囲の確率を 参照 周囲の確率を 参照

9. 局所特徴量1：平面度と傾き 共分散行列 固有ベクトル 固有値 主成分の方向 ばらつき具合 平面度 平面度 傾き （法線ベクトルの鉛直成分） 傾き （法線ベクトルの鉛直成分） 2次元

10. 局所特徴量2：スピンイメージ w h w×h次元 参考文献： Andrew E. Johnson and Martial Hebert, ”Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes”

11. 局所特徴量3：色の平均・分散 影 R:83 G:194 B:50 R:0 G:87 B:0 L:70 a:-52 b:58 L:30 a:-52 b:58 3×2次元 平均・分散

12. 特徴量の分布を学習 平面度と傾き 色の平均・分散 スピンイメージ 混合ガウスモデル K-meansクラスタリング スピンイメージ群

13. 学習 認識 各クラスに属する確率を計算 教師データ 入力データ 各点の局所特徴量を計算 特徴量の分布を学習 各クラスの 確率を計算 各クラスの 確率を計算 • 動作実験1 • この時点で最も確率の高い クラスを各点のクラスとする 周囲の確率を 参照

14. 動作実験（基礎工I棟前） ←入力データ 地点の写真→ 人工物 植物 地面 正解データ

15. 動作実験1：MRF適用前 人工物・植物・地面

16. 動作実験1：MRF適用前 正解 認識結果 植物？

17. 周囲の確率を参照 • マルコフランダムフィールド(MRF) • クラスを割り当てるためのコスト • データコスト • スムースネスコスト • コストの和が小さくなるようにクラスを割り当てる • マルコフランダムフィールド(MRF) • クラスを割り当てるためのコスト • データコスト • スムースネスコスト • コストの和が小さくなるようにクラスを割り当てる • マルコフランダムフィールド(MRF) • クラスを割り当てるためのコスト • データコスト • スムースネスコスト • コストの和が小さくなるようにクラスを割り当てる 部分的な 誤認識を軽減

18. 動作実験2 人工物・植物・地面

19. 動作実験2 MRFなし MRFあり まとめて違うクラスに

20. まとめと今後の課題 • まとめ • 汎用的なクラスでの屋外シーンの認識 • 距離画像と色情報を利用 • 粗い粒度のクラス分類では良好な結果 • 細かい粒度の分類には課題が残る • 今後の課題 • 認識精度の向上 • より多クラスでの認識

21. 終わり ご清聴ありがとうございました。

22. 資料：8クラスでの認識結果

23. 資料：認識結果（3クラス）

24. 資料：認識結果（8クラス）

25. 資料：生協書籍部前・3クラスで認識 • 人工物・植物・地面

26. 資料：生協書籍部前・8クラスで認識 • 建物・木の葉や植え込み・起伏のない地面・起伏のある地面・自転車・自動車・木の幹・その他人工物

27. 資料：スピンイメージ 注目点P, 法線ベクトルn を元に、その近傍の点xに対しα：法線ベクトルnと直角方向のPからの距離β：法線ベクトルnと平行な方向のPからの距離を求める x をαβ座標系に変換 座標を k×k 個のグリッドに分けることにより各近傍点を k×k ピクセルの画像として表すことができる この画像を特徴量として用いる 参考文献： Andrew E. Johnson and Martial Hebert, ”Using Spin Images for Efficient Object Recognition in Cluttered 3D Scenes”

28. 資料：マルコフランダムフィールド • 各点のコストを考え、コストの合計（エネルギー）を0に近づけるようにクラスを決める • コスト （-log(確率) がコストとなる。確率≦1よりコストは0以上） • データコスト：D(P, C)「点PがクラスCでない」度合 • スムースネスコスト：S(C1, C2)「クラスC1の点の隣の点がクラスC2でない」度合 P1がクラスC2であるときの　MC1(C2) P2 P1がC2に関して周囲から受け取ったメッセージの積算 × exp( D(P, C2) ) × exp( S(C1, C2) ) P1 メッセージ MC P1から見て P2がクラスCである確率 最もMC1(C2)が大きくなるC2を選び メッセージとして送る この作業を繰り返すことにより、よりそれらしいクラスを見つける