レーザーレンジデータと Google Maps 画像の位置合わせを用いた環境のモデリング

1. レーザーレンジデータとGoogle Maps 画像の位置合わせを用いた環境のモデリング 大阪大学大学院 情報科学研究科 松村 未来　アヌラグ アグラワル　中澤 篤志　竹村 治雄

2. 背景 • デジタルな世界で地球を再構築 • Google Earth, Virtual Earth • ３次元建物モデル表示機能 写実性に乏しい 建物以外は？

3. 関連研究 • リアルな３次元環境を構築 • C. Fruehら* • 車載センサで形状・テクスチャを計測 • Digital Surface Model を用いて位置合わせ 大規模なシステムが必要 * C. Frueh and A. Zakhor. “Constructing 3D city models by merging ground-based and airborne views”. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 2, 2003.

4. 目的 • Google Earth上に表示することを想定 • Google Maps 画像 上で • レンジデータ の 位置合わせを行う レンジデータのみから 広域３次元都市モデルを構築 レンジデータの位置・向きが必要

5. 問題点 • Google Maps画像とレンジデータをどうやって比べるか Google Maps画像 レンジデータ • ２次元平面 • データ密度：水平方向に均一 • データ性質：色情報のみ • 視点：上空 • ３次元形状 • データ密度：場所によってバラバラ • データ性質：位置（形状）情報のみ • 視点：地上 全く違うデータ

6. アプローチ • 位置合わせを行うための、何か共通の基準が必要 • 特徴量？　　共通の特徴の抽出は困難 • エッジ？　　影、撮影視点（斜め）の問題 • 共通のクラスで領域分割 • クラス：建物、植物、道路 etc. • 同じクラス同士が一致するよう位置合わせ

7. 提案手法 Google Maps画像 レンジデータ 1 2 複数クラスに分割 複数クラスに分割 3 レンジデータの 位置・向き推定 モデリング結果

8. Google Maps画像 地図画像 航空画像 映っているものが何かを判断するのは難しい 実際に存在する全要素が含まれている • 色情報がほぼそのままクラスに直結している • 小道や植物等の情報が含まれていない 双方の利点を活かす

9. Google Maps画像のクラス分割 学習画像 入力画像 画像特徴の抽出 画像特徴の抽出 地図色による クラス所属 確率計算 K近傍法による クラス所属確率計算 特徴ベクトルDB

10. クラス所属確率計算 • ピクセルごとに、各クラスに所属する確率を計算する • 航空画像からK近傍法を用いて計算 • 地図画像の色情報から算出 ：ピクセル

11. 航空画像から計算：画像特徴 • ピクセルごとに画像特徴を計算 • 画像特徴 • SURF*：64次元 • Haarウェーブレットを用いたテクスチャ特徴 • 性質はSIFTに類似 • ただし、Integral Image を用いるため、高速に計算可能 • 色（Yxy）：3次元 • Y：明度　x, y：色度 • 合わせて67次元の特徴ベクトルを生成 高速に計算できるものが望ましい

12. 航空画像から計算：K近傍法 • Pxaer(c1) = 5/10 • Pxaer(c2) = 3/10 • Pxaer(c3) = 2/10 学習 認識 x 特徴ベクトル fx 近傍K個を取得 特徴ベクトル空間

13. 地図色によるクラス所属確率計算 • 代表色ごとに手動で確率を設定 • Pxmap(c1) = 0.1 • Pxmap(c2) = 0.5 • Pxmap(c3) = 0.4 C1 C2 C3 0.1 0.5 0.4 0.1 0.1 0.8 0.9 0.02 0.08 ： ： 入力画像 x

14. 動作実験結果 入力画像 結果 クラス所属確率 地図画像 建物 植物 航空画像 道路 最も確率の高いクラス

15. 動作確認実験結果 地図画像のみ 航空画像のみ 両方 入力画像 建物 建物 建物 植物 植物 植物 道路 道路 道路

16. 動作確認実験結果 地図画像のみ 航空画像のみ 両方 入力画像 建物 建物 建物 植物 植物 植物 道路 道路 道路

17. 提案手法 Google Maps画像 レンジデータ 1 2 複数クラスに分割 複数クラスに分割 3 レンジデータの 位置・向き推定 モデリング結果

18. レンジデータのクラス分割 • 中澤ら*の手法を利用 教師データ 入力データ 面を 再構築 面を 再構築 Local Shape Histogramの抽出 Local Shape Histogramの抽出 K近傍法による クラス所属確率計算 特徴ベクトルDB 結果 *中澤篤志. “グラフカットとLocal Shape Histogram を用いた屋外シーンレーザーレンジデータのセグメンテーション”. 画像の認識・理解シンポジウム(MIRU2008), pp. 1632–1637, July 2008.

19. 動作確認結果 入力データ 認識結果 正解データ クラス：地面、樹木、建物・構造物、段差、柱・幹

20. 提案手法 Google Maps画像 レンジデータ 1 2 複数クラスに分割 複数クラスに分割 3 レンジデータの 位置・向き推定 モデリング結果

21. レンジデータの位置・向き推定 クラス分割結果 • 次元の違い • ２次元　 ３次元 Google Maps 画像 レンジデータ ある程度共通のクラスで分割された However… • 粒度の違い • 水平方向に均一　 場所によって違う

22. テンプレート画像の作成 (1) • レンジデータを地表面上に投影 赤：道路緑：植物青：建物 表面のラインしか 投影されない 面積上はわずか 一致率の差は ほとんど 生じない

23. テンプレート画像の作成 (2) • 不明な点を周囲の点から補間 単純に補間 • センサ方向の画素のみ参照 • 周囲の画素も参照 不明点 補間結果 テンプレート画像

24. マッチング • 回転を考慮したテンプレートマッチング • 前処理：候補領域の絞り込み • クラスの割合を表すヒストグラム同士のマッチング • 一致率が一定以上の地点のみ候補領域として残す • テンプレート画像を回転させながらマッチング • 最も一致率の高い角度がレンジデータの向き 一致率が閾値以上の点を検出

25. 実験1 • 入力データ： • 大阪大学豊中キャンパスの航空・地図画像 • 同じくキャンパス内の10地点のレンジデータ • クラス：建物、植物、道路 • 検出の閾値：0.8～0.95で変化

26. 実験 1 結果 航空画像 クラス分割画像 • 検出されてはいるが、決定的ではない 検出領域に正解位置が 含まれる数(10箇所中) 正解位置 テンプレート画像 検出結果

27. 実験 1 結果 正解 誤認識 閾値 0.95 似たようなT字路 誤認識 他に拘束条件が必要 識別は非常に難しい

28. 実験 2 • 拘束条件 • ２地点間の距離：10mおきにデータを取得 • データ順 • 15地点 • 同じ範囲内で検索 計測地点→

29. 実験 2 結果 • 位置が一意に取得できた（最も一致率の高い点が、正解地点の近くに見られた） • 誤差平均：3.3m 検出位置 距離情報は有効 正解位置

30. ３次元モデルの構築 (1)

31. ３次元モデルの構築 (2)

32. ３次元モデルの構築 (3)

33. まとめと今後の課題 • レーザーレンジデータとGoogle Maps画像の位置合わせを用いた環境のモデリング • レンジデータ、Google Maps画像を各々クラス分割 • 同一クラスが一致するよう、両者をマッチング • 画像、レンジデータのみでは一意に決めることはできなかった • 拘束条件としては距離データが有効 • 今後の課題 • ICPを用いてより詳細な位置合わせを行う • 距離に代わり、オドメトリを用いて実験、評価を行う • ３次元点群→データ量削減の対策

34. ご清聴ありがとうございました。