全方位ステレオ画像センサによる実環境の仮想環境への取り込み

全方位ステレオ画像センサによる実環境の仮想環境への取り込み全方位ステレオ画像センサによる実環境の仮想環境への取り込み戎野聡一山澤一誠竹村治雄横矢直和奈良先端科学技術大学院大学

研究の背景 広大な実環境を仮想環境内に再構成する要求が高まっている実環境の仮想環境内での表現手法 • イメージベーストレンダリング • 蓄積画像から2D画像を提示 • 自由な視点移動が困難 • ポリゴンベーストレンダリング • 視点移動が容易 • ３次元モデルの獲得が必要

従来の研究 ステレオ視 • 利点：計測対象が制限されない • 欠点：計測対象が複数になると画像収集に多大な労力が必要 • 計測精度がカメラ間の距離に依存

本研究の目標と方針 • 広大な実環境をポリゴンベーストレンダリングの表現方法を用いて３次元再構築する • 画像の収集に多大な労力を必要とする問題 • 全方位ステレオ画像センサを車に搭載して移動 • 計測精度がカメラ間の距離に依存 • 二眼ステレオ視の距離とセンサを車に搭載し移動した際の • モーションステレオ視による距離を統合

六角錐ミラーを用いた全方位ステレオ画像センサ六角錐ミラーを用いた全方位ステレオ画像センサ外観構成

六角錐ミラーを用いた全方位ステレオ画像センサの特徴六角錐ミラーを用いた全方位ステレオ画像センサの特徴 • 特徴 • センサ周囲の情景を高分解能で撮像可能 • 全周囲の情景をビデオレートで撮像可能 • 奥行き情報を獲得可能 • センサのキャリブレーションが難しい（円筒スクリーンに格子を投影してカメラ画像を調整戎野ら， VR学会第4回全国大会 ’９９）本センサを移動させながら撮影を行うことで効率良く実環境の画像を収集できる

本研究の目標と方針 • 広大な実環境をポリゴンベーストレンダリングの表現方法を用いて３次元再構築する • 画像の収集に多大な労力を必要とする問題 • 全方位ステレオ画像センサを車に搭載して移動 • 計測精度がカメラ間の距離に依存 • 二眼ステレオ視の距離と車に搭載し移動した際の • モーションステレオ視による距離を統合

二眼ステレオとモーションの距離の統合（提案手法）二眼ステレオとモーションの距離の統合（提案手法）全方位ステレオ動画像時系列逆方向へ特徴点追跡上下ステレオ間の対応点探索時系列方向へ特徴点追跡センサの移動量推定センサの移動量推定特徴点の距離推定特徴点の距離推定特徴点の距離推定逆モーションステレオ視の距離二眼ステレオ視による距離モーションステレオ視の距離ステレオとモーションの距離の統合

二眼ステレオ投影系 上部全周パノラマ画像上下のパノラマ画像間の二眼ステレオ視Ｐステレオマッチング正規化相互相関テンプレートマッチング o 二眼ステレオ視による距離下部全周パノラマ画像ワールド円筒座標系

モーションステレオ投影系 三角測量の原理から実環境中の距離を推定できるセンサの移動量を求める必要がある特徴点追跡にはテンプレートマッチングを使用するセンサの移動量

二眼ステレオとモーションの距離の統合（提案手法）二眼ステレオとモーションの距離の統合（提案手法）全方位ステレオ動画像時系列方向へ特徴点追跡時系列逆方向へ特徴点追跡上下ステレオ間の対応点探索センサの移動量推定センサの移動量推定特徴点の距離推定特徴点の距離推定特徴点の距離推定逆モーションステレオ視の距離二眼ステレオ視による距離モーションステレオ視の距離ステレオとモーションの距離の統合

特徴点追跡の問題点 カメラ間の境界カメラのつなぎ目を境にして色・輝度が変化する

各カメラの色・輝度パラメータの違いに影響されない正規化相互相関テンプレートマッチング各カメラの色・輝度パラメータの違いに影響されない正規化相互相関テンプレートマッチングカメラ間の境界 • 各カメラの色・輝度パラメータが違うため同じ情景を撮像しても各カメラ画像で明度変化が起きる • カメラ間の境界の位置が既知である境界境界境界境界境界

テンプレート分割法（１） (x,y) r1 r2 r1 r2 • Case:１探索ウインドウにカメラ間の切れ目がかかっているときｔ+1 参照画像ｔ基準画像 (X,Y) 境界境界探索ウインドウ基準ウインドウ相関値が知りたい

テンプレート分割法（２） (x,y) r1 r2 • Case:２基準ウインドウにカメラ間の切れ目がかかっているとき参照画像ｔｔ+1 基準画像 (X,Y) 境界境界 r1 r2 相関値が知りたい基準ウインドウ探索ウインドウ

テンプレート分割法（３） • Case:3 基準ウインドウ、探索ウインドウ共にカメラ間の切れ目がかかっているときｔ+1 参照画像ｔ基準画像 (x,y) (X,Y) 境界境界相関値が知りたい r1 r2 r3 r1 r2 r3

カメラの色・輝度パラメータの違いを考慮した正規化相互相関カメラの色・輝度パラメータの違いを考慮した正規化相互相関基準ウインドウ探索ウインドウｘｘ正規化相互相関ｙｙカメラ画像毎にウインドウを部分画像に区切り、部分画像毎に色・輝度の線形な明度変化を吸収する

センサの移動量推定 • 正しい対応関係をもつ特徴点の情報は大部分が正しいと仮定できるセンサの移動量正しい対応関係を持つ特徴点？二眼ステレオ視による距離モーションによる距離二眼ステレオとモーションによる距離の差を評価値に非線型最適化問題を解くことによってセンサの移動量を推定

整合のとれた特徴点の選択 下部パノラマ画像下部パノラマ画像上部パノラマ画像上部パノラマ画像移動後移動前オプティカルフローステレオ対応ステレオ対応センサの移動オプティカルフロー

モーションとステレオ距離の統合 P ３つの距離の平均 P P P 二眼ステレオ逆モーションステレオモーションステレオ

モーションとステレオ距離の統合 P ステレオ視に近いモーションの距離 P P P 二眼ステレオ逆モーションステレオモーションステレオ

モーションとステレオ距離の統合 距離情報をもつ特徴点が偏って分布するため均等に距離情報を付加する必要がある統合された距離情報を持つ特徴点二眼ステレオ視の距離情報を付加する点モーションステレオの距離情報を付加する点

実験環境 移動撮影システム： • １２台のビデオデッキ • シンクジェネレータ • タイムコードジェネレータ撮影環境：住宅街

実験条件 • 入力画像 • 画像サイズ７２０×４８６（画素） × １２（カメラ） • 生成した全周ステレオ動画像 • ６０フレーム（約２秒間），画像サイズ３００６×３３０（画素） • 特徴点の選択 • Sobelフィルターを使用，しきい値は経験的に決定 • オプティカルフロー • ３０フレームを基点として，前後３０フレームの間，特徴点を追跡

実験結果 • センサ移動量推定結果 • 時系列方向 0.63m，時系列逆方向 0.59m • デローニー三角分割法によるポリゴン生成結果 • 総ポリゴン数 14,019 ポリゴン

まとめと今後の課題 • まとめ • 全方位ステレオ画像センサを使用することで効率良く画像を収集した • モーションステレオの距離情報を付加することで二眼ステレオ視による計測の信頼性を補った • 今後の課題 • 剛体運動条件の付加 • 多地点モデルの統合

カメラ間の色・輝度変化に影響されない正規化相互相関カメラ間の色・輝度変化に影響されない正規化相互相関ピクセル位置(x,y)および(u,v)を含む部分画像に平均輝度

全方位画像センサのキャリブレーション（川西らの手法）全方位画像センサのキャリブレーション（川西らの手法） • レンズ歪み補正（Tsaiカメラキャリブレーション) • 上下部カメラのレンズ中心が虚像上で重なるようにカメラを配置 • 隣接するカメラ画像間と上下カメラ画像間の位置あわせ微細な調整なため、手作業による調整は困難

円筒型スクリーンを用いたキャリブレーション方法円筒型スクリーンを用いたキャリブレーション方法 • カメラ画像の位置が一意に決定可能 • 円筒パノラマ画像上で調整するため画像位置あわせが容易

ステレオパラメータの決定 • 上部、下部横線の画像位置の差は、視差に等しい L：対象物体までの距離（メートル） dis:上下カメラ間の対象物体の視差（画素) K：距離定数距離定数Kからパノラマ画像上の物体の距離を正確に推定可能

モーションとステレオ距離の統合 • 時系列方向、時系列逆方向、ステレオ視による距離が近い • ３つの距離の平均 • 時系列方向、時系列逆方向のモーションステレオによる距離のどちらか一方がステレオ視の距離に近い • ステレオ視の距離に近いモーションの距離距離情報をもつ特徴点が偏って分布するために正しいモデルが出来ない場合がある • 横方向のエッジ成分 • 二眼ステレオの距離 • 縦方向のエッジ成分＋２つのモーションの距離の差が小さい • モーションの距離

全方位ステレオ画像センサによる 実環境の仮想環境への取り込み