1 / 31

第４回　 カメラキャリブレーション

第４回　 カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp. 第４回　 カメラキャリブレーション. 第４回　 カメラキャリブレーション mutty@ics.kagoshima-u.ac.jp. カメラキャリブレーション（校正）. 実世界のカメラと カメラモデル との対応付け　. X. Y. Z. カメラ座標系→ ディジタル画像座標系. ピンホールカメラモデル を利用 ～　針穴写真機. ピンホールカメラモデルの線形近似 - ３. 第３回　 CV におけるエピポーラ幾何 mutty@ics.kagoshima-u.ac.jp.

pepper
Download Presentation

第４回　 カメラキャリブレーション

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp 第４回　 カメラキャリブレーション

  2. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション（校正） 実世界のカメラとカメラモデルとの対応付け　

  3. X Y Z カメラ座標系→ディジタル画像座標系 ピンホールカメラモデルを利用～　針穴写真機

  4. ピンホールカメラモデルの線形近似-３ 第３回　 CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp アフィン投影(affine projection): 各線形近似投影の一般化 x = a11X + a12Y + a13Z + a14ｙ = a21X + a22Y + a23Z + a24

  5. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション項目-１ • 光学的キャリブレーション - シェーディング: 画像周辺部の明度低下 - ノイズ：　CCDの暗電流特性、感度特性 - カラー：　RGBの分光感度特性

  6. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp 光学的キャリブレーション • シェーディング歪の補正- cos4 Θ現象～　広角レンズにおける画像周辺部の明度低下- 口径蝕現象～　光線の複数レンズ系での縁遮りによる明度低下 • ノイズのモデル化と補正～　暗電流、熱雑音、回路ノイズ、量子化雑音 • カラーキャリブレーション～　分光感度特性、色収差

  7. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション項目-２ • 幾何学的キャリブレーション - 外部パラメータ：　6世界座標系におけるレンズの中心座標(t)、レンズ光軸の方向(R) - 内部パラメータ：　5焦点距離、画像中心、画像（画素）サイズ、歪収差係数

  8. 第３回　 CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp第３回　 CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp ３（４）種類の座標系 • 画像座標系 ○ （一般）ディジタル画像座標系 ○正規化（ディジタル）画像座標系 • カメラ座標系　 • 世界座標系

  9. 世界座標系⇔カメラ座標系　　　　　（外部変数）世界座標系⇔カメラ座標系　　　　　（外部変数） カメラの外部変数（extrinsic parameters)：　６個 Ｓｍ’= PMｃ’= PDMw’ ≡ PwMw’　（Pw=PD) (world coordinate system) RRt = RtR = I 又は D:剛体変換(rigid transformation)

  10. ディジタル画像座標系：正規化カメラ⇔一般カメラ　　　　　　　　　　　　　（内部変数）ディジタル画像座標系：正規化カメラ⇔一般カメラ　　　　　　　　　　　　　（内部変数） 正規化画像座標系（ｆ＝１） 未知パラメータ　5個：画像中心cの位置(u0,v0)各軸のスケールと焦点　距離fの積　αu αｖ 両軸の角度Θ（intrinsic parameters) カメラ校正 (camera calibration):カメラの内部変数を推定すること

  11. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション手順 • 幾何学的・光学的特性が既知の対象物を撮影 • 対象物固有の特徴（特徴点の世界座標など）とその画像特徴（その特徴点の画像座標）を対応付け　～　エピポーラ幾何、知識、ヒューリスティクス • カメラモデルに基づき、モデルパラメータを推定～　射影幾何、線形代数、数値解析、統計

  12. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp 以前の標準的手法　～　ソースオープン Tsaiのキャリブレーション手法(1986)-1 • 世界座標(xw,yw,zw)⇒カメラ座標(x,y,z) • カメラ座標(x,y,z) 　⇒画像座標（理想ピンホール）(Xu,Yu) • 歪係数推定:(Xu,Yu) ⇒ (Xd,Yd) • ディジタル画像座標:(Xd,Yd) ⇒ (Xf,Yf)

  13. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp Tsaiのキャリブレーション手法-2 {(Xf,Yf) (xw,yw,zw)} ⇒ 5+6=１１個のパラメータ推定 ～　外部パラメータを先、内部パラメータを後に推定することにより精度と計算速度を向上-回転行列（３）-平行移動ベクトル（３）-焦点距離（１）-レンズ歪係数（２）-スケール係数（１）:既知（1.0）-画像中心（２）

  14. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp Tsaiのキャリブレーション手法-3 • 校正点の画像より、各点の画像座標を決定 • カメラ、A/D変換の仕様より、CCD素子数、走査線のサンプル数、CCD素子の間隔を推定 • 画像中心(Cx,Cy)を推定 • (Xdi,Ydi)への変換 • 線形方程式を解きTｙ-1r1 、Tｙ-1r2 、Tｙ-1Tx、Tｙ-1r4 、Tｙ-1r5を算出　 • Tｙ2を算出 • Tｙの符号を決定 • 回転行列R決定 • 焦点距離f、Txの初期値決定 • f, Tｚ,レンズ歪係数k1,k2を決定 fと画像サイズdx,dyの独立決定は不可能

  15. ＯｐｅｎＣＶでは：Z.Zhangの手法 ・複数平面上の座標が既知の格子点を利用 ・Ｔｓａｉの手法より安定・高精度 "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000. http://opencv.jp/sample/camera_calibration.html

  16. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp Ａ’ Ａ 直方体の消失点の利用による焦点距離の推定 ２つの消失点A（a,b)、A’(a’,b’)　⇒　f=(-aa’-bb’)-1/2

  17. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp Ｎベクトル表現 A（a,b)　 ⇒ mA(a, b, f) A’（a’,b’)　⇒ mA’ (a’, b’, f) ( mA , mA’ ) = 0より、 f=(-aa’-bb’)-1/2 P(x,y) ⇒ m(x, y, f)：原点からＰに向かうベクトルl:Ax+By+C=0 ⇒ n(A, B, C/f)：原点とｌが作る平面の法線ベクトル 方向ベクトルｍをもつ直線の像はNベクトルがｍの消失点を持つ

  18. 第2回　 CVのための画像センサmutty@ics.kagoshima-u.ac.jp第2回　 CVのための画像センサmutty@ics.kagoshima-u.ac.jp 収差の分類　

  19. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp レンズ歪収差の校正 （糸巻き型） 澤田（１９８３？）：格子点と画像座標の間の変換関数を多項式（２次）関数として推定 Weng(1992):画像座標の格子点(u,v)からの変化分(δu ,δｖ)を、 5個の歪パラメータ （放射状歪、中心ズレ、薄いプリズム効果） でモデル化 δu=k1u(u2+v2) + 3p1 u2+p1v2+2p2uv + s1(u2+v2) δｖ=k1ｖ(u2+v2) + 2p1uv+p2u2+3p2v2 + s2(u2+v2)

  20. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp カメラキャリブレーション項目-3 • ステレオカメラ間のキャリブレーション - E行列, F行列（内部、外部パラメータ）

  21. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp PnP（透視ｎ点）問題 画像中のｎ点と物体上のｎ点を対応付ける ことにより、物体の位置・姿勢を推定する問題 （ｎ≧３）～　最小画像枚数、最小点数？ • Haralick(1991):6種類の解法の安定性評価 • DeMenthon(1992):カメラモデル間の評価 • Horn(1990), Faugeras(1990):複数解の解析～（2枚、5対応点対）・・・

  22. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp 既知対象物を用いないステレオ校正法 • uncalibrated/weakly calibrated stereo複数台のカメラ画像中の　複数個の対応点対より校正を実施- Roberts and Faugeras(1993): weakly calibrated :F行列のみ既知 • Self-calibration～ シーン中に存在する特徴を用い、カメラの動きを利用して精度を高める-Basu(1993): active calibration

  23. Ｅ行列（essential matrix：基本行列) xt TRx~ =0 　　≡　E（自由度５） 0 –ｔ3ｔ2 　　ｔ3０ –ｔ１ –ｔ２　ｔ１ ０ 第３回　 CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp 正規化カメラ （Ｒ，ｔ）-1 x、t、Rx~+tの３点が 同一epipolar plane上 xt（t×（Rx~+t））=0 xt （t×Rx~+t×t）=0 ×：外積 ・a×b=-b×a ・λa×b=a×λb λ(a×b) ・ a×（b+ｃ）=　 （a×b）＋（a×ｃ）

  24. F行列（fundamental matrix：基礎行列) 第３回　 CVにおけるエピポーラ幾何mutty@ics.kagoshima-u.ac.jp 点対応からの F行列の推定： -中心射影：　 ８対非線形解法：７対） -アフィン射影：４対Ｆの成分値を並べたベクトルf|f|=1 ，Zf=0 →　　min|Zf|2　=min|fｔZｔZf|2→　fはZｔZの最小固有値に対する固有ベクトル 対応点のディジタル画像座標系：m=Ax, m~=A~x~ とすると xt Ex~ =0 （A-1 m ）t E （A~-1 m~）=0 m t（A-ｔ E A~-1） m~ =0 　　　　　≡　F（自由度７） epipole：全てのmに対してm tＦe~＝０→ Ｆe~＝０，　同様にＦｔe＝０→　e~，eは各々，ＦｔＦ,ＦＦｔの最小固有値に対する固有ベクトル

  25. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp ステレオカメラ校正（既知物体利用） {(Xｌ,Yｌ)&(Xｒ,Yｒ) , (xw,yw,zw)}６組以上⇒Yakimovsky法：　透視投影（変換）行列推定3×4， 自由度11，rank3 渡邊、久野(1985):ロボットハンドアイシステムの校正

  26. 変換行列の作成（テニスプレー自動認識～　清水大輔）変換行列の作成（テニスプレー自動認識～　清水大輔） 40cmごとに3点マークをつけたポールを30箇所配置 (X,Y,Z)　　・・・世界座標系 ・・・カメラ1(第1画面)の画像座標 ・・・カメラ2(第2画面)の画像座標

  27. プロジェクタのキャリブレーション ピンホールカメラと同様にモデル化可能カメラとは入出力が逆

  28. ホモグラフィ(Homography) • 同一平面上の対象点が投影された位置関係を示す行列Hba（３×３）←４組の対応点で推定ＯＫ ma = Hba mb

  29. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp CG・VR志向 Image-based rendering, Augumented realityに利用 • ピンホールカメラモデルからの脱却- Potmesil(1981): 薄凸レンズカメラモデルによるボケ効果付与- Cook(1984): 分散光線追跡法による被写界深度効果、アンチエイリアシング、運動ブレ表現 • 画像合成：- 和田(1996): 全方位背景画像の合成

  30. 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp ピンホールカメラモデルの拡張 • ピンホールカメラモデル • 薄凸レンズカメラモデル～　絞り・フォーカス変化によるボケ現象 • 厚凸レンズカメラモデル～　ズーム・フォーカス変化によるレンズ位置変化

  31. カメラモデルの拡張（模式図） 第４回　 カメラキャリブレーションmutty@ics.kagoshima-u.ac.jp f:焦点距離 d :開口径 w:レンズ・画像平面　　間距離ｌ:前主点・後主点間距離 主点：光軸に平行な光線が入射、焦点に 結像する様子を１枚の レンズでモデル化した 際の光軸上のレンズ位置

More Related