1 / 57

3D Vision

3D Vision. Spring 200 6. Lecture 4 Calibration. Zhang Aiwu. Lecture Outline. Calibration: Find the intrinsic and extrinsic parameters Problem and assumptions Projection matrix approach Tsai’s approach Projection Matrix Approach (…after-class reading) Estimating the projection matrix M

poppy
Download Presentation

3D Vision

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 3D Vision Spring 2006 Lecture 4 Calibration Zhang Aiwu

  2. Lecture Outline • Calibration: Find the intrinsic and extrinsic parameters • Problem and assumptions • Projection matrix approach • Tsai’s approach • Projection Matrix Approach (…after-class reading) • Estimating the projection matrix M • Computing the camera parameters from M • Discussion • Tsai’s approach • Estimating the intrinsic parameters • Estimating the extrinsic parameters • Comparison and Summary • Any difference?

  3. Problem and Assumptions • Given one or more images of a calibration pattern, • Estimate • The intrinsic parameters • The extrinsic parameters, or • BOTH • Issues: Accuracy of Calibration • How to design and measure the calibration pattern • Distribution of the control points to assure stability of solution – not coplanar • Construction tolerance one or two order of magnitude smaller than the desired accuracy of calibration • e.g. 0.01 mm tolerance versus 0.1mm desired accuracy • How to extract the image correspondences • Corner detection? • Line fitting? • Algorithms for camera calibration given both 3D-2D pairs • Alternative approach: 3D from un-calibrated camera

  4. xim Y X (xim,yim) O y x yim p Z P Zw Pw Yw Xw Camera Model Pose / Camera Image frame • Coordinate Systems • Frame coordinates (xim, yim) pixels • Image coordinates (x,y) in mm • Camera coordinates (X,Y,Z) • World coordinates (Xw,Yw,Zw) • Camera Parameters • Intrinsic Parameters (of the camera and the frame grabber): link the frame coordinates of an image point with its corresponding camera coordinates • Extrinsic parameters: define the location and orientation of the camera coordinate system with respect to the world coordinate system Frame Grabber Object / World

  5. Linear Version of Perspective Projection • World to Camera • Camera: P = (X,Y,Z)T • World: Pw = (Xw,Yw,Zw)T • Transform: R, T • Camera to Image • Camera: P = (X,Y,Z)T • Image: p = (x,y)T • Not linear equations • Image to Frame • Neglecting distortion • Frame (xim, yim)T • World to Frame • (Xw,Yw,Zw)T -> (xim, yim)T • Effective focal lengths • fx = f/sx, fy=f/sy

  6. Linear Matrix Equation of perspective projection • Projective Space • Add fourth coordinate • Pw = (Xw,Yw,Zw, 1)T • Framep=（u,v,1) • 3x4 Matrix Eext • Only extrinsic parameters • World to camera • 3x3 Matrix Eint • Only intrinsic parameters • Camera to frame • Simple Matrix Product! Projective MatrixM= MintMext • (Xw,Yw,Zw)T -> (u,v)T • Linear Transform from projective space to projective plane • M defined up to a scale factor – 11 independent entries

  7. Projection Matrix M • World – Frame Transform • Drop “im” and “w” • N pairs (ui,vi) <-> (Xwi,Ywi,Zwi) • Linear equations of m • 3x4 Projection Matrix M

  8. Step 2: Computing camera parameters R is an orthogonal unit matrix

  9. Step 2: Computing camera parameters

  10. Discuss • Matrix method: simpler, and more general; sometime projection matrix is sufficient so no need for parameter decompostion • parameter decompostion is not accurate

  11. 齐次坐标表示 齐次坐标是计算机视觉和计算机图形学中的一个十分有用的工具，利用它可以完美地表达许多重要的几何变换。 基本概念 齐次坐标含有冗余信息：笛卡尔n维空间中的一点可以用齐次（n+1)空间中的一条直线表示。因而，对于一个笛卡尔空间的物理坐标点，在齐次坐标系中不存在唯一的表示。

  12. 例如，三维空间中的物体点 的齐次坐标是一个41维矢量（kx,ky,kz,k),这里k是一个非零的任意常数。 为了将一个用n1维矢量表示的点从齐次坐标表示变换到n-1维的物理坐标，需要将全部分量除以第n个元素，然后消去第n个分量，这样就形成一个新的n-1维矢量。同样，将21物理矢量维数增加一个比例系数，同时将物体的图像点坐标乘以这个非零系数，这样也可以用齐次坐标来表示一个图像点。

  13. 设 和 分别是图像点 和物体点 在齐次坐标系中的表示，即：

  14. Tsai’s approch 1.带有透镜径向一阶畸变的小孔摄像机模型 这是对小孔摄像机模型的一个修正,它考虑了沿径向的畸变,如图所示.下面讨论该摄像机模型的定义

  15. 设 是三维世界坐标系中物体点的三维坐标。 是同一点P在摄象机坐标系（定义如图）中的三维坐标，摄象机的坐标系定义为：中心在O点（光学中心），z轴与光轴重合。（X,Y) 中心在Oi点（光轴z与图像平面的交点）平行于x,y轴的图像坐标系，有效焦距f是图像平面和光学中心的距离。（Xu,Yu)是在理想摄像机小孔模型下P点的图像坐标， （Xd,Yd)是由透镜变形引起的偏移（Xu,Yu)的实际图像坐标。

  16. 这里应注意的是图像在计算机中的坐标（Xf,Yf)的单位是像素数，所以需要将物体点的三维坐标 变换到图像平面坐标，变换的步骤为 （1）三维空间刚体位置变换从 到 （2.32） 式中R 为33正交矩阵； T为31的平移矢量。

  17. （2）假设z≥f, 那么根据式（2.4），小孔摄像机模型下的理想投影变换为 （2.33）

  18. （3）用一个二级阶多项式近似径向的透镜畸变（3）用一个二级阶多项式近似径向的透镜畸变 （2.34） 式中： ；k为畸变系数。

  19. （4）实际图像坐标到计算机图像（帧存）坐标变换（4）实际图像坐标到计算机图像（帧存）坐标变换 （2.35） 式中： ——计算机图像中心坐标（即图中Oi点的帧存坐标； ——图像平面上单位距离上的像素点数。

  20. 2.需要标定的参数 （1）外部参数 上图中物体点从世界坐标系至摄像机三维坐标系（参见式(2.32))的平移T和旋转变换矩阵R中的参数称为外部参数，外部参数有6个，它们是相应于R的用欧拉角表示的侧倾角 、俯仰角 、旋转角 ，及相应于平移矢量T的三个分量 。于是，旋转矩阵R可以表示为 的函数。 （2.35）

  21. （1）内部参数 f：有效焦距，即图像平面到投影中心距离； k：透镜畸变系数； Nx：x方向的比例系数（由于摄像机的扫描和时序误差使得Nx不能预先得知。 Ny：y方向的比例系数（对于CCD摄像机而言， Ny是预先确定的； 图像平面原点的计算机图像坐标。

  22. （a）有效焦距 及 方向上的比例系数 要在计算机图像坐标（帧存中的行列值）和实际坐标间进行相互转换，显然需要知道帧存中行和列两个方向上相邻像素点间（相对于实际图像坐标）的距离，但是因为焦距 同时在X和Y方向上放缩图像，可设Ny为1，而Nx此时就代表了图像的纵横比（直观上说，如果以光轴垂直于一平面来拍摄该平面上一个正方形，并使正方形的边垂直或平行于图像（X,Y) 方向，则正方形两相邻垂直边以像素数计的长宽之比就是Nx），而此时计算的焦距 将是实际焦距与y方向比例系数的乘积。 由上述可见 三个参数不是相互独立的，可以先给定， Ny=1，来计算 和Nx。

  23. （b）图像中心点 • 在二维形状分析中可以选取图像帧存中心作为图像原点；而对三维视觉来说，景物的实际中心和图像帧存中心并不重合。 • 造成实际中心和帧存中心点不重合有以下几个原因： • CCD面阵安装并未以透镜的光轴为中心，尤其是透镜可以被转动和拆卸的摄像机，这一点更不能保证。 • 即使CCD面阵安装合适，图像采集数字化窗口的中心不一定与光学中心重合。

  24. 3 比例系数与图像中心点计算 目前的大部分标定算法都需要事先给出比例系数 和图像中心点 参数，下面讨论这些参数的计算方法。 （1）比例系数 对CCD面阵摄像机而言，Y方向的比例系数（即CCD面阵上相邻两行感光电荷的距离)由硬件厂商给出,而X方向的比例系数受时序及采样的影响,将是不确定的.我们可以设法测量X、Y方向比例系数之比。最简便的方法就是垂直拍摄一个圆环，然后计算水平方向和垂直方向上的直径比 ，这种直接的方法简便而有足够的精度。

  25. （2）图像中心点 图像中心点是光轴穿过图像平面的点。对于不需要精确中心点位置的系统，通常假设图像帧存中心点即为图像中心点，对要求精确摄像机模型的三维计算机视觉系统，有必要给出具有较高精度的图像中心点的位置。 利用激光束照射摄像机的透镜系统，根据激光束的反射情况调节激光束使其精确地通过光学中心，此时图像中激光束的像（一个光点）表示出了图像中心，这是一种最为精确的直接计算图像中心点的方法。

  26. 下面再介绍一中适用的计算图像中心点的方法——变焦距法下面再介绍一中适用的计算图像中心点的方法——变焦距法 当一个摄像机系统的有效焦距变化时，视场将有一个比例扩缩变化，在这个过程中，只有一个图像点，即视场中心是保持不变的。假设小孔摄像机的焦距变化时，小孔沿光轴运动，则视场扩缩中心就是光轴与图像平面的交点，也就是图像的中心点。根据这个原理用两个不同焦距的镜头分别拍摄同一图像，然后计算扩缩中心就可以求得图像中心点 。

  27. （2.37） （2.38） 式中 ——为在有效焦距下 某特征点的坐标； ——同一特征在有效焦距 下的坐标； ——扩缩比例，当其为零时无扩缩。 假设焦距从f变化到f1,由式（2.33）~式（2.34）可得 于是

  28. 根据式（2.38），利用最小二乘法可以解出图像中心点。根据式（2.38），利用最小二乘法可以解出图像中心点。 • 图2.5中直线的交点（最小二乘意义下）即为图像中心点。由图可以直观地看出这种方法的有效性

  29. Computing Camera Parameters 我们知道，在摄像机标定中所需标定的外部参数6个和内部参数6个，共12个参数。如此多的参数想在一个方程组或一次优化搜索中得到全部的解是不容易的，即使可以这样计算，也是非常费时的。 目前一些标定方法普遍采样两步法或多步法来计算参数，即利用成像几何中某些内在的性质或关系先求一部分参数，然后利用已求得的参数再来求解其它参数。其中应用最为广泛的是两步法。即第一次先求解外部参数，然后再计算内部参数。基于RAC约束的方法就属于两步法。 基于RAC的两步标定法的第一步是利用最小二乘法求解超定线性方程，给出外部参数；第二步求解内部参数，如果摄像机无透镜畸变，可由一个超定线性方程解出。如果存在一个以二次多项式近似的径向畸变，则可用一个三变量的优化搜索求解。

  30. 1.径向排列约束(RAC) 由图2.4可知，矢量L1和矢量L2有相同的方向，其中Oi是图像中心，Pd是图像平面上畸变后的像点， 是物体点。 是P点在摄像机坐标系中的位置坐标。 是位于（0,0,z）的点，这样RAC可表示为 方向（ L1）=方向（ L2） 有成像模型可知，径向透镜畸变不改变L1的方向，因此无透镜畸变都不影响以上等式。有效焦距的变化也不影响的这个等式，因为有效焦距的变化只会影响L1的长度而不影响其方向。这就意味着由RAC导出的任何关系式均与有效焦距和透镜畸变系数无关，下面推导RAC条件下个参数应满足的关系。

  31. （2.40） 式中 是P点在世界坐标系中的坐标，（x,y,z) 是P点在摄像机坐标系中的坐标。 • 设 （2.39） • 则由式（2.32）得到

  32. （2.41） • RAC条件就意味着 • 将上式移项，整理可得

  33. 将上式同时除以 ,得 是已知的，而列矢量 是待求参数。 • 将式(2.41)表示为矢量形式 （2.42） 其中，行矢量

  34. 对于每一个物体点 ，已知其 、 、 、 、 就可以写出（2.42）。直观地说，选取合适的7个点（使系数阵满秩）就可以解出矢量中的7个分量。这里用同一平面上的空间点来作标定。这种标定模板较易设计。不失一般性，可选取世界坐标系，并使 ，这样式（2.42）中关于 和 二项的系数均恒为零，于是式（2.42）可表示为 （2.43）

  35. 求解空间刚体变换的困难之一是其33旋转矩阵R有9个参数，但是其正交性规定了R仅有3个自由度，即仅3个变量是独立的。计算出的 必须满足正交性。若按照式（2.42）解出 6个变量，则未必能满足正交性。由式（2.43）可解出 、 、 、 共4个独立变量。而正交阵加上一个比例( )也正好有4个独立变量,故式(2.43)可以唯一地确定(当方程数大于4时)旋转阵R和平移分量 、 。 上面利用RAC方法将外部参数分离出来，这样可以用求解线性方程的方法求解外部参数。下面给出相应的算法。

  36. 2、RAC两步法标定的计算过程 第一步： （a）拍摄一幅含有若干共面特征点的标定体图像。然后确定N个特征点的图像坐标，图像坐标 ， 。并设这些点相应的世界坐标为 。 根据式（2.35），计算 （2.44）

  37. 式中 ，利用最小二乘法求解这个超定方程组（N≻5），可得如下变量： （b）利用式（2.43）对每个点 ，可列出一个方程，联立这N个方程 （2.45）

  38. （c）利用R的正交性计算 和 ，略去详细数学，得到 （2.46）

  39. 求得 后，需要确定它的符号。由成像几何关系可知， 与 应有相同的符号， 与 应有相同的符号，可以利用这一关系来确定 的符号，即在求得 后，任选一特征点 ，首先假设 为正，计算：

  40. 式中 ， ,可由矩阵中的前两行的叉乘得到。 若此时 与 ， 与 同号，则 符号就为正，否则 为负。利用正交性和右手系特性（相应于世界坐标为右手系）可计算R （2.47）

  41. R的另一解为 （2.48） 具体选取哪一个R，可由试探法确定，即先任选一个，向下计算，若依此R值第二步计算出的f⋖0，则放弃这个；若f⋗0，就是选取正确。以上已经解出旋转矩阵R和T矩阵中的Tx和Ty，下面计算有效焦距f与平移分量Tz和透镜畸变系数k。

  42. 设 ，若不计透镜畸变，则有 对每个特征点 计算 （2.49） （2.50）

  43. 而 ，则有 考虑 ，则式（2.50）可展开为 （2.51） （2.52） 将式（2.52）用矩阵形式表示 （2.53）

  44. 假设k=0，解此超定方程（ ）可分别求出有效焦距f、和平移矢量T的 分量，然后再用这些值作初始试探，利用优化算法求解下列非线性方程组。 Tz 可解得到 的精确值。 （2.54） 这种方法简洁、快速、准确，避免了非线性的优化搜索，并且使RAC两步标定法的标定过程都可以通过求解线性方程组来实现，适用于需要快速标定摄像机的场合。

  45. Estimating the Image Center • Vanishing points: • Due to perspective, all parallel lines in 3D space appear to meet in a point on the image - the vanishing point, which is the common intersection of all the image lines

  46. VP1 Estimating the Image Center • Vanishing points: • Due to perspective, all parallel lines in 3D space appear to meet in a point on the image - the vanishing point, which is the common intersection of all the image lines

  47. VP1 Y Z X Estimating the Image Center • Vanishing points: • Due to perspective, all parallel lines in 3D space appear to meet in a point on the image - the vanishing point, which is the common intersection of all the image lines • Important property: • Vector OV (from the center of projection to the vanishing point) is parallel to the parallel lines O

  48. VP1 VP2 Estimating the Image Center • Vanishing points: • Due to perspective, all parallel lines in 3D space appear to meet in a point on the image - the vanishing point, which is the common intersection of all the image lines

  49. VP3 VP1 VP2 Estimating the Image Center • Orthocenter Theorem: • Input: three mutually orthogonal sets of parallel lines in an image • T: a triangle on the image plane defined by the three vanishing points • Image center = orthocenter of triangle T • Orthocenter of a triangle is the common intersection of the three altitudes

More Related