Fast Template Matching in Non-Linear Tone-Mapped Images _ICCV_2011_oral

1. Fast Template Matching in Non-Linear Tone-Mapped Images_ICCV_2011_oral Eyal David Current: Software development at Intel Corporation. at Intel Corporation Past: teaching assistant at University of Haifa Military service in the Mamram unit Education: University of Haifa University of Haifa Yacov Hel-Or Current: Professor at The Interdisciplinary Center, Herzliya Past: Research Engineer at Hewlett- Packard Labs Post-Doc at NASA Ames Research Center Post-Doc at Weizmann Institute of Science Education: The Hebrew University Hagit Hel-Or Department of Computer Science University of Haifa ISRAEL

2. 背景和摘要 • 一般方法复习 • 本文思路、创新点 • 实验结果和不足

3. 背景 • 模板或者模式匹配是图像操作中最基本和基础的问题。 • 但是由于光照不同、相机参数不同、拍摄角度不同甚至因为拍摄器材而导致的模态不同都给匹配带来困难。

4. 摘要 • 提出一种称作Matching by Tone Mapping (MTM)的模式匹配方法，用于非线性色调映射的图像之间的匹配。 • 我们发现，当色调映射由固定的分段函数逼近的时候，在计算时间上与NormalizedCross Correlation (NCC) 是差不多的。 • 实际上，对于非线性的映射来说MTM可以看作是NCC的一个泛化。当映射被约束为线性的时候，MTM就是NCC。 • MTM对非线性色调映射具有不变性。实验表明，它具有高度区分能力和对噪声鲁棒的特性。

5. 背景和摘要 • 一般方法复习 • 本文思路、创新点 • 实验结果和不足

6. 150 0

7. 1. NormalizedCross Correlation (NCC) 一般解释： θ 缺点：不适合非线性的色调变化

8. 2. Mutual Information (MI) 互信息量 参考文献 “Visual Correspondence Using Energy Minimization and Mutual Information” 互信息量很小 即：一种颜色值始终对着另外一种颜色值 缺点：计算时间随着size增大而增大

9. 背景和摘要 • 一般方法复习 • 本文思路、创新点 • 实验结果和不足

10. Matching by Tone Mapping

11. 1 2 3 4 5 6 … Binary mask

12. =

14. 背景和摘要 • 一般方法复习 • 本文思路、创新点 • 实验结果和不足

18. Object Stereo — Joint Stereo Matching and Object Segmentation_CVPR_2011_Poster Pushmeet Kohli Daniel Scharstein Sudipta Sinha Michael Bleyer PostDoc Researcher at the Vienna University of Technology Carsten Rother Researcher in the Computer Vision Group at Microsoft Research Cambridge/UK Editor: PAMI Area Chair: ECCV 2012, ICCV 2011, DAGM 2010, BMVC 2009/10 Reviewer: Siggraph, CVPR, ECCV, ICCV, PAMI, IJCV, Eurographics, BMVC, DAGM, etc.

19. 背景和摘要 • 本文提出的方法 • 实验结果

20. Image segmentation Stereo matching

21. 背景 • 结合图像分割（image segmentation）和立体匹配（stereo matching）的立体方法的目前已经有很多高质量的研究成果。http://vision.middlebury.edu/stereo/ • 但是这些立体方法基本采用low-level的分割方法去过分割一个图像（极端：单个像素）。 • 本文将这个结合的方法推向一个新的层面：Object-level！！！

22. 摘要 • 文章提出一种立体匹配（stereo matching）和物体分割（object segmentation）的结合方法。在本文中，一个3D场景由一些视觉上清晰可分的，空间上连贯的物体集合组成。每个物体有3个方面的特征：颜色模型，拟合该物体视差分布的3D平面，3D连接特性（本文提出）。 • 最近，图像分割很多用Markov Random Field（MRF）方法，受此启发，我们采用基于物体层面的颜色模型作为一种软约束，对深度估计起到一个非常有的帮助。比如，在其中一个视角中一些完全被遮挡的区域的深度也能够被恢复出来（据作者了解，这在立体视觉中是一个新的想法）。 • 最后的模型用一个能量方程表示，通过fusion move优化得到解。 • 本文提出的方法能够得到高质量的立体匹配和物体分割的结果。该方法不仅仅在立体匹配和物体分割邻域效果显著，在一些自动或者交互的基于物体的场景操作（object-level scene manipulation）中也可以发挥作用。

25. 背景和摘要 • 本文提出的方法 • 实验结果 假设用公式表示合成能量方程优化每个像素的label以降低能量值

26. 假设 • 每个物体在3D空间都是紧凑的。（1）邻域像素一般属于同个物体。（2）同个物体的深度变化一般是平滑的。（3）物体通常趋向于平面（非严格的平面）。 • 物体的3D连通性。本文的独创。 • 物体可见部分都有相似表观，这里只采用颜色。 • 物体的MDL原则。

27. 视差简单介绍 绿点的视差

28. 平面的表示 对 点，有两种视差。 （1）初始化得到的视差。 （2）根据所属物体的平面（object plan）计算得到的视差。 不同视差用 不同的颜色表示 Parallax model: 一个物体中每个点的两种视差的差值的一个模型表示。 在该model上加约束。 Low-level  约束  平面

29. Energy function: （ 深度平面集合， 物体类集合） 1. Photo consistency term :

30. 2. Object-coherency term : 鼓励邻域在同一个object内，否则加惩罚。 3. Depth plan-coherency term :

31. 4. Object-color term : 每个object对应一个color model。用混合高斯GMM表示。 目的：鼓励同一个object内的点的颜色尽量符合同一个分布。 5. Object-parallax term : 即：上文两个平面表示的差。鼓励该差值小。迫使视差图变得平滑。 6. Object-MDL term : Object数目越少越好

32. 物体标签，颜色模型，物体平面模型 7. 3D connectivity prior : 同一个object label（物体标签）的两处，是不是属于同一个区域呢？ ！！！

33. Fusion Move • 初始proposal = 不同初始视差*不同mean-shift分割*不同的参数设置 • 一共30种初始proposal。 假设用公式表示合成能量方程优化每个像素的label以降低能量值 MRF  Graph cut  α-expansion or belief propagation or……

34. α-expansion 参考“LogCut - Efficient graph cut optimization for Markov random fields” 一个初始解决方案 一个新的解决方案 选择旧的还是新的，依据能量最小： 是一个label定值 新方案的构造： Fusion move：Generalized α-expansion α是一个proposal

35. 背景和摘要 • 本文提出的方法 • 实验结果

38. 谢谢