Image Segmentation by Data-Driven Markov Chain Monte Carlo

1. Image Segmentation by Data-Driven Markov Chain Monte Carlo 作者：Zhuowen Tu and Song-chun Zhu 讲解人：Dan Wang

2. 作者的相关信息 • Zhuowen Tu • Assistant Professor • Department of Neurology and Department of Computer Science • University of California, Los Angeles • Experience: • 07/2008-, Assistant Professor, Department of Computer Science, UCLA. • 07/2007-, Assistant Professor, Lab of Neuro Imaging, Department of Neurology, School of Medicine, UCLA. • 11/2005-05/2007 (UCLA), Researcher, Lab of Neuro Imaging, School of Medicine, UCLA. (Leading the special interest group in statistical approaches at Center for Computational Biology) • 07/2004-10/2005 (Siemens), Member ofTechnical Staff, Siemens Corporate Research, Princeton, NJ • 12/2002-06/2004 (UCLA), Post-doctoral fellow, Department of Statistics, University of California Los Angeles, Los Angeles, CA

3. 作者的相关信息 • Education: • 12/2002, Ph.D. Department of Computer and Information Science, The Ohio State University,Columbus, OH • 07/1996, M.E. Department of Civil Engineering, Tsinghua University,Beijing, China • 07/1993, B.E. Department of Electronic Engineering, Beijing Information Technology Institute,Beijing, China • Research interests • Brain Imaging • Discriminative Learning/Computing • Generative Model Learning • Generative Model Inference Guided by Discriminative Models

4. 作者的相关信息 • Journals • Zhuowen Tu, Katherin Narr, Piotr Dollar, Iov Dinov, Paul Thompson, and Arthur Toga, "Brain Anatomical Structure Segmentation by Hybrid Discriminative/Generative Models", IEEE Tran. on Medical Imaging, vol. 27, no. 4, pp. 495-508, April, 2008. • Zhuowen Tu, Songfeng Zheng, and Alan Yuille, "Shape Matching and Registration by Data-driven EM", Journal of Computer Vision and Image Understanding, vol. 109, pp. 290-304, 2008. • Z. Tu, S. Zheng, , A. Yuille, A. Reiss, R. Dutton, A.Lee, A.Galaburda, I. Dinov, P. Thompson, A. Toga, "Automated Extraction of the Cortical Sulci Based on a Supervised Learning Approach", IEEE Tran. on Medical Imaging, vol. 26, no. 4, April, pp. 541-552, 2007. • Zhuowen Tu and Song-Chun Zhu, "Parsing Images into Regions, Curves, and Curve Groups", International Journal of Computer Vision, vol. 69, no. 2, pp. 223-249, Aug., 2006. • Zhuowen Tu, Xiangrong Chen, Alan Yuille, and Song-Chun Zhu, "Image Parsing: Unifying Segmentation, Detection, and Object Recognition", International Journal of Computer Vision, vol. 63, no. 2, pp. 113-140, July, 2005. • Zhuowen Tu and Song-Chun Zhu, "Image Segmentation by Data-Driven Markov Chain Monte Carlo", IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 24, No. 5, pp. 657-673,May, 2002. • Zhuowen Tu and Ronxing Li, "A Framework for Automatic Recognition of Spatial Features from Mobile Mapping Imagery", Journal of Photogrammetric Engineering and Remote Sensing, Vol. 68, No. 3, March, 2002.

5. 作者的相关信息 • Conferences • Zhuowen Tu, "Auto-context and Its Application to High-level Vision Tasks", (CVPR), 2008 . • Zhuowen Tu, "Learning Generative Models via Discriminative Approaches", IEEE Computer Vision and Pattern Recognition (CVPR), June, 2007. • Zhuowen Tu, Xiang Sean Zhou, Adrian Barbu, Luca Bogoni, and Dorin Comaniciu, "Probabilistic 3D Polyp Detection in CT Images: The Role of Sample Alignment", IEEE Computer Vision and Pattern Recognition , (CVPR), 2006. • Zhuowen Tu, Xiang Sean Zhou, Dorin Comaniciu, and Luca Bogoni, "A Learning Based Approach for 3D Segmentation and Colon Detagging", 9th European Conf. on Computer Vision (ECCV), May 2006. • Zhuowen Tu, "An Integrated Frmework for Image Segmentation and Perceptual Grouping", 10th IEEE International Conference on Computer Vision (ICCV), Oct. 2005 . • Zhuowen Tu, "Probabilistic Boosting-Tree: Learning Discriminative Models for Classification, Recognition, and Clustering", 10th IEEE International Conf. on Computer Vision (ICCV), Oct. 2005 . • Zhuowen Tu, and Alan Yuille "Shape Matching and Recognition--Using Generative Models and Informative Features", 8th European Conf. on Computer Vision (ECCV), May 2004 . • Zhuowen Tu, Xiangrong Chen, Alan Yuille, and Song-Chun Zhu, "Image Parsing: Segmentation, Detection, and Object Recognition", 9th IEEE International Conf. on Computer Vision (ICCV), Oct. 2003 . • Zhuowen Tu and Song-Chun Zhu, "Parsing Images into Region and Curve Processes", 7th European Conf. on Computer Vision (ECCV), May, 2002. • Zhuowen Tu, Song-Chun Zhu, and Harry Shum, "Image Segmentation by Data Driven Markov Chain Monte Carlo", 8th IEEE International Conf. on Computer Vision (ICCV), July 2001.

6. 作者的相关信息 • Song-Chun Zhu • Resume： • July 2006,  Professor, University of California at Los Angeles • July 2002,  Associate Professor, UCLA • Sept 1998, Assistant Professor, Ohio State University • Sept 1997, Lecturer, Stanford University • Sept 1996, Post-doc, Brown University • 1996 Ph.D. Harvard University • 1994 M.S.  Harvard University • 1991 B.S.   University of Science and Technology of China • Papers： • http://www.stat.ucla.edu/~sczhu/publication.html • 100+ papers，30+ journal papers • Research areas • Computer Vision, Statistical Modeling and Computing, Vision and Visual Arts, Machine Learning

7. 文章的相关信息 • 文章出处 • IEEE T-PAMI • 发表时间 • MAY 2002 • 相关文献 • Zhuowen Tu, Song-Chun Zhu, and Harry Shum, "Image Segmentation by Data Driven Markov Chain Monte Carlo“, ICCV, 2001. • Song Chun Zhu ,  Alan Yuille. “Region competition: Unifying snakes, region growing, and Bayes/MDL for multiband image segmentation.” TPAMI, 1996.

8. 摘要 • 本文提出了一种Bayesian统计框架下，数据驱动的Markov链蒙特卡罗（DDMCMC，Data-driven Markov Chain Monte Carlo)范式用以图像分割。本文在图像分割上的贡献分四个方面。 • 首先，设计了一种有效、平衡的Markov动态链以研究复杂的解空间，并因此求得不依赖初始分割的近似全局最优解。 • 第二，提出了一个数学定理和K-adventurers算法以从Markov序列计算多重distinct解。因此，它结合了图像分割的内在歧义性。

9. 第三，利用聚类、边缘检测等数据驱动（自底向上）技术计算重要性提议概率，从而驱动Markov链动态变化，比传统的方法有极大的速度提升。第三，利用聚类、边缘检测等数据驱动（自底向上）技术计算重要性提议概率，从而驱动Markov链动态变化，比传统的方法有极大的速度提升。 • 第四，DDMCMC范式为很多已提出的分割算法的应用提供了统一的框架，边缘检测、聚类、区域生长等在该框架下或用以实现Markov链动态变化，或用以计算重要性概率，各有所用。因此，DDMCMC范式在一定的规则下，结合并推广了这些分割方法。 • DDMCMC范式采用了7个参数和非参数图像模型对各种区域的灰度和彩色建模。我们在灰度和彩色图像上对DDMCMC进行实验，并在文章中报告了一些结果。

10. 研究背景和研究意义 • 第一个挑战是对一般的图像中大量可视模式进行建模的复杂度非常高。图像分割的目的是将一幅图像分割成各个要素，而要素是各种随机过程，包括点、线、纹理、光照变化，可变形物体。因此分割算法必须结合许多种图像模型，而其性能上界由模型的精确度决定。 • 第二个挑战就是图像感知内在的歧义性（ambiguity），尤其是没有特定任务引导的情况下。分割的输出只有一个结果的看法是错误的。我们认为，图像分割应该被看做一个计算过程而不是一个视觉任务，它应当动态且不停地输出多个截然不同的解，以最佳保持内在的多义性。

11. 问题的提出 • Bayesian问题 • I表示一幅图像 • W表示自然世界中的一个语义表示（一个分割） • 从统计的角度，我们从大量的后验概率中采样，以保持多义性

12. 本文解决思路的基本思想 • 将分割看做Markov链中不同的状态，用动态变化模拟分割的变化：区域合并、分裂，区域生长、边界变化等。

13. 本文解决思路的基本思想 1. 我们将问题形式化为Bayesian/MDL框架，使用七族(family)图像模型，这些模型足以解释图像中的多个可视模式，比如flat regions, clutter, texture, smooth shading。 2. 我们将解空间分解为不同维数的多个子空间，每个子空间是许多图像分割和图像模型子空间的共同产物。Bayesian后验概率分布在这个异构空间中。

14. 本文解决思路的基本思想 3. 我们设计了各态遍历的Markov链以探索解空间并采样后验概率。Markov链包含两种状态：跳转（jumps）和扩散（diffusion）。跳转模拟可逆的分裂合并和模型转换。扩散则模拟边界形变，区域生长，区域补齐，和模型调整。我们将分裂合并过程设计为可逆的，各态历经性和可逆性保证了算法可以独立于初始的分割条件。得到近似全局最优的解。

15. 本文解决思路的基本思想 4. 我们利用数据驱动技术来指导Markov链搜索，因此比以往的MCMC算法获得了较大程度的速度提升。这些数据驱动技术有边缘检测，数据聚类等。这些算法的结果用加权样本或者粒子（particle）来表示，可以对各个子空间的非参数概率进行编码。这些概率分别近似Bayesian后验概率的边缘概率，用以设计重要的重要性提议概率以驱动Markov链。 5.提出K-adventure算法，用以从Markov序列中或在多个尺度的细节中选出重要且彼此截然不同的解。

17. 文章的组织结构 • 引言 • 问题的形式化和图像建模 • 解空间的剖析 • 利用各态历经的Markov链探索解空间 • 数据驱动方法 • 重要性提议概率的计算 • 多个截然不同的解的计算 • 实验

18. 文章的组织结构 • 引言 • 问题的形式化和图像建模 • 解空间的剖析 • 利用各态历经的Markov链探索解空间 • 数据驱动方法 • 重要性提议概率的计算 • 多个截然不同的解的计算 • 实验

19. 形式化 #1 • 图像网格: • 图像: • 对任意像素点， • 灰度图像： • 彩色图像： • 图像分割描述: • 区域描述为离散的标号: • 区域boundary描述为连续的:

20. 形式化 #2 • 每一个图像区域 是概率模型 产生的一个实例 • 是由 索引的模型参数 • 一个分割可以被表示为，一个由隐变量组成的矢量W， K 是区域的数目： • Bayesian Framework: Space of all segmentations Likelihood Prior Posterior

21. 第一个挑战： • 如何获得实际的图像模型？ • Prior and Likelihood？

22. 先验概率p(W) 尽量少的区域数目 倾向于圆形的区域 ~ 均匀分布 倾向于简单模型，参数越少越好 倾向于小区域

23. 似然概率 • 是模型的类型 • 对于灰度图像 • ，对于彩色图像 • 是模型的参数 • 是区域的表观

24. 似然概率

25. Four Gray-level Models Flat region Clutter Texture Shading • Gray-level model space: Gaussian Intensity Histogram FB Response Histogram B-Spline

26. Three Color Models (L*,u*,v*) • Gaussian • Mixture of 2 Gaussians • Bezier Spline • Color model space:

27. 文章的组织结构 • 引言 • 问题的形式化和图像建模 • 解空间的剖析 • 利用各态历经的Markov链探索解空间 • 数据驱动方法 • 重要性提议概率的计算 • 多个截然不同的解的计算 • 实验

28. 解空间的剖析

29. = or Scene Space Cue spaces Partition space

30. 文章的组织结构 • 引言 • 问题的形式化和图像建模 • 解空间的剖析 • 利用各态历经的Markov链探索解空间 • 数据驱动方法 • 重要性提议概率的计算 • 多个截然不同的解的计算 • 实验

31. 三个基本准则 • 各态历经(Ergodic)：从任意初始的分割状态开始，Markov链可以在有限时间访问到解空间中的任意其他状态。这一特性由jump和diffusion来保证。 • 非周期，不重复(Aperiodic)：这由dynamic的随机选择性来保证。 • 有稳定概率分布p(W|I)，本文中由更强的条件来保证：细致平衡，这就要求每一步移动都是可逆的。本文的jump都满足细致平衡和可逆性。

32. 5个Markov动态变化 • 分别按照q(1),…,q(5)的概率采纳五种动态变化模式 • 5个Markov动态 • 边界扩散（Boundary Diffusion） • 模型调整（Model Adaptation） • 分裂区域（Split Region） • 合并区域（Merge Region） • 转换区域模型（Switch Region Model） diffusion jumps

33. 1.Boundary Diffusion or Competition • 用连续的边界表示区域Ri (I = 1,…, K). • 利用一个区域补齐方程（参见文献[29]），以最大化某个后验概率为目标，以此使得曲线不断变化。 向着下式上升最快的地方。 • 在 空间内扩散 Boundary Between Regions i and j Brownian Motion Along Curve Normal Temperature Decreases over Time

34. 2. Model Adaptation • 通过最大化后验概率上升速度，拟合区域参数 • 在 空间内部进行扩散

35. 3-4. Split and Merge 未改变 部分 • 将目标区域分裂为两个区域： • Metropolis Hasting method： • http://en.wikipedia.org/wiki/Metropolis-Hastings_algorithm 提议分裂的 可接受概率

36. Conditional Probability of how likely chain proposes to move to W’ from W 1.首先得到k区域，然后生成边界，选用l模型，l模型下选用参数 2.首先得到k区域，假设将要分裂到的两个区域会采用哪种l模型，及模型下假设采用哪些参数

37. 3-4. Split and Merge • 合并两个区域 合并的提议 概率

38. 5.Model Switching • 改变模型 • 提议概率

39. 瓶颈 • ：给定一个区域如何确定边界分裂它？ • ：给定区域和模型类型，如何确定模型参数？ or 数据驱动方法

40. 文章的组织结构 • 引言 • 问题的形式化和图像建模 • 解空间的剖析 • 利用各态历经的Markov链探索解空间 • 数据驱动方法 • 重要性提议概率的计算 • 多个截然不同的解的计算 • 实验

41. 方法1：在原子空间 中聚类 • 在网格Λ中，给定一幅图像，我们在每一个像素点提取一个特征向量 ，一幅图像表示为一组向量 • 对这组向量进行m-mean或mean shift 聚类，得到m个带权的聚类， • 称 是 空间中一个带权的元粒子(atomic or cue particle)

42. 方法1：在原子空间 中聚类 • 在聚类算法中，每一个特征向量 ，以概率 分类为 ： • 显著图（Saliency map）:

43. 例：在空间 中计算元粒子

44. 方法2：边缘检测（Edge detection) • 3个尺度上分别进行边缘检测：

45. 文章的组织结构 • 引言 • 问题的形式化和图像建模 • 解空间的剖析 • 利用各态历经的Markov链探索解空间 • 数据驱动方法 • 重要性提议概率的计算 • 多个截然不同的解的计算 • 实验

46. 一种图像模型聚类或一个尺度上的边缘检测算法有时能够产生比较好的分割结果，甚至在一些图像上可以得到完美的结果，但也经常远远达不到可靠的性能。一种图像模型聚类或一个尺度上的边缘检测算法有时能够产生比较好的分割结果，甚至在一些图像上可以得到完美的结果，但也经常远远达不到可靠的性能。 • 但是，没有先验告诉我们，一般的图像中存在着什么类型的region。 • 因此，我们计算所有的模型，并在多重scale上进行edge detection，然后以概率的形式利用聚类结果和边缘检测结果。 • MCMC理论提供了这样一种框架，让我们在整体定义的Bayesian 后验概率的指导下整合这些概率信息。 • 如何计算重要性提议概率 ？

47. 计算重要性提议概率 • 在元空间(cue space )中利用聚类方法可以得到一组带权的元粒子(cue particles) 。 可以在 上编码一个非参数的概率： • 其中，G(x)表示以0为中心的parzen窗。 • 事实上， 是后验概率 在空间 上边缘概率的近似。

48. 计算重要性提议概率 • 对整幅图像只计算一次 • 在运行时求得，计算方法： • 每个聚类模型 被当前区域选中的可能性： • 因此，我们为R区域采样新的model ：

49. 计算重要性提议概率 • 如何选择一个模型参数 • 首先根据 随机选择一个聚类i • 然后在 处做一个随机扰动，这样对于任意的 ，都有非零的被选中的概率，从而保证了各态历经性（ergodic）

50. 计算重要性提议概率 • 表示我们在3个不同的尺度上得到的分割图 • 每个分割图 由一组元区域（metaregions）组成