1 / 15

基于AP的多类图像语义标注

基于AP的多类图像语义标注. 郭平 北京师范大学图形图像与模式识别实验室 IGPR.BNU.EDU.CN. 内容. 研究 动机 处理流程 AP ( Affinity Propagation Clustering ) AP的聚类数目 AP 的Preference参数的计算方法 与GMM ( G aussian M ixture Model ) 对比 类内图像模型 监督多类标注 实验 时间性能 结论 参考文献. 研究动机. 图像标注的问题 (Fan2008) 图像语义的中间级别表示 语义鸿沟：低层视觉特征和图像语义的高层人类理解 多级图像语义表示

makara
Download Presentation

基于AP的多类图像语义标注

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 基于AP的多类图像语义标注 郭平 北京师范大学图形图像与模式识别实验室 IGPR.BNU.EDU.CN

  2. 内容 • 研究动机 • 处理流程 • AP(Affinity Propagation Clustering) • AP的聚类数目 • AP的Preference参数的计算方法 • 与GMM(Gaussian Mixture Model)对比 • 类内图像模型 • 监督多类标注 • 实验 • 时间性能 • 结论 • 参考文献

  3. 研究动机 • 图像标注的问题(Fan2008) • 图像语义的中间级别表示 • 语义鸿沟：低层视觉特征和图像语义的高层人类理解 • 多级图像语义表示 • 语义鸿沟：映射或分类问题 • 基于混合模型的贝叶斯分类器 • SVM (Suport Vector Machine)分类器 • 一个普遍的问题: 对于大量图像概念来说，复杂度太高 • AP算法通过递归地传播密切度信息从而学习数据的混合模型(Frey2006)

  4. 处理流程 • 图像表示 • 从均一的图像块或图像格中提取颜色信息 • 语义鸿沟: • 采用AP学习一个混合模型 • 使用GMM来近似类内的混合分布 • 应用Bayesian分类器把图像映射到类别标签 Overlapping of 8*8 YcbCr Patch 1D DCT of Patch Mixture of all images in one class AP of DCTs in one image Mixture of all classes Bayesian classifier

  5. AP(Affinity Propagation) • AP能以更低的错误率均匀地聚类，时间耗费大约是其他方法的百分之一 (AffinityPropagation)

  6. 0.01p 0.1p 1p 2p 3p original 5p 10p 20p 40p 100p AP的聚类数目 • 参数preference s(k,k)影响聚类的数目 • 越大，则每个节点越倾向于选择自己作为代表点，从而使聚类的数目增加 • preference的选择是一个NP-hard问题(Dueck2007) • 对于某个特定的聚类数目，存在一个preference的值域 • 下图是当增大preference时聚类效果，其中p是相似度矩阵的均值

  7. Preference参数的计算方法 • 引入先验知识 • semantics(i)：图像i 包含的语义标签数 • clusters(s)：每个语义标签包含的聚类数目的经验值 • 一个经验性的预先建立的查找表map，根据聚类数目c，返回p的次数 • cluster (i)：图像i 中的聚类数目

  8. 与GMM对比 • 无论一个图像包含多么复杂的语义，GMM 中模型的数目不是自适应的 • 在高维特征空间里，GMM需要更多的特征点以获取较好的性能 • 1640 * 192 表示该图像被划分为1640个区域，每个区域的特征维数是192 a) 3mix_AP 1640*192 c) 3mix_GMM 14396*192 b) 3mix_GMM 1640*192 d) 5mix_AP 1640*192 e) 5mix_GMM 1640*192 f) 5mix_GMM 14396*192

  9. 类内图像模型 • AP混合模型(Frey2006) • 图像i • 聚类Si 属于图像i • L是先验概率密度函数 • f()是所有聚类的约束函数 • 类似于GMM-EM，可使用EM来迭代

  10. 监督多类标注 • 没有图像分割时，对图像多类建模(Carneiro2007) • 怎样从正例和反例中对图像建模 • 某类正例集合中的反例信息，趋向于分布到整个特征空间 • 正例信息趋向于分布在某个狭小区域 • 使用统计决策理论 • 标注和检索都基于最小错误率理论

  11. 实验 • 数据集来自Visual Object Classes Challenge 2008(VOC2008) • 一个包含两类的子集 • 飞机和狗, 分别包含119 和186张图像 033_original 037_original 066_original 033_DCT 037_DCT 066_DCT

  12. 实验(续) • 对于较简单的图像 “033” • 基于GMM 和AP的方法取得了近似的结果 • 对于较复杂的图像 “037” 和 “066” • 相同的条件下，基于AP的方法效果更好 • 对于192维特征空间来说，基于GMM的方法需要更多的特征点来取得同样的效果 033_GMM 037_GMM 066_GMM 033_AP 037_AP 066_AP

  13. 时间性能 • 平均时间 • 基于AP的方法：0.281s • 基于GMM的方法：19.6s • AP 算法来自 B.J. Frey 和D. Dueck (AffinityPropagation) • GMM Matlab 程序( From Patrick P. C. Tsui,Univ. Waterloo, 2006， http://www.mathworks.com/matlabcentral/fileexchange/8636)

  14. 结论 • 基于AP的方法不需要计算足够的统计信息，能避免由于直接设置代表点而引起的问题(Frey2006) • 本方法比较适于特征空间维数较高，或训练样例数目较少的情况 • 提高了时间性能 • 大约节省到百分之一 • 建模效果更好 • 自适应聚类数目

  15. 参考文献 • (AffinityPropagation) http://www.psi.toronto.edu/affinitypropagation/ • (Carneiro2007) Carneiro, G.; Chan, A. B.; Moreno, P. J. & Vasconcelos, N. Supervised Learning of Semantic Classes for Image Annotation and Retrieval IEEE TRANS.PAMI, 2007, 29, 394~410 • (Dueck2007) Dueck, D. & Frey, B. J. Non-metric affinity propagation for unsupervised image categorization ICCV, 2007 • (Fan2008) Fan, J.; Gao, Y.; Luo, H. & Jain, R. Mining Multilevel Image Semantics via Hierarchical Classification IEEE TRANSACTIONS ON MULTIMEDIA, 2008, 10(2), 167-187 • (Frey2006) Frey, B. J. & Dueck, D. Mixture Modeling by Affinity Propagation, Advances in Neural Information Processing Systems 18, 2006 • (VOC2008) http://pascallin.ecs.soton.ac.uk/challenges/VOC/voc2008

More Related