1 / 37

一些专刊

一些专刊. IEEE Computer 28(9) IEEE Trans. On PAMI 18(8) Pattern Recognition 30(4) Image and Vision Computing 17(7). Photobook, MIT face, texture and shape database WebSeek, Columbia U WWW image search engine include more than 650,000 images ImageRover, Boston U WWW image search engine

nura
Download Presentation

一些专刊

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 一些专刊 • IEEE Computer 28(9) • IEEE Trans. On PAMI 18(8) • Pattern Recognition 30(4) • Image and Vision Computing 17(7)

  2. Photobook, MIT face, texture and shape database WebSeek, Columbia U WWW image search engine include more than 650,000 images ImageRover, Boston U WWW image search engine use 32 robots to collect one million images monthly VideoBook, HKUST video retrieval system QBIC, IBM commercial system (trademark) MARS, Illinois image retrieval with relevance feedback mechanism VideoClip, Columbia U video parsing and editing Princeton University high-level video representation NeTra, UCSB object-based video representation 某些存在的系统

  3. 主要内容 • 图象检索 • 颜色、纹理、形状…… • 视频分析、浏览与检索 • 镜头分割 • 镜头表示 • 运动分析 • 浏览与检索

  4. 基于内容的图像检索 • 基于颜色、纹理、形状的图像检索 • 基于区域的图像检索 • 基于语义的图像检索 • 相关反馈 图像检索演示系统

  5. HSI Color Space 基于颜色特征的检索 • 颜色模型 • GRB、HSI、YUV…… • 颜色特征及相似性度量 • 直方图交集算法 • 参考颜色表法 • ……

  6. 基于颜色特征的图象检索

  7. 颜色直方图的相似性

  8. 基于颜色的图象检索 • HSI颜色空间

  9. 基于颜色的图象检索 • 基于HSI的聚类匹配算法 • 对图象计算H-S平面的二维直方图，即得到颜色特征向量，然后对颜色空间进行聚类。 • 聚类匹配，在匹配中颜色间距离使用欧氏距离计算：

  10. 颜色空间聚类 1 计算H-S-I颜色直方图。 2 在直方图中寻找所有颜色峰值（在三维颜色空间中，大于所有六个相邻点）。 3 一个峰值对应一个颜色聚类。对每一聚类标注H-S-I值和样本数。 4 按样本数从大到小将各个峰值（聚类）排序。 5 计算样本数不小于一定阀值的峰值的个数。 6 如果步骤5中的峰值数小于步骤3中的峰值数，将样本数小于阀值的聚类重新分配到邻近的颜色类中。距离计算采样如上公式，对新的聚类计算代表色和样本数。 7 对每个象素，计算到各个颜色类的距离。将该象素分配到最近邻的类当中。

  11. 颜色聚类

  12. 试验结果 加空间特征

  13. 基于纹理特征的分析 • 基于统计特征的纹理分析——共生矩阵，心理学特征等 • 基于信号处理的纹理分析——小波变换，Gabor滤波器等 • 基于模型的纹理分析——Markov随机场模型，Wold模型等 • 基于结构特征的纹理分析

  14. 基于纹理特征的匹配 • 从上述纹理分析的方法中得到一组描述纹理的特征量； • 提取这些纹理特征的数字特征（如期望、方差等），将它们组成归一化的特征向量； • 在某种距离空间内（如欧氏距、马氏距）寻找给定特征向量的最近匹配。

  15. 基于统计特征的纹理特征提取 • Haralick等定义的基于灰度共生矩阵的纹理特征 • 常用统计量：角二阶矩、对比度、相关、方差、熵等 • 多尺度：改变方向和步长生成不同尺度的共生矩阵 • Amadasun等定义的基于邻域灰度差别矩阵的纹理特征 • 包括稀疏度、繁忙度、纹理力度等5个特征 • Tamura等定义的6个心理学特征 • 稀疏度、对比度、方向性、线状性、规则性及粗糙度 • 这是一组与人类视觉特性对应的纹理特征

  16. 一个基于统计特征的纹理匹配的例子

  17. 一个基于统计特征的纹理匹配的例子

  18. 基于Gabor变换的纹理特征提取 纹理分析中常用的2维Gabor变换函数对： ，这里 构造以m、n为尺度的Gabor滤波器族： 待确定的参数：

  19. 形状描述的主要途径 • 基于边界（boundary-based）的形状描述 • 最为成功的是傅立叶描述子（Fourier Descriptor），它对边界进行傅立叶变换，将其作为形状的特征描述。 • 基于区域（region-based）的形状描述 • 主要有各种矩不变量（Moment Invariants）及各种简单的形状因子如面积、圆度、偏心度、主轴方向等。为解决遮挡问题，还常使用一些局部特征，如直线段、圆弧、角点、高曲率点等。

  20. 常用的形状描述子 • 基于几何特征：紧密度、实心度、偏心率、不规则度等； • 基于统计特征：粗糙度，均值，方差等； • 变换域特征：矩，Fourier描绘子、小波描绘子、形态描绘子等； • 仿射不变量：简比等； • 射影不变量：交比等。

  21. 形状不变量匹配 • 基于全局性几何特征 • 面积、周长、长轴、短轴、主轴方向、凹凸面积、紧密度、实心度、偏心率等 • 基于变换域特征 • 矩、Fourier描绘子、小波描绘子、形态描绘子等 • 基于局部特性的形状匹配方法 • 广义Hough变换(GHT) • 基于神经网络和遗传算法匹配方法 • 变形模板（自由式、参数化） • 基于形状凹凸结构的匹配方法 • 动态规划 • 基于自回归模型和隐Markov模型

  22. 基于区域特征的图象检索 • 交互式图象分割方法 • 基于多尺度形态滤波和水线分割法的过分； • 交互式标定； • 基于变形模板的边缘修正。 • 基于颜色、纹理、形状的检索 • 提取相关特征矢量； • 给出初始权值，检索； • 相关性反馈。

  23. Shape Retrieval and Matching by Schwarz Integral Yang & MA Pattern Recognition 1999

  24. A close-form solution for shape matching and similarity measurement A multi-scale matching

  25. 1. Multi-scale representation by Schwarz integral Shape contour is presented by a 1D periodic function

  26. We define a complex function defined on a • disc of radius 1. Where is the shape function

  27. It can be proved that is a smoothed function of Where r is the scale. is the smoothed function of where r is the scale. The Schwarz Integral can be considered as the multiscale representation of the shape function.

  28. 2. Signal matching and similarity measurement Matching model Let be two signals. is a one-to-one smooth function such that is the matching function of two signals

  29. If were a bijective function, then • But in fact, is a multi-values function • , may not be in the same scale, so matching • two functions in different scales is not reasonable. • Instead of matching , we propose to match • their Schwarz representations , by

  30. Algorithm (1) Extract tangent function of shape as feature function (2) Expand the feature function • into Fourier series: (3) We obtain the Schwarz representation of the shape

  31. 3. Compute the inverse functions of And expand them into polynomials.

  32. Image Retrieval from modelimage • (1) Extract the one-dimensional feature of model image, • expand the feature function in to Fourier series and obtain the Schwarz integral • (2)Compute the matching function by • (3)Compute similarity measure • (4)Output the most k similar image as result. The matching method can be used both to find the correspondent points and to measure the similarity between two shapes

  33. Summary • Shape representation and Matching • Global region or local feature based • Optimization framework • Research work • * image segmentation • * 3D object and occlusion • * fast algorithms for large data base • * robustness

  34. 聚类匹配算法 1 建立距离矩阵。 2 寻找G中的最小元素Gxy。 3 P(x)=y 4 消去G中的x行y列，但不改变矩阵的行列下标。 5 如果G为空，即已消去所有行列，结束。否则，回到2。

  35. 纹理特征分类 • 基于统计特征的纹理分析——共生矩阵，心理学特征等 • 基于信号处理的纹理分析——小波变换，Gabor滤波器等 • 基于模型的纹理分析——Markov随机场模型，Wold模型等 • 基于结构特征的纹理分析

More Related