1 / 47

模式识别 - 总结 Pattern Recognition

模式识别 - 总结 Pattern Recognition. 余莉 电话： 73478 （ O ） ,75420 （ H ） E-mail ： yuliu@nudt.edu.cn. 课程内容. 第一章 引论 (2 学时 ) 第二章 聚类分析 (4 学时 ) 第三章 判别域代数界面方程法 (4 学时 ) 第四章 统计判决与估计 (4 学时 ) 第五章 统计学习与估计 (4 学时 ) 第六章 最近邻方法 (2 学时 )

dale-pittman
Download Presentation

模式识别 - 总结 Pattern Recognition

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 模式识别-总结Pattern Recognition 余莉 电话： 73478（O）,75420（H）E-mail：yuliu@nudt.edu.cn

  2. 课程内容 第一章 引论 (2学时) 第二章 聚类分析 (4学时) 第三章 判别域代数界面方程法 (4学时) 第四章 统计判决与估计 (4学时) 第五章 统计学习与估计 (4学时) 第六章 最近邻方法 (2学时) 第七章 特征提取与选择 (2学时) 复习 (2学时) 实验 上机实验 (8学时) 作业 每次课后布置习题 考核 笔试(70%)+实验(20%)+作业(10%)

  3. 概 念 • 模式识别：确定一个样本的类别属性（模式类）的过程，即把某一样本归属于多个类型中的某个类型。模式分类的过程。 • 样本（Sample)：一个具体的研究（客观）对象。如患者，某人写的一个汉字，一幅图片等。 • 模式（Pattern）：对客体（研究对象）特征的描述（定量的或结构的描述），是取自客观世界的某一样本的测量值的集合（或综合）。 • 特征（Features）：能描述模式特性的量（测量值）。在统计模式识别方法中，通常用一个矢量表示，称之为特征矢量，记为 • 模式类（Class）：具有某些共同特性的模式的集合。

  4. 1.1.3 模式识别系统 学习过程 分类器训练 分类器 模式采集 特征提取选择 预处理 判决过程 图1.2 模式识别系统框图

  5. 1.1.4 模式识别方法 • 统计判决 • 句法结构 • 模糊判决 • 逻辑推理 • 神经网络

  6. 第二章 聚类分析 • 内容： • 聚类的基本概念； • 相似性测度、类间距离 、聚类准则； • 简单聚类、层次聚类； • 动态聚类。 • 要求： 重点:相似性测度、K均值聚类和层次聚类算法。 难点:聚类准则函数。

  7. 小结 一、影响分类的因数 （1）分类准则；（2）特征量的选择；（3）量纲。 二、模式相似性测度 （一） 距 离 测 度 (1) 欧氏距离 (2) 马氏距离 对坐标系平移、旋转、比例不变。 （二） 相 似 测 度 相关系数 （特征矢量的方向） 对坐标系平移、旋转、比例不变。

  8. 三、类间距离递推公式 （其中l=pq）

  9. 加权类内距离准则 式中， 是j内样本间的均方距离。 四、 聚类准则函数 评估分类过程或分类结果优劣的准则函数 （一）类内距离准则（误差平方和准则） 式中，nj是j中的样本个数， • 适用于各类模式呈团状分布的情况。

  10. 对于两类问题 ，可以定义 四、聚类准则函数 （二）类间距离准则 式中， 是总的样本均值矢量， 加权类间距离准则

  11. 1 3 2 • 总的类内离差矩阵 4 • 类间离差矩阵 5 • 总的离差矩阵 （三）基于类内类间距离的准则函数 构造能同时使Jwmin和JBmax的准则函数 • 类内离差矩阵（Scatter Matrix）

  12. （三）基于类内类间距离的准则函数 聚类的基本目标是使JWB=Tr[SB]max和JWW =Tr[SW]min 因此可定义如下聚类准则函数 Jimax，(i=1,2,3,4) 即，类内越“紧”，类间越“开”，聚类效果越好。

  13. 2.3 聚类算法 （一）简单聚类 最邻近规则试探法给定阀值T，聚类到zl （二）层次聚类初始每个样本点为一类（N类），将类间距离最小者合并为一类，逐级进行。类间距离可用：最小、最大、中间、重心、平均距离等。

  14. （三）动态聚类算法 • C-均值算法（适用于团状分布的情况）重新聚类 • ISODATA算法c（预期类数），Nc（初始类心个数），N（各类最小样本数）， s（类中样本特征分量标准差上限）， jmax， D（聚合中心最小间距），L，I

  15. C-均值算法性能 • 算法简单，收敛。如模式呈现类内团状分布，效果很好，故应用较多。 • 能使各模式到其所判属类别中心距离平方之和为最小。

  16. 第三章 类域界面方程法 总结 分类特征空间的分划子空间的界面：判别函数 求解 3·2 线性判别函数 式中 ,称为权矢量或系数矢量。写成矢量形式 这里， ， ，称为增广特征矢量和增广权矢量。增广特征矢量的全体称为增广特征空间。

  17. 判别规则： 解多类问题的两分法:⑴ 两分法 有不确定区域⑵ 两分法⑶ 没有不确定区的 两分法 令

  18. 3·3 判别函数值的鉴别意义、权空间及解空间 （1）系数矢量 是超平面 的法矢量； （2） 的绝对值 正比于 到超平面的距离； （3） 的正（负）反映 在超平面 的正（负）侧。

  19. 3·4 Fisher线性判别 多维 Fisher变换  利于分类的一维 （1）Fisher准则函数 对两类问题 作变换，n维矢量 在矢量 方向轴上的投影 Fisher准则函数

  20. （2）Fisher变换 对于两类问题, 它所对应的本征矢量 称为Fisher最佳鉴别矢量。 Fisher变换函数 ： （3）Fisher判别规则

  21. 3.5 一次准则函数及梯度下降法 如果训练模式已经符号规范化，即 已乘以－1（包括增广分量1），则 收敛定理 解多类问题

  22. 3·6 二次准则函数及其算法

  23. 将上面的不等式组写成矩阵方程形式，并引入N维余量矢量 ，于是不等式方程组变为 式中 是 矩阵。

  24. 最小方差准则及W-H算法 针对方程组 ,构造方差准则函数 对于 ,此时的 , 而对于 ,此时的 。如果方程组有唯一解,说 明训练模式集是线性可分的,如果方程组无解,极小点值是最小二乘解。一般情况下使 极小等价于误分模式数目最少。

  25. 求解最佳权矢量的方法： ⑴ 伪逆法 求 对 的梯度并令其为零，有 可得 (3-6-12) 当(X ’X)-1存在时， X +=(X ’X)-1X’称为X的伪逆(也称广义逆或M-P逆)， 称为 的伪逆解。 X ’X是(n+1)×(n+1)矩阵，一般是非奇异的。 当(X ’X)-1不存在时，可用广义逆法解 这里(X ’X)+为X ’X的广义逆矩阵。

  26. 可以证明，当 为任意正的常数，则该算法使权矢量序列 收敛于 ; 满足 ， 也称为MSE解。 ⑵ 梯度法 由前述知， 的梯度为 梯度下降算法迭代公式为 Step1. 任取 Step2. (3-6-13)

  27. 为了减少计算量和存储量，由于 仿前采用单样本修正法，则式(3-6-13)可以修改为 Step1. 任取 Step2. 此算法通常称为W－H(Widrow－Hoff)算法 (3-6-14)

  28. 3·12 势函数分类法 概念：1：q+； 2：q- 定义点 处的位势函数 ，它应满足： ⑴ ； ⑵ 是连续光滑函数； ⑶ 是 与 间距离的单值单调下降函数;当且仅当 时，达其最大值;

  29. 两类位势函数 第一类位势函数 设 是 定义域中的完备正交函数集，位势函数取为 第二类位势函数取关于 和 的距离的对称函数作位势函数，例如

  30. 第四章 统计判决 总结 概念: 后验概率： 类概密： 先验概率：

  31. p(x|1)P(1) p(x|2)P(2) 21P(2) 12P(1) t 1 2 x 4·1最小误判概率准则判决 总的误判概率

  32. 多类问题，最小误判概率准则有如下几种等价的判决规则多类问题，最小误判概率准则有如下几种等价的判决规则 (1) (2) (3) (4)

  33. 4·2 最小损失准则判决 • 对一个实属i类的模式采用了决策j所造成损失记为损失函数 • 条件平均损失 • （总的）平均损失 • [定理]：使条件平均损失最小的判决也必然使总的平均损失最小。 • 最小损失准则判决： • 两类问题

  34. 含拒判决策的最小损失判决规则为 如果 ，则对 拒判； 如果 ，则判 。 当 即 时，不存在拒判。

  35. 对于两类问题，存在拒判决策的条件是 判决规则： 如果 ，则判 ； 如果 ，则判 ； 如果 ，则对 拒判。

  36. 4·3 最小最大损失准则 适用于P(i)未知或是变动的情况。 当类概密已知，损失函数ij、类域i取定后，平均损失R是P(i)的线性函数 方法：按最小损失准则，对P(i)(0,1)，计算R～P(i)曲线，找出使R取最大值的P*(i)，然后最小损失准则对具体的模式分类识别。最小最大损失判决规则为

  37. R* D R*B C’ D’ B A C 1 P(1) PA(1) 0

  38. 4·4 N-P(Neyman—Pearson)判决 由 确定判决似然比门限

  39. 第五章 统计估计 概述 本章目的： 已知类别的样本（训练样本）→学习或训练→类概密

  40. 5·1 统计推断概述 参数估计如果已知i类的概密 的函数类型，但不知道其中的参数或参数集→可采用参数估计确定未知参数 (1)将参数作为非随机量处理，如矩法估计、最大似然估计； (2)将参数作为随机变量，如贝叶斯估计。 非参数估计当不知道类的概型时，可采用非参数估计方法，也称为总体推断，这类方法有 (1) p-窗法； (2) 有限项正交函数级数逼近法。

  41. 则其均矢定义为 式中，为特征空间。 的无偏估计为 若用 近似 ,则 5.2.1 均值矢量和协方差阵的矩法估计 设模式 ,i类总体 概密为 总体 的均矢 的无偏估计为

  42. 5.2.2 最大似然估计(Maximum Likelihood Estimate) • 似然函数称为相对于 的 的似然函数。如果各个 是独立抽取的，则有 • 最大似然估计 取 的 作为未知参数集的估计值。 根据已知样本X(N)和下列似然方程组或对数似然方程组,可得

  43. 5.2.3贝叶斯估计 （1）确定未知参数集 的先验概密 ； （2）由样本集X(N)求这里类 的概型是已知的； （3）计算 （4）计算 (5-2-17) (5-2-19) (5-2-16)

  44. 5·3 贝叶斯学习 贝叶斯学习与贝叶斯估计前提条件是相同的，不同的是，贝叶斯学习不是进行概密的参数估计，而是进行总体概密的估计以获得 。 在前一节贝叶斯估计的四个步骤中，贝叶斯学习在执行完了前三个步骤得到未知参数的 后验概密 之后不是去求 ，而是直接求总体的后验概密 。

  45. 第七章 特征提取与选择 • 类别可分性判据 • 特征选择中的直接挑选法 7.1 概 述 目的：

  46. 类别可分性判据小结 • 几何可分性判据 • 类概率密度可分性判据(一)Bhattacharyya判据(JB) (二)Chernoff判据(JC) 最小误分概率的上界(三)散度JD

  47. 或 • 使用各判据进行特征提取与选择的目标是使 • 各可分性判据Jij应满足下列要求(注意：对JH相反) (1)与误分概率P(e)有单调关系：Jij取最大值时P(e)最小。 (2)当特征相互独立时，判据有可加性，即 (3)判据具有“距离”的某些特性：Jij>0，当i≠j 时Jij=0，当i=j 时Jij= Jji (4)Jij 对特征数目单调不减

More Related