第三章 判别域代数界面方程法

1. 第三章 判别域代数界面方程法 余莉

2. 3.1 判别域代数界面方程法的概念 似圆度 颜色（绿/红） 判别函数 (Discriminant Function)

3. 3.1判别域代数界面方程法的概念 • 判别函数的形式 • 线性 • 非线性 • 判别规则 • 参数确定

4. 3.2 线性判别函数 3.2.1判别函数的形式 模式的特征矢量： 判别函数： 称为权矢量或系数矢量

5. 3.2 线性判别函数 3.2.1判别函数的形式 增广特征矢量： 增广权矢量： 判别函数：

6. 3.2 线性判别函数 3.2.2判别规则 1、两类问题 似圆度 颜色（绿/黄）

7. 3.2 线性判别函数 3.2.2判别规则 1、两类问题 判别规则:

8. 3.2 线性判别函数 3.2.2判别规则 2、多类问题 • （1） 二分法 • （2）ωi/ωj二分法 • （3）最大判别准则

9. 2、多类问题 （1） 二分法

10. 2、多类问题 （1） 二分法 M个判别函数： 具有性质： 判别规则：

11. 2、多类问题 （1） 二分法 例1：已知三类ω1,ω2,ω3的判别函数分别为： 问 属于哪一类？ • 解： 代入 结论：属于ω2类。

12. 2、多类问题 （2）ωi/ωj二分法 IR 结论：判别区间增大，不确定区间减小

13. 2、多类问题 （2）ωi/ωj二分法 区分ωi/ωj的判别函数： 有 M(M _ 1)/2个判别平面 具有性质： 判别规则：

14. 2、多类问题 （2）ωi/ωj二分法 例2：已知三类ω1,ω2,ω3，判别函数分别为： 问：当 时属于哪一类？ 解：代入判别函数可得: 下标变换可得:

15. 2、多类问题 （3）最大判别准则 判别界面： 或 M个判别函数： 判别规则： ，则判 如果 或 如果 ，则判

16. 2、多类问题 （3）最大判别准则 结论：无不确定区间

17. 2、多类问题 （3）最大判别准则 • 例：假设判别函数为： 问 属于哪一类。 解： 所以

18. 2、多类问题 三种方法小结 M 最多 较难 较少 较易 M(M-1)/2 M 没有 较易

19. 作业 3.1 设一3类问题有如下判决函数d1(x) = - x1d2(x) = x1 + x2 -1d3(x) = x1 - x2 -1试画出下列各种情况的判决边界及各类的区域：（1）满足3.4.2节中的第一种情况；（2）满足3.4.2节中的第二种情况, 且令 d12(x) = d1(x)，d13(x) = d2(x)，d23(x) = d3(x)；（3）满足3.4.2节中的第三种情况。

20. 3.3判别函数值的鉴别意义、权空间及解空间 3.3.1 判别函数值的大小、正负的数学意义 n维特征空间Xn中，两类问题的线性判别界面方程为 此方程表示一超平面，记为 是该平面的法矢量。

21. 3.2判别函数值的鉴别意义、权空间及解空间 x 2 r n r r - x p r p r x = d ( x ) 0 1 3.3.1 判别函数值的大小、正负的数学意义 • (1)系数矢量是该平面的法矢量。 • (2)判别函数的绝对值正比于特征点到超平面的距离。 • (3)判别函数值的正负表示出特征点位于哪个半空间中。 + - o

22. 3.2判别函数值的鉴别意义、权空间及解空间 × × × × × × × × × × × × × － － － － － － － － － － － － 3.3.1 判别函数值的大小、正负的数学意义 例3：利用判别函数的鉴别意义，试分析d(x1,x2)＝x1+x2+1。 d(x1,x2)＝0 -1 -1 ＋ －

23. 3.2判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (1)权空间 • 增广特征矢量与增广权矢量是对称的，判别函数可以写成 视为相应的 的“权” • 指向平面 的正侧，即该半空间中的任一点 都使 • 背向的半子空间中任一点 都有 。

24. b余量 + - 解空间示意图 w2 w1 o

25. w2 w2 II II I I w w w1 w1 III III IV IV w3 w3 （a）解空间 （b）训练模式符号化后的解空间 图 (3-3-2) 权空间中的判别界面及解锥

26. 3.2判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (2) 解矢量 对于两类问题，在对待分类模式进行分类之前，应根据已知类别的增广训练模式， 确定线性判别函数 这时的 称为解矢量，记为 可以将已知类别的训练模式符号规范化。

27. 3.2判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (3) 解空间 以权空间原点为顶点的凸多面锥。锥中每一点都是上面不等式组的解，解矢量不是唯一的，上述的凸多面锥包含了解的全体，称其为解区、解空间或解锥。 每一个训练模式都对解区提供一个约束，训练模式越多，解区的限制就越多，解区就越小，就越靠近解区的中心，解矢量就越可靠，由它构造的判别函数错分的可能性就越小。

28. 3.2判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (4) 余量 为使解矢量可靠,使解区更小,可以采取增加训练模式数以及引入余量 ,使 ,这样，有效地避免了量测的误差、引入的误差以及某些算法求得的解矢量收敛于解区的边界上，从而提高了解的可靠性。 它的边界离开原解区边界的距离为

29. 3.4 Fisher线性判别 图3.4.1 二维模式向一维空间投影示意图

30. 3.4 Fisher线性判别 思想：多维 Fisher变换  利于分类的一维 方法：求权矢量 求满足上述目标的投影轴 的方向 和在一维空间中确定判别规则。

31. （1)求解Fisher准则函数 用 表示待求的 。设给定n维训练模式 ，其中有N1个和N2=N-N1个模式分属w1 类和w2 类，分别记为 和 ，各类模式均值矢量为 各类类内离差阵SWi和总的类内离差阵SW分别为

32. （1)求解Fisher准则函数

33. 取类间离差阵为 作变换，n维矢量 在以矢量 为方向的轴上进行投影 变换后在一维 y 空间中各类模式的均值为 i=1,2 i=1,2

34. 类内离差度 和总的类内离差度 为 • 类间离差度为

35. 希望经投影后，类内离差度 越小越好，类间离差度 越大越好，根据这个目标作准则函数 并使其最大,上式称为Fisher准则函数。

36. （2) 求解Fisher最佳鉴别矢量 • 利用二次型关于矢量求导的公式可得 • 令 • 可得

37. 当N较大时，SW通常是非奇异的,于是有 上式表明， 是矩阵 相应于特征值l的特征矢量。因此 称为Fisher最佳鉴别矢量，由上式有

38. 上式右边后两项因子的乘积为一标量，令其为 ，于是可得 • 式中 为一标量因子，其不改变轴的方向，可以取为1,于是有

39. 此时的 可使Fisher准则函数取最大值，即是n维空间到一维空间投影轴的最佳方向，由 JF 最大值为 和

40. JF= 即 称 为Fisher变换函数

41. （3) 求解Fisher判别函数 • 可以根据训练模式确定一个阈值 yt，于是Fisher判别规则为 • 判别阈值可取两个类心在u方向上轴的投影连线的中点作为阈值，即

42. Fisher方法总结

43. 最优问题的求解： （1）一个适当的代价函数（准则函数） （2）一个优化算法 梯度下降法 3.5 一次准则函数及梯度下降法(Gradient Descent Algorithm) 感知准则函数（Rosenblatt）

44. 可微函数在某点的梯度是一个向量函数在该点的变化率最大的方向 函数 的梯度向量定义为

45. 梯度下降法的迭代公式为： 任给定初始权矢量，第k+1次迭代时的权矢量等于第k次的权矢量加上被w（k）错分的样本之合乘以某个系数。

46. 　　把样本集看成不断出现的序列逐一考虑，称为单样本修正法。 且令 ，称为固定增量法。 使得

47. + - - +

48. 　　如果训练模式是线性可分的，感知器训练算法在有限次迭代后便可以收敛到正确的解矢量 。 感知收敛定理

49. 对两类问题，训练模式的符号规范化：若 则乘以－1（包括增广分量1） 校正规则（增量ρ> 0，可取为1）

50. 3.5.1 感知器算法(Perceptron Approach) 算法思想 任选一初始增广权矢量 Yes 用训练样本检验用分类正确否 No 对进行校正 No 对所有训练样本都能正确分类？ Yes END