模式识别

1. 模式识别 主讲： 蔡宣平 教授 电话： 73441（O）,73442（H）E-mail：xpcai@nudt.edu.cn单位: 电子科学与工程学院信息工程系

2. 有监督分类 第三章 判别域代数界面方程法 3.1 用判别域界面方程分类的概念 3.2 线性判别函数 3.3 判别函数值的鉴别意义、权空间及解空间 3.4 Fisher线性判别 3.5 一次准则函数及梯度下降法 3.6 二次准则函数及其解法 3.9 广义线性判别函数 3.10 二次判别函数 3.12 位势函数分类法

3. 3.1 用判别域界面方程分类的概念

4. 两类的分类问题，它们的边界线就是一个判别函数两类的分类问题，它们的边界线就是一个判别函数

5. 两类问题中线性不可分的实例

6. 三类的分类问题，它们的边界线也是一个判别函数三类的分类问题，它们的边界线也是一个判别函数

7. 第三章 判别域代数界面方程法 3.1 用判别域界面方程分类的概念

8. 3.2 线性判别函数 第三章 判别域代数界面方程法

11. 不确定区域 ? 多类问题图例（第一种情况）

12. 如果 则判 比如对图的三类问题,如果对于任一模式 如果它的 则该模式属于ω1类。 1、第一种情况（续） 判别规则为：

13. 1、第一种情况（续） 如果某个X使二个以上的判别函数 di>0。则此模式X就无法作出确切的判决。如图 另一种情况是IR2区域，判别函数都为负值。IR1，IR2，IR3，IR4。都为不确定区域。

14. 解： 三个判别边界分别为： • 1、第一种情况（续）

15. 结论： 因为 所以它属于ω2类。 • 1、第一种情况（续）

16. 1、第一种情况（续）

18. 2、第二种情况（续） 多类问题图例（第二种情况）

20. 9 8 7 6 5 4 3 2 1 0 1 2 3 4 5 6 7 8 9 两分法例题图示 d12(x) = - d21(x) = –x1 – x2 + 5 = 0 d21(x)为正 d12(x)为正

21. 9 8 7 6 5 4 3 2 1 0 1 2 3 4 5 6 7 8 9 d12(x)为正 d21(x)为正 两分法例题图示 d23(x)= -d32(x)= –x1+x2= 0 d32(x)为正 d23(x)为正

22. 9 8 7 6 5 4 3 2 1 0 1 2 3 4 5 6 7 8 9 d12(x)为正 d21(x)为正 d32(x)为正 d23(x)为正 两分法例题图示 d13(x)为正 d13(x)= -d31(x)= –x1+3 = 0 d31(x)为正

23. d13(x)为正 d31(x)为正 9 8 7 6 5 4 3 2 1 IR 2类判别区域 d21(x)>0 d23(x)>0 1类判别区域 d12(x)>0 d13(x)>0 0 1 2 3 4 5 6 7 8 9 d12(x)为正 d21(x)为正 d32(x)为正 d23(x)为正 两分法例题图示 3类判别区域 d31(x)>0 d32(x)>0

25. 3、第三种情况（续） 多类问题图例（第三种情况）

26. 。

27. 当 时， 法比 法需要更多 的判别函数式，这是一个缺点。 类区分 但是 法是将 类与其余的 类和 开，而 法是将 类分开，显然 法使模式更容易线性可分，这是它的优点。 上述三种方法小结: 方法⑶判别函数的数目和方法⑴相同，但没有不确定区，分析简单，是最常用的一种方法。

28. 第三章 判别域代数界面方程法 3.3 判别函数值的鉴别意义、权空间及解空间

29. 第三章 判别域代数界面方程法 3.3 判别函数值的鉴别意义、权空间及解空间 此方程表示一超平面 。它有以下三个性质: • (1)系数矢量 ，是该平面的法矢量。 • (2)判别函数 的绝对值正比于 到超平面 的距离。 • (3)判别函数值的正负表示出特征点位于哪个半空间中。

30. x 2 r + n - r r - x p r p o r x = d ( x ) 0 1 图3.3.1 点面距离及界面的正负侧示意图

34. 证明：判别函数值的正负表示出特征点位于哪个半空间中。证明：判别函数值的正负表示出特征点位于哪个半空间中。

35. 由于 ，故 和 同号。 即 在 指向的半空间中时， 在 当 背向的半空间中时， 这说明判别函数值的正负表示出特征点位于哪个半空间中，或者换句话说，表示特征点位于界面的哪一侧。

36. × × × × × × × × × × d(x1,x2)＝0 × × × -1 -1 － － － － － － － － － ＋ － － － － 例3.3.1：利用判别函数的鉴别意义，试分析d(x1,x2)＝x1+x2+1。

37. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间

38. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (2) 解矢量

39. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (2) 解矢量

40. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间

41. w1 w0 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (3) 解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0，w1。

42. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 w1 (3) 解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0，w1。 w0

43. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 w1 (3) 解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0，w1。 w0

44. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 w1 (3) 解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0，w1。 w0

45. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 w1 (3) 解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0，w1。 w0

46. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 w1 (3) 解空间 先看一个简单的情况。设一维数据1，2属于w1, -1，-2属于w2 求将w1和w2区分开的w0，w1。 w0

47. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (3) 解空间

48. 每一个训练模式都对解区提供一个约束，训练模式越多，解区的限制就越多，解区就越小，就越靠近解区的中心，解矢量 就越可靠，由它构造的判别函数错分的可能性就越小。 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间

49. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (4) 余量

50. 3.3 判别函数值的鉴别意义、权空间及解空间 3.3.2权空间、解矢量与解空间 (4) 余量 引入了余量可有效地避免量测的误差、引入的误差以及某些算法求得的解矢量收敛于解区的边界上，从而提高了解的可靠性。