Chapter 5 Reasoning in Uncertain Situations

1. 第五章 不确定推理 Chapter 5 Reasoning in Uncertain Situations

2. 6.0 Introduction 确定推理： • 事实（证据）：有则100％真（True） • 规则（证据→假设结论） ：都是100％成立（True） 但是，世界复杂，存在许多不确定性： 有时，证据不是100％真 例：汤姆发烧37.8度 程度只有60％ 有时，规则不是100％成立 例：发烧往往是感冒 正确率只有70％ 浅发的人蓝眼 正确率只有95％ • 可信度方法(确定性理论) • Bayes方法和主观Bayes方法 • 证据理论 ——不确定(逻辑)推理 随机世界：例如赌牌 确定世界(有或然率) ：例如诊病、探矿 用于两类情况

3. 6.1 The Stanford Certainty Factor Algebra( 可信度推理方法) MYCIN用 用CF(Certainty Factor, 确定性因子）表示可信度 值域 [ -1 ，1 ] CF(H,E)= 一、规则可信度CF(H,E) 若 若 此式不必记忆。式中，H代表Hypothesis （假设）结论 E代表Evidence 证据

4. 规则可信度 CF(H , E) 值域 [ -1 ，1 ] • CF(H,E)=1 也可记为 E→H,CF(H,E)=1，或 E→H (1.0) 规则E→H 100％成立 ，即 P(H|E)=1 • 0<CF(H,E)<1 例如 E→H,CF(H,E)= 0.7，或 E→H (0.7) 规则E→H 不是100％成立 • CF(H,E)=0 E对H无影响 ，即 P(H|E)=P(H) • CF(H,E)=-1 规则 E→H 100％假 ，即 P(H|E)=0

5. 二、证据可信度CF(E) 值域 [ -1 ，1 ] • CF(E)=1 证据E100％真 例：体温42度，CF(发烧)=1 • 0<CF(E)<1 证据E某种程度真 例：体温37.7度，CF(发烧)＝0.3 • CF(E)=0 对证据一无所知 例：未测体温，CF(发烧)=0 • -1<CF(E)<0 证据某种程度假 例：体温偏低 • CF(E)=-1 证据100％假 例：体温35度 ，CF(发烧)= -1

6. 证据可信度的逻辑运算 与取小 或取大 非取反 例如： CF(发烧)=0.8 CF(流鼻涕)=0.5 则 CF(发烧 ∧流鼻涕) = 0.5 CF(发烧 ∨流鼻涕)=0.8 CF(～发烧) = -0.8

7. 三、可信度推理 1 若 CF(E)>0 则：CF(H)=CF(H,E)*CF(E) 例1 CF(感冒，发烧)=0.6, CF(发烧)=0.7 则： CF(感冒)=0.6* 0.7 =0.42 例2 CF(上火，泻肚)= -0.7, CF(泻肚)=0.8 则： CF(上火)= -0.7 *0.8 = -0.56 2 若CF(E)<0 则： CF(H )=0 例3 CF(感冒，发烧)=0.6，CF(发烧)= - 0.8 则： CF(感冒 )=0 一般式 CF(H )=CF(H,E) * max{ CF(E), 0}

8. 若 若 若 四、多证据下的联合可信度——可信度更新计算 1、两个证据 已知：CF(H,E1), CF(H,E2), CF(E1), CF(E2) 求： CF1,2(H) 计算： • 可以视为：证据E2的引入，使H的可信度由CF1(H)更新为CF1,2(H) 前两式也可写为

9. 计算顺序无关 CF1,2(H)=CF2,1(H) 例 CF(感冒，发烧)=0.6 CF(感冒，流鼻涕)=0.8 CF(发烧)=1 CF(流鼻涕)=1 则： CF发烧(感冒)=0.6*1=0.6 CF流鼻涕(感冒)=0.8*1=0.8 CF发烧,流鼻涕(感冒)=0.6+(1-0.6)*0.8=0.92 或者CF流鼻涕,发烧(感冒)= 0.8+(1-0.8)*0.6=0.92

10. 2、多证据时，依次更新 例 已知：R1: if E1 then H (0.9) R2: if E2 then H (0.6) R3: if E3 then H (-0.5) CF(E1)=0.4，CF(E2)=0.8, CF(E3)=0.6 求：CF(H)=? 解：规则简写为CF(H,E1)=0.9, CF(H,E2)=0.6, CF(H,E3)=-0.5 CF1(H)=0.9*max{0.4,0}=0.36 CF2(H)=0.6*0.8=0.48 CF3(H)=-0.5*0.6=-0.3 合成(更新) CF1,2(H)=0.36+0.48-0.38*0.48=0.6672 CF1,2,3(H)=(0.6672-0.3)/(1-0.3)=0.53 答：综合可信度CF(H)=0.53

11. 3、若初始可信度 0，在其基础上依次更新 例（1999统考题） 已知：CF(X,A)=0.8 CF(X,B)=0.6 CF(X,C)=0.4 CF(Y,X∧D)=0.3 CF(A)=CF(B)=CF(C)=CF(D)=0.5 CF0(X)=0.1 CF0(Y)=0.2 求：1) CF(X)=? 2) CF(Y)=? 解：1) CFA(X)=CF(X,A)*max{CF(A),0}=0.8*0.5=0.4 CFB(X)=0.6*0.5=0.3, CFC(X)=0.4*0.5=0.2 CF0,A(X)=0.1+(1-0.1)*0.4=0.46 CF0,A,B(X)=0.46+(1-0.46)*0.3=0.622 CF0,A,B,C(X)=0.622+(1-0.622)*0.2=0.6976 答：CF(X)=0.6976 2) CF(X ∧D)=min{CF(X),CF(D)}=min{0.6976,0.5}=0.5 CFX∧D(Y)=CF(Y,X ∧D)*max{CF(X ∧D),0}=0.5*0.3=0.15 CF0, X∧D (Y )=0.2+(1-0.2)*0.15=0.32 答：CF(Y)=0.32

12. 练习(作业) 已知 ： R1: A → X,CF(X,A)=0.8 R2: B → X,CF(X,B)=0.7 R3: C → X,CF(X,C)=0.6 R4: X ∧D → Y, CF(Y, X ∧D)=0.4 CF(A)=CF(B)=CF(C)=CF(D)=0.9 CF0(X)=0.1 CF0(Y)=0.3 求：1) CF(X) 2) CF(Y)

13. 解: 1) CFA(X)=CF(X,A)*max{CF(A),0}=0.8*0.9=0.72 CFB(X)=0.7*0.9=0.63 CFC(X)=0.6*0.9=0.54 CF0,A(X)=0.1+(1-0.1)*0.72=0.748 CF0,A,B(X)=0.748+(1-0.748)*0.54=0.90676 CF0,A,B,C(X)=0.90676+(1-0.90676)*0.54=0.95711 答： CF(X)=0.95711 2) CF(X ∧D)=min{CF(X),CF(D)}=min{0.95711,0.9}=0.9 CFX∧D(Y)=CF(Y,X ∧D)*max{CF(X ∧D),0} =0.4*0.9=0.36 CF0, X∧D (Y )= 0.3+(1-0.3)*0.36=0.552 答：CF(Y)= 0.552

14. 为什么用 P(E | Hi) 计算 P(Hi | E) 呢？ 发烧 肺炎 肺炎 发烧 （只需要调查几千人） （需要调查几十万人） 6.2 主观Bayes方法(PROSPECTOR使用) 一、(传统的)Bayes公式 P(Hi) —— 结论(假说) Hi成立的先验概率 P(E | Hi) ——当结论Hi(第i种矿床或疾病)存在时， 某种证据 E (某种地貌或症状) 出现的概率 P(Hi | E) ——有某种证据 E时，结论Hi成立的概率(我们要求的后验概率) Bayes公式就是由先验概率和P(E | Hi) 计算后验概率P(Hi | E) 的公式

15. 例：利用传统Bayes公式实现的试验探矿专家系统 已知 P(铜矿)= 0.8 P(蓝花|铜矿)=0.9 P(银矿)=0.15 P(蓝花|银矿)=0.2 P(金矿)=0.05 P(蓝花|金矿)=0.1 可以计算出有蓝花植被时各种矿产的后验概率： P(铜矿|蓝花)= P(银矿|蓝花)= P(金矿|蓝花)= Bayes公式缺点：由先验概率计算后验概率，需要先通过大量 的调查统计得到P(E | Hi) ，人们仍嫌复杂。

16. 二、主观Bayes方法(PROSPECTOR使用) 为了由先验概率计算后验概率，不再费力去统计 P(E | Hi) ，而是采用由专家“主观” 给出的 几率函数倍增因子 LS，LN LS—— 有证据( E)时，假设(结论)H的几率函数O的倍增因子 LN——无证据(~E)时，假设(结论)H的几率函数O的倍增因子 主观 Bayes方法就是采用LS，LN由先验概率计算后验概率的方法

17. 1、定义 值域[0, ∞] • 由Bayes公式 相除

18. o 0 1 p 引入几率函数 概率 P(H)值域 [0 , 1 ] 几率 O(H)值域 [0 , ∞] 由上页式 可得 几率函数的倍增因子

19. 例1已知：地下由铜矿的先验概率P(C)=0.8 ，地表生长开蓝花的植被对地下有铜矿的支持因子LS=10(专家给出) 求：若某地地表覆盖开蓝花的植被，地下有铜矿的(后验)概率是多少？ 解： 答:地下有铜矿的(后验)概率是 0.97561

20. 例2已知：证据E1，E2都存在，结论H的先验概率P(H)=0.03 规则 R1: E1 → H LS1=20R2: E2 → H LS2=300 求：依次计算概率的变化 解：

21. 2、定义 例：P(铜矿)=0.8，地表无蓝花植被对地下有铜矿的支持因子LN=0.01 某地地表无蓝花植被，问地下有铜矿的概率＝？ 解：

22. 3、讨论 1、因为：LS表示E存在对H的影响 所以：LS称为知识的充分性度量 因为：LN表示E不存在对H的影响 所以：LN称为知识的必要性度量 2、 LS与LN的关系 若LS>1，必然LN≤1（E支持H，～E不可能支持H） 若LS<1，必然LN≥1 以上假设证据100％确定

23. P(H) P(H|E) P(H|S) P(H) P(H|~E) 0 P(E) P(E|S) 1 P(E|S) 4、当证据也不确定(P(E|S)<1)时 用线性插值法：3个关键点，2段折线 • 低点：假设P(E)=0,相应的P(H|~E) • 中点：E的先验概率，H的先验概率 • 高点：假设P(E)=1,相应的P(H|E)

24. 例 已知：R1:E → H1 LS=20 R2: H1→ H2 LS=300 证据E必然发生 H1先验概率 P(H1)=0.03 H2先验概率 P(H2)=0.01 求：1) H1的发生概率 2)H2的发生概率

25. 解 1) 2)由R2可见，H1是H2的证据，但P(H1)=0.382 1, 先假设P(H1)=1，计算相应的P(H2|H1)

26. 0.7518 P(H2|E) 0.01 0 0.03 0.382 1 P(H1) • 由于P(H1)=0.382>P(H2)=0.03 ，所以只需右线段，本题条件也只能得到右线段 • 练习：上题自做一遍

27. 练习(2000统考题) 对结论做假设H，有证据E1，E2，规则R1，R2 R1 ：E1 → H ，LS＝20，LN＝1 R2 ：E2 → H ，LS＝300，LN＝1 已知H的先验概率P(H)=0.03，若证据E1,E2依次出现，按主观Bayes推理，求在此条件下的概率P(H|E1,E2) 解：

28. 6.3 证据理论—处理由不(完全)知道引起的不确定性 Dempster和Shafer提出，所以叫D—S理论 设集合U由N个互斥元素，则U的子集共有2N个, 称为U的幂集2U 例 U＝{红，黄，白}，则U的幂集2U 包含以下子集 A0={ }=Φ A1={红} A2={黄} A3={白} A4={红，黄} A5={红，白} A6={黄，白} A7={红，黄，白}

29. 一. 基本概率分配函数m m : 2U →[0,1], 且满足 m(Φ) =0 称m是U的幂集2U上的基本概率分配函数 例：m({ }, {红}, {黄}, {白}, {红,黄}, {红,白}, {黄,白}, {红,黄,白}) =( 0, 0.3, 0 , 0.1, 0.2 , 0.2 , 0 , 0.2 ) 其中，m({红})=0.3表示对子集A1={红}成立的信任程度为0.3 m({红,黄})=0.2表示对子集A4={红,黄}成立的信任程度为0.2 (注意：不是又红又黄，而是不确定到底是红还是黄) m({红,黄,白})=0.2表示不知道对这0.2如何分配 m的总额度

30. 基本概率分配函数m 与 概率P 不同 m({红})+m({黄})+m({白})=0.4 < 1 而概率：P(红)+P(黄)+P(白) = 1 假若有m({红})+m({黄})+m({白})=1 即 m({红,黄}) =m({红,白}) =m({黄,白}) =m({红,黄,白})=0 则变为全知道的确定概率逻辑， 就可以用P(红)，P(黄)，P(白) ，而不必用m表示了 因此可以说：概率用来处理 “清楚知道” 的问题， 基本概率分配函数用来处理“不完全清楚知道”的问题

31. 二. 信任函数Bel (Belief function) Bel : 2U→[0,1] 表示对A成立的信任程度 例: Bel({红,白})=m({红})+ m({白})+ m({红,白})=0.3+0.2+0.1=0.6 Bel({红})=m({红})=0.3 Bel({红,黄,白})=m(Φ)+ m({红})+ ……+ m({红,黄,白}) =0+0.3+ ……+0.2 =1

32. 三. 似然函数Pl(Plausibility function) Pl : 2U →[0,1] 表示对 不否认A成立 的信任程度

33. 例 Pl({红})= m({红})+ m({红,黄})+m({红,白})+m({红,黄,白}) =0.3 + 0.2 +0.2 +0.2 = 0.9 或Pl({红})=1-Bel(~{红}) = 1-Bel({黄,白}) =1-(m({黄})+ m({白})+m({黄,白})) =1-( 0 + 0.1 + 0) = 0.9 关系： Pl(A) ≥ Bel(A) 证明如下： Pl(A)-Bel(A)=1-Bel(~A)-Bel(A) =1-(Bel(~A)+Bel(A)) ≥ 0 这正是不明确（不确切知道）的那一块

34. 信任函数Bel(A)—命题A的下限函数(信任程度) 似然函数Pl(A)—命题A的上限函数(不否认程度) 常以（Bel(A),Pl(A)）的形式表示 上例： {红}=（0.3, 0.9） 0 .3 0.9 0 Bel({红}) Pl({红} ) 1 {黄}=（0, 0.4） {红,黄}=（0.5,0.9） {红,白}=（0.6,1.0） {红,黄,白}=（1,1） {}=（0,0）

35. 几个特殊值 • (Bel(A),Pl(A))=(1,1) 表示A为真 (这时Bel(A)=1, Bel(~A)=1-1=0) • (Bel(A),Pl(A))=(0,0) 表示A为假 (这时Bel(A)=0, Bel(~A)=1-0=1) • (Bel(A),Pl(A))=(0,1) 表示对A一无所知 (这时Bel(A)=0, Bel(~A)=1-1=0)

36. 四. 证据的来源不同，结论的基本概率分配函数 采用正交和计算公式： 例：U={a, b} m1({ }, {a}, {b}, {a,b})=(0, 0.3, 0.5, 0.2) m2({ }, {a}, {b}, {a,b})=(0, 0.6, 0.3, 0.1) 求：

37. 解： 同理可得：m({b})=0.43，m({a,b})=0.03 m({ },{a},{b},{a,b})=(0, 0.54, 0.43, 0.03)

38. 五. 类概率函数 简化约定：设除单个元素和全体元素的集合外，m都为0 例：U={a,b,c} m ( {}, {a}, {b}, {c}, {a,b}, {a,c}, {b,c}, {a,b,c} ) =( 0, 0.2 , 0.3, 0.1, 0 , 0 , 0 , 0.4 ) 则对于任何集合A U, 有 Pl(A) - Bel(A) = m(U) 例：

39. 类概率函数 值域[0, 1]，满足 上例

40. 练习 设U＝{英,法,德,意} 的概率分配函数 m({ }, {英}, {法}, {德}, {意}, {英,法,德,意}) =(0，0.3，0.2，0.2，0.1，0.2) 若A={法,意}，求f(A)=? 解：

41. 六. D-S理论的推理 步骤：m(B) => Bel(B) => m(U) => f(B) 例：已知 A → B={b1,b2} (c1,c2)=(0.3,0.5) U中元素个数|U|=5，f(A)=0.6，求f(B)=? 解 1. m(B)=m({b1},{b2})=(0.6×0.3,0.6×0.5)=(0.18,0.3) (即：m({b1})= 0.6×0.3=0.18, m({b2})= 0.6×0.5=0.3) 2. Bel(B)=m({b1})+ m({b2})+m({b1,b2})=0.18+0.3=0.48 3. m(U)=1-Bel(B)=1-0.48=0.52 Pl(B)=1-Bel(~B)=1-0=1 4.

42. 练习1 已知：f(A1)=0.7，f(A2)=0.6，|U|=20 A1∧A2 → B={b1,b2} (0.3,0.5) 求f(B)=? 解：f(A1∧A2) = min{f(A1), f(A2)} = 0.6 m(B)=m({b1},{b2})=(0.6×0.3, 0.6×0.5)=(0.18 , 0.3) Bel(B)=0.18 + 0.3 = 0.48 m(U)=1 - 0.48 = 0.52

43. 练习2 已知：f(A1)=0.53，f(A2)=0.52，|U|=20 A1 → B={b1,b2,b3} (c1,c2,c3)=(0.1,0.5,0.3) A2 → B={b1,b2,b3} (c1,c2,c3)=(0.4,0.2,0.1) 求： f(B) 解：先求m(B)