شبکه های باور بیزی

1. شبکههایباوربیزی Instructor : Saeed Shiry & Mitchell Ch. 6

2. مقدمه • در عمل پیاده سازی Bayes Optimal Classifierبسیار پرهزینه است. • همانگونهکهدیدیمدستهبندیکننده Naive Bayes Classifier برایناصلاستواربودکهمقادیرویژگیهامستقلشرطیباشند. امااینیکشرطبسیارمحدودکنندهاستکهغالبابرآوردهنمیشود. • شبکههایباوربیزییاBayesian Belief Networks که Bayes Nets همنامیدهمیشودروشیاستبرایتوصیفتوزیعاحتمالتواممجموعهایازمتغیرها. • BBN استقلالشرطیزیرمجموعهایازمتغیرهاراقابلتوصیفکردهوامکانترکیبدانشقبلیدربارهوابستگیمتغیرهارابادادههایآموزشیفراهممیاورد.

3. Concept C X1 xn X2 … Concept C X1 x4 X2 X3 مقدمه دسته بندی کننده ساده بیزی شبکه باور بیزی P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) … P(xn|c) P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) P(x3|x1,x2,c)P(x4,c)

4. مقدمه • اگر a1,a2,...an مجموعهایازویژگیهاویامتغیرهاباشندBN میتوانداحتمالهرترکیبیازآنانرابیانکند. • اگرچهدرهنگاماستفادهاز BN همناگزیربهاستفادهازشروطاستقلالخواهیمبوداما BN راهحلمیانهتریاستکهمحدودیتکمتریدارد.

5. مثال • Node = variables • Arc = dependency • Direction on arc representing causality Storm Bus Tour Group Lightning Campfire Thunder Forest Fire P (Campfire=True | Storm=True, BusTourGroup=True ) = ? • Variable A with parents B1, …., Bn has a conditional probability table P (A | B1, …., Bn)

6. cause symptom symptom کاربرد BN • تشخیصP(cause|symptom)=? • پیشبینی P(symptom|cause)=? • دستهبندی • تصمیمگیری )درصورتوجودتابعارزش( • مثال: Speech recognition, Stock market, Text Classification, Computer troubleshooting, medical diagnostic systems, real-time weapons scheduling, Intel processor fault diagnosis (Intel) generator monitoring expert system (General Electric) troubleshooting (Microsoft)

7. کاربرد BN • خواستگاه BN بهترکیباحتمالباسیستمهایخبرهبرمیگرددواینزمینهیکیازکاربردهایمهمآنراتشکیلمیدهد. • BN رامیتواندربسیاریازکاربردهائیکهسیستمهایknowledge based متداولمورداستفادههستندبکاربرد. • BN درمقایسهباشبکههایعصبیدارایمزایایزیراست: • میتوانازاطلاعاتافرادخبرهدرساخت BN استفادهکرد. • فهموتوسعهساختار BN سادهتراست. • BN میتواندبادادههایناقصکارکند.

8. استقلالشرطی • تعریفاستقلالشرطی • اگر X,Y,Z سهمتغیرتصادفیبامقادیرگسستهباشندمیگوئیمکه X بادانستن Z بطورشرطیاز Y مستقلاستاگربادانستن Z توزیعاحتمال X مستقلازمقدار Y باشد. • تعریفمشابهیرامیتوانبرایمجموعهایازمتغیرهابکاربرد:

9. P(S) Smoking P(C|S) P(B|S) lung Cancer Bronchitis P(X|C,S) P(D|C,B) X-ray Dyspnoea نمایش BN • یک BN مدلیگرافیکیبراینشاندادنتوزیعاحتمالتواممجموعهایازمتغیرهااست. دانشبدستآمدهبراییکمسئلهبصورتاطلاعاتکمیوکیفیدراینگرافمدلمیشود. • اینکاربامشخصکردنمجموعهایازفرضیاتاستقلالخطیتوسطکمانهایگراف،همراهباذکرمقادیراحتمالشرطیگرههاانجاممیشود. • هرمتغیریازفضایتوامبصورتیکگرهدر BN نمایشدادهشدهوبرایهرمتغیردونوعاطلاعاتارائهمیگردد: • کمانهایشبکهبراینشاندادنرابطهاستقلالشرطیبکار میرود:یکمتغیربادانستنوالدین آن ازگرههایغیرفرزندآن مستقل است. • جدولینیزارائهمیگرددکهتوزیعاحتمالهرگره برایوالدینبلافصلآنرامشخصمیکند.

10. P(S) P(B) Storm Bus Tour Group P(L|S) • S B C=0 C=1 • 0 0 0.2 0.8 • 0 1 0.8 0.2 • 1 0 0.1 0.9 • 1 1 0.4 0.6 Lightning CPD: Campfire P(C|S,B) Thunder Forest Fire P(F|C,S,L) P(T|L,S) نمایش BN Campfire بادانستنوالدینشمستقلاز lightining است بادانستن Storm و BusTourGroup متغیرهای Lightning و Thunder اطلاعاتاضافیدیگریبرای Campfire ارائهنمیدهند.

11. توزیعاحتمالتوام • در BN برایمحاسبهتوزیعاحتمالتواممجموعهایازمتغیرهاازرابطهزیراستفادهمیشود: • کهوالدینیکگره،گرههایقبلیبلافصلآنمیباشند. • مثال P(Campfire, Storm, BusGroupTour, Lightning, Thunder, ForestFire)? P(Storm)P(BusTourGroup)P(Campfire|Storm,BusTourGroup) P(Lightning|Storm)P(Thunder|Lightning) P(ForestFire|Lightning,Storm,Campfire).

12. مثال • احتمالشرطی S,B S,~B ~S,B ~S,~B C 0.4 0.1 0.8 0.2 ~C 0.6 0.9 0.2 0.8 P(Campfire=true|Storm=true,BusTourGroup=true) = 0.4

13. مثال • عیبیابیپرینتر

14. نحوهساخت BN • بصورتدستی،توسطیکخبره • بصورتاتوماتیک،توسطروشهاییادگیریماشین

15. استنتاجتوسط BN Age Income How likely are elderly rich people to buyDallasNews? P( paper = DallasNews | Age>60, Income > 60k) House Owner Living Location Newspaper Preference … Voting Pattern

16. استنتاج ارتباطبین BN ودستهبندی: • میتواناز BN استفادهنمودهومقداریکمتغیررادرصورتمشاهدهمقادیرسایرمتغیرهااستنتاجنمود.البتهمعمولاامکانبدستآوردنیکمقداروجودنداشتهوبجایآنیکتوزیعاحتمالمحاسبهمیشود. • اگرمقادیرهمهمتغیرهاازپیشمعلومباشدانجامچنیناستنتاجیسادهاستولیمعمولافقطمقداربخشیازمتغیرهامشاهدهمیشود. مثلاممکناستبخواهیمبامشاهده Thunder , BusTourGroup درمورد Forestfire نتیجهگیریکنیم.

17. حالتکلی Concept C X1 xn X2 … Concept C X1 x4 X2 X3 اگریکیازمتغیرهامقدارهدفبودهوبخواهیمآنراباداشتنمقدارسایرمتغیرهامحاسبهکنیم P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) … P(xn|c) دستهبندیکنندهبیزیساده شبکهباوربیزی P(x1,x2,…xn,c) = P(c) P(x1|c) P(x2|c) P(x3|x1,x2,c)P(x4,c)

18. استنتاج • روشهایمختلف: • روشهایدقیق • روشهایتقریبی Monte Carlo • Dynamic programming • Variable elimination

19. A B C CPD: • A B C=0 C=1 • 0 0 0.5 0.5 • 0 1 0.5 0.5 • 1 0 0.6 04 • 1 1 0.8 0.2 مثال A: p(A) = 0.1p(~A) = 0.9 B: p(B) = 0.4p(~B) = 0.6 The initialized Probability of C: p(C) =p(CAB) + p(C~AB) + p(CA~B) + p(C~A~B) =p(C | AB) * p(AB) + p(C | ~AB) * p(~AB) +p(C | A~B) * p(A~B) + p(C | ~A~B) * p(~A~B) =p(C | AB) * p(A) * p(B) + p(C | ~AB) * p(~A) * p(B) + p(C | A~B) * p(A) * p(~B) +p(C | ~A~B) * p(~A) * p(~B) =0.518 بادانستناحتمال A , B میتواناحتمالدرستی C رامحاسبهنمود.

20. مثال A B C CPD: • A B C=0 C=1 • 0 0 0.5 0.5 • 0 1 0.5 0.5 • 1 0 0.6 04 • 1 1 0.8 0.2 A: p(A) = 0.1 p(~A) = 0.9 B: p(B) = 0.4 p(~B) = 0.6 C: p(c)= 0.58 p(B | C) =( p( C | B) * p(B) ) / p(C)=( ( p(C | AB) * p(A) + p(C | ~AB) * p(~A) ) * p(B) ) / p(C) =( (0.8 * 0.1 + 0.5 * 0.9) * 0.4 ) / 0.518=0.409 p(A | C) =( p( C | A) * p(A) ) / p(C)=( ( p(C | AB) * p(B) + p(C | A~B) * p(~B) ) * p(A) ) / p(C)= ( (0.8 * 0.4 + 0.6 * 0.6) * 0.1 ) / 0.518=0.131 درصورتیکهبدانیم C درستاستمیتوانبااستفادهازتئوریبیزواحتمالاولیه C احتمالاینکهکدامیکاز A یا B علتوقوعآنبودهرامحاسبهنمائیم. لذادرصورتصحیحبودن c میتوانچنینگفتکهاحتمالاینکه B عاملآنبودهباشدبیشتراست.

21. P(S) S P(C|S) P(B|S) B C P(X|C,S) P(D|C,B) D X S S C B B C D D X X یادگیرییک BN چگونهمیتوانیک BN راازرویدادههایآموزشییادگرفت؟ • ممکناستساختارشبکهازقبلمعلومباشد، وبخواهیمپارامترهایآنیعنیمقادیراحتمال شرطیمتغیرهارایادبگیریم • ممکناستساختارشبکهازقبلمعلومباشد، ولیفقطبرخیازمتغیرهاقابلمشاهدهباشند. • ممکناستساختارشبکهمعلومنبودهو مجبورباشیمساختارگرافوپارامترهای آنرازدادههایآموزشیاستنتاجکنیم

22. یادگیرییک BN • درصورتیکهساختارشبکهمعلومبودهوتمامیمتغیرهاقابلمشاهدهباشندمیتوانبراحتیجدولاحتمالشرطیراازرویدادههایآموزشییادگرفت )مشابهیادگیریبیزیساده( • درصورتیکهساختارشبکهازقبلمعلومبودهولیفقطبرخیازمقادیرمتغیرهاقابلمشاهدهباشند،یادگیریمشکلترخواهدبود. اینکارشبیهیادگیریوزنهایلایهمخفیشبکههایعصبیاست. • درصورتیکهساختارشبکهمعلومنباشدیادگیریمشکلبودهوازروشهایجستجوئینظیر K2 برایجستجودرفضایساختارهایممکناستفادهمیشود.

23. روشهاییادگیری BN • روشهاییادگیری BN بستهبهاینکهساختارشبکهازقبلمعلومباشدوهمچنینقابلیتمشاهدهدادهبصورتزیراست:

24. روشهاییادگیری ساختار BN • روشهای scoring-based کهدرآنهابهترین BN ساختاریاستکهبیشترینتطابقبادادهراداشتهباشد. اینروشهابدنبالماکزیممکردن MDL بیزیویاتابعآنتروپی Kullback-Leibler (KL) هستند. • روشهایconstraint-based کهدرآنساختار BN بامشخصکردنرابطهاستقلالشرطیبینگرههابدستمیآید. • نشاندادهاندکهروشاولکارائیکمتریداشتهودستهبندیکنندهضعیفیرابدستمیدهد.

25. الگوریتم EM : یادگیری با داده های غیر قابل مشاهده • در برخی از کاربردها فقط برخی از ویژگیها قابل مشاهده هستند. راههای متفاوتی برای یادگیری در چنین مواقعی ارائه شده است. • درشرایطیکهشکلکلیتوزیعاحتمالمتغیریمعلومباشد،میتوانازالگوریتم (Expectation-Maximization) EM براییادگیریمتغیریاستفادهنمودکهبطورکاملمشاهدهنشدهاست. • اینالگوریتمبرایآموزش BN بکارمیرود. علاوهبرآندرالگوریتمهایدستهبندیبدونناظرو یادگیری HMM نیزکاربرددارد.

26. تخمینمیانگین k تابعگاوسی مثال • یکمجموعهآموزشی D رادرنظربگیریدکهداراینمونههائیباشدکهمخلوطیاز k توزیعنرمالمجزاباشد. • برای تولید هر نمونه: • یکی از K توزیع احتمال گاوسی با احتمال یکنواختی انتخاب میشود. • داده بصورت تصادفی و با استفاده از توزیع فوق انتخاب میگردد.

27. الگوریتمEM برای تخمینمیانگین k تابعگاوسی • ورودی: نمونه های x که به صورت مخلوطی از k توزیع گاوسی درست شده است • اطلاعاتی که نداریم: مقادیر k میانگین <m1,... mk> اینکه کدام نمونه توسط کدام توزیع تولید شده است • پیدا کنید: مقدار MLتخمین هر یک از مقادیر میانگین <m1,... mk>

28. اطلاعات ناقص • اگر نمایش هر نمونه را بصورت زیر نشان دهیم: Yi= <xi,zi1,zi2> که در آنzij برابر با یک است اگر نمونهxi توسط توزیع Jام درست شده باشد. xi نمونه مشاهده شده است. اگر نمونه کامل را داشتیم چگونه میشد m1,... mk را محاسبه کرد اگر m1,... mk را داشته باشیم چگونه میتوان مقادیر zij را حدس زد.