บทที่ 2 Quick Review about Probability and Introduction to Decision Theory (ML & MAP)

1. บทที่ 2 Quick Review about Probability and Introduction to Decision Theory (ML & MAP)

2. Quick Review about Probabilty Joint Probability Conditional Probability

3. Bayes Rule : Mutually Exclusive Event : AB= Statistical Independent :

4. “Probability” Measure numerically the outcome of random experiment” “Random Variables” Assign the rule or mapping by means of which a real number is given to each outcome “CDF” : Cumulative Distribution Function “Pdf” : Probability Density Function

6. Marginal pdf:

9. จำนวนวันทั้งหมด 365x10 วัน 10ปี = N • จำนวนวันที่มีฝนตก 1650 วัน = NR • จำนวนวันที่เกิดอุบัติเหตุ 360 วัน = NA • จำนวนวันที่เกิดอุบัติเหตุและฝนตก 240 วัน = NAR • --------------------------------------------------------------------------- • จำนวนวันที่เกิดอุบัติเหตุและฝนไม่ตก ? วัน = NAR’ • จำนวนวันที่เกิดไม่เกิดอุบัติเหตุและฝนตก ? วัน = NA’R • จำนวนวันที่ไม่เกิดอุบัติเหตุและฝนไม่ตก ? NA’R’ • คำถามจงหา Joint Prob • Marginal Prob • Conditional Prob

10. จำนวนวันทั้งหมด 365x10 วัน 10ปี = N • จำนวนวันที่มีฝนตก 1650 วัน = NR • จำนวนวันที่เกิดอุบัติเหตุ 360 วัน = NA • จำนวนวันที่เกิดอุบัติเหตุและฝนตก 240 วัน = NAR • ------------------------------------------------------------------------------------------------------- • จำนวนวันที่เกิดอุบัติเหตุและฝนไม่ตก (360-240) วัน = NAR’ • จำนวนวันที่เกิดไม่เกิดอุบัติเหตุและฝนตก (1650-240) วัน = NA’R • จำนวนวันที่ไม่เกิดอุบัติเหตุและฝนไม่ตก (3650-360) – (1650-240) NA’R’ • คำถามจงหา Joint Prob Marginal Prob Conditional Prob

11. Example 1. 0.3 0.2 0.3 0.1 0.1 -6 -3 0 3 6 A=(x  3.5) Find P(A) B=( x 0) Find P(B) Find P(AB)

12. Example 2. S R 0.9 P(S=0) =0.6 0 0.1 0.1 0.9 1 1 P(S=1) =0.4 P(R=0|S=0)=0.9 P(R=1|S=0)=0.1 Find P(S=0|R=0)

13. Example 3. S R 0.8 0 0.1 P(S=0)=0.4 P(S=1)=0.2 P(S=2)=0.4 1 0.1 2 Find P(R=0) Example 4. f(x,y) = 6exp(-2x-3y); x  0, y  0 = 0 ; otherwise Find P(x 1,y 1)

14. Joint Moment Uncorrelate iff cov =0 Orthogonal iff E(xy) = 0 Statistical Independent Implies Uncorrelate Reverse is not true Uncorrelate does not implies Statistical Independent

15. Joint Gaussian Random Variables Random Variables X1,X2,X3,..,Xn are jointly gaussian if their joint PDF is ij= cofactor for the elememt ij |K| = determinant of matrix K

16. Gaussian Bivariate Distribution Bivariate Gaussian PDF

17. Importance of Gaussian PDF 1.Central Limit Theorem 2 . Simplify Math Property I. Completely specfied by first and second moment Property II Uncorrelate implied Statistical Independent Others PDF not implied

18. Property III If Joint PDF is Gaussian Marginal PDF, p(xi) is Gaussian Conditional PDF is Gaussian Property IV Linear combinations of joint Gaussian RV’s are also Gaussian Property V The Input Signal into a linear system is Gaussian  the output signal will also be Gaussian

19. Gaussian Distribution Let  = x-m d = dx if X=m+a  = a

20. m+a x m  a 0  0

21. EXAMPLE 5. ส่งสัญญาณxขนาด 5 V. ผ่านช่องสัญญาณ AWGN ที่มี=3 จงหา P(x >7) x = 5+n

22. Properties :

23. Functional Transformation of Random Variables If PDF fx(x) of random variable x : is known Transformation Random variable y = h(x) Find PDF fy(y) Warning : input x(t) through a linear system h(t) or H(f) Output y(t) has power spectrum density (PSD) Syy(f) = |H(f)|2Sxx(f)

24. Example 6. y = x2

25. Py(y) Px(x) y

26. Example 7.

28. Maximum Likelihood Detection • Ex 8. a  {0,1} P(a=0) =1/2 P(a=1)=1/2 • n  {0,1} P(n=0) =1/2 P(n=1) =1/2 • a y=a+n Given a= 0; P(y=0|a=0) = 1/2 • n P(y=0|a=1) = 0 • a y P(y=2|a=1) = 1/2= P(n=1) • 0 0 P(y=2|a=0) = 0 • 1 P(y=1|a=0) = 1/2 = P(n=1) • 2 P(y=1|a=1) = 1/2 = P(n=0) n=0 n=1 n=0 n=1

29. Ex 9. a  {0,1} P(a=0) =3/4 P(a=1)=1/4 n  {0,1} P(n=0) =1/2 P(n=1) =1/2 Only y is observable P(y=0,a=0) = P(y=0|a=0)P(a=0) = 3/8 = P(a=0|y=0)P(y=0) P(y=0,a=1) = P(y=0|a=1)P(a=1) = 0 = P(a=1|y=0)P(y=0) if observe y =0 what can you guess about a ? P(y=1,a=0) = P(y=1|a=0)P(a=0) = 3/8 = P(a=0|y=1)P(y=1) P(y=1,a=1) = P(y=1|a=1)P(a=1) = 1/8 = P(a=1|y=1)P(y=1) if observe y =1 what can you guess about a ? P(y=2,a=0) = P(y=2|a=0)P(a=0) = 0 = P(a=0|y=2)P(y=2) P(y=2,a=1) = P(y=2|a=1)P(a=1) = 1/8= P(a=1|y=2)P(y=2)

30. ในตัวอย่างที่ 8 ถ้ารับ y ได้เท่ากับ 1 นักศึกษาคิดว่า a ที่ส่งเท่ากับเท่าไร ในตัวอย่างที่ 9 ถ้ารับ y ได้เท่ากับ 1 นักศึกษาคิดว่า a ที่ส่งเท่ากับเท่าไร P(y=1,a=0) = 3/8 = P(a=0|y=1)P(y=1) P(y=1,a=1) = 1/8 = P(a=1|y=1)P(y=1) เนื่องจาก P(y=1) เท่ากันทั้งสองบรรทัด ดังนั้นการเปรียบเทียบ P(y,a) จึงเหมือนกับการเปรียบเทียบ P(a|y) Maximum Likelihood (ML) เมื่อรับ y เข้ามาแล้วมาคำนวณ P(y=1|a=0), P(y=1|a=1), P(y=1|a=2)….. ค่า a ตัวใดที่ค่า Prob สูงสุด เราก็จะคิดว่า ด้านส่ง ส่ง a ตัวนั้น Maximum Posterior Probability (MAP) เมื่อรับ y เข้ามาแล้วมาคำนวณ P(a=0| y=1), P(a=1| y=1), P(a=2|y=1)….. ค่า a ตัวใดที่ค่า Prob สูงสุด เราก็จะคิดว่า ด้านส่ง ส่ง a ตัวนั้น

31. Ex 10. a  {0,1} P(a=0) =1/2 P(a=1)=1/2 n ~ N(0,2) y = a+n  f(y|a=0) = ?  f(y|a=1) = ? P(y<0.5|a=1) = P(error|a=1) P(y>0.5|a=0) = P(error|a=0) 0 0.5 1 y Decision Region : y < 0.5  a = 0 y > 0.5  a = 1 P(error)=P(error|a=0)P(a=0)+P(error|a=1)P(a=1)

32. Homework : • พิสูจน์ว่า MAP = ML เมื่อ P(ai) มีลักษณะ equally likely • พิสูจน์ว่า MAP เป็น Optimal detector ที่ให้P(error) น้อยที่สุด