概率论与数理统计第 16 讲

1. 概率论与数理统计第16讲 本讲义可在网址http://math.shekou.com 或 ftp://math.shekou.com 下载

2. §4.3 协方差与相关系数

3. 对多维随机变量, 随机变量的数学期望和方差只反映了各自的平均值与偏离程度, 并没能反映随机变量之间的关系. 本节将要讨论的协方差是反映随机变量之间依赖关系的一个数字特征.

4. 在证明方差的性质时, 我们已经知道, 当X与Y相互独立时, 有E{[X-E(X)][Y-E(Y)]}=0反之则说明, 当E{[X-E(X)][Y-E(Y)]}0时, X与Y一定不相互独立. 这说明量E{[X-E(X)][Y-E(Y)]}在一定程度上反映了随机变量X与Y之间的关系.

5. 一, 协方差的定义定义1设(X,Y)为二维随机向量, 若E{[X-E(X)][Y-E(Y)]}存在, 则称其为随机变量X和Y的协方差, 记为cov(X,Y), 即cov(X,Y)=E{[X-E(X)][Y-E(Y)]}. (3.1)

6. cov(X,Y)=E{[X-E(X)][Y-E(Y)]}按定义, 若(X,Y)为离散型随机变量, 其概率分布为P{X=xi, Y=yj}=pij (i,j=1,2,)则

7. cov(X,Y)=E{[X-E(X)][Y-E(Y)]}若(X,Y)为连续型随机变量, 其概率密度为f(x,y), 则

8. cov(X,Y)=E{[X-E(X)][Y-E(Y)]}此外, 利用数学期望性质, 易将协方差的计算化简cov(X,Y)=E(XY)-E(X)E(Y) (3.4)事实上cov(X,Y)=E{[X-E(X)][Y-E(Y)]} =E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y) =E(XY)-E(X)E(Y)特别地, 当X与Y独立时, 有cov(X,Y)=0

9. 二, 协方差的性质1. 协方差的基本性质(1) cov(X,X)=D(X);(2) cov(X,Y)=cov(Y,X);(3) cov(aX,bY)=abcov(X,Y), a,b为常数;(4) cov(C,X)=0, C为常数;(5) cov(X1+X2,Y)=cov(X1,Y)+cov(X2,Y).(6) 若X,Y相互独立时, 则cov(X,Y)=0.

10. 2.随机变量和方差与协方差的关系D(XY)=D(X)+D(Y)2cov(X,Y), (3.5)特别地, 若X与Y相互独立时, 则D(XY)=D(X)+D(Y)注:①上述结果可推广至n维情形:

11. ②若X1,X2,,Xn两两独立, 则 ③可以证明: 如果X,Y的方差存在, 则 (3.6)

12. 例1已知离散型随机向量(X,Y)的概率分布为 求cov(X,Y)

13. 解 计算E(X), xipij 求和 E(X)=0.95

14. 计算E(Y), yjpij 求和 E(Y)=-0.15

15. 计算E(XY), xiyjpij 求和 E(XY)=0

16. E(X)=0.95, E(Y)=-0.15, E(XY)=0于是cov(X,Y)=E(XY)-E(X)E(Y) =0.950.15=0.1425

17. 例2设连续型随机变量(X,Y)的密度函数为 求cov(X,Y)和D(X+Y). 解 由(X,Y)的密度函数求边缘密度函数

18. 于是

19. 从而得 又

20. 所以 故

21. 三, 相关系数的定义协方差是对两个随机变量的协同变化的度量, 其大小在一定程度上反映了X和Y相互间的关系, 但它还受X与Y本身度量单位的影响. 例如, kX与kY之间的统计关系与X与Y之间的统计关系应该是一样的, 但其协方差却扩大了k2倍, 即cov(kX,kY)=k2cov(X,Y)

22. 为了避免这一点, 可将每个随机变量标准化, 即取 并将cov(X*,Y*)作为X与Y之间相互关系的一种度量, 而

23. 定义2设(X,Y)为二维随机变量, D(X)>0, D(Y)>0, 称 为随机变量X和Y的相关系数. 有时也记rXY为r. 特别地, 当rXY=0时, 称X与Y不相关.

24. 四, 相关系数的性质1. |rXY|1

26. 2.若X和Y相互独立, 则rXY=0. 但反之不成立.注:进一步有: rXY=0cov(X,Y)=0 E(XY)=E(X)E(Y)D(XY)=D(X)+D(Y).3.若D(X)>0, D(Y)>0, 则|rXY|=1当且仅当存在常数a(a0), 使P{Y=aX+b}=1.而且当a>0时, rXY=1, 当a<0时, rXY=-1.

27. 证明 必要性. 当rXY=1时

28. 由方差的性质可知, 存在常数C使 则有P{Y=aX+b}=1, (a0) 当rXY=1时, a>0, 当rXY=-1时, a<0.

29. 充分性. 若P{Y=aX+b}=1(a0), 于是

30. 注: ①相关系数rXY刻画了随机变量Y与X之间的"线性相关"程度.|rXY|的值越接近1, Y与X的线性相关程度越高;|rXY|的值越接近0, Y与X的线性相关程度越弱;当|rXY|=1时, Y与X的变化可完全由X的线性函数给出.当rXY=0时, Y与X之间不是线性关系.

31. ②当rXY=0时, 只说明Y与X没有线性关系. 并不能说明Y与X之间没有其它函数关系. 从而不能推出Y与X独立.4. 设e=E[Y-(aX+b)]2, 称为用aX+b来近似Y的均方误差, 则有下列结论:设D(X)>0, D(Y)>0, 则 使均方误差达到最小.

32. 证明 因e=E[Y-(aX+b)]2 =E(Y2)+a2E(X2)+b2-2aE(XY)+2abE(X)- 2bE(Y).由 解得

33. 注: 我们可用均方误差e来衡量以aX+b近似表示Y的好坏程度, e值越小表示aX+b与Y的近似程度越好. 且知最佳的线性近似为a0X+b0, 这时的均方误差为 从这个侧面也能说明|rXY|越接近1, e越小, 反之, |rXY|越接近于0, e就越大, Y与X的线性相关性越小.

34. 例3设(X,Y)的分布律为 易知E(X)=0, E(Y)=5/2, E(XY)=0, 于是rXY=0, X,Y不相关. 但显然X,Y不是相互独立的, 事实上X和Y有关系: Y=X2.

35. 例4设q服从[-p, p]上均匀分布, X=sinq, Y=cosq判断X与Y是否不相关, 是否独立?解XY显然不独立, 由于 所以X与Y不相关.

37. 又因 故

38. 例6设(X,Y)服从二维正态分布, 它的概率密度为 求X和Y的相关系数rXY.

39. 解 在上式中令

40. 则 而指数上的 t2-2rtu+u2=t2-2rtu+(ru)2+u2-(ru)2 =(t-ru)2+u2(1-r2), 因此

41. 因此, 于是

42. 因此二维正态随机变量(X,Y)的概率密度中的参数r就是X和Y的相关系数, 因而二维正态随机变量的分布完全可由X,Y各自的数学期望, 方差以及它们的相关系数所确定.注:若(X,Y)服从二维正态分布, 则X与Y相互独立, 当且仅当X与Y不相关.

43. 五, 矩的概念定义3设X和Y为随机变量, k,l为正整数, 称E(Xk) 为k阶原点矩(简称k阶矩);E([X-E(X)]k为k阶中心矩;E(|X|k) 为k阶绝对原点矩;E(|X-E(X)|k) 为k阶绝对中心矩;E(XkYl) 为X和Y的k+l阶混合矩;E{[X-E(X)]k[Y-E(Y)]l} 为X和Y的k+l阶混合中心矩.

44. 注: 由定义可见:①X的数学期望E(X)是X的一阶原点矩;②X的方差D(X)是X的二阶中心矩;③协方差cov(X,Y)是X和Y的二阶混合中心矩.

45. 六, 协方差矩阵将二维随机变量(X1,X2)的四个二阶中心矩c11=E{[X1-E(X1)]2}, c22=E{[X2-E(X2)]2},c12=E{[X1-E(X1)][X2-E(X2)]},c21=E{[X2-E(X2)][X1-E(X1)]}排成矩阵的形式: (对称矩阵) 称此矩阵为(X1,X2)的协方差矩阵.

46. 类似定义n维随机变量(X1,X2,,Xn)的协方差矩阵.若 cij=cov(Xi,Xj) =E{[Xi-E(Xi)][Xj-E(Xj)]} i,j=1,2,,n都存在, 则称 为(X1,X2,,Xn)的协方差矩阵.

47. 七, n维正态分布的概率密度二维正态随机变量(X1,X2)的概率密度为

48. 易验算 故二维正态随机变量(X1,X2)的概率密度可用矩阵表示为 其中(X-m)T是(X-m)的转置.

49. 进一步, 设XT=(X1,X2,,Xn)是一个n维随机向量, 若它的概率密度为 则称X服从n维正态分布. 其中, C是(X1,X2,,Xn)的协方差矩阵, |C|是它的行列式, C-1表示C的逆矩阵, X和m是n维列向量, (X-m)T是(X-m)的转置.

50. 八, n维正态分布的几个重要性质1. n维正态变量(X1,X2,,Xn)的每一个分量Xi(i=1,2,,n)都是正态变量; 反之, 若X1,X2,,Xn都是正态变量, 且相互独立, 则(X1,X2,,Xn)是n维正态变量.注: 性质中若不具有独立性, 则反之不一定成立.