1 / 113

课件制作：应用数学系 概率统计课程组

概率论与数理统计. 课件制作：应用数学系 概率统计课程组. 参数估计. 7-2. 统 计 推 断. 点 估 计. 参数估 计问题. 区间估 计. 假设检 验问题. 点估计. 区间估计. 什么是参数估计？. 参数是刻画总体某方面的概率特性的数量. 当这个数量是未知的时候，从总体抽出一个 样本，用某种方法对这个未知参数进行估计 就是参数估计. 例如， X ~N (  , 2 ),. 若  ,  2 未知，通过构造样本的函数 , 给出它 们的估计值或取值范围就是参数估计的内容. 参数估计的类型.

eric-ramsey
Download Presentation

课件制作：应用数学系 概率统计课程组

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 概率论与数理统计 课件制作：应用数学系 概率统计课程组

  2. 参数估计

  3. 7-2 统 计 推 断 点 估 计 参数估 计问题 区间估 计 假设检 验问题

  4. 点估计 区间估计 什么是参数估计？ 参数是刻画总体某方面的概率特性的数量. 当这个数量是未知的时候，从总体抽出一个 样本，用某种方法对这个未知参数进行估计 就是参数估计. 例如，X ~N ( , 2), 若,  2未知，通过构造样本的函数, 给出它 们的估计值或取值范围就是参数估计的内容.

  5. 参数估计的类型 点估计(point Estimation) —— 估计未知参数的值 区间估计(interval Estimation)—— 估计未知参数的 取值范围，使得这个范围包含未知参数真值的 概率为给定的值.

  6. 7-5 点估计方法 点估计的思想方法 设总体X 的分布函数的形式已知，但它含有一个或多个未知参数：1,2, ,k 设X1, X2,…, Xn为总体的一个样本 构造 k 个统计量： 随机变量

  7. 7-6 为未知参数 为未知参数 当测得一组样本值(x1, x2,…, xn)时，代入上述 统计量，即可得到 k 个数： 数值 称数 的估计值 对应的统计量 的估计量 如何构造统计量？ aa 如何评价估计量的好坏？

  8. 7-7 利用事件A在 n次试验中发生频率 三种常用的点估计方法 • 频率替换法(Frequency substitution) 作为事件A发生的概率 p的估计量

  9. 7-8 例1设总体X ~ N (  , 2), 在对其作28 次独立 观察中, 事件 “X < 4”出现了21 次, 试用频率替 换法求参数 的估计值. 查表得 于是 的估计值为 解由

  10. 7-9 • 矩法( Method of moment) 用样本的k阶矩作为总体的k阶矩的 估计量, 建立含有待估计参数的方程，从而可解出待估计参数 方法 一般地，不论总体服从什么分布，总体期望  与方差 2存在，则它们的矩估计量分别为

  11. 7-10 事实上，按矩法原理，令

  12. 7-11 设待估计的参数为 设总体的r阶矩存在，记为 设 X1, X2,…, Xn为一样本，样本的 r 阶矩为 令 —— 含未知参数 1,2, ,k 的方程组

  13. 解方程组，得 k个统计量： ——未知参数1,2, ,k 的矩估计量 代入一组样本值得k个数: ——未知参数1,2, ,k 的矩估计值

  14. 令 故 例2设总体 X ~ N (  , 2 ), X1, X2,…, Xn为总体的 样本, 求  , 2 的矩法估计量。 解 例3设总体 X ~ E(), X1, X2,…, Xn为总体的样本, 求的矩法估计量。 解

  15. 例4设从某灯泡厂某天生产的一大批灯泡中 随机地抽取了10只灯泡，测得其寿命为 (单位：小时)： 1050, 1100, 1080, 1120, 1200 1250, 1040, 1130, 1300, 1200 试用矩法估计该厂这天生产的灯泡的平均 寿命及寿命分布的标准差. 解

  16. 例5设总体 X ~ U (a, b), a, b 未知，求 a, b的 矩法估计量. 由于 解 令

  17. 7-16 解得

  18. 例如: 有两个外形相同的箱子,都装有100个球 一号箱 99个白球， 1个红球 一号箱 1个白球， 99个红球 现从两箱中任取一箱，并从箱中任取一球， 结果所取得的球是白球。 • 点估计的极大似然估计法(maximum likelihood) 思想方法：一次试验就出现的 事件有较大的概率 问所取的球来自哪一箱？ 答 ：极有可能是第一箱.

  19. Example:设有甲乙两个口袋，袋中各装有４个同样大小的球，球上分别涂有白色（W)或黑色(B)，已知在甲袋中黑球数为１，乙袋中黑球数为３．Example:设有甲乙两个口袋，袋中各装有４个同样大小的球，球上分别涂有白色（W)或黑色(B)，已知在甲袋中黑球数为１，乙袋中黑球数为３． （１）现任取一袋，再从中任取一球，发现是黑球，试问该球是取自哪一袋？ （２）现任取一袋，再从中有返回地任取三球，发现有一个是黑球，试问该球是取自哪一袋？ 解： （１）设p为抽到黑球的概率，从甲袋中抽一球是黑球的概率为p(甲）＝１／４，从甲袋中抽一球是黑球的概率为p(乙）＝３／４．由于p(乙）＞ p(甲），这便意味着此球来自乙袋的可能性比来自甲袋的可能性大．因此我们会判断该球象是来自乙袋．

  20. （２）设X是抽取三个球中黑球的个数，又设p为袋中黑球所占的比例，则X—B(3,p),即（２）设X是抽取三个球中黑球的个数，又设p为袋中黑球所占的比例，则X—B(3,p),即 在X＝１时，不同p值对应的概率分别为： 由于p(甲）＞ p(乙），因此我们会判断该球象是来自甲袋．

  21. 最大似然估计就是通过样本值 来求得总体的 分布参数,使得 取值为 的概率最大. 基本思想: 如：甲.乙两人比较射击技术,分别射击目标一次,甲中而乙未中, 则可以认为:甲射击技术优于乙射击技术. 实际问题(医生看病、公安人员破案、技术人员进行质量检验等)尽管千差万别,但他们具有一个共同的规律,即在获得了观察资料之后,给参数选取一个数值,使得前面的观察结果出现的可能性最大.

  22. 极大似然估计的基本思想

  23. The method of maximum likelihood was first proposed by the German mathematician C.F.Gauss in 1821. However, the approach is uaually credited to the English statistician R.A.Fisher who rediscovered the idea in his 1922 paper “On the mathematical foundations of theoretical statistics” and first investigated the properties of the method. 简单历史

  24. 假设某理工大学的学生在毕业时尚未通过六级的比率为p，现从中随机抽取100人调查其档案，发现其中有10人六级没过，试用极大似然法估计总体参数p。假设某理工大学的学生在毕业时尚未通过六级的比率为p，现从中随机抽取100人调查其档案，发现其中有10人六级没过，试用极大似然法估计总体参数p。 例1：英语六级未通过率

  25. 解：若六级通过用“0”表示，未通过用“1”表示，则总体X 的分布为 例1：英语六级未通过率 则样本观察值的联合分布（似然函数）为 两边取对数得对数似然函数为： 解得：

  26. 7-18 一般情形 设总体 X 服从0-1分布，且 P (X = 1) = p, 用极大似然法求p的估计值。 解 X 的概率分布可以写成 设 X1, X2,…, Xn为总体 X 的样本, 设 x1, x2,…, xn为总体 X 的样本值, 则

  27. 事件 发生了， 则p的取值应使这个事件发生 的概率最大。 对于不同的 p ,L (p)不同，见右下图 现经过一次试验，

  28. 所以 为所求 p 的估计值. 在容许的范围内选择p ，使L(p)最大 注意到，ln L(p)是 L 的单调增函数，故 若某 个p使ln L(p)最大，则这个p 必使L(p)最大。

  29. 7-21 或 称L( )为样本的似然函数 一般地，设X 为离散型随机变量，其分布律为 X1, X2,…, Xn为总体 X 的样本, x1, x2,…, xn为总体 X 的样本值, 则X1, X2,…, Xn的概率分布为

  30. 7-22 当给定一组样本值时，就是参数 的函数, 极大似然估计法的思想就是： 选择适当的 = ,使 取最大值，即 则称这样得到的 L( ) L( ) 为参数  的极大似然估计值 称统计量 为参数  的极大似然估计量

  31. 7-23 似然函数为 设X的密度函数(或概率分布)为 若随机变量X连续, 取 f (xi, )为Xi的密度函数 注1 未知参数个数可以不止一个, 如1, 2,…, k 注2 则定义似然函数为

  32. 7-24 若对于某组给定的样本值x1, x2,…, xn， 参数 使得似然函数取得最大值，即 则称 若 关于1, 2,…, k 则称 可微， 为似然方程组 为1, 2,…, k的极大似然估计值

  33. 7-25 显然， 称统计量 为1, 2,…, k的极大似然估计量

  34. 7-26 解 例2设总体 X ~ N (, 2), x1, x2,…, xn 是X的 一组样本值，求 ,  2 的极大似然估计.

  35. 7-27 似然 方程 组为 ,  2 的极大似然估计量分别为

  36. EXERCISES

  37. 例3设有一批产品, 根据以往的经验知道它的 产品率 p可能是 0.1 或 0.3. 生产这批产品的厂家 认为该批产品质量很好, 次品率大约为 0.1,而收 购产品的商业部门认为产品质量有问题, 次品率 可能为 0.3. 现从这批产品中随机抽取 15 件,发现 有 5 件次品. 问: 生产厂家与收购部门谁的估计 更可靠些 ?

  38. 解

  39. 7-28 , 使得 2）求出 求未知参数的极大似然估计值(量)的方法 1） 写出似然函数L

  40. 7-29 可求得未知参数的极大似然估计值 L不是 的可微函数, 需用其它 方法(回到原始的定义）求极大似然估计值. 请看下例： 若 若 L是 的可微函数, 解似然方程组 然后, 再求得极大似然估计量.

  41. 7-30 解 X 的密度函数为 例4设 X ~ U (a,b), x1, x2,…, xn 是X的一个样本, 求a , b 的极大似然估计值与极大似然估计量. 似然函数为

  42. 7-31 则对满足 的一切 a < b , 都有 似然函数只有当 a < xi < b, i = 1,2,…, n 时才能 获得最大值, 且 a 越大, b 越小, L 越大. 令 xmin = min {x1, x2,…, xn} xmax = max {x1, x2,…, xn} 取

  43. 7-32 问 题 故 是 a , b 的极大似然估计值. 分别是 a , b 的极大似然估计量. 1) 待估参数的极大似然估计是否一定存在? 2) 若存在, 是否惟一?

  44. 7-33 例5 设 X ~ U ( a – ½, a + ½), x1, x2,…, xn 是X 的一个样本, 求a 的极大似然估计值. 解 由上例可知, 当 时, L取最大值 1, 即 显然, a的极大似然估计值可能不惟一.

  45. 7-34 不仅如此, 任何一个统计量 若满足 都可以作为a的估计量.

  46. 常见分布的极大似然估计

  47. 7-35 设 是 的极大似然估计值, u( ) (   )是 则 是 u( ) 的极大似然估计值. 极大似然估计值的不变性原理 (invariance property of MLEs)  的函数，且具有单值的反函数  =  (u), uU

  48. 7-36 是 2的单值函数，且具有单值的 反函数，故 的极大似然估计值为 如：在正态分布总体N (, 2)中， 2的极大 似然估计值为 lg 的极大似然估计值为

  49. 7-37 矩估计就不具有这个性质. 例如 设X 的密度函数为 X1, X2,…, Xn为总体的样本

  50. 7-38 由矩法，令 得 与 2的矩法估计量为 —— 不具有不变性

More Related