第七章参数估计

第七章参数估计 • 数理统计的基本问题之一是根据样本所提供的信息，对总体的分布以及分布的数字特征做出统计推断．统计推断的主要内容分为两大类：一类是参数估计问题，另一类是假设检验问题．本章主要讨论参数估计问题．这里的参数可以是总体分布中的未知参数，也可以是总体的某个数字特征．若总体分布形式已知，但它的一个或多个参数未知或总体的某个数字特征未知时，就需借助总体X的样本来估计未知参数．以下主要讨论总体参数的点估计和区间估计． • §7.1 点估计

一．矩估计 • 参数的点估计(Point Estimation)，就是利用样本的信息对总体分布中的未知参数作定值估计．设总体X的分布函数形式为已知，但它的一个或多个参数为未知，我们的目的是构造一个相应的统计量 • 去估计该未知参数，即借助于总体X的一个样本来估计总体的未知参数，这种估计称为参数的点估计．下面给出两种点估计量的求法．

矩估计(Moment Estimation) 又称数字特征法估计，它的基本思想是用样本矩估计总体的相应矩，用样本的数字特征估计总体相应的数字特征．若总体X中包含k个未知参数θ1，θ2，…，θk，记总体原点矩 • ，则由样本原点矩可建立如下k个方程的方程组． • 即（7-1）

注意：上述方程的右端实际上包含有未知参数θ1，θ2，…，θ，因此，（7-1）是k个未知量、k个方程的一个方程组，一般来说，我们可以从中解得注意：上述方程的右端实际上包含有未知参数θ1，θ2，…，θ，因此，（7-1）是k个未知量、k个方程的一个方程组，一般来说，我们可以从中解得 • 它们就是未知参数θ1，θ2，…，θ的矩估计．另外，（7-1）中也可用相应的中心矩代替．利用矩估计求出的估计量称为矩估计量，这种求估计量的方法称为矩法．

可以看出，无论总体X服从什么分布，只要EX=μ，DX=σ2存在，它们的矩估计量总是可以看出，无论总体X服从什么分布，只要EX=μ，DX=σ2存在，它们的矩估计量总是 • 矩估计既直观又简便，特别是在估计总体的均值、方差等数字特征时，不必知道总体的分布类型，这是矩估计的优点．矩估计的不足之处是要求总体存在所需的矩，在总体分布类型已知的情形下，矩估计也未充分利用总体分布类型提供的信息，这时它的精度可能比别的估计法低．

二．最大似然估计 • 矩估计不涉及总体的分布类型，而实际问题中总体的分布类型常常是已知的，这正是估计总体参数的一个有用信息．在估计参数时，我们应充分利用这些信息，以下给出在总体分布类型已知时的最大似然估计(Maximum Likelihood Estimation)． • 1. 最大似然估计法的基本思想：

在随机抽样中，对于随机样本 • 记它的取值为，由于 • 是随机的，在一次抽样中居然取到 • 则我们有理由认为该随机样本取到 • 的概率最大．从而可选取适当的参数，使其取到该样本值的概率达到最大，这就是最大似然估计的基本思想．先看一个例子，然后分别讨论离散情形和连续情形．

2.最大似然估计的基本步骤 • （1）总体分布为离散的情形 • 总体X的概率分布， • 其中θ1，θ2，…，θ是总体分布中的未知参数，这时样本值（）出现的概率是 • （7-2） • 记此概率为，即

（7-3） • 它是参数的函数，选择参数值 • 使（7-4） • 并用作为的估计值，这种求估计值的方法称为最大似然估计法；用这种方法求得的估计值叫做的最大似然估计值；而称为参数的似然函数(Likelihood Function)． • 如果似然函数对的导数或偏导数存在，那么根据多元函数极值理论

应有 • （7-5） • 从中解出的最大值点即为最大似然估计值． • 由于对数函数lnL是单调增加的，所以L和有相同的最大值点．利用这一事实，可将最大化L的问题转化为最大化lnL，这样，往往可简化最大似然估计的求法．通常将lnL称为对数似然函数． • (2) 总体分布为连续的情形

设总体X的概率密度是 ，其中θ1，θ2，…，θk为未知参数．考察随机样本（X1，X2，…，Xn）落在样本值（ • ）的指定邻域内的概率 • 其中都是充分小的常量．令

，（7-6） • 由于是常数，所以上述概率达到最大，当且仅当L（θ1，θ2，…，θk）达到最大．这里的L（θ1，θ2，…，θk）称为似然函数，满足 • 的称为的最大似然估计；这种求估计值的方法同样称为最大似然法．具体做法与情形（1）相同．

第七章参数估计