第七章主成分分析

第七章主成分分析 第一节引言主成分分析（或称主分量分析）是一种通过降维技术把多个变量化为少数几个主成分（即综合变量）的统计分析方法。主成分分析的一般目的是： (1)变量的降维； (2)主成分的解释。

为便于对主成分分析的理解，我们考虑（间隔）为便于对主成分分析的理解，我们考虑（间隔）变量个数的情形，假设共有n个样品，每个样品都测量了两个变量（），它们大致分布在一个椭圆内，如图7.1.1所示。显然在坐标系中，n 个点的坐标和呈现某种线性相关性。我们将该坐标系按逆时针方向旋转某个角度变成新坐标系。

是椭圆的长轴方向，是短轴方向。 旋转公式为 . 图 7.1.1

设为一个 维随机向量，并假设二阶矩存在，记。考虑如下的线性变换第二节总体的主成分一、主成分的定义及导出

将限制为单位向量，即， 希望在此约束条件下寻求向量，使得达到最大，就称为第一主成分。由于对任意的常数k ，有如果不对加以限制，就不能保证是的一切线性函数中方差最大的。

设（因为 非负定）为的特征值，为相应的单位特征向量，且相互交叉。则由（1.6.1）式知，其中为正交矩阵。

当取时，有 所以，就是所求的第一主成分，它的方差具有最大值。由于

如果第一主成分所含信息不够多，还不足以 代表原始的个变量，则需考虑使用，在约束条件和下寻求向量，使得达到最大，所求得称为第二主成分。类似的，我们可以再定义第三个主成分，，第个主成分。

一般来说，的第个主成分 是指：在约束条件和下寻求，使得达到最大。现在来求第二主成分，有（7.2.5）式知于是

若取，则有 所以，就是所求的第二主成分，具有方差。从而

由于故二、主成分的性质 1、主成分的均值和协方差矩阵记

由于所以或由此可以看出，主成分分析把个原始变量的总方差分解成了个不相关变量的方差之和。 2、主成分的总方差

总方差属于第个主成分（或被 所解释）的比例为称为主成分的贡献率。第一主成分的贡献率最大，表明它解释原始变量的能力最强，而的解释能力依次递减。

前个主成分的贡献率之和 称为主成分的累积贡献率，它表明解释的能力。通常取（相对于）较小的，使得累计贡献达到一个较高的百分比（80%~90%）。

3、原始变量与主成分之间的相关系数 由（7.2.7）式知即所以

4、个主成分对原始变量的贡献率 与的复相关系数的平方、称为个主成分对原始变量的贡献率，记为。由（3.3.15）式知

由式知，对 的贡献率 ,所以

例 7.2.1 设 的协方差矩阵为其特征值为相应的特征向量为

若只取一个主成分，则贡献率为 进一步计算主成分对每一个原始变量的贡献率，并列于表7.2.1中。表7.2.1

可见，对第三个变量的贡献率为零，这 是因为与和都不相关，在中未包含一点有关的信息，这时仅取一个主成分就显得不够了，故应再取，此时累积贡献率为：对每一个变量贡献率分别为，都比较高。

（7.2.7）式也可以表达为 称为第主成分在第个原始变量上的载荷，它度量了对的重要程度。在解释主成分时，我们需要考察载荷，同时也应考察一下相关系数。由（7.2.14）式知，相关系数是与载荷成正比的。 5 、原始变量对主成分的影响

由于，故 实际上是的加权平均，大的倾向于中前几个有较小的绝对值;相反，小的倾向于中前几个有较小的绝对值，而后几个有较大的绝对值。由（7.2.16）式知

因此，从 式可见，方差大的那些变量与具有大特征值的主成分有较密切的联系，而方差小的另一些变量与具有小特征值的主成分有较强的联系。通常我们取前几个主成分，因此所取主成分会过于照顾方差大的变量，而对方差小的变量却照顾的不够。

因此，当在总方差 中占有大的比例时，第一主成分将有（更加）大的贡献率。从（7.2.17）式容易看出

例 7.2.2 设 的协方差矩阵为经计算，的特征值及特征向量为

可见，方差大的原始变量 在很大程度上控制了第一主成分 ,方差小的原始变量几乎完全控制了第三主成分，方差介于中间的则基本控制了第二主成分。相应的主成分分别为

的贡献率为 这么高的贡献率首先归因于的方差比和的方差大得多，其次是相互之间存在着一定的相关性。的特征值相对较小，表明之间有这样一个线性依赖关系：其中为一常数

显然， 的协方差矩阵就是的相关矩阵。三、从相关矩阵出发求主成分为使主成分分析能够均等的对待每一个原始变量，（单位不全相同时）消除由于单位的不同而可能带来的一些不合理的影响，常常将各原始变量作标准化处理，即令

设为的 个特征值，为相应的单位特征向量，且相互正交，则个主成分为记于是

即有上述主成分具有的性质可概括如下：

因此，在解释主成分时，由相关矩阵 求得的载荷和相关系数所起的作用是完全相同的。

例 7.2.3 在例7.2.2中，的相关矩阵 的特征值及特征向量为

的贡献率为 和累积贡献率为相应的主成分分别为

设数据矩阵为 第三节样本的主成分

其中为样本均值。可以用 代替。用代替，然后从或出发按类似于上一节的方法求得样本主成分。则样本协方差矩阵和样本相关矩阵分别为

一、从出发求主成分 设为的特征值，为相应的单位特征向量，且彼此正交。则第样本主成分为，它具有样本方差，各主成分之间的样本协方差为零。

与的样本相关系数 其中此外，样本总方差

在实际应用中，常常让减去 ，使样本数据中心化。这不影响样本协方差矩阵，在前面的论述中唯一需要变化的是，将第主成分改写成中心化的形式，即若将各观察值代替上式中的观察值向量，则第主成分的值称之为观察值的第主成分得分。

所有观察值的平均主成分得分

二、从出发求主成分 设样本相关矩阵的个特征值为为相应的正交单位特征向量，则第个样本主成分其中是各分量经（样本）标准化了的向量，即

令这是的各分向量数据经标准化后的数据向量，将其代替（7.3.6）式中的，即得观察值在第主成分上的得分所有观察值的平均主成分得分

例7.3.1 在制定服装标准的过程中，对128 名成年男子的身高进行了测量，每人测得的指标中含有这样六项：身高、坐高、胸围、手臂长、肋围和腰围。所得样本相关矩阵列于表7.3.1 。

经计算，相关矩阵 的前三个特征值、相应的特征向量以及贡献率列于表7.3.2 表7.3.1 男子身材六项指标的样本相关矩阵

表7.3.2 的前三个特征值、特征向量以及贡献率

前三个主成分分别为

由于非常小，所以存在这样一个共线性关系：为了研究六个原始变量间是否存在共线性，我们需要看一下最后一个主成分，计算结果为

例 7.3.2 对例6.3.3中的数据从相关矩阵出发进 行主成分分析。经计算，的样本相关矩阵列于表7.3.3。的前三个特征值、特征向量以及贡献率列于表7.3.4。

表7.3.3 消费性支出八个变量的样本相关矩阵

表7.3.4 的前三个特征值、特征向量以及贡献率

表7.3.5 按第一主成分排序的31个地区

第七章 主成分分析