第 10 章 主成分分析与因子分析

1. 第10章　主成分分析与因子分析 • 实际工作中，为了全面系统地反映问题，往往收集的变量较多，但这样就会经常出现所收集的变量间存在较强相关关系的情况。这些变量间存在着较多的信息重复，直接用它们分析现实问题，不但模型复杂，还会因为变量间存在的多重共线性而引起极大的误差。 • 为了能够充分而有效的利用数据，通常希望用较少的新指标代替原来较多的旧变量，同时要求这些新指标尽可能地反映原变量的信息。主成分分析和因子分析正是解决此问题最有效的多元统计方法，它们能够提取信息，使变量简化降维，从而使问题更加简单直观，在经济、社会等领域得到广泛应用。

2. 10.1 主成分分析 主成分分析是考察多个变量间相关性的一种多元统计方法。它是研究如何通过少数几个主分量来解释多个变量间的内部结构。也就是说，从原始变量中导出少数几个主分量，使它们尽可能多地保留原始变量的信息，且彼此间互不相关。主成分分析的应用目的可以被简单归结为两句话：数据的压缩、数据的解释。它常被用来寻找判断某种事物或现象的综合指标，并且给综合指标所包含的信息以适当的解释，从而更加深刻的揭示事物的内在规律。

3. 10.2 主成分分析的数学模型 通常数学上的处理是将原来的个指标作线性组合，作为新的综合指标。如果将选取的第一个线性组合即第一个综合指标记为，一般自然希望中尽可能多地反映原来指标的信息，这里的“信息”用什么表示呢？最经典的方法就是用的方差来表达，即越大，则表示包含的信息越多。因此在所有的线性组合中所选取的第1主成分应该是方差最大的。如果第1主成分不足以完全代表原来个指标的信息，再考虑选第2个线性组合，即第2主成分，

4. 依次类推可以造出第3，第4，⋯，第个主成分。这些主成分间互不相关，且方差递减。在实际应用中，通常只选前面几个最大的主成分，虽然这样损失了部分信息，但抓住了主要矛盾，并从原始变量中进一步提取了某些信息，从而既减少了变量的数目又抓住了主要矛盾，有利于问题的分析和处理。依次类推可以造出第3，第4，⋯，第个主成分。这些主成分间互不相关，且方差递减。在实际应用中，通常只选前面几个最大的主成分，虽然这样损失了部分信息，但抓住了主要矛盾，并从原始变量中进一步提取了某些信息，从而既减少了变量的数目又抓住了主要矛盾，有利于问题的分析和处理。

5. 10.2.1 主成分模型中各统计量的意义 （１）特征根：它可以被看成是主成分影响力度的指标，代表引入该主成分后可以解释平均多少原始变量的信息。如果特征根小于１，说明该主成分的解释力度还不如直接引入一个原变量的平均解释力度大。因此一般可以用特征根大于１作为纳入标准。 （２）主成分的方差贡献率：其计算公式为表明主成分的方差在全部方差中的比重。这个值越大，表明主成分综合信息的能力越强。

6. （３）累计贡献率：前个主成分的累计贡献率定义为，表示前面个主成分累计提取了多少的信息。一般来说，如果前个主成分的贡献率达到85％，表明前个主成分基本包含了全部测量指标所具有的信息，这样既减少了变量的个数又便于对实际问题的分析和研究。（３）累计贡献率：前个主成分的累计贡献率定义为，表示前面个主成分累计提取了多少的信息。一般来说，如果前个主成分的贡献率达到85％，表明前个主成分基本包含了全部测量指标所具有的信息，这样既减少了变量的个数又便于对实际问题的分析和研究。

7. 10.2.2 主成分分析的步骤 主成分分析常常通过以下４步解决： （１）对原来的个指标进行标准化，以消除变量在数量极或量纲上的影响。 （２）根据标准化后的数据矩阵求出协方差或相关阵。 （３）求出协方差矩阵的特征根和特征向量。 （４）确定主成分，结合专业知识给各主成分所蕴含的信息给予适当的解释。

8. SPSS中没有把主成分分析作为一种独立的分析方法，而是和因子分析共用一个过程，因此在SPSS中进行主成分分析时会输出许多因子分析中的结果，但是这并不影响分析结果的准确性，而且相应的输出都可以根据因子分析模型和主成分分析模型之间的关系进行转换。SPSS中没有把主成分分析作为一种独立的分析方法，而是和因子分析共用一个过程，因此在SPSS中进行主成分分析时会输出许多因子分析中的结果，但是这并不影响分析结果的准确性，而且相应的输出都可以根据因子分析模型和主成分分析模型之间的关系进行转换。

9. 10.2.3 主成分分析的用途 如前所述，主成分分析往往会在大型研究中成为一个中间环节，用于解决数据信息浓缩等问题，这就可能产生各种各样的组合方法。这里仅举最为典型的两种应用情况。 （１）主成分评价 在进行多指标综合评价时，由于要求评价结果客观、全面，就需要从各个方面用多个指标进行测量，但这样就使得观测指标间存在信息重叠，同时还会存在量纲、累加时如何确定权重系数等问题。为此就可以使用主成分分析方法进行信息的浓缩，并解决权重的确定等问题。本章最后的综合分析实例即为此类问题。

10. （２）主成分回归 在线性回归模型中，常用最小二乘法求回归系数的估计。但是当存在多重共线性时，最小二乘法的估计结果并不很理想，因为此时它的均方误差大，使估计不稳定。这时可考虑用主成分回归求回归系数的估计，所谓主成分回归是用原自变量的主成分代替原自变量作回归分析。多重共线是由自变量之间关系复杂、相关性大引起的，而主成分既保留了原指标的绝大部分信息，又有主成分间互不相关的优点，故用主成分替代原指标后，再用最小二乘法建立主成分与目标变量间回归方程所得的回归系数估计能克服“估计不稳定”的缺点。但主成分估计不是无偏估计。

11. 10.2.4．分析实例 例10.1我们对100个学生的成绩进行分析，具体的6项成绩指标是数学、物理、化学、语文、历史、英语。的成绩的数据，数据文件student.sav。

12. 这是一个综合分析问题，八项指标较多，可以用主成分分析法进行综合。打开文件后在SPSS中的操作如下：这是一个综合分析问题，八项指标较多，可以用主成分分析法进行综合。打开文件后在SPSS中的操作如下： 选择菜单： 【分析】【降维】【因子分析】于是出现如图10.3所示的窗口。

13. 选择参与主成分分析的变量到【变量】框中，点击【描述】于是出现如图10.4所示的窗口选择参与主成分分析的变量到【变量】框中，点击【描述】于是出现如图10.4所示的窗口

14. SPSS在调用因子分析过程进行分析时，首先会自动对原始变量进行标准化，因此以后的输出结果中在通常情况下都是指标准化后的变量。在结果输出中会涉及一些因子分析中的内容，因此这里仅给出与主成分分析有关的部分如下： SPSS在调用因子分析过程进行分析时，首先会自动对原始变量进行标准化，因此以后的输出结果中在通常情况下都是指标准化后的变量。在结果输出中会涉及一些因子分析中的内容，因此这里仅给出与主成分分析有关的部分如下： 表10.1 相关矩阵

15. 表10.2给出的是各成分的方差贡献率和累计贡献率，由表10.2可知，只有前2个特征根大于１，因此SPSS只提取了前二个主成分。第一主成分的方差所占所有主成分方差的62.254%，前二个主成分的方差贡献率达到81.142%，因此选前二个主成分已足够描述学生成绩的水平。

16. 在表10.3中的输出为主成分系数矩阵，可以说明各主成分在各变量上的载荷，从而得出各主成分的表达式，这里每一列代表一个主成分作为原来变量线性组合的系数（比例）。比如第一主成分为数学、物理、化学、语文、历史、英语这六个变量的线性组合，系数（比例）为-0.806, -0.674, -0.675, 0.893, 0.825, 0.836。

17. 10.3 因子分析 • 因子分析是由Charles Spearman在1904年首次提出，并在其后半生一直致力于发展此理论，使之最终成为了现代统计学的重要分支，因此它被公认为因子分析之父。因子分析在某种程度上可以被看成是主成分分析的推广和扩展，它对问题的研究更为深入，是将具有错综复杂关系的变量（或样品）综合为数量较少的几个因子，以再现原始变量与因子之间的相互关系，探讨多个能够直接测量，并且具有一定相关性的实测指标是如何受少数几个内在的独立因子所支配的，同时根据不同因子还可以对变量进行分类，属于多元分析中处理降维的一种统计方法。

18. 10.4 因子分析数学模型 • 因子分析是通过研究多个变量间相关系数矩阵（或协方差矩阵）的内部依赖关系，找出能综合所有变量的少数几个随机变量，这几个随机变量是不可测量的，通常称为因子。然后根据相关性的大小把变量分组，使得同组内的变量之间相关性较高，但不同组的变量相关性较低。 • 各个因子间互不相关，所有变量都可以表示成公因子的线性组合。因子分析的目的就是减少变量的数目，用少数因子代替所有变量去分析整个经济问题。

20. （１）样本量不能太小。对于因子分析而言，要求样本量比较充足，否则结果可能不太可靠。一般而言，要求样本量至少是变量数的５倍以上，如果要想得到比较理想的结果，则应该在１０倍以上。其次，除了比例关系外，样本总量也不能太少，按理论要求应该在１００以上。不过在实际的经济和社会问题中，很多时候样本量都达不到这个要求，这时也可以适当放宽要求，通过检验来判断结果的可靠性。（１）样本量不能太小。对于因子分析而言，要求样本量比较充足，否则结果可能不太可靠。一般而言，要求样本量至少是变量数的５倍以上，如果要想得到比较理想的结果，则应该在１０倍以上。其次，除了比例关系外，样本总量也不能太少，按理论要求应该在１００以上。不过在实际的经济和社会问题中，很多时候样本量都达不到这个要求，这时也可以适当放宽要求，通过检验来判断结果的可靠性。

21. （２）各变量间应该具有相关性。如果变量间彼此独立，则无法从中提取公因子，也就谈不上因子分析法的应用。在SPSS中，可以通过Bartlett球形检验来判断，如果相关阵是单位阵，则各变量独立，因子分析法无效。（２）各变量间应该具有相关性。如果变量间彼此独立，则无法从中提取公因子，也就谈不上因子分析法的应用。在SPSS中，可以通过Bartlett球形检验来判断，如果相关阵是单位阵，则各变量独立，因子分析法无效。 • （３）KMO检验。KMO检验用于检查变量间的偏相关性，取值在0～1之间。KMO统计量越接近于1，变量间的偏相关性越强，因子分析的效果越好。实际分析中，KMO统计量在0.7以上时，效果比较好；而当KMO统计量在0.5以下时，此时不适合应用因子分析法，应考虑重新设计变量结构或者采用其他统计分析方法。

22. （４）因子分析中各公因子应该具有实际意义。在主成分分析中，各主成分实际上是矩阵变换的结果，因此意义不明显并不重要。但是在因子分析中，提取出的各因子应该具有实际意义，否则就应该重新设计要测量的原始变量。（４）因子分析中各公因子应该具有实际意义。在主成分分析中，各主成分实际上是矩阵变换的结果，因此意义不明显并不重要。但是在因子分析中，提取出的各因子应该具有实际意义，否则就应该重新设计要测量的原始变量。

23. 10.4.2　简单分析实例 在前面我们对100个学生的成绩进行了主成分分析，最终的结果并不是十分明确，现在采用因子分析法进行分析，操作如下： 1) 选择菜单： 【分析】【降维】【因子分析】 2）选择参与主成分分析的变量到【变量】框中，点击【描述】弹出子窗口选中【KMO和Bartlett的球形度检验】【继续】如图10.5

24. 3）点击【抽取】按钮，弹出因子分析抽取子窗口，选中【碎石图】【继续】如图10.6所示。 3）点击【抽取】按钮，弹出因子分析抽取子窗口，选中【碎石图】【继续】如图10.6所示。

25. 表10.7为我们可以计算出每个学生的第一个因子和第二个因子的大小，即算出每个学生的因子得分和。表10.7为我们可以计算出每个学生的第一个因子和第二个因子的大小，即算出每个学生的因子得分和。