多元统计分析-第五章 聚类分析
第五章聚类分析
第一节聚类分析的基本思想
俗话说“物以类聚，人以群分”，在现实世界存在大量的分类问题。例如，根据考试成绩的高低将某年级学生分成优、良、中、差；根据学校的师资、设备、学生的情况将大学分成一流大学、二流大学、三流大学；根据人均GDP、人均消费水平等多个变量将世界各国划分为发达国家、发展中国家等。
在古老的分类学中，人们主要靠经验和专业知识来实现分类，很少利用数学方法，致使许多分类带有主观性和任意性，不能很好地揭示客观事物内在的本质差别。随着生产技术和科学的发展，人们对事物的认识不断加深，使得分类越来越细，要求越来越高，为了克服古老分类学的不足，统计这个有用的工具逐渐被引进到分类学中，形成了数值分类学。随着多元统计分析方法的发展，多元分析的技术自然被引进到分类学中，于是从数值分类学中分离出聚类分析这个相对独立的新的分支。
聚类分析方法发展很快，并且在经济、管理、地质勘探、天气预报、生物分类、考古学、医学、心理学以及制定国家标准和区域标准等许多方面都取得了很有成效的应用，因而也使其成为国内外较为流行的多变量统计分析方法之一。
聚类分析是研究“物以类聚”的一种现代多元统计分析方法。其基本思想为：由于所研究的样品或变量之间存在着程度不同的相似性（或称亲疏关系），于是根据一批样品的多个观测变量，具体找出一些能够度量样品或变量之间相似程度的统计量，以这些统计量为划分类型的依据，把一些相似程度较大的样品或变量聚为一类，把另外一些彼此之间相似程度较大的样品或变量聚为另外一类，关系密切的聚合到一个小的分类中，关系疏远的聚合到一个大的分类中，直到把所有的样品或变量都聚合完毕，把不同的类型一一划分出来，形成一个由小到大的分类系统，作后再把整个分类系统画成一张分类图（又称谱系图），用它把所有的样品或变量间的亲疏关系表示出来。
通常描述样品或变量间相似性或亲疏远关系的思路有两种；一是把每个样品看成是p维（变量的个数为p个）空间的一个点，在p维坐标系中，确定点与点之间的某种距离；另一种是用某种相似系数来描述变量与变量之间的相似或疏远程度。
聚类分析不仅可以用来对样品分类，也可用来对变量分类。对样品分类常称为Q型聚类分析，对变量分类称为R型聚类分析。在经济管理中多采用Q型聚类分析方法。然而反映事物某一方面的变量有很多，我们往往根据所研究的问题选择部分变量对事物的某一方面进行研究。但是变量之间往往是相互联系的，很难找出彼此独立的有代表性的变量，从而影响对问题的进一步认识，为此可以先对变量进行聚类，在信息量丢失相对少的情况下。找出相关性较低且具有代表型的变量对问题进行分析。
聚类分析若与判别分析、主成分分析、回归分析等其它多元统计分析方法联合起来使用，其效果往往更好。
第二节相似性度量
为了从复杂的数据集中产生出比较简单的类结构，势必要进行“接近程度”或“相似性”的度量。在相似性度量的选择中通常会渗入相当大的主观性，但是需要考虑的重要问题是变量的性质（离散型、连续型）、观测值的尺度（名义尺度、顺序尺度、间隔尺度和比率尺度）
以及有关知识。
对于变量的性质（连续型、离散型）在第三章已有详细阐述。在此只对观测值的尺度加以说明。变量按测量值尺度的不同有四类：
1.间隔尺度变量：变量是用连续的量来表示的，如长度、重量、速度，温度等。
2.比率尺度变量：比率尺度变量与间隔尺度变量意义相近，差别在于间隔尺度中的“0”值表示变量的一个取值，不表示“没有”，如在测定温度的摄氏表中，0度并不表示没有温度。而在比率尺度的变量中，“0”值表示没有。但本书并不严格区分比率尺度和间隔尺度。
3.顺序尺度的变量：变量度量时不用明确的数值表示，而是用等级来表示，等级之间有次序关系，如产品分为一等品、二等品、三等品。
4.名义尺度的变量：变量度量时既没有数量表示，也没有次序关系，如物体有红、黄、蓝三种颜色；医学化验中的阴性和阳性，性别的男性和女性等。
这里用的最多的是对间隔尺度数据的聚类。
当对样品进行聚类时，它们之间的接近程度通常用某种距离来刻画；在对变量聚类时，它们之间的相似性通常用相似系数来刻画。
一、距离
设有n 个样品，每个样品测得p 项指标（变量），其原始资料阵如下：
把每个样本都可以看成是p R 中的一个点，n 个样本就是p R 的n 个点。两个样品间相似程度可用p 维空间中两点的距离来度量。用ij d 表示第i 个样品点与第j 个样品点之间的距离。在聚类分析中，距离较近的点倾向于归为一类，距离较远的点归属不同的类。 常用的距离有如下几种：
（一）明考夫斯基（Minkowski ）距离
第i 个样品与第j 个样品之间的明考夫斯基（Minkowski ）距离定义为：
q
p
k q jk ik ij x x q d 1
1)(??
? ??∑-==
当q=1时，∑-==p
k jk ik ij x x d 1)1(，称为绝对值距离
当q=2时，2
112)2(??
? ??
∑-==p
k jk ik ij x x d ，称为欧氏（Euclid ）距离
当q=∞时，jk ik p
k ij x x d -=∞≤≤1max )(，称为契比雪夫（Chebyshev ）距离
)(q d ij 在实际中用得很多。但它存在两方面的缺陷，第一，它与各指标的量纲有关，所
以就具有一定的人为性；第二，它没有考虑指标之间的相关性。为此在计算)(q d ij 之前，应先对各变量的数据进行标准化处理，然后计算距离。常用的处理方法有标准差标准化和极差标准化法。
标准差标准化为
kk
k
ik ik v X x X -=
*， n i ,,1 =，p k ,,1 =
其中∑=
=n i ik k x n X 11为第k 个变量的样本均值，∑--==n i k ik kk
X x n v 1
2)(11为第k 个变量的样本方差。
经过标准差标准化后，每列变量的均值为0，方差为1。 极差标准化为
{}{}{}ik
n
i ik n
i ik n
i ik ik x x x x X min max min 111*≤≤≤≤≤≤--=
，n i ,,1 =，p k ,,1 = 经过标准化后，每列变量的最大值为1，最小值为0，其余数据在0—1中间。
（二）兰氏（Lance 和Williams ）距离
当0>ik X ,n i ,,2,1 =,p k ,2,1=时，定义第i 个样品与第j 个样品之间的兰氏距离
∑
+-==p
k jk
ik
jk
ik ij x x x x L d 1)(
这个距离克服了)(q d ij 中的第一个缺点，但没有考虑指标间的相关性。
明氏距离和兰氏距离都没有考虑变量间的相关性，因此这两种距离更适合各变量之间互不相关的情形。但在实际中，变量之间往往存在一定程度的相关性，而马氏（Mahalanobis ）距离却考虑了变量之间的相关性。
（三）马氏（Mahalanobis ）距离
马氏距离是由印度统计学家马哈拉诺比斯（Mahalanobis ）于1936年提出的，故称为马氏距离。第i 个样品与第j 个样品之间的马氏距离定义为：
)()()()()(1)()(2j i j i ij x x A x x M d -'-=-
其中()
'=ip i i i x x x x ,,,21)( ，()
'=jp j j j x x x x ,,,21)( ，A 为样本数据矩阵的方差和协方差矩阵。
马氏距离既排除了变量之间相关性的干扰，而且还不受各变量计量单位的影响。但马氏距离有一个很大的缺陷，就是马氏距离中的A 难以确定。如果用全部数据计算的协方差阵来计算马氏距离，效果不是很好的。比较合理的办法是用各类的样本来计算各类的协方差矩阵，同一类样本的马氏距离应当用这一类的协方差矩阵来计算，然而各类的形成却要依赖于样品之间的距离，而样品间合理的马氏距离又依赖于类，这就形成了一个恶性循环，困此在实际聚类分析处理中，马氏距离也不是理想的距离。通常人们还是喜欢应用欧氏距离聚类。
以上所定义的各种距离一般都满足下面四条公理：
1.0≥ij d ，对一切i ，j ；
2.0=ij d ，当且仅当第i 个样品与第j 个样品的各变量值相同；
3.ji ij d d =对一切i ，j ；
4.kj ik ij d d d +≤，对于一切i ，j ，k 。
如果把任何两个样品之间的距离ij d 都算出来后，可排列成矩阵D ：
??
??
?
?
?
??=nn n n n n d d d d d d d d d D 2122221
11211 其中02211====nn d d d ，由于ji ij d d =，所以只需计算上三角形部分或下三角形部分即可。根据D 可对n 个样品进行分类，距离近的点归为一类，距离远的点归为不同的类。
以上距离的定义均要求变量是间隔尺度的，如果使用的变量是有序尺度或名义尺度，则有相应的定义距离的方法。
某高校举办了一个培训班，从学员的资料中得到这样4个变量：性别＝（男、女），专业＝（经济类，非经济类），职业＝（教师，非教师），学历＝（大学，大学以下），现有两名学员，其四变量的取值分别为
）大学教师经济类（男'=,,,)(i x ，）
大学以下非教师非经济类（男'=,,,)(j x 这两个样品（学员）的第一个变量取值均为男性，称为配合的，而第二变量取值分别为经济类、非经济类 ，称为不配合的。记配合的变量个数为1m ，不配合的变量数为2m ，则两个样品之间的距离定义为
2
12
12m m m d +=
按此定义，本例中这两个学员之间的距离为43。
二、相似系数
变量之间也可以计算距离，但常用相似系数来度量变量之间的相似性。用ij C 表示第i 个变量和第j 个变量的相似系数，ij C 的绝对值越接近1，表明第i 个变量与第j 个变量的关系越密切；ij C 的绝对值越接近0，表明表明第i 个变量与第j 个变量的关系越疏远。聚类时，比较相似的变量倾向于归为一类，不太相似的变量归属不同的类。对于间隔尺度的变量，常用的相似系数有：
（一）夹角余弦
这是受相似型的启发而来，图5－1中曲线AB 和CD 尽管长度不一，但形状相似，当长度不是主要矛盾时，应定义一种相似系数使AB 和CD 呈现出比较密切的关系，而夹角余弦适合这个要求。它的定义是
图5－1
∑∑∑=
====n
k n
k kj
ki n
k kj
ki ij ij x x x x C 1
1
221cos )1(θ （i ，j=1，2，…，p ）
它是n R 中第i 个变量的观测向量),,,(21'ni i i x x x 和第j 个变量的观测向量
),,,(21'nj j j x x x 之间夹角ij θ的余弦函数。
（二）相关系数
第i 个变量的观测向量),,,(21'ni i i x x x 和第j 个变量的观测向量),,,(21'nj j j x x x 之间的相关系数为
∑∑--∑--=
====n k n
k j kj i ki n
k j kj i ki ij ij x x x x x x x x r C 1
1
2
21)
()()
)(()2(
如果数据已标准化了，则变量之间的夹角余弦就是相关系数。 相似系数有下列性质：
（1）1≤ij C ，对于一切的i ，j ； （2）ji ij C C = ，对于一切的i ，j
如果把两两之间的相似系数ij C 都算出来后，可排列成矩阵R ：
??
?
?
?
?
?
??=pp p p p p C C C C C C C C C R 212222111211
其中12211====nn C C C ，由于ji ij C C =，所以只需计算上三角形部分或下三角形部分即可。根据R 可对p 个变量进行分类，相似系数大的归为一类，相似系数小的归为不同的类。
变量之间也可以用距离来描述它们之间的接近程度。实际上，距离和相似系数可以相互转化，若ij d 是一个距离，则ij
ij d C +=11可看作相似系数；若ij C 为相似系数，则2
21ij
ij C d -=可看作距离。
第三节 系统聚类方法
系统聚类法（hierarchical clustering method ）是聚类分析诸方法中用得最多的一种，有Q 型聚类和R 型聚类之分，本节以Q 型系统聚类为主线加以介绍。Q 型系统聚类的其基本思想是：开始时先将n 个样品点各自作为一类，并对样品之间距离的和类与类之间的距离做出规定，首先计算样品之间的距离，开始因每个样品自成一类，类与类之间的距离就是样品之间的距离，将距离最小的两类合并为一个新类，计算新类和其它类之间的距离，接着将距离最小的两类合并为一个新类，这样每次减少一类，直到将n 个样品合为一类为止，最后将上述并类过程画成一张聚类图，由聚类图可方便的进行分类。
应注意，在聚类分析之前应先对数据进行标准化处理。
正如样品之间的距离有不同的定义方法一样，类与类之间的距离也有不同的定义方法，本节所介绍的几种聚类方法，其区别在于新并类与其它类之间距离的计算方法不同。
在样本容量为n 的数据矩阵中，用ij d （n j i ,2,1,=）表示第i 个样品与第j 个样品之间的距离， ,,21G G 表示类，pq D 表示p G 与q G 之间的距离。本节所介绍的系统聚类法中，除离差平方和以外的所有方法都是一开始每个样品各自成为一类，类与类之间的距离和样品与样品之间的距离相同，即pq pq d D =，所以起初的距离矩阵都是一样的，记为n n ij d D ?=)()0(
一、最短距离法
定义类与类之间的距离为一个类的所有样品与另一个类的所有样品之间距离最近者，即
{}
q
p G j G i ij pq d D ∈∈=min ，q p ≠
称这种系统聚类法为最短距离法，如图5－2。
G q
图5－2
具体聚类步骤为：
（1）规定样品之间距离的计算方法，计算n 个样品点中两两之间的距离ij
d （n j i ,2,1,=），得到距离矩阵)0(D ，n n ij d D ?=)()0(；
（2）找出)0(D 中非对角线最小元素，设为pq D ，于是将p G 与q G 并类，记为r G ，即
},{q p r G G G =；
（3）计算新并类r G 与任一类k G ),(q p k ≠之间的距离，其递推公式为
{}
{}
qk pk G j G i G j G i G j G i rk D D d d d D ij ij ij
k q k p k
r ,min ,min ,min min min ,=??
?
???????==∈∈∈∈∈∈
这样在)0(D 中，p G 与q G 所在的行和列合并成一个新行新列，对应r G ，该行列上的新距离值由上述递推公式求得，其余行列上的距离值不变，这样得到一个新的距离矩阵)1(D
（4）将)1(D 重复上述（2）、（3）的做法，得)2(D ，如此下去，直到所有的元素并成一类为止。
如果某一步)(w D 中最小的非0元素不止一个时，则对应于这些最小元素的类可以同时合并或者任选一对合并。
例5.1：设有5个样品，每个样品只观测一个指标，分别为1、2、3.5、7、9，试用最短距离法对5个样品进行分类。
（1）定义样品间的距离为欧氏距离，计算样品间的距离矩阵)0(D ；
表5－1 )0(D
（2）)0(D 中非对角线最小元素为1，即11212==d D 于是将1G 和2G 合并成6G ； （3）计算6G 与其它类之间的距离，计算时按{}k k k D D D 216,min ==，k=3，4，5，得)1(D ；
表5－2 )1(D
（4）)1(D 中非对角线最小元素为1.5，则将相应的3G 和6G 并成7G ，并计算7G 与其它类之间的距离，得)2(D ；
表5
－3 )2(D （5）)2(D 中非对角线最小元素为2，将相应的4G 和5G 并成8G ，并计算8G 与其它类之间的距离，得)
3(D ；
表5－4 )3(D
（6）最后将7G 和8G 合并成9G ，这时，全部样品聚为一类，过程终止。
上述聚类过程可以画成一张树形图（或称谱系图），图中坐标的刻度为并类的距离。 0 2 2 3 4 Label +---------+---------+---------+--------+ 样品1 1
样品2 3.5 样品3 1.5 样品4
样品5 2
图5－3
由图5－3可知，5个样品分两类比较合适，一类由样品1、样品2、样品3组成，一类由样品4、样品5组成。可知坐标的刻度为并类的距离，从图上可以看出，分两类较为合适。
二、最长距离法
定义类与类之间的距离为一个类的所有样品与另一个类的所有样品之间距离最远者，即
{}
q
p G j G i ij pq d D ∈∈=max ，q p ≠
称这种系统聚类法为最长距离法，如图5－4。
G q
图5－4
最长距离法和最短距离法的并类步骤完全相同，只是在计算新并类与其它类之间距离时，其递推公式不同而已。设某步将p G 与q G （q p ≠）合并成新类r G ，则r G 与k G （q p k ,≠）的距离为
{}
qk pk rk D D D ,max =
例5.2：对例5.1采用最长距离法进行分类。
（1）定义样品间的距离为欧氏距离，计算样品间的距离矩阵)0(D ；
表5－5 )0(D
（2）)0(D 中非对角线最小元素为1，于是将1G 和2G 合并成6G ；计算6G 与其它类之间的距离，计算时按{}k k k D D D 216,max ==，k=3，4，5，得)1(D ；
表5－6 )1(
D
（3）)1(D 中非对角线最小元素为2，则将相应的4G 和5G 并成7G ，计算7G 与其它类之间的距离，计算时按{
}k k k D D D 547,max ==，k=6,3，得)2(D ；
表5－7 )2(D
（4）)2(D 中非对角线最小元素为2.5，于是将3G 和6G 并成8G ，仍按最长距离法并计算8G 与其它类之间的距离，得)3(D
表5－8 )3(D
（5）最后将7G 和8G 合并成9G ，这时，全部样品聚为一类，过程终止。 其聚类图如图5－5
0 2 4 6 8
Label +---------+---------+---------+---------+ 样品1 1
样品2 8 样品3 2.5
样品4
样品5 2
图5－5
由图5－3可知，5个样品分两类比较合适，一类由样品1、样品2、样品3组成，一类由样品4、样品5组成。
三、中间距离法
类与类之间的距离既不取两类最近样品间的距离，也不取两类最远样品间的距离，而是取介于两者中间的距离，故称中间距离法。
如果聚类到某一步将类p G 与q G 合并为r G ，则r G 与任一类k G 的距离如何计算呢？令
pk qk D D >，按最短距离法，pk rk D D =；按最长距离法，qk rk D D =。现用三角形的三个边
分别表示距离pq qk pk
D D D ,,，取pq D 边上的中线作为rk D ，如图5－6。由初等几何知识可知，
rk D 的计算公式为
这就是中间距离法的递推公式。
p G pq D q G
kp D kr D kq D
k G
图5－6
中间距离法可推广为更一般的情形，其递推公式为
（04
1≤≤-β） 或
1<β） 由于该距离公式的量都是距离的平方，为了上机计算的方便，将)0(D 、)1(D 、)2(D 、…
中的元素用相应元素的平方来代替，从而得到)0(2D ，)1(2D ，)2(2D ，…。下面的几种方法情况一样。
例5.3：对例5.1采用中间距离法进行分类。
（1）样品间的距离采用欧氏距离，计算距离阵)0(D ，将)0(D 中的元素平方得)0(2D
表 5－9 )0(2
（2）)0(2
D 中非对角线最小元素为1，将1G 和2G 并为一类得6G ，按
k=3，4，5），计算6G 与其它各类的距离得)1(2D ； 表 5－10 )1(2
（3）)1(2D 中非对角线最小元素为4，于是将3G 和6G 并成7G ，4G 和5G 并为8G ，计
算7G 和8G 的平方距离，得)2(2D ；
表 5－10 )2(2
（4）将7G 和8G 聚为一类。
聚类图如图5－7。
0 1 2 3 4 5 … 30 31
Label +----+----+----+----+----+----…----+----+ 样品1 1
样品2 30.25 样品3 4
样品4
样品5 4
图5－7
由图5－7可知，5个样品分两类比较合适，一类由样品1、样品2、样品3组成，一类由样品4、样品5组成。
四、类平均法
类平均法有两种定义距离的方法，第一种是把类与类之间的距离定义为两类之间所有样品对距离的平均距离。即定义p G 与q G 之间的距离为
∑∑=
∈∈P q
G i G j ij q p pq d n n D 1
，q p ≠ 其中p n 、q n 分别为类p G 、q G 中的样品数。其合并类的过程如图5－8。
p G q G
图5－8 图中6
25
2423151413d d d d d d D pq +++++=
。
第二种是把类与类之间的平方距离定义为两类之间所有样品对距离平方的平均值，即
∑∑∈∈=
P q
G i G j ij
q
p pq d
n n D 221
如果聚类到某一步将类p G 与q G 合并为r G ，则r G 与任一类k G （q p k ,≠）的距离为
∑∑=
∈∈r k
G i G j ij k r rk d n n D 2
21 )(12
2∑∑+∑∑=
∈∈∈∈q k p k G i G j ij G i G j ij k r d d n n 2
2qk
r
q pk
r
p D n n D n n +=
应用比较广泛的是第二种定义方法。
类平均法较好地利用了类与类之间所有样品对的信息，在很多情况下被认为是一种比较好的系统聚类法。
对例5.1，用类平均法聚类效果如图5—9。
0 1 2 3 4 5 … 36 37
Label +----+----+----+----+----+----…----+----+ 样品1 1
样品2 36.08 样品3 4.25
样品4
样品5 4
图5－9
五、重心法
将两类之间的距离定义为两类重心（均值）之间的距离，一般用欧氏距离表示。即
)()(2
2q p q p x x pq x x x x D D q p -'-==
对样本分类而言，每一类的重心就是该类样本点的均值。若一个样品点表示一类，其重心就是它本身；若两个样品点表示一类，其重心就是两点连线的中点。
设某一步将p G 与q G 合并为新类r G ，它们各含有q p n n ,和q p r n n n +=个样品点，它们的重心分别为p x 、q x 和)(1
q q p p r
r x n x n n x += ，k G 的重心为k x （q p k ,≠）
，则r G 与k G 之间的距离为
)()(22k r k r x x rk x x x x D D k
r -'-==
＝??
?
???-+'
??
????-+k q q p p r k q q p p r x x n x n n x x n x n n )(1)(1 ＝)2(1
222
22
q q
q q p q p p p p r
q k
r
q p k
r
p k k
x x n x x n n x x n n x x n n x x n n x x ++'+'-'-' 利用代入上式得
)2()2(2
k k k q q q
r
q k k
k p p p r
p rk x x x x x x n n x x x x x x n n D +'-'+'+'-'=
)()(2
q p q p r
q
p x x x x n n n -'--
对例5.1，用重心法聚类效果如图5－10。
0 1 2 3 4 5 … 34 35
Label +----+----+----+----+----+----…----+----+ 样品1 1
样品2 34.03 样品3 4
样品4
样品5 4
图5－10
六、离差平方和法（Ward 法）
这种方法是沃德（Ward ）提出的，故又称Ward 法。
离差平方和法的基本思路来源于方差分析，如果类分的合理，同类样本点的离差平方和应当较小，而类与类之间的离差平方和应当较大，从这种思想出发产生了离差平方和法。设p G 与q G 合并为新类r G ，则p G 、q G 和r G 类的离差平方和分别是
∑-'-=∈p
G i p i p i p x x x x W )()(
∑-'-=∈q
G i q i q i q x x x x W )()(
∑-'-=∈r
G i r i r i r x x x x W )()(
其中∑+=
∈q
p G G i i q
p r x n n x 1
。
它们反映了各自类内样品的分散程度。如果p G 和q G 这两类相距较近，则合并后所增加的离差平方和q p r W W W --应较小；否则，应较大。于是定义p G 和q G 之间的距离平方为
q p r pq W W W D --=2
2pq D 也可表达为
)()(2q p q p q
p q p pq x x x x n n n n D -'-+=
离差平方和法的距离与重心法的距离只相差一个常数倍。重心法的类间距离与两类的样
品数无关，而离差平方和法的类间距离与两类的样品数有较大的关系，两个大的类倾向于有较大的距离，因而不易合并，这符合对分类的实际要求。离差平方和法在许多场合优于重心法，是一种比较好的系统聚类方法，但它对异常值很敏感。
如果样品间的距离采用欧氏距离计算，可以证明其递推公式为
2
2
2
2pq
k
r k kq k
r q k kp k
r p k kr D n n n D n n n n D n n n n D +-
+++
++=
证明过程略。有兴趣的读者可参考《多元统计分析》，王学民编著，第二版，上海财经大学出版社，2004.1。
例5.4：将例5.1用Ward 法聚类
（1）将5个样品各自分成一类，显然这时类内离差平方和S=0。
（2）将一切可能的任意两类合并，计算合并后各新类的离差平方和，例如将1G 和2G 合并，它的离差平方和5.0)5.12()5.11(22=-+-=r W ，将1G 和3G 合并，它的离差平方和
125.3)25.25.3()25.21(22=-+-=r W ，将一切可能的两类合并的离差平方和都算出来，列于
表5－11；
表 5－11 )0(2D
（3）)0(2D 中非对角线最小元素为0.5，于是将1G 和2G 并为一类得6G ，按离差平方和法的递推公式计算6G 与其它类的距离，得)1(2D ，如表5－12；
表 5－12 )1(2D
（4）以后依次的并类次序为4G 和5G 并为7G ，3G 和6G 并为8G ，最后7G 和8G 合并，新并类与其它类距离的计算结果如表5－13、表5－14。。
表 5－13 )2(2
表 5－14 )3(2D
其聚类效果如图5－11。
0 1 2 3 4 5 … 40 41 Label +----+----+----+----+----+----…----+----+
样品1 0.5
样品2 40.83 样品3 2.667 样品4 2 样品5
图5－11
离差平和法的基本思想可归纳为：开始时先将n 个样品各自成一类，然后每次缩小一类，每缩小一类，类内的离差平方和就会增大，选择使离差平方和增加最小的两类合并，直到所有的样品归为一类为止。
以上我们对例5.1采用了6种系统聚类方法进行了聚类，其聚类结果都是相同的，只是并类的距离不同。原因是该例只有很少几个样品，且每个样品只观察了一个指标，此时聚类的过程不易发生较大的变化。但只要聚类的样品数目不是太少，各种聚类方法所产生的聚类结果一般是不同的，甚至会有大的差异。
例5.5：为了研究我国各省、自治区、直辖市城镇居民生活消费的分布规律，将2004年各项消费支出的资料列于表5－15。
表5－15 2004年我国城镇居民生活消费支出资料 计量单位：元/人
地区
食品
衣着
家庭设备 用品及服务
医疗 保健
交通 和通讯
教育文化 娱乐服务
居住
杂项商品 和服务
北京3925.54 1062.47 823.84 1182.81 1562.19 2115.89 1065.67 461.98 天津3278.24 624.61 497.48 823.99 787.71 1232.38 1230.17 327.86 河北2142.36 630.93 343.21 550.29 595.95 682.87 705.18 168.39 山西1917.75 747.43 314.82 401.75 587 901.4 614.2 169.8 内蒙古2024.87 897.88 360.31 473.64 699.66 858.38 627.02 277.5 辽宁2643.95 651.66 276.89 541.26 652.4 845.37 661.8 269.96 吉林2180.09 739.52 254.33 527.32 643.16 795.04 700.04 229.51 黑龙江1972.24 719.28 215.07 537.44 548.39 762.49 611.44 201.18 上海4593.32 796.72 780.26 761.7 1702.86 2195.15 1326.69 474.33 江苏2931.7 610.96 493.53 496.77 765.17 1031.14 760.71 242.28 浙江3851.23 941.8 596.62 828.81 1419.09 1681.09 971.33 346.17 安徽2509.02 637.88 257.01 395.74 564.92 623.48 534.3 188.99 福建3394.63 598.37 435.32 476.75 1055.59 1050.3 869.25 280.93 江西2296.48 513.57 328.18 268.11 498.45 785.66 505.47 141.93 山东2310.66 829.22 457.33 484.42 801.23 983.07 601.54 206.28 河南1855.44 650.3 332.06 436.53 569.85 694.56 578.6 176.84 湖北2516.2 710.96 334.12 461.4 600.48 938.62 641.62 195.12 湖南2479.58 689.48 388.15 475.61 881.89 1091.29 640.73 237.87 广东3953.3 620.07 592.66 649.7 1754.12 1577.7 1205.12 342.11 广西2727.09 423.17 397.33 461.67 584.12 960.77 660.26 231.31 海南2722.84 300.17 302.41 350.17 701.92 686.75 564.86 173.29 重庆3015.32 779.68 474.15 537.95 865.45 1200.52 903.22 196.77 四川2560.35 557.94 384.08 433.36 769.24 874.37 600.67 191.15 贵州2260.46 585.18 286.56 301.26 601.08 793.4 468.21 198.3 云南2895.6 651.72 302.04 623.22 882.19 725.08 592.93 164.21 西藏3799.17 1079.74 469.74 320.65 1184.66 617.39 483.2 383.66 陕西2236.48 609.33 409 513.27 583.19 1025.76 646.92 209.1 甘肃2204.04 736.19 336.2 411.95 601.16 853.31 572.49 221.96 青海2056.06 621.98 438.44 451.95 566.97 746.89 664.2 212.47 宁夏2156.34 636.81 364.07 440.77 646.97 651.14 660.19 265.08 新疆2083.13 766.73 292.14 375.18 615.19 840.59 566.99 233.66 资料来源：https://www.wendangku.net/doc/1e14070219.html,/tjsj/ndsj/2005/indexch.htm
现用最短距离法、最长距离法、重心法、类平均法对其进行聚类，在聚类之前，先对数据进行标准化变换，样品间的距离计算采用的是欧氏距离的平方，图5－12～图5－14是运用SPSS软件生成的这三种方法下的聚类图。
C A S E 0 5 10 15 20 25
Label Num +---------+---------+---------+---------+---------+
甘肃 28 ??
新疆 31 ??
湖北 17 ??
山西 4 ????
河南 16 ???
河北 3 ????
陕西 27 ????
青海 29 ???
宁夏 30 ????
黑龙江 8 ?????
辽宁 6 ?????
湖南 18 ?????
安徽 12 ?????
贵州 24 ??????
江西 14 ?????
山东 15 ??????
广西 20 ??????
内蒙古 5 ????????
江苏 10 ?????????
福建 13 ????????
重庆 22 ????????????????????????
云南 25 ?????????????????????
海南 21 ????????????
天津 2 ???????????????????????????????
浙江 11 ?????????????????????????????? ?广东 19 ???????????????????????????? ??上海 9 ?????????????????????????????????北京 1 ????????????????????????????????? ?西藏 26 ????????????????????????????????????????
图5－12 最短距离法聚类结果
C A S E 0 5 10 15 20 25
Label Num +---------+---------+---------+---------+---------+ 甘肃 28 ??
新疆 31 ??
湖北 17 ??
山西 4 ??
河南 16 ??
吉林 7 ??
黑龙江 8 ????
陕西 27 ???
青海 29 ???
河北 3 ???
辽宁 6 ???
宁夏 30 ????????
云南 25 ?????
山东 15 ????
湖南 18 ?????????????????????
内蒙古 5 ????
安徽 12 ????
贵州 24 ??????
江西 14 ?????????
广西 20 ????
四川 23 ?????????????????????
海南 21 ????
浙江 11 ?????????? ?广东 19 ???????
江苏 10 ?????????????
福建 13 ??????????
重庆 22 ????????????????
天津 2 ????????
西藏 26 ???????????????????
北京 1 ?????????????????????????????????????????上海 9 ??????
图5－13 最长距离法聚类结果
C A S E 0 5 10 15 20 25
Label Num +---------+---------+---------+---------+---------+ 甘肃 28 ??
新疆 31 ??
山西 4 ??
湖北 17 ??
河南 16 ??
吉林 7 ??
黑龙江 8 ??
陕西 27 ??
青海 29 ??
四川 23 ??
河北 3 ??
山东 15 ???
湖南 18 ???
安徽 12 ?????
贵州 24 ?????
江西 14 ??????
云南 25 ??????
内蒙古 5 ???????
广西 20 ??????????????????????????
海南 21 ??????
江苏 10 ?????????????????????
福建 13 ??????????
重庆 22 ??????
西藏 26 ???????????????????????????
浙江 11 ???????????????
广东 19 ??????????????????
上海 9 ???????????????????
北京 1 ????????????????????????????????????????
天津 2 ?????????????????????
图5－14重心法聚类结果
C A S E 0 5 10 15 20 25
Label Num +---------+---------+---------+---------+---------+
甘肃 28 ??
新疆 31 ??
山西 4 ??
湖北 17 ??
吉林 7 ??
黑龙江 8 ??
辽宁 6 ????
宁夏 30 ???
河北 3 ???
河南 16 ???
陕西 27 ???
青海 29 ???
四川 23 ???
安徽 12 ???
贵州 24 ????
江西 14 ???
山东 15 ????????
湖南 18 ????
内蒙古 5 ?????
云南 25 ?????
广西 20 ?????????????????
海南 21 ??????
江苏 10 ??????????
福建 13 ?????????
重庆 22 ???????????????????????????
天津 2 ???????????????????
西藏 26 ??????????????????????
浙江 11 ????????????
广东 19 ??????????????
上海 9 ????????????????????????????????????????
北京 1 ???????????????
图5－15 类平均法聚类结果
从这四个树形图来，其分类结果不完全一样，最短距离法聚类效果较差，最长距离法聚类效果比较清晰，重心法和类平均法居于两者之间。
七、聚类方法的选择
从例5.5已经知道，不同的聚类方法得到的结果是不完全相同的，那么我们选择哪一种方法呢？在目前仍是值得研究的一个课题。在实际应用中，可考虑以下几点：（一）系统聚类法的性质
1.单调性
设 k D 是系统聚类法中第k 次并类时的距离，如果一个系统聚类法能满足 <<21D D , 则称它这种并类距离具有单调性。这种单调性符合系统聚类法的思想，先合并较相似的类，后合并较疏远的类。可以证明，最短距离法、最长距离法、类平均法和离差平方和法具有单调性；但中间距离法和重心法不具有单调性。
2.空间的浓缩和扩张 对同一问题做聚类时，横坐标的距离可以差别很大，如例5.1中，最短距离法的范围≤
3.5，最长距离法的范围≤8。
设两个同阶矩阵 )(A D 和)(B D ，如果)(A D 的每个元素不小于)(B D 相应的元素，则记为 )()(B D A D ≥。 特别地，如果矩阵D 的元素是非负的，则有0≥D （特别提示：此处的0≥D 的含义与非负定阵的含义不同，这个记号仅在本节使用）。
如果0)(≥A D ，0)(≥B D ，)(2A D 表示将)(A D 的每个元素平方，则
)()()()(22B D A D B D A D ≥?≥
设有两种系统聚类法A 、B ，它们在第k 步的距离阵记为)(k A D 和)(k B D ，
)1,3,2,1,0(-=n k ；若)(k A D ≥)(k B D ，)1,3,2,1,0(-=n k ，则称A 比B 使空间扩张，或
称B 比A 使空间浓缩。可以验证最短距离法比最长距离法使空间浓缩（或者最长距离法比最短距离法使空间扩张）。
现以类平均法为基准，其它方法都与它作比较，可以得出一些结论： 1、D （短）≤D （平）；D （重）≤D （平），即最短距离法和重心法比类平均法使空间浓缩；
2、D （长）≥D （平），D （离）≥D （平），即最长距离法、离差平方和法比类平均法使空间扩张；
中间距离法与类平均法的比较没有一个统一的结论。
使空间太浓缩的方法分类不够灵敏，使空间太扩张的方法灵敏度过高而容易失真。而类平均法既不会使空间太浓缩，也不会使空间太扩张，因而它被认为是一种比较理想的方法。
（二）根据实际情况选择分类方法 （三）几种分类方法结合运用
在实际分类中多用几种分类方法，把结果中的共性提取出来，如果用几种方法的某些结果都一样，则说明这样的聚类确实反映了事物的本质，而将有争议的样品暂时放在一边，而后用判别分析法去归类。
结合例5.5，最长距离法的分类结果清晰，且满足单调性的性质，又比较切合实际情况，为方便起见，本例可采用最长距离法聚类。从聚类图上看，可将其聚为三类：第一类包含北京、上海，为居民消费水平最高的地区；第二类包含浙江、广东、江苏、福建、重庆、天津、西藏，为居民消费水平中等的地区；第三类包含除第一和第二类外的其他各省、市、自治区。我们也可以把西藏单独作为一类，这时可分为四类。如果分为六类，第一类包含北京、上海；第二类包含浙江、广东；第三类包含江苏、福建、重庆、天津；第四类为西藏；第五类包含甘肃、新疆、湖北、山西、河南、吉林、黑龙江、陕西、青海、河北、辽宁、宁夏、云南、
多元统计分析期末复习试题
第一章： 多元统计分析研究的内容（5点） 1、简化数据结构（主成分分析） 2、分类与判别（聚类分析、判别分析） 3、变量间的相互关系（典型相关分析、多元回归分析） 4、多维数据的统计推断 5、多元统计分析的理论基础 第二三章：
二、多维随机变量的数字特征 1、随机向量的数字特征 随机向量X 均值向量： 随机向量X 与Y 的协方差矩阵： 当X=Y 时Cov （X ，Y ）=D （X ）；当Cov （X ，Y ）=0 ，称X ，Y 不相关。 随机向量X 与Y 的相关系数矩阵： 2、均值向量协方差矩阵的性质 (1).设X ，Y 为随机向量，A ，B 为常数矩阵 E （AX ）=AE （X ）； E （AXB ）=AE （X ）B; D(AX)=AD(X)A ’; Cov(AX,BY)=ACov(X,Y)B ’; (2).若X ，Y 独立，则Cov(X,Y)＝０，反之不成立． (3).X 的协方差阵D(X)是对称非负定矩阵。例2.见黑板 三、多元正态分布的参数估计 2、多元正态分布的性质 (1).若 ,则E(X)= ,D(X)= . )' ,...,,(),,,(2121P p EX EX EX EX μμμ='= )' )((),cov(EY Y EX X E Y X --=q p ij r Y X ?=)(),(ρ) ,(~∑μP N X μ ∑ p X X X ,,,21
特别地，当 为对角阵时， 相互独立。 (2).若 ，Ａ为sxp 阶常数矩阵，d 为s 阶向量， ＡＸ＋d ～ . 即正态分布的线性函数仍是正态分布． (3).多元正态分布的边缘分布是正态分布，反之不成立． (4).多元正态分布的不相关与独立等价． 例３．见黑板． 三、多元正态分布的参数估计 (1)“ 为来自p 元总体X 的（简单）样本”的理解---独立同截面． (2)多元分布样本的数字特征---常见多元统计量 样本均值向量 ＝ 样本离差阵Ｓ＝ 样本协方差阵Ｖ＝ S ;样本相关阵Ｒ (3) ,Ｖ分别是 和 的最大似然估计； (4)估计的性质 是 的无偏估计； ,Ｖ分别是 和 的有效和一致估计； ； Ｓ～ ， 与Ｓ相互独立； 第五章 聚类分析： 一、什么是聚类分析 ：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易懂）、动态聚类法（快）、有序聚类法（保序）...... Q-型聚类分析（样品）R-型聚类分析（变量） 变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义尺度。 μ ) ,(~∑μP N X ) ,('A A d A N s ∑+μ) () 1(,,n X X X )' ,,,(21p X X X )' )(() () (1 X X X X i i n i --∑=n 1 X μ∑μ X ) 1 , (~∑n N X P μ) ,1(∑-n W p X X
多元统计分析模拟考题及答案.docx
一、判断题 （ 对 ） 1 X ( X 1 , X 2 ,L , X p ) 的协差阵一定是对称的半正定阵 （ 对 （ ） 2 标准化随机向量的协差阵与原变量的相关系数阵相同。 对） 3 典型相关分析是识别并量化两组变量间的关系，将两组变量的相关关系 的研究转化为一组变量的线性组合与另一组变量的线性组合间的相关关系的研究。 （ 对 ）4 多维标度法是以空间分布的形式在低维空间中再现研究对象间关系的数据 分析方法。 （ 错）5 X (X 1 , X 2 , , X p ) ~ N p ( , ) ， X , S 分别是样本均值和样本离 差阵，则 X , S 分别是 , 的无偏估计。 n （ 对） 6 X ( X 1 , X 2 , , X p ) ~ N p ( , ) ， X 作为样本均值 的估计，是 无偏的、有效的、一致的。 （ 错） 7 因子载荷经正交旋转后，各变量的共性方差和各因子的贡献都发生了变化 （ 对） 8 因子载荷阵 A ( ij ) ij 表示第 i 个变量在第 j 个公因子上 a 中的 a 的相对重要性。 （ 对 ）9 判别分析中， 若两个总体的协差阵相等， 则 Fisher 判别与距离判别等价。 （对） 10 距离判别法要求两总体分布的协差阵相等， Fisher 判别法对总体的分布无特 定的要求。 二、填空题 1、多元统计中常用的统计量有：样本均值向量、样本协差阵、样本离差阵、 样本相关系数矩阵． 2、 设 是总体 的协方差阵， 的特征根 ( 1, , ) 与相应的单 X ( X 1,L , X m ) i i L m 位 正 交 化 特 征 向 量 i ( a i1, a i 2 ,L ,a im ) ， 则 第 一 主 成 分 的 表 达 式 是 y 1 a 11 X 1 a 12 X 2 L a 1m X m ，方差为 1 。 3 设 是总体 X ( X 1, X 2 , X 3, X 4 ) 的协方差阵， 的特征根和标准正交特征向量分别 为： 1 2.920 U 1' (0.1485, 0.5735, 0.5577, 0.5814) 2 1.024 U 2' (0.9544, 0.0984,0.2695,0.0824) 3 0.049 U 3' (0.2516,0.7733, 0.5589, 0.1624) 4 0.007 U 4' ( 0.0612,0.2519,0.5513, 0.7930) ，则其第二个主成分的表达式是
多元统计分析期末试题
一、填空题（20分） 1、若),2,1(),,(~)(n N X p 且相互独立，则样本均值向量X 服从的分布 为 2、变量的类型按尺度划分有_间隔尺度_、_有序尺度_、名义尺度_。 3、判别分析是判别样品 所属类型 的一种统计方法，常用的判别方法有__距离判别法_、Fisher 判别法、Bayes 判别法、逐步判别法。 4、Q 型聚类是指对_样品_进行聚类，R 型聚类是指对_指标(变量)_进行聚类。 5、设样品),2,1(,),,(' 21n i X X X X ip i i i ，总体),(~ p N X ，对样品进行分类常用的距离 2 ()ij d M )()(1j i j i x x x x ，兰氏距离()ij d L 6、因子分析中因子载荷系数ij a 的统计意义是_第i 个变量与第j 个公因子的相关系数。 7、一元回归的数学模型是： x y 10，多元回归的数学模型是： p p x x x y 22110。 8、对应分析是将 R 型因子分析和Q 型因子分析结合起来进行的统计分析方法。 9、典型相关分析是研究两组变量之间相关关系的一种多元统计方法。 二、计算题（60分） 1、设三维随机向量),(~3 N X ，其中 200031014，问1X 与2X 是否独立？),(21 X X 和3X 是否独立？为什么？ 解： 因为1),cov(21 X X ，所以1X 与2X 不独立。 把协差矩阵写成分块矩阵 22211211，),(21 X X 的协差矩阵为11 因为12321),),cov(( X X X ，而012 ，所以),(21 X X 和3X 是不相关的，而正态分布不相关与相互
多元统计分析期末试卷
一、（本大题共2小题，每题5分，共10分） 1、设),(~3∑μN X ，其中???? ? ?????=∑-==221231111,)'1,3,2(,)',,(321μX X X X ，试求32123X X X +-的分布。 2、设三个总体321,G G G 和的分布分别为：)1,3()2,0(),5.0,2(222N N N 和。试按马氏距离判别准则判别x =2.5应判归哪一类？ 二、（本题10分）设'1233(,,)~(,)X X X X N μ=∑，其中 )10(11 1 ,)',,(321<
三、（本题10分）已知5个样品的观测值为：1，4，5，7，11.试用按类平均法对5个样品进行分类。 四、（本题10分）设有两个正态总体21G G 和，已知(m=2) ? ? ? ???=∑=∑??????=??????=32121218,2520,151021)1()1(μμ ，先验概率21q q =，而,10)12(=L 75)21(=L 。试问按贝叶斯判别准则样品?? ? ???=??????=2015,2020)2() 1(X X 各应判归哪一类？
五、（本题10分）假定人体尺寸有这样的一般规律：身高（1X ），胸围（2X ）和上半臂围（3X ）的平均尺寸比例是6：4：1。假定),,1()(n X =αα为来自总体)',,(321X X X X =的随机样本，并设),(~3∑μN X 。试利用下表中数据来检验其身高、胸围和上半臂围这三个尺寸是否符合这一规律。（94.6)4,2(,05.005.0==F α）
多元统计分析模拟试题教学提纲
多元统计分析模拟试 题
多元统计分析模拟试题（两套：每套含填空、判断各二十道） A卷 1)判别分析常用的判别方法有距离判别法、贝叶斯判别法、费歇判别法、逐 步判别法。 2)Q型聚类分析是对样品的分类，R型聚类分析是对变量_的分类。 3)主成分分析中可以利用协方差矩阵和相关矩阵求解主成分。 4)因子分析中对于因子载荷的求解最常用的方法是主成分法、主轴因子法、 极大似然法 5)聚类分析包括系统聚类法、模糊聚类分析、K-均值聚类分析 6)分组数据的Logistic回归存在异方差性，需要采用加权最小二乘估计 7)误差项的路径系数可由多元回归的决定系数算出，他们之间的关系为 = 8)最短距离法适用于条形的类，最长距离法适用于椭圆形的类。 9)主成分分析是利用降维的思想，在损失很少的信息前提下，把多个指标转 化为几个综合指标的多元统计方法。 10)在进行主成分分析时，我们认为所取的m（m 22121212121 ~(,),(,),(,),, 1X N X x x x x x x ρμμμμσρ ?? ∑==∑= ??? +-1、设其中则Cov(,)=____. 10 31 2~(,),1,,10,()()_________i i i i X N i W X X μμμ=' ∑=--∑L 、设则=服从。 ()1 2 34 433,4 92,32 16___________________ X x x x R -?? ?'==-- ? ?-? ? =∑、设随机向量且协方差矩阵则它的相关矩阵 4、 __________， __________， ________________。 215,1,,16(,),(,)15[4()][4()]~___________i p p X i N X A N T X A X μμμμ-=∑∑'=--L 、设是来自多元正态总体和分别为正态总体的样本均值和样本离差矩阵,则。 12332313116421(,,)~(,),(1,0,2),441, 2142X x x x N x x x x x μμ-?? ?'=∑=-∑=-- ? ?-?? -?? + ??? 、设其中试判断与是否独立？ (), 1 2 3设X=x x x 的相关系数矩阵通过因子分析分解为 211X h = 的共性方差111X σ= 的方差21X g = 1公因子f 对的贡献1213 30.93400.1280.9340.4170.8351100.4170.8940.02700.8940.44730.8350.4470.10320 13 R ? ? - ????? ? -?? ? ? ?=-=-+ ? ? ? ??? ? ? ????? ? ??? 练习题 一、填空题 1．人们通过各种实践，发现变量之间的相互关系可以分成（相关）和（不相关）两种类型。多元统计中常用的统计量有：样本均值、样本方差、样本协方差和样本相关系数。 2．总离差平方和可以分解为（回归离差平方和）和（剩余离差平方和）两个部分，其中（回归离差平方和）在总离差平方和中所占比重越大，则线性回归效果越显著。3．回归方程显著性检验时通常采用的统计量是（S R/p）/[S E/（n-p-1）]。 4．偏相关系数是指多元回归分析中，（当其他变量固定时，给定的两个变量之间的）的相关系数。 5．Spss中回归方程的建模方法有（一元线性回归、多元线性回归、岭回归、多对多线性回归）等。 6．主成分分析是通过适当的变量替换，使新变量成为原变量的（线性组合），并寻求（降维）的一种方法。 7．主成分分析的基本思想是（设法将原来众多具有一定相关性（比如P个指标），重新组合成一组新的互相无关的综合指标来替代原来的指标）。 8．主成分表达式的系数向量是（相关系数矩阵）的特征向量。 9．样本主成分的总方差等于（1）。 10．在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为（方差贡献度）。主成分的协方差矩阵为（对称）矩阵。主成分表达式的系数向量是（相关矩阵特征值）的特征向量。 11．SPSS中主成分分析采用（analyze—data reduction—facyor）命令过程。 12．因子分析是把每个原始变量分解为两部分因素，一部分是（公共因子），另一部分为（特殊因子）。 13．变量共同度是指因子载荷矩阵中（第i行元素的平方和）。 14．公共因子方差与特殊因子方差之和为（1）。 15．聚类分析是建立一种分类方法，它将一批样品或变量按照它们在性质上的（亲疏程度）进行科学的分类。 16．Q型聚类法是按（样品）进行聚类，R型聚类法是按（变量）进行聚类。 17．Q型聚类统计量是（距离），而R型聚类统计量通常采用（相关系数）。 18．六种Q型聚类方法分别为（最长距离法）、（最短距离法）、（中间距离法）、（类平均法）、（重心法）、（离差平方和法）。 19．快速聚类在SPSS中由（k-均值聚类（analyze—classify—k means cluster））过程实现。 20．判别分析是要解决在研究对象已（已分成若干类）的情况下，确定新的观测数据属于已知类别中哪一类的多元统计方法。 21．用判别分析方法处理问题时，通常以（判别函数）作为衡量新样本点与各已知组别接近程度的指标。 22．进行判别分析时，通常指定一种判别规则，用来判定新样本的归属，常见的判别准则有（Fisher准则）、（贝叶斯准则）。 23．类内样本点接近，类间样本点疏远的性质，可以通过（类与类之间的距离）与（类内样本的距离）的大小差异表现出来，而两者的比值能把不同的类区别开来。这个比值越大，说明类与类间的差异越（类与类之间的距离越大），分类效果越（好）。24．Fisher判别法就是要找一个由p个变量组成的（线性判别函数），使得各自组内点的 一、判断题 （ 对 ）112(,,,)p X X X X '=L 的协差阵一定是对称的半正定阵 （ 对 ）2标准化随机向量的协差阵与原变量的相关系数阵相同。 （ 对）3典型相关分析是识别并量化两组变量间的关系，将两组变量的相关关系 的研究转化为一组变量的线性组合与另一组变量的线性组合间的相关关系的研究。 （ 对 ）4多维标度法是以空间分布的形式在低维空间中再现研究对象间关系的数据分析方法。 （ 错）5),(~),,,(21∑'=μp p N X X X X Λ，,X S 分别是样本均值和样本离差阵，则, S X n 分别是,μ∑的无偏估计。 （ 对）6),(~),,,(21∑'=μp p N X X X X Λ，X 作为样本均值μ的估计，是 无偏的、有效的、一致的。 （ 错）7 因子载荷经正交旋转后，各变量的共性方差和各因子的贡献都发生了变化 （ 对）8因子载荷阵()ij A a =中的ij a 表示第i 个变量在第j 个公因子上的相对重要性。 （ 对 ）9 判别分析中，若两个总体的协差阵相等，则Fisher 判别与距离判别等 价。 （对）10距离判别法要求两总体分布的协差阵相等，Fisher 判别法对总体的分布无特定的要求。 二、填空题 1、多元统计中常用的统计量有：样本均值向量、样本协差阵、样本离差阵、样本相关系数矩阵． 2、设∑是总体1(,,)m X X X =L 的协方差阵，∑的特征根(1,,)i i m λ=L 与相应的单 位正交化特征向量 12(,,,)i i i im a a a α=L ，则第一主成分的表达式是 11111221m m y a X a X a X =+++L ，方差为 1λ。 3设∑是总体1234(,,,)X X X X X =的协方差阵，∑的特征根和标准正交特征向量分别 为：' 112.920(0.1485,0.5735,0.5577,0.5814)U λ==--- ' 221.024(0.9544,0.0984,0.2695,0.0824)U λ==- '330.049(0.2516,0.7733,0.5589,0.1624)U λ==-- 实用多元统计分析相 尖习题 练习题 一、填空题 1?人们通过各种实践，发现变量之间的相互矢系可以分成（相尖）和（不相尖）两种 类型。多元统计中常用的统计量有：样本均值、样本方差、样本协方差和样本相尖系数。 2?总离差平方和可以分解为（回归离差平方和）和（剩余离差平方和）两个部分，其中（回归离差平方和）在总离差平方和中所占比重越大，则线性回归效果越显著。 3 ?回归方程显著性检验时通常采用的统计量是（S R/P）/[S E/ （n-p-1） ]O 4?偏相尖系数是指多元回归分析中，（当其他变量固定时，给定的两个变量之间的） 的相尖系数。 5. Spss中回归方程的建模方法有（一元线性回归、多元线性回归、岭回归、多对多线性回归）等。 6 ?主成分分析是通过适当的变量替换，使新变量成为原变量的（线性组合），并寻求 （降维）的一种方法。 7 ?主成分分析的基本思想是（设法将原来众多具有一定相尖性（比如P个指标），重 新组合成一组新的互相无矢的综合指标来替代原来的指标）。 8 ?主成分表达式的系数向量是（相尖系数矩阵）的特征向量。 9 ?样本主成分的总方差等于（1）。 10 ?在经济指标综合评价中，应用主成分分析法，则评价函数中的权数为（方差贡献度）。主成分的协方差矩阵为（对称）矩阵。主成分表达式的系数向量是（相尖矩阵特征值）的特征向量。 11. SPSS 中主成分分析采用（analyze—data reduction — facyor）命令过程。 12?因子分析是把每个原始变量分解为两部分因素，一部分是（公共因子），另一部 分为（特殊因子）。 13 ?变量共同度是指因子载荷矩阵中（第i行元素的平方和）。 14 ?公共因子方差与特殊因子方差之和为（1） o 15 ?聚类分析是建立一种分类方法，它将一批样品或变量按照它们在性质上的（亲疏 程度）进行科学的分类。 16. Q型聚类法是按（样品）进行聚类，R型聚类法是按（变量）进行聚类。 17. Q型聚类统计量是（距离），而R型聚类统计量通常采用（相尖系数）。 18. 六种Q型聚类方法分别为（最长距离法）、（最短距离法）、（中间距离法）、（类平均法）、（重心法）、（离差平方和法）。 19?快速聚类在SPSS中由（k■均值聚类（analyze— classify— k means cluste））过程实 现。 20. 判别分析是要解决在研究对象已（已分成若干类）的情况下，确定新的观测数据属于已知类别中哪一类的多元统计方法。 21. 用判别分析方法处理问题时，通常以（判别函数）作为衡量新样本点与各已知组别接近程度的指标。 22. 进行判别分析时，通常指定一种判别规则，用来判定新样本的归属，常见的判别准则有 （Fisher准则）、（贝叶斯准则）。 23. 类内样本点接近，类间样本点疏 一、聚类分析的基本思想： 我们认为，所研究的样品或指标之间存在着程度不同的相似性。根据一批样品的多个观测指标，具体找出一些能够度量样品或指标之间的相似程度的统计量，以这些统计量为划分类型的依据，把一些相似程度较大的样品聚合为一类，把另一些彼此之间相似程度较大的样品又聚合到另外一类。把不同的类型一一划分出来，形成一个由小到大的分类系统。最后，用分群图把所有的样品间的亲疏关系表示出来。 二、聚类分析的方法 系统聚类法、模糊聚类法、K-均值法、有序样品的聚类、分解法、加入法 三、系统聚类法的种类 最短距离法、最长距离法、重心法、类平均法、离差平方和法 四、判别分析的基本思想 判别分析用来解决被解释变量是非度量变量的情形，预测和解释影响一个对象所属类别。识别一个个体所属类别的情况下有着广泛的应用 判别分析将对象进行分析，通过人们选择的解释变量来预测或者解释每个对象的所属类别。 五、判别分析的假设条件 判别分析的假设条件之一是每一个判别变量不能是其他判别变量的线性组合；判别分析的假设之二是各组变量的协方差矩阵相等。判别分析最简单和最常用的形式是采用线性判别函数。判别分析的假设之三是各判别变量之间具有多元正态分布，即每个变量对于所有其他变量的固定值有正态分布。当违背该假设时，计算的概率将非常的不准确。 六、判别分析的方法 距离判别法、Bayes判别法、Fisher判别法、逐步判别法 七、距离判别法的判别准则 设有两个总体1G 和2G ，x 是一个p 维样品，若能定义样品到总体1G 和2G 的距离d （x ，1G ）和d （x ，2G ），则用如下规则进行判别：若样品x 到总体1G 的距离小于到总体2G 的距离，则认为样品x 属于总体1G ，反之，则认为样品x 属于总体样品x 属于总体2G ，若样品x 到总体1G 和2G 的距离相等，则让它待判。 八、Fisher 判别的思想 Fisher 判别的思想是投影，将k 组p 维数据投影到某一个方向，使的它们的投影与组之间尽可能地分开。 九、Bayes 判别的思想 Bayes 统计的思想是：假定对研究的对象已有一定的认识，常用先验概率分布来描述这种认识，然后我们取得一个样本，用样本来修正已有的认识，得到后验概率分布，各种统计推断都通过后验概率分布来进行。将Bayes 统计的思想用于判别分析，就得到Bayes 判别。 十、判别分析的方法和步骤 1.判别分析的对象 2.判别分析的研究设计 3.判别分析的假定 4.估计判别模型和评估整体拟合 5.结果的解释 6.结果的验证 十一、提取主成分的原则 1.累计方差贡献率大于85%， 2.特征根大于1 ，3碎石图特征根的变化趋势。 十二、因子分析的步骤 1.根据研究问题选取原始变量。 2.对原始变量进行标准化并求其相关阵，分析变量之间的相关性。 3.求解初始公共因子及因子载荷矩阵。 4.因子旋转。 5.因子得分。 6.根据因子得分值进行进一步分析。 多元统计分析有哪些应用? 比较 关系 预测 分类 评价 各种应用对应的多元统计分析方法 比较：多元方差分析 关系：回归模型 预测：回归模型 分类：聚类分析与判别分析、回归模型 评价：主成分分析与因子分析 ?多元回归、logisitic回归、Cox回归、Poisson回归 多元统计分析方法主要内容 多元T检验、多元方差分析 ?Hotelling T2 ?multivariate analysis of variance (MANOV A) 多元线性回归(multivariate linear regression) logistic回归(logistic regression) Cox比例风险模型(Cox model) Poisson回归(Poisson regression) 聚类分析(cluster analysis) 判别分析(discriminant analysis) 主成分分析和因子分析 生存分析 本课程的要求 上机做练习，分析实际资料 学会看文献，判断统计分析的应用是否正确 统计软件SAS，或Stata, SPSS10.01 考试： 理论占30%，实验占70% 二、多元统计分析的基本概念 研究因素从广义的角度看，所有可以测量的变量都可以成为研究因素，比如：年 龄、性别、文化程度、人体的各种生物学特征和生理生化指标环境因素、心理因素等。狭义来看，研究因素是指可能与研究目的有关的影响因素 多元统计分析对多变量样本的要求 ①分布：多元正态分布、相互独立、多元方差齐 ②样本含量 目前尚没有多元分析的样本含量估计方法，一般认为样本含量应超过研究因素5-10倍以上即可。 数值变量→分类成有序分类变量 哑变量的数量=K-1（K为分类数） 第一章： 多元统计分析研究的容（5点） 1、简化数据结构（主成分分析） 2、分类与判别（聚类分析、判别分析） 3、变量间的相互关系（典型相关分析、多元回归分析） 4、多维数据的统计推断 5、多元统计分析的理论基础 第二三章： 二、多维随机变量的数字特征 1、随机向量的数字特征 随机向量X均值向量： 随机向量X与Y的协方差矩阵： 当X=Y时Cov（X，Y）=D（X）；当Cov（X，Y）=0 ，称X，Y不相关。 随机向量X与Y的相关系数矩阵： 2、均值向量协方差矩阵的性质 (1).设X，Y为随机向量，A，B 为常数矩阵 E（AX）=AE（X）； E（AXB）=AE（X）B; D(AX)=AD(X)A’; )' ,..., , ( ) , , , ( 2 1 2 1P p EX EX EX EXμ μ μ = ' = )' )( ( ) , cov(EY Y EX X E Y X- - = q p ij r Y X ? =) ( ) , (ρ Cov(AX,BY)=ACov(X,Y)B ’; (2).若X ，Y 独立，则Cov(X,Y)＝０，反之不成立． (3).X 的协方差阵D(X)是对称非负定矩阵。例2.见黑板 三、多元正态分布的参数估计 2、多元正态分布的性质 (1).若 ,则E(X)= ,D(X)= . 特别地，当 为对角阵时， 相互独立。 (2).若 ，Ａ为sxp 阶常数矩阵，d 为s 阶向量， ＡＸ＋d ～ . 即正态分布的线性函数仍是正态分布． (3).多元正态分布的边缘分布是正态分布，反之不成立． (4).多元正态分布的不相关与独立等价． 例３．见黑板． 三、多元正态分布的参数估计 (1)“ 为来自p 元总体X 的（简单）样本”的理解---独立同截面． (2)多元分布样本的数字特征---常见多元统计量 样本均值向量 ＝ 样本离差阵Ｓ＝ 样本协方差阵Ｖ＝ S ;样本相关阵Ｒ (3) ,Ｖ分别是 和 的最大似然估计； (4)估计的性质 是 的无偏估计； ,Ｖ分别是 和 的有效和一致估计； ； Ｓ～ ， 与Ｓ相互独立； 第五章 聚类分析： 一、什么是聚类分析 ：聚类分析是根据“物以类聚”的道理，对样品或指标进行分类的一种多元统计分析方法。用于对事物类别不清楚，甚至事物总共可能有几类都不能确定的情况下进行事物分类的场合。聚类方法：系统聚类法（直观易懂）、动态聚类法（快）、有序聚类法（保序）...... Q-型聚类分析（样品）R-型聚类分析（变量） 变量按照测量它们的尺度不同，可以分为三类：间隔尺度、有序尺度、名义尺度。 二、常用数据的变换方法:中心化变换、标准化变换、极差正规化变换、对数变换（优缺点） 1、中心化变换（平移变换）：中心化变换是一种坐标轴平移处理方法，它是先求出每个变量的样本平均值，再从原始数据中减去该变量的均值，就得到中心化变换后的数据。不改变样本间的相互位置，也不改变变量间的相关性。 2、标准化变换：首先对每个变量进行中心化变换，然后用该变量的标准差进行标准化。 经过标准化变换处理后，每个变量即数据矩阵中每列数据的平均值为0，方差为1，且也不再具有量纲，同样也便于不同变量之间的比较。 3、极差正规化变换（规格化变换）：规格化变换是从数据矩阵的每一个变量中找出其最大值和最小值，这两者之差称为极差，然后从每个变量的每个原始数据中减去该变量中的最小值，再除以极差。经过规格化变换后，数据矩阵中每列即每个变量的最大数值为1，最小数值为0，其余数据取值均在0－1之间；且变换后的数据都不再具有量纲，便于不同的变量之间的比较。 4、对数变换：对数变换是将各个原始数据取对数，将原始数据的对数值作为变换后的新值。它将具有指数特征的数据结构变换为线性数据结构。 三、样品间相近性的度量 研究样品或变量的亲疏程度的数量指标有两种：距离，它是将每一个样品看作p 维空),(~∑μP N X μ∑μp X X X ,,,21 ),(~∑μP N X ),('A A d A N s ∑+μ)()1(,,n X X X )',,,(21p X X X )')(()()(1X X X X i i n i --∑=n 1X μ ∑μX )1,(~∑n N X P μ),1(∑-n W p X X 实验报告 一、实验名称 多元统计分析作业题。 二、实验目的 （一）了解并掌握主成分分析与因子分析的基本原理和简单解法。 （二）学会使用matlab编写程序进行因子分析，求得特征值、特征向量、载荷矩阵等值。（三）学会使用排序、元胞数组、图像表示最后的结果，使结果更加直观。 三、实验内容与要求 四、实验原理与步骤 （一）第一题： 1、实验原理： 因子分析简介： (1) 1.1 基本因子分析模型 设p维总体x=(x1,x2,....,xp)'的均值为u=(u1,u2,....,u3)'，因子分析的一般模型为 x1=u1+a11f1+a12f2+........+a1mfm+ε 1 x2=u2+a21f1+a22f2+........+a2mfm+ε 2 ......... xp=up+ap1f1+fp2f2+..........+apmfm+εp 其中，f1,f2,.....,fm为m个公共因子；εi是变量xi(i=1,2,.....,p)所独有的特殊因子，他们都是不可观测的隐变量。称aij(i=1,2,.....,p;j=1,2,.....,m)为变量xi的公共因子fi上的载荷，它反映了公共因子对变量的重要程度，对解释公共因子具有重要的作用。上式可以写为矩阵形式 x=u+Af+ε 其中A=(aij)pxm 称为因子载荷矩阵；f=(f1,f2,....,fm)'为公共因子向量；ε=(ε1,ε2,.....εp)称为特殊因子向量 (2) 1.2 共性方差与特殊方差 xi的方差var(xi)由两部分组成，一个是公共因子对xi方差的贡献，称为共性方差；一个是特殊因子对xi方差的贡献，称为特殊方差。每个原始变量的方差都被分成了共性方差和特殊方差两部分。 (3) 1.3 因子旋转 因子分析的主要目的是对公共因子给出符合实际意义的合理解释，解释的依据就是因子载荷阵的个列元素的取值。当因子载荷阵某一列上各元素的绝对值差距较大时，并且绝对值大的元素较少时，则该公共因子就易于解释，反之，公共因子的解释就比较困难。此时可以考虑对因子和因子载荷进行旋转（例如正交旋转），使得旋转后的因子载荷阵的各列元素的绝对值尽可能量两极分化，这样就使得因子的解释变得容易。 因子旋转方法有正交旋转和斜交旋转两种，这里只介绍一种普遍使用的正交旋转法：最大方差旋转。这种旋转方法的目的是使因子载荷阵每列上的各元素的绝对值（或平方值）尽可能地向两极分化，即少数元素的绝对值（或平方值）取尽可能大的值，而其他元素尽量接近于0. (4) 1.4 因子得分 在对公共因子做出合理解释后，有时还需要求出各观测所对应的各个公共因子的得分，就比如我们知道某个女孩是一个美女，可能很多人更关心该给她的脸蛋、身材等各打多少分，常用的求因子得分的方法有加权最小二乘法和回归法。 注意：因子载荷矩阵和得分矩阵的区别： 因子载荷矩阵是各个原始变量的因子表达式的系数，表达提取的公因子对原始变量的影响程度。因子得分矩阵表示各项指标变量与提取的公因子之间的关系，在某一公因子上得分高，表明该指标与该公因子之间关系越密切。简单说，通过因子载荷矩阵可以得到原始指标变量的线性组合，如X1=a11*F1+a12*F2+a13*F3,其中X1为指标变量1，a11、a12、a13分别为与变量X1在同一行的因子载荷，F1、F2、F3分别为提取的公因子；通过因子得分矩阵可以得到公因子的线性组合，如F1=a11*X1+a21*X2+a31*X3，字母代表的意义同上。 (5) 1.5 因子分析中的Heywood（海伍德）现象 如果x的各个分量都已经标准化了，则其方差=1。即共性方差与特殊方差的和为1。也就是说共性方差与特殊方差均大于0，并且小于1。但在实际进行参数估计的时候，共性方差 1、简述多元统计分析中协差阵检验的步骤 第一，提出待检验的假设H0和H1； 第二，给出检验的统计量及其服从的分布； 第三，给定检验水平，查统计量的分布表，确定相应的临界值，从而得到否定域； 第四，根据样本观测值计算出统计量的值，看是否落入否定域中，以便对待判假设做出决策（拒绝或接受）。 协差阵的检验 检验0=ΣΣ 0p H =ΣI ： /2/21exp 2np n e tr n λ????=-?? ?????S S 00p H =≠ΣΣI ： /2/2**1exp 2np n e tr n λ????=-?? ????? S S 检验12k ===ΣΣΣ012k H ===ΣΣΣ： 统计量/2/2/2/211i i k k n n pn np k i i i i n n λ===∏∏S S 2. 针对一个总体均值向量的检验而言，在协差阵已知和未知的两种情形下，如何分别构造的统计量？ 3. 作多元线性回归分析时，自变量与因变量之间的影响关系一定是线性形式的吗？多元线性回归分析中的线性关系是指什么变量之间存在线性关系？ 答：作多元线性回归分析时，自变量与因变量之间的影响关系不一定是线性形式。当自变量与因变量是非线性关系时可以通过某种变量代换，将其变为线性关系，然后再做回归分析。 多元线性回归分析的线性关系指的是随机变量间的关系，因变量y 与回归系数βi 间存在线性关系。 多元线性回归的条件是： （1）各自变量间不存在多重共线性； （2）各自变量与残差独立； （3）各残差间相互独立并服从正态分布； （4）Y 与每一自变量X 有线性关系。 4.回归分析的基本思想与步骤 基本思想： 第七章 因子分析 7.1 试述因子分析与主成分分析的联系与区别。 答：因子分析与主成分分析的联系是：①两种分析方法都是一种降维、简化数据的技术。②两种分析的求解过程是类似的，都是从一个协方差阵出发，利用特征值、特征向量求解。因子分析可以说是主成分分析的姐妹篇，将主成分分析向前推进一步便导致因子分析。因子分析也可以说成是主成分分析的逆问题。如果说主成分分析是将原指标综合、归纳，那么因子分析可以说是将原指标给予分解、演绎。 因子分析与主成分分析的主要区别是：主成分分析本质上是一种线性变换，将原始坐标变换到变异程度大的方向上为止，突出数据变异的方向，归纳重要信息。而因子分析是从显在变量去提炼潜在因子的过程。此外，主成分分析不需要构造分析模型而因子分析要构造因子模型。 7.2 因子分析主要可应用于哪些方面？ 答：因子分析是一种通过显在变量测评潜在变量，通过具体指标测评抽象因子的统计分析方法。目前因子分析在心理学、社会学、经济学等学科中都有重要的应用。具体来说，①因子分析可以用于分类。如用考试分数将学生的学习状况予以分类；用空气中各种成分的比例对空气的优劣予以分类等等②因子分析可以用于探索潜在因素。即是探索未能观察的或不能观测的的潜在因素是什么，起的作用如何等。对我们进一步研究与探讨指示方向。在社会调查分析中十分常用。③因子分析的另一个作用是用于时空分解。如研究几个不同地点的不同日期的气象状况，就用因子分析将时间因素引起的变化和空间因素引起的变化分离开来从而判断各自的影响和变化规律。 7.3 简述因子模型中载荷矩阵A 的统计意义。 答：对于因子模型 1122i i i ij j im m i X a F a F a F a F ε=++ ++ ++ 1,2, ,i p = 因子载荷阵为1112 121 22212 12 (,, ,)m m m p p pm a a a a a a A A A a a a ????? ?==?????? ? ?A i X 与j F 的协方差为： 1Cov(,)Cov(,)m i j ik k i j k X F a F F ε==+∑ =1 Cov( ,)Cov(,)m ik k j i j k a F F F ε=+∑ =ij a 若对i X 作标准化处理，=ij a ,因此 ij a 一方面表示i X 对j F 的依赖程度；另一方面也反映了 聚类分析 引言 俗话说：“物以聚类，人以群分”，在现实世界中存在着大量的分类问题。例如，生物可以分成动物和植物，动物又可分为脊椎动物和无脊椎动物等；人按年龄可分为少年、青年、中年、老年，对少年的身体形态、身体素质及生理功能的各项指标进行测试，据此对少年又可进行分类；在环境科学中，我们可以对按大气污染的轻重分成几类区域；在经济学中，根据人均国民收入、人均工农业产值和人均消费水平等多项指标对世界上所有国家的经济发展状况进行分类；在产品质量管理中，要根据各产品的某些重要指标可以将其分为一等品，二等品等。 研究事物分类问题的基本方法有两种：一是判别分析，二是聚类分析。若已知总体的类别数目及各类的特征，要对类别未知的个体正确地归属其中某一类，这时需要用判别分析法。若事先对总体到底有几种类型无从知晓，则要想知道观测到的个体的具体的分类情况，这时就需要用聚类分析法。 聚类分析的基本思想：首先定义能度量样品（或变量）间相似程度（亲疏关系）的统计量，在此基础上求出各样品（或变量）间相似程度的度量值；然后按相似程度的大小，把样品（或变量）逐一归类，关系密切的聚集到一个小的分类单位，关系疏远的聚合到一个大的分类单位，直到所有的样品（或变量）都聚合完毕，把不同的类型一一划分出来，形成一个由小到大的分类系统；最后根据整个分类系统画出一副分群图，称之为亲疏关系谱系图。 聚类分析给人们提供了丰富多彩的分类方法，大致可归为： ⑴系统聚类法：首先，将n 个样品看成n 类，然后将性质最接近的两类合并成一个新类，得到1 n 类，合并后重新计算新类与其它类的距离与相近性测度。这一过程一直继续直到所有对象归为一类为止，并且类的过程可用一张谱系聚类图描述。 ⑵动态聚类法（调优法）：首先对n 个对象初步分类，然后根据分类的损失函数尽可能小的原则进行调整，直到分类合理为止。 ⑶有序样品聚类法（最优分割法）：开始将所有样品看成一类，然后根据某种最优准则将它们分割为二类、 1 、填空题(20分) 1、 若X Q ~ N p (g ,(a =1,2,…n)且相互独立，则样本均值向量X 服从的分布为X ~ N p (g^|。 2、 变量的类型按尺度划分有 _间隔尺度_、_有序尺度_、名义尺度_。 3、 判别分析是判别样品 所属类型 的一种统计方法，常用的判别方法有 —距离判别法_、Fisher 判别法、 Bayes 判别法、逐步判别法。 4、 Q 型聚类是指对_样品-进行聚类，R 型聚类是指对_指标(变量)_进行聚类。 5、 设样品X i =(X i1,X i2^ X ip )',(i =1,2，…n)，总体X~N p (」「)，对样品进行分类常用的距离有： 明氏距离d j (q)=(壬|Xy q i j i j 6、 因子分析中因子载荷系数a j 的统计意义是—第i 个变量与第j 个公因子的相关系数。 7、 一元回归的数学模型是：y 曆x 童，多元回归的数学模型是 8、 对应分析是将 R 型因子分析和Q 型因子分析结合起来进行的统计分析方法。 9、 典型相关分析是研究两组变量之间 相关关系的一种多元统计方法。 、计算题(60分) '4 1 1、设三维随机向量X~N 3(?2)，其中送=1 3 e 0 独立？为什么? 解：因为cov(X 1,X 2^1，所以X 1与X 2不独立。 把协差矩阵写成分块矩阵瓦=f 11 ；12丨，(X 1,X 2/的协差矩阵为瓦 11 因为 —21 - 22 cov((X 1,X 2),X 3)=為12，而' 12 =0，所以(X 1, X 2)和X 3是不相关的，而正态分布不相关与相互独 立是等价的，所以(X 1,X 2)和X 3是独立的。 0，问X 1与X 2是否独立? 2> (X 1,X 2)和X 3是否 第九章多元统计分析简介 多元统计分析主要研究多个变量之间的关系以及具有这些变量的个体之间的关系。无论是自然科学还是社会科学，无论是理论研究还是应用决策，多元统计分析都有较广泛的应用。近年来，随着计算机的普及和广泛应用，多元统计分析的应用越来越广泛，越来越深入。生物学研究中，有许多问题要考虑样本与样本之间的关系、性状与性状之间的关系，也要考虑样本与性状之间的关系，为了能够正确处理这些错综复杂的关系，就需要借助于多元统计分析方法来解决这些问题。 从应用的观点看，多元统计分析就是要研究多个变量之间的关系，但哪些问题才是多元统计的内容，并无严格的界限。一般认为，典型的多元统计分析主要可以归结为两类问题：第一类是决定某一样本的归属问题：根据某样品的多个性状（特征）判定其所属的总体。如判别分析、聚类分析即属于此类内容。第二类问题是设法降低变量维数，同时将变量变为独立变量，以便更好地说明多变量之间的关系。主成分分析、因子分析和典型相关分析均属于此类问题。此外，多因素方差分析、多元回归与多元相关分析和时间序列分析，均是研究一个变量和多个变量之间的关系的，也是多元统计分析的内容。 第一节聚类分析(Cluster Analysis) 聚类分析是研究分类问题的一种多元统计方法，聚类分析方法比较粗糙，但由于这种方法能解决许多实际问题，应用比较方便，因此越来越受到人们的重视。近年来聚类分析发展较快，内容也越来越多。常见的有系统聚类、模糊聚类、灰色聚类、信息聚类、图论聚类、动态聚类、最优分割、概率聚类等方法，本节重点介绍系统聚类法。 系统聚类法是目前应用较多的聚类分析方法，这种聚类方法从一批样本的多个观测指标(变量)中，找出能度量样本之间相似程度的统计数，构成一个相似矩阵，在此基础上计算出样本(或变量)之间或样本组合之间的相似程度或距离，按相似程度或距离大小将样本(或变量)逐一归类，关系密切的归类聚集到一个小分类单位，关系疏远的聚集到一个大的分类单位，直到把所有样本(或变量)都聚集完毕，形成一个亲疏关系谱系图，直观地显示分类对象的差异和联系。 第二节判别分析(Discriminant Analysis) 判别分析是多元统计分析中较为成熟的一类分类方法，它是根据两个或多个总体的观测结果，按照一定的判别准则和相应的判别函数，来判断某一样本属于哪一类总体。判别分析的内容很多，常见的有距离判别、贝叶斯判别、费歇判别、逐步判别、序贯判别等方法。 第三节主成分分析（Principal components analysis）多元统计分析期末试题及答案.doc
(完整word版)实用多元统计分析相关习题
多元统计分析模拟考题及答案
实用多元统计分析相关习题学习资料
多元统计分析复习整理
多元统计分析自己写
多元统计分析期末复习试题
数学建模多元统计分析
多元统计分析简答题..
应用多元统计分析习题解答_因子分析
多元统计分析第九章聚类分析
多元统计分析期末试题
生物统计学 第九章 多元统计分析