第11章多重线性回归分析思考与练习参考答案

第11章多重线性回归分析

思考与练习参考答案

一、最佳选择题

1. 逐步回归分析中，若增加自变量的个数，则（ D ）。

A. 回归平方和与残差平方和均增大

B. 回归平方和与残差平方和均减小

C. 总平方和与回归平方和均增大

D. 回归平方和增大，残差平方和减小

E. 总平方和与回归平方和均减小

2. 下面关于自变量筛选的统计学标准中错误的是（ E ）。

A. 残差平方和（）缩小

B. 确定系数（）增大

C. 残差的均方（）缩小

D. 调整确定系数（）增大

E. 统计量增大

3. 多重线性回归分析中，能直接反映自变量解释因变量变异百分比的指标为（ C ）。

A. 复相关系数

B. 简单相关系数

C.确定系数

D. 偏回归系数

E. 偏相关系数

4. 多重线性回归分析中的共线性是指（ E ）。

A.关于各个自变量的回归系数相同

B.关于各个自变量的回归系数与截距都相同

C.变量与各个自变量的相关系数相同

D.与自变量间有较高的复相关

E. 自变量间有较高的相关性

5. 多重线性回归分析中，若对某一自变量的值加上一个不为零的常数,则有（ D ）。

A. 截距和该偏回归系数值均不变

B. 该偏回归系数值为原有偏回归系数值的倍

C. 该偏回归系数值会改变，但无规律

D. 截距改变，但所有偏回归系数值均不改变

E. 所有偏回归系数值均不会改变

二、思考题

1. 多重线性回归分析的用途有哪些？

答：多重线性回归在生物医学研究中有广泛的应用，归纳起来，可以包括以下几个方面：定量地建立一个反应变量与多个解释变量之间的线性关系，筛选危险因素，通过较易测量的变量估计不易测量的变量，通过解释变量预测反应变量，通过反应变量控制解释变量。

2. 多重线性回归模型中偏回归系数的含义是什么？

答：偏回归系数的含义是：在控制其他自变量的水平不变的情况下，该自变量每改变一个单位，反应变量平均改变的单位数。

3. 请解释用于多重线性回归参数估计的最小二乘法的含义。

答：最小二乘法的含义是：残差的平方和达到最小。

4. 如何判断和处理多重共线性？

答：如果自变量之间存在较强的相关，则存在多重共线性。可以通过分析自变量之间的相关系数、计算方差膨胀因子和容忍度等指标判断是否存在多重共线性。如果自变量间存在多重共线性，最简单的处理办法是删除变量，即在相关性较强的变量中删除测量误差大的、缺失数据多的、从专业上看意义不是很重要的或者在其他方面不太满意的变量。其次，也可采用主成分回归方法。

5. 如何判断、分析自变量间的交互作用？

答：基于专业背景知识，构造可能的交互作用项，并检验交互作用项是否有统计学意义。

6. 多重线性回归模型的基本假定有哪些？如何判断资料是否满足这些假定？如果资料不满足假定条件，常用的处理方法有哪些？

答：多重线性回归的前提条件是线性、独立性、正态性和等方差性，可以借助残差分析等方法判断资料是否满足条件。如果资料不满足前提条件，可以采用变量变换和非线性回归等方法处理。

三、计算题

为确定老年妇女进行体育锻炼还是增加营养会减缓骨骼损伤，一名研究者用光子吸收法测量了骨骼中无机物含量,对三根骨头主侧和非主侧记录了测量值，结果见教材表11-20。分别用两种桡骨测量结果作为反应变量对其他骨骼测量结果作多重线性回归分析，提出并拟合适当的回归模型，分析残差。

解：答案提示，需要对自变量进行筛选，而且要考虑是否存在多重共线性，如果存在，应进行适当的处理。

教材表11-20 骨骼中无机物的含量受试者编号

主侧桡骨

桡骨

主侧肱骨

肱骨

主侧尺骨

尺骨

1

1.103

1.052

2.139

2.238

0.873

0.872

2

0.842

0.859

1.873

1.741

0.590

0.744

3 0.925

0.873

1.887 1.809 0.767 0.713 4 0.857

0.744

1.739 1.547 0.706 0.674 5 0.795

0.809

1.734 1.715 0.549

0.654 6 0.787

0.779

1.509 1.474 0.782 0.571 7 0.933

0.880

1.695 1.656 0.737 0.803 8 0.799

0.851

1.740 1.777 0.618

0.682 9 0.945

0.876

1.811 1.759 0.853 0.777 10 0.921

0.906

1.954

2.009 0.823 0.765 11 0.792

0.825

1.624 1.657

0.686 0.668 12 0.815 0.751 2.204 1.846 0.678 0.546 13 0.755

0.724

1.508 1.458 0.662 0.595 14 0.880

0.866

1.786 1.811

0.810 0.819 15 0.900

0.838

1.902 1.606 0.723 0.677 16 0.764

0.757

1.743 1.794 0.586 0.541 17 0.733

0.748

1.863

1.869 0.672 0.752 18 0.932 0.898

2.028 2.032 0.836 0.805 19 0.856

0.786

1.390 1.324 0.578 0.610 20 0.890 0.950

2.187

2.087 0.758 0.718 21 0.688

0.532

1.650 1.378 0.533 0.482 22 0.940 0.850

2.334 2.225 0.757 0.731 23 0.493 0.616

1.037

1.268

0.546

0.615

24

0.835

0.752

1.509

1.422

0.618

0.664

25

0.915

0.936

1.971

1.869

0.869

0.868

资料来源：《实用多元统计分析》（第4版），Richard A. Johnson & Dean W. Wichern,陆璇译，清华大学出版社。

第十一章 多重线性回归分析

一、作业 教材P214 三。 二、自我练习 （一）教材P213 一。 （二）是非题 1．当一组资料的自变量为分类变量时，对这组资料不能做多重线性回归分析。( ) 2．若多重线性方程模型有意义．则各个偏回归系数也均有统计学意义。〔) 3．回归模型变量的正确选择在根本上依赖于所研究问题本身的专业知识。（） 4.从各自变量偏回归系数的大小．可以反映出各自变量对应变量单位变化贡献的大小。( ) 5.在多元回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数不变。( ) （三）选择题 1. 多重线性回归分析中，共线性是指（），导致的某一自变量对Y的作用可以由其他自变量的线性函数表示。 A. 自变量相互之间存在高度相关关系 B. 因变量与各个自变量的相关系数相同 C. 因变量与自变量间有较高的复相关关系

D. 因变量与各个自变量之间的回归系数相同 2. 多重线性回归和Logistic 回归都可应用于（）。 A. 预测自变量 B. 预测因变量Y 取某个值的概率π C. 预测风险函数h D. 筛选影响因素（自变量） 3．在多重回归中，若对某个自变量的值都增加一个常数，则相应的偏回归系数： A．不变 B．增加相同的常数 C．减少相同的常数 D．增加但数值不定 4．在多元回归中，若对某个自变量的值都乘以一个相同的常数k，则： A．该偏回归系数不变 B．该偏回归系数变为原来的 1/k倍 C．所有偏回归系数均发生改变 D．该偏回归系数改变，但数值不定 5．作多重线性回归分析时，若降低进入的F 界值，则进入方程的变量一般会： A．增多 B．减少 C．不变 D．可增多也可减少（四）筒答题

PLS回归在消除多重共线性中的作用

PL S回归在消除多重共线性中的作用 王惠文 朱韵华 (北京航空航天大学管理学院,北京,100083) 摘 要 本文详细阐述了解释变量的多重共线性在回归建模与分析中的危害作用,并指出目前常用的几种消除多重线性影响的方法,以及它们的不足之处。本文结合实证研究指出:利用一种新的建模思路 PLS回归,可以更好地消除多重共线性对建模准确性与可靠性所带来的影响。 关键词:多重共线性 PLS回归 一、引 言 在多元回归的建模与分析中,解释变量之间存在高度相关性的现象十分普遍。在这种情况下,要很好地解释模型中某个自变量对因变量的效应,是非常困难的。然而,在从事建模工作过程中,为了更完备地描述系统,尽可能不遗漏一些举足轻重的系统特征,分析人员往往倾向于尽可能周到地选取有关指标,在这样构成的多变量系统中必然经常出现变量多重相关的现象。事实上,许多社会、经济及技术指标都有同步增长的趋势,因此,在多元回归建模实施过程中,变量多重相关的现象是很难避免的。 二、多重共线性在回归建模中的危害作用 1.危害性讨论 多重共线性的现象是由Fr isch.A.K在其著名论著 完全回归体系的统计合流分析 中首次提出的,用数学语言来描述,它是指变量之间存在着线性关系。在多重共线性现象存在的情况下,对多元回归分析会产生如下影响: (1)如果变量之间存在完全的多重共线性,那么将无法估计变量的回归系数。而由于各个自变量的回归系数无法估计,所以也就无法估计各个自变量单独对因变量的影响,自然也就无法判断自变量对因变量的效应,即使自变量之间不存在完全的多重共线性,但是当自变量有较高度的相关关系时,一个自变量的回归系数,在模型中只反映这个自变量对因变量边际的或部分的效应,因而所得到的回归模型是不准确的。 (2)回归系数的估计方差为无穷大。例如在一个简单的多元回归中,自变量X1和X2之间 收稿日期:1996年2月9日 *本文系国家自然科学基金资助项目

SPSS线性回归分析案例

回归分析 实验内容：基于居民消费性支出与居民可支配收入的简单线性回归分析 【研究目的】 居民消费在社会经济的持续发展中有着重要的作用。影响各地区居民消费支出的因素很多，例如居民的收入水平、商品价格水平、收入分配状况、消费者偏好、家庭财产状况、消费信贷状况、消费者年龄构成、社会保障制度、风俗习惯等等。为了分析什么是影响各地区居民消费支出有明显差异的最主要因素，并分析影响因素与消费水平的数量关系，可以建立相应的经济模型去研究。 【模型设定】 我们研究的对象是各地区居民消费的差异。由于各地区的城市与农村人口比例及经济结构有较大差异，现选用城镇居民消费进行比较。模型中被解释变量Y选定为“城市居民每人每年的平均消费支出”。从理论和经验分析，影响居民消费水平的最主要因素是居民的可支配收入，故可以选用“城市居民每人每年可支配收入”作为解释变量X，选取2010年截面数据。 1、实验数据 表1： 2010年中国各地区城市居民人均年消费支出和可支配收入

2、实验过程 作城市居民家庭平均每人每年消费支出(Y)和城市居民人均年可支配收入(X)的散点图，如图1：

表2 模型汇总b 表3 相关性 从散点图可以看出居民家庭平均每人每年消费支出(Y)和城市居民人均年可支配收入(X)大体呈现为线性关系，所以建立如下线性模型：Y=a+bX

表4 系数a 3、结果分析 表2模型汇总：相关系数为0.965，判定系数为0.932，调整判定系数为0.930，估计值的标准误877.29128 表3是相关分析结果。消费性支出Y与可支配收入X相关系数为0.965，相关性很高。 表4是回归分析中的系数：常数项b=704.824，可支配收入X的回归系数a=0.668。a的标准误差为0.034，回归系数t的检验值为19.921，P值为0，满足95%的置信区间，可认为回归系数有显著意义。得线性回归方程Y=0.668X+704.824. 【实验结论】 （1）结果显示，变量之间具有如下关系式：Y=0.668X+704.824.也就是说消费与收入之间存在稳定的函数关系。随着收入的增加，消费将增加，但消费的增长低于收入的增长。这与凯尔斯的绝对收入消费理论刚好吻合。但为了研究方便，这里假设边际消费倾向为常数。由公式知X每增长1个单位，Y增加0.668个单位。

主成分回归多重共线性

实验八:主成分回归 实验题目:对例5、5的Hald水泥问题用主成分方法建立模型,并与其她方法的结果进行比较。例5、5如下:本例为回归经典的Hald水泥问题。某种水泥在凝固时放出的热量y(卡/克,cal/g)与水泥中的四种化学成分的含量(%)有关,这四种化学成分分别就是x1铝酸三钙(3CaO、Al2O3),x2硅酸三钙(3CaO、SiO2),x3铁铝酸四钙(4CaO、Al2O3、Fe2O3),x4硅酸三钙(2CaO、SiO2)。现观测到13组数据,如表5-3所示。 实验目的: SPSS输出结果及答案: 一、主成分法: 多重共线性诊断:

N 13 13 13 13 13 **、在、01 水平(双侧)上显著相关。 由表可知,x1,x2,x4的相关性都比较大,较接近,所以存在多重共线性 主成分回归: 解释的总方差 成份 初始特征值提取平方与载入 合计方差的 % 累积 % 合计方差的 % 累积 % 1 2、236 55、893 55、893 2、236 55、893 55、893 2 1、576 39、402 95、294 1、576 39、402 95、294 3 、187 4、665 99、959 、187 4、665 99、959 4 、002 、041 100、000 、002 、041 100、000 提取方法:主成份分析。 输出结果显示有四个特征根,最大的就是λ1=2、236,最小的就是λ4=0、002。 方差百分比显示第一个主成分Factor1的方差百分比近56%的信息量;前两个主成 分累计包含近95、3%的信息量。因此取两个主成分就已经足够。 由于前两个主成分的方差累计已经达到95、3%,故只保留前两个主成分。 成份矩阵a 成份 1 2 3 4 x1 、712 -、639 、292 、010 x2 、843 、520 -、136 、026 x3 -、589 、759 、275 、011 x4 -、819 -、566 -、084 、027 提取方法:主成分 a.已提取了 4 个成份。 由解释的总方差表中累计贡献性知,f1与f2的累计贡献性就在85%~95%之间。所以主成分取f1,f2。 得到因子得分的数值,并对其进行处理:sqrt(2、236)* FAD1_1, sqrt(1、576)* FAD2_1可以得出主成分表(f1 f2)。

多元线性回归中多重共线问题的解决方法综述

多元线性回归中多重共线问题的解决方法综述 摘 要 在回归分析中，当自变量之间出现多重共线性现象时，常会严重影响到参数估计，扩大模型误差，并破坏模型的稳健性，因此消除多重共线性成为回归分析中参数估计的一个重要环节。现在常用的解决多元线性回归中多重共线性的回归模型有岭回归（Ridge Regression ）、主成分回归(Principal Component Regression 简记为PCR)和偏最小二乘回归(Partial Least Square Regression 简记为PLS)。 关键词：多重共线性；岭回归；主成分回归；偏最小二乘回归 引言 在多元线性回归分析中，变量的多重相关性会严重影响到参数估计，增大模型误差，并破坏模型的稳健性 由于多重共线性问题在实际应用中普遍存在，并且危害严重，因此设法消除多重性的不良影响无疑具有巨大的价值常用的解决多元线性回归中多重共线问题的回归模型主要有主成分回归岭回归以及偏最小二乘回归。 1、 多元线性回归模型 1.1 回归模型的建立 设Y 是一个可观测的随机变量,它受m 个非随机因素X 1,X 2,…,X p-1和随机因素ε的影响, 若有如下线性关系 我们对变量进行了n 次观察，得到n 组观察数据(如下)，对回归系数 进行估计 一般要求n>P 。于是回归关系可写为 采用矩阵形式来表示 0112211p p Y X X X ββββε--=+++++n i X X X Y p i i i i ,,1,,,,)1(2,1???=???-1011121211(1)1 2012122212(1)2 011221(1)p p p p n n n p n p n Y X X X Y X X X Y X X X ββββεββββεββββε------=+++++??=+++++?? ? ?=+++++?11121,(1)121222,(1)212,(1)111, 1 p p n n n n p n n p X X X Y X X X Y Y X Y X X X ---??????????????==??????????????)1(10,,,p -???βββ

多重共线性问题的几种解决方法

多重共线性问题的几种解决方法 在多元线性回归模型经典假设中，其重要假定之一是回归模型的解释 变量之间不存在线性关系，也就是说，解释变量X 1，X 2 ，……，X k 中的任何一个 都不能是其他解释变量的线性组合。如果违背这一假定，即线性回归模型中某一个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线性。多重共线性违背了解释变量间不相关的古典假设，将给普通最小二乘法带来严重后果。 这里，我们总结了8个处理多重共线性问题的可用方法，大家在遇到多重共线性问题时可作参考： 1、保留重要解释变量，去掉次要或可替代解释变量 2、用相对数变量替代绝对数变量 3、差分法 4、逐步回归分析 5、主成份分析 6、偏最小二乘回归 7、岭回归 8、增加样本容量 这次我们主要研究逐步回归分析方法是如何处理多重共线性问题的。 逐步回归分析方法的基本思想是通过相关系数r、拟合优度R2和标准误差三个方面综合判断一系列回归方程的优劣，从而得到最优回归方程。具体方法分为两步： 第一步，先将被解释变量y对每个解释变量作简单回归: 对每一个回归方程进行统计检验分析（相关系数r、拟合优度R2和标准误差），并结合经济理论分析选出最优回归方程，也称为基本回归方程。

第二步，将其他解释变量逐一引入到基本回归方程中，建立一系列回归方程，根据每个新加的解释变量的标准差和复相关系数来考察其对每个回归系数的影响，一般根据如下标准进行分类判别： １.如果新引进的解释变量使R2得到提高,而其他参数回归系数在统计上和经济理论上仍然合理，则认为这个新引入的变量对回归模型是有利的，可以作为解释变量予以保留。 ２.如果新引进的解释变量对R2改进不明显，对其他回归系数也没有多大影响，则不必保留在回归模型中。 ３.如果新引进的解释变量不仅改变了R2，而且对其他回归系数的数值或符号具有明显影响，则认为该解释变量为不利变量，引进后会使回归模型出现多重共线性问题。不利变量未必是多余的，如果它可能对被解释变量是不可缺少的，则不能简单舍弃，而是应研究改善模型的形式，寻找更符合实际的模型，重新进行估计。如果通过检验证明回归模型存在明显线性相关的两个解释变量中的其中一个可以被另一个很好地解释，则可略去其中对被解释变量影响较小的那个变量，模型中保留影响较大的那个变量。 下边我们通过实例来说明逐步回归分析方法在解决多重共线性问题上的具体应用过程。 具体实例 例1设某地10年间有关服装消费、可支配收入、流动资产、服装类物价指数、总物价指数的调查数据如表1，请建立需求函数模型。 表1 服装消费及相关变量调查数据

计量经济学多元线性回归、多重共线性、异方差实验报告记录

计量经济学多元线性回归、多重共线性、异方差实验报告记录

————————————————————————————————作者：————————————————————————————————日期：

计量经济学实验报告

多元线性回归、多重共线性、异方差实验报告 一、研究目的和要求： 随着经济的发展，人们生活水平的提高，旅游业已经成为中国社会新的经济增长点。旅游产业是一个关联性很强的综合产业，一次完整的旅游活动包括吃、住、行、游、购、娱六大要素，旅游产业的发展可以直接或者间接推动第三产业、第二产业和第一产业的发展。尤其是假日旅游，有力刺激了居民消费而拉动内需。2012年，我国全年国内旅游人数达到亿人次，同比增长%，国内旅游收入万亿元，同比增长%。旅游业的发展不仅对增加就业和扩大内需起到重要的推动作用，优化产业结构，而且可以增加国家外汇收入，促进国际收支平衡，加强国家、地区间的文化交流。为了研究影响旅游景区收入增长的主要原因，分析旅游收入增长规律，需要建立计量经济模型。 影响旅游业发展的因素很多，但据分析主要因素可能有国内和国际两个方面，因此在进行旅游景区收入分析模型设定时，引入城镇居民可支配收入和旅游外汇收入为解释变量。旅游业很大程度上受其产业本身的发展水平和从业人数影响，固定资产和从业人数体现了旅游产业发展规模的内在影响因素，因此引入旅游景区固定资产和旅游业从业人数作为解释变量。因此选取我国31个省市地区的旅游业相关数据进行定量分析我国旅游业发展的影响因素。 二、模型设定 根据以上的分析，建立以下模型 Y=β 0+β 1 X 1 +β 2 X 2 +β 3 X 3 +β 4 X 4 +Ut 参数说明： Y ——旅游景区营业收入/万元 X 1 ——旅游业从业人员/人 X 2 ——旅游景区固定资产/万元 X 3 ——旅游外汇收入/万美元 X 4 ——城镇居民可支配收入/元

岭回归解决多重共线性

一、引言 回归分析是一种比较成熟的预测模型,也是在预测过程中使用较多的模型,在自然科学管理科学和社会经济中有着非常广泛的应用，但是经典的最小二乘估计，必需满足一些假设条件，多重共线性就是其中的一种。实际上，解释变量间完全不相关的情形是非常少见的，大多数变量都在某种程度上存在着一定的共线性，而存在着共线性会给模型带来许多不确定性的结果。 二、认识多重共线性 （一）多重共线性的定义 设回归模型01122p p y x x x ββββε=+++?++如果矩阵X 的列向量存在一组不全 为零的数012,,p k k k k ?使得011220i i p i p k k x k x k x +++?+=, i =1,2,…n ,则称其存在完全共线性,如果022110≈+?+++p i p i i x k x k x k k , i =1,2,…n ,则称其存在 近似的多重共线性。 （二）多重共线性的后果 1.理论后果 对于多元线性回归来讲，大多数学者都关注其估计精度不高，但是多重共线性不可 能完全消除，而是要用一定的方法来减少变量之间的相关程度。多重共线性其实是由样本容量太小所造成的后果，在理论上称作“微数缺测性”，所以当样本容量n 很小的时候，多重共线性才是非常严重的。 多重共线性的理论后果有以下几点： （1）保持OLS 估计量的BLUE 性质； (2) 戈德伯格提出了近似多重共线性其实是样本观测数刚好超过待估参数个数时出现的 情况。所以多重共线性并不是简单的自变量之间存在的相关性，也包括样本容量的大小问题。 （3）近似的多重共线性中，OLS 估计仍然是无偏估计。无偏性是一种多维样本或重复抽样 的性质；如果X 变量的取值固定情况下，反复对样本进行取样，并对每个样本计算OLS 估计量，随着样本个数的增加，估计量的样本值的均值将收敛于真实值。 （4）多重共线性是由于样本引起的。即使总体中每一个X 之间都没有线性关系，但在具体 取样时仍存在样本间的共线性。 2.现实后果 （1）虽然存在多重共线性的情况下，得到的OLS 估计是BLUE 的，但有较大的方差和协方差， 估计精度不高； （2）置信区间比原本宽，使得接受0H 假设的概率更大；

多元线性回归实习实际例题分析

多元线性回归分析实习 线性回归过程（Linear Regression）可用于分析一个或多个自变量与一个因变量之间的线性数量关系，并可进行回归诊断分析。 ●[例题3.1] 某地29名13岁男童身高x1（cm），体重x2（kg），肺活量y（L）的实测值数据见表3.1，试建立肺活量与身高、体重的回归关系。 [ 操作过程] ①[ 数据格式] 见数据文件< 多元线性回归例题.sav > 该数据库有4列29行，即4个变量、29个记录（Observation），每个变量占1列，每个记录占1行，该数据格式为一般多元分析的数据格式。 ②[ 过程] 单击后可弹出线性回归对话框。该对话框内有诸多选项，现分别介绍。 ③[ 选项] ◆因变量。只能选入1个因变量，本例选入变量“肺活量”。 ◆自变量。可以是1个或多个，本例选入变量“身高、体重”。 ◆当选择不同组合的自变量进行回归分析时，可保存每次选择的自 变量，用按钮和按钮可分别向前、向后翻找各种自变量的组合。

◆选择回归模型拟合的分析方法，有5种可供选择。 Enter 强迫引入法，即一般回归分析，所选自变量全部进入方程，为系统默认方式。 Stepwise 逐步回归法， 加入有显著性意义的变量和剔除无显著性意义的变量，直到所建立的方程式 中不再有可加入和可剔除的变量为止。 Remove 强迫剔除法。根据设定的条件剔除自变量。 Backward向后逐步法。所选自变量全部进入方程，根据Options对话框中设定的标准在计算过程中逐个剔除变量，直到所建立的方程式中不再含有可剔 除的变量为止。 Forward：向前逐步法。根据Options对话框中设定的标准在计算过程中逐个加入单个变量，直到所建立的方程式中不再有可加入的变量为止。 ◆选择符合某变量条件的观察单位进行分析，每次只能选入1 位范围，有6种方式供选择，在Value框内输入设定值。 equal to 等于设定值。 not equal to不等于设定值。 less than小于设定值。 Less than or equal to 小于或等于设定值。 greater than 大于设定值。 greater than or equal to大于或等于设定值。 ◆对话框。 Regression coefficient回归系数 Estimate一般回归系数和标准回归系数及其标准误和显著性检验。 Confidence interval 输出一般回归系数的95%可信区间。 Covarience matrix 方差及协方差知阵和相关矩阵。 Model fit 模型检验，给出复相关系数R，决定系数R2及方差分析结果。 R squared change 输出调整R2及相应的F值和P值。 Descriptive 输出每个变量的均数，标准差，样本容量，相关系及单侧检验P值

实验六-多元线性回归和多重共线性

实验六-多元线性回归和多重共线性

实验六多元线性回归和多重共线性 姓名：何健华 学号：201330110203 班级：13金融数学2班 一 实验目的： 掌握多元线性回归模型的估计方法、掌握多重共线性模型的识别和修正。 二 实验要求： 应用教材P140例子4.3.1案例做多元线性回归模型，并识别和修正多重共线性。 三 实验原理： 普通最小二乘法、简单相关系数检验法、综合判断法、逐步回归法。 四 预备知识： 最小二乘法估计的原理、t 检验、F 检验、R 2值。 五 实验步骤： 有关的研究分析表明，影响国内旅游市场收入的主要因素，除了国内旅游人数和旅游支出外，还可能与基础设施有关。因此考虑影响国内旅游收入Y （单位为亿元）的以下几个因素：国内旅游人数X1、城镇居民人均旅游支出X2（单位为元）、农村居民人均旅游支出X3（单位为元）、并以公路里程X4（单位为万公里）和铁路里程X5（单位为万公里）作为相关设施的代表，根据这些变量建立如下的计量经济模型： 01122334455y x x x x x ββββββμ=++++++ 为了估计上述模型，从《中国统计年鉴》收集到1994年到2003年的有关统计数据。 Year Y X1 X2 X3 X4 X5 1994 1023.5 52400 414.7 54.9 111.78 5.9 1995 1375.7 62900 464 61.5 115.7 5.97 1996 1638.4 63900 534.1 70.5 118.58 6.49 1997 2112.7 64400 599.8 145.7 122.64 6.6 1998 2391.2 69450 607 197 127.85 6.64

多元线性回归模型练习题及答案

多元线性回归模型练习 一、单项选择题 1.在由30n =的一组样本估计的、包含3个解释变量的线性回归模型中，计算得可决系数为，则调整后的可决系数为（ D ） A. B. C. 用一组有30个观测值的样本估计模型01122t t t t y b b x b x u =+++后，在的显著性水平上对1b 的显著性作t 检验，则1b 显著地不等于零的条件是其统计量t 大于等于（ C ） A. )30(05.0t B. )28(025.0t C. )27(025.0t D. )28,1(025.0F 3.线性回归模型01122......t t t k kt t y b b x b x b x u =+++++ 中，检验 0:0(0,1,2,...)t H b i k ==时，所用的统计量 服从( C ) (n-k+1) (n-k-2) (n-k-1) (n-k+2) 4. 调整的可决系数 与多元样本判定系数 之间有如下关系( D ) A.2211n R R n k -=-- B. 22 111n R R n k -=--- C. 2211(1)1n R R n k -=-+-- D. 2211(1)1n R R n k -=---- 5.对模型Y i =β0+β1X 1i +β2X 2i +μi 进行总体显著性F 检验，检验的零假设是 ( A ) A. β1=β2=0 B. β1=0 C. β2=0 D. β0=0或β1=0 6．设k 为回归模型中的参数个数，n 为样本容量。则对多元线性回归方程进行 显著性检验时，所用的F 统计量可表示为（ B ） A. )1()(--k RSS k n ESS B ． C ．)1()1() (22---k R k n R D ．)()1/(k n TSS k ESS -- ) 1 ( ) 1 ( k R k R n

主成分回归多重共线性

实验八：主成分回归 实验题目：对例5.5的Hald水泥问题用主成分方法建立模型，并与其他方法的结果进行比较。 例5.5如下：本例为回归经典的Hald水泥问题。某种水泥在凝固时放出的热量y（卡/克，cal/g）与水泥中的四种化学成分的含量（%）有关，这四种化学成分分别是x1铝酸三钙（3CaO.Al2O3），x2硅酸三钙（3CaO.SiO2），x3铁铝酸四钙（4CaO.Al2O3.Fe2O3），x4硅酸三钙（2CaO.SiO2）。现观测到13组数据，如表5-3所示。 表5-3 实验目的： SPSS输出结果及答案： 一、主成分法： 多重共线性诊断：

已提取了 4 个成份。 由解释的总方差表中累计贡献性知，f1和f2的累计贡献性就在85%~95%之间。所以主成分取f1,f2。

得到因子得分的数值，并对其进行处理：sqrt(2.236)*FAD1_1,sqrt(1.576)*FAD2_1可以得出 主成分表（f1 f2）。 对f1 f2进行普通最小二乘线性回归 f1=-0.643+0.081x1+0.036x2-0.062x3-0.033x4 对f2和x1x2x3x4进行回归 模型非标准化系数标准系数 t Sig. B 标准误差试用版 1 (常量) -.938 .000 -1119037.661 .000 x1 -.087 .000 -.405 -9710099.545 .000 x2 .027 .000 .330 3071727.057 .000 x3 .094 .000 .482 10459854.955 .000 x4 -.027 .000 -.359 -3177724.589 .000 a.因变量: f2 f2=-0.938-0.087x1+0.027x2+0.094x3-0.027x4

第11章多重线性回归分析案例辨析及参考答案

第11章多重线性回归分析 案例辨析及参考答案 案例11-1预测人体吸入氧气的效率。为了解和预测人体吸入氧气的效率，某人收集了31名中年男 性的健康调查资料。一共调查了 7个指标，分别是吸氧效率（Y , %）、年龄（X1,岁）、体重（X2, kg ）、 跑1.5 km所需时间（X3, min ）、休息时的心跳频率（X4，次/min ）、跑步时的心跳频率（X5，次/min） 和最高心跳频率（X6，次/min ）（教材表11-9）。试用多重线性回归方法建立预测人体吸氧效率的模型。 教材表11 -9 吸氧效率调查数据 Y X1 X2X3 X4 X5 X6 Y X1 X2X3 X4 X5 X6 44.609 44 89.47 11.37 62 178 182 40.836 51 69.63 10.95 57 168 172 45.313 40 75.07 10.07 62 185 185 46.672 51 77.91 10.00 48 162 168 54.297 44 85.84 8.65 45 156 168 46.774 48 91.63 10.25 48 162 164 59.571 42 68.15 8.17 40 166 172 50.388 49 73.37 10.08 67 168 168 49.874 38 89.02 9.22 55 178 180 39.407 57 73.37 12.63 58 174 176 44.811 47 77.45 11.63 58 176 176 46.080 54 79.38 11.17 62 156 165 45.681 40 75.98 11.95 70 176 180 45.441 56 76.32 9.63 48 164 166 49.091 43 81.19 10.85 64 162 170 54.625 50 70.87 8.92 48 146 155 39.442 44 81.42 13.08 63 174 176 45.118 51 67.25 11.08 48 172 172 60.055 38 81.87 8.63 48 170 186 39.203 54 91.63 12.88 44 168 172 50.541 44 73.03 10.13 45 168 168 45.790 51 73.71 10.47 59 186 188 37.388 45 87.66 14.03 56 186 192 50.545 57 59.08 9.93 49 148 155 44.754 45 66.45 11.12 51 176 176 48.673 49 76.32 9.40 56 186 188 47.273 47 79.15 10.60 47 162 164 47.920 48 61.24 11.50 52 170 176 51.855 54 83.12 10.33 50 166 170 47.467 52 82.78 10.50 53 170 172 49.156 49 81.42 8.95 44 180 185 资料来自：张家放主编?医用多元统计方法?武汉:华中科技大学出版社，2002。 该研究员采用后退法对自变量进行筛选，最后得到结果如教材表11-10所示。 教材表11-10 多重线性回归模型的参数估计 Table 11-10 Parameter estimati on of regressi on model Variable Un sta ndardized Coefficie nts Stan dardized Coefficie nts t P B Std. Error In tercept 100.079 11.577 8.644 0.000 X1 -0.213 0.091 -0.214 -2.337 0.027 X3 -2.768 0.331 -0.721 -8.354 0.000 X5 -0.339 0.116 -0.653 -2.939 0.007 X6 0.255 0.132 0.439 1.936 0.064

岭回归分析

岭回归分析 一、普通最小二乘估计带来的问题 当设计矩阵X 呈病态时,X 的列向量之间有较强的线性相关性，即解释变量间出现严重的多重共线性,在这种情况下,用普通最小二乘法估计模型参数，往往参 数估计的方差太大,即jj jj j L C 2)?var(σβ=很大，j β?就很不稳定,在具体取值上与真值有较大的偏差,有时会出现与实际经济意义不符的正负号。下面看一个例子,可以说明这一点。 假设已知1x ,2x 与y 的关系服从线性回归模型:ε+++=213210x x y ,给定1x ,2x 的10个值,如下表1，2行所示： 表7.1 然后用模拟的方法产生10个正态随机数,作为误差项ε,见表第3行。然后再由回归模型i i i i x x y ε+++=213210计算出10个i y 值,见表第4行。现在假设回归系数与误差项是未知的,用普通最小二乘法求回归系数的估计得：0 ?β=11.292,1?β=11.307,2 ?β=-6.591,而原模型的参数0β=10,1β=2,2β=3看来相差太大。计算1x ，2x 的样本相关系数得12r =0.986,表明1x 与2x 之间高度相关。通过这个例子可以看到解释变量之间高度相关时，普通最小二乘估计明显变坏。 二、岭回归的定义 当自变量间存在多重共线性,|X X '|≈0时，设想给X X '加上一个正常数矩阵kI (k>0)那么X X '+kI 接近奇异的程度就会比X X '接近奇异的程度小得多。考虑到变量的量纲问题，先要对数据标准化，标准化后的设计矩阵仍用X 表示，定义y X kI X X k '+'=-1)()(?β称为β的岭回归估计，其中，k 称为岭参数。由于假设X 已经标准化，所以X X '就是自变量样本相关阵。y 可以标准化也可以未标准化， 如果y 也经过标准化，那么计算的实际是标准化岭回归估计。)(?k β 作为β的估计应比最小二乘估计β ?稳定，当k=0时的岭回归估计)0(?β就是普通的最小二乘估计。因为岭参数k 不是唯一确定的，所以得到的岭回归估计)(?k β 实际是回归参数β的一个估计族。

多重共线性和非线性回归及解决方法

多重共线性和非线性回归的问题 （1）多重共线性问题 我们都知道在进行多元回归的时候，特别是进行经济上指标回归的时候，很多变量存在共同趋势相关性，让我们得不到希望的回归模型。这里经常用到的有三种方法，而不同的方法有不同的目的，我们分别来看看： 第一个，是最熟悉也是最方便的——逐步回归法。 逐步回归法是根据自变量与因变量相关性的大小，将自变量一个一个选入方法中，并且每选入一个自变量都进行一次检验。最终留在模型里的自变量是对因变量有最大显著性的，而剔除的自变量是与因变量无显著线性相关性的，以及与其他自变量存在共线性的。用逐步回归法做的多元回归分析，通常自变量不宜太多，一般十几个以下，而且你的数据量要是变量个数3倍以上才可以，不然做出来的回归模型误差较大。比如说你有10个变量，数据只有15组，然后做拟合回归，得到9个自变量的系数，虽然可以得到，但是精度不高。这个方法我们不仅可以找到对因变量影响显著的几个自变量，还可以得到一个精确的预测模型，进行预测，这个非常重要的。而往往通过逐步回归只能得到几个自变量进入方程中，有时甚至只有一两个，令我们非常失望，这是因为自变量很多都存在共线性，被剔除了，这时可以通过第二个方法来做回归。 第二个，通过因子分析（或主成分分析）再进行回归。 这种方法用的也很多，而且可以很好的解决自变量间的多重共线性。首先通过因子分析将几个存在共线性的自变量合为一个因子，再用因子分析得到的几个因子和因变量做回归分析，这里的因子之间没有显著的线性相关性，根本谈不上共线性的问题。通过这种方法可以得到哪个因子对因变量存在显著的相关性，哪个因子没有显著的相关性，再从因子中的变量对因子的载荷来看，得知哪个变量对因变量的影响大小关系。而这个方法只能得到这些信息，第一它不是得到一个精确的，可以预测的回归模型；第二这种方法不知道有显著影响的因子中每个变量是不是都对因变量有显著的影响，比如说因子分析得到三个因子，用这三个因子和因变量做回归分析，得到第一和第二个因子对因变量有显著的影响，而在第一个因子中有4个变量组成，第二个因子有3个变量组成，这里就不知道这7个变量是否都对因变量存在显著的影响；第三它不能得到每个变量对因变量准确的影响大小关系，而我们可以通过逐步回归法直观的看到自变量前面的系数大小，从而判断自变量对因变量影响的大小。 第三个，岭回归。 通过逐步回归时，我们可能得到几个自变量进入方程中，但是有时会出现自变量影响的方向出现错误，比如第一产业的产值对国民收入是正效应，而可能方程中的系数为负的，这种肯定是由于共线性导致出现了拟合失真的结果，而这样的结果我们只能通过自己的经验去判断。通常我们在做影响因素判断的时候，不仅希望得到各个因素对因变量真实的影响关系，还希望知道准确的影响大小，就是每个自变量系数的大小，这个时候，我们就可以通过岭回归的方法。 岭回归是在自变量信息矩阵的主对角线元素上人为地加入一个非负因子k，从而使回归系数的估计稍有偏差、而估计的稳定性却可能明显提高的一种回归分析方法，它是最小二乘法的一种补充，岭回归可以修复病态矩阵，达到较好的效果。在SPSS中没有提供岭回归的模块，可以直接点击使用，只能通过编程来实现，当然在SAS、Matlab中也可以实现。做岭回归的时候，需要进行多次调试，选择适当的k值，才能得到比较满意的方程，现在这个方法应用

实验六多元线性回归和多重共线性

实验六多元线性回归和多重共线性 姓名：何健华 学号：201330110203 班级：13金融数学2班 一 实验目的： 掌握多元线性回归模型的估计方法、掌握多重共线性模型的识别和修正。 二 实验要求： 应用教材P140例子4.3.1案例做多元线性回归模型，并识别和修正多重共线性。 三 实验原理： 普通最小二乘法、简单相关系数检验法、综合判断法、逐步回归法。 四 预备知识： 最小二乘法估计的原理、t 检验、F 检验、R 2值。 五 实验步骤： 有关的研究分析表明，影响国内旅游市场收入的主要因素，除了国内旅游人数和旅游支出外，还可能与基础设施有关。因此考虑影响国内旅游收入Y （单位为亿元）的以下几个因素：国内旅游人数X1、城镇居民人均旅游支出X2（单位为元）、农村居民人均旅游支出X3（单位为元）、并以公路里程X4（单位为万公里）和铁路里程X5（单位为万公里）作为相关设施的代表，根据这些变量建立如下的计量经济模型： 01122334455y x x x x x ββββββμ=++++++ 为了估计上述模型，从《中国统计年鉴》收集到1994年到2003年的有关统计数据。 1、 请用普通最小二乘方法估计模型参数； 2、 检验模型是否存在多重共线性，如果存在共线性，试采用适当的方法消除共线性。

1. 用普通最小二乘方法估计模型参数 1.1设定并估计多元线性回归模型 01122334455y x x x x x ββββββμ=++++++ ------- (1-1) 1.2建立工作工作文件并录入数据，得到图1.1。 图1.1 点击主界面菜单Quick\Estimate Equation ，在弹出的对话框中输入Y C X1 X2 X3 X4 X5，点击确定即可得到回归结果图1.2。 图1.2

解决多重共线性之岭回归分析

解决多重共线性之岭回归分析 展开全文 上篇文章，我们介绍了几种处理共线性的方法。比如逐步回归法、手动剔除变量法是最常使用的方法，但是往往使用这类方法会剔除掉我们想要研究的自变量，导致自己希望研究的变量无法得到研究。因而，此时就需要使用更为科学的处理方法即岭回归。 岭回归岭回归分析（Ridge Regression）是一种改良的最小二乘法，其通过放弃最小二乘法的无偏性，以损失部分信息为代价来寻找效果稍差但回归系数更符合实际情况的模型方程。

简单来说，当方程变量中存在共线性时，一个变量的变化也会导致其他变量改变。岭回归就是在原方程的基础上加入了一个会产生偏差，但可以保证回归系数稳定的正常数矩阵KI。虽然会导致信息丢失，但可以换来回归模型的合理估计。分析步骤岭回归分析步骤共为2步：（1）结合岭迹图寻找最佳K值；（2）输入K值进行回归建模。 第一步：拖入数据，生成岭迹图，寻找最合适的K值。 SPSSAU岭迹图 K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。K值越小则偏差越小，当K值为0时则为普通线性OLS回归；SPSSAU提供K值智能建议，也可通过主观识别判断选择K值。 第二步：对于K值，其越小越好，通常建议小于1；确定好K值后，即可输入K值，得出岭回归模型估计，查看分析结果。 岭回归分析案例（1）背景 现测得胎儿身高、头围、体重和胎儿受精周龄数据，希望建立胎儿身高、头围、体重去和胎儿受精周龄间的回归模型。根据医学常识情况（同时结合普通线性最小二乘法OLS回归测量），发现三个自变量之间有着很强的共线性，VIF值高于200；可知胎儿身高、体重之间肯定有着很强的正相关关系，

多重共线性和非线性回归的问题

多重共线性和非线性回归的问题 前几天她和我说，在百度里有个人连续追着我的回答，三次说我的回答错了。当时非常惊讶，赶紧找到那个回答的问题，看看那个人是怎么说。最终发现他是说多重共线性和非线性回归的问题，他认为多个自变量进行不能直接回归，存在共线性的问题，需要进行因子分析（或主成分分析）；说非线性回归不能转换成线性回归的方法，这里我详细说说这两方面的问题到底是怎么回事（根据我的理解），我发现很多人很怕这个多重共线性的问题，听到非线性回归，脑袋就更大了。。。 （1）多重共线性问题 我们都知道在进行多元回归的时候，特别是进行经济上指标回归的时候，很多变量存在共同趋势相关性，让我们得不到希望的回归模型。这里经常用到的有三种方法，而不同的方法有不同的目的，我们分别来看看： 第一个，是最熟悉也是最方便的——逐步回归法。 逐步回归法是根据自变量与因变量相关性的大小，将自变量一个一个选入方法中，并且每选入一个自变量都进行一次检验。最终留在模型里的自变量是对因变量有最大显著性的，而剔除的自变量是与因变量无显著线性相关性的，以及与其他自变量存在共线性的。用逐步回归法做的多元回归分析，通常自变量不宜太多，一般十几个以下，而且你的数据量要是变量个数3倍以上才可以，不然做出来的回归模型误差较大。比如说你有10个变量，数据只有15组，然后做拟合回归，得到9个自变量的系数，虽然可以得到，但是精度不高。这个方法我们不仅可以找到对因变量影响显著的几个自变量，还可以得到一个精确的预测模型，进行预测，这个非常重要的。而往往通过逐步回归只能得到几个自变量进入方程中，有时甚至只有一两个，令我们非常失望，这是因为自变量很多都存在共线性，被剔除了，这时可以通过第二个方法来做回归。 第二个，通过因子分析（或主成分分析）再进行回归。 这种方法用的也很多，而且可以很好的解决自变量间的多重共线性。首先通过因子分析将几个存在共线性的自变量合为一个因子，再用因子分析得到的几个因子和因变量做回归分析，这里的因子之间没有显著的线性相关性，根本谈不上共线性的问题。通过这种方法可以得到哪个因子对因变量存在显著的相关性，哪个因子没有显著的相关性，再从因子中的变量对因子的载荷来看，得知哪个变量对因变量的影响大小关系。而这个方法只能得到这些信息，第一它不是得到一个精确的，可以预测的回归模型；第二这种方法不知道有显著影响的因子中每个变量是不是都对因变量有显著的影响，比如说因子分析得到三个因子，用这三个因子和因变量做回归分析，得到第一和第二个因子对因变量有显著的影响，而在第一个因子中有4个变量组成，第二个因子有3个变量组成，这里就不知道这7个变量是否都对因变量存在显著的影响；第三它不能得到每个变量对因变量准确的影响大小关系，而我们可以通过逐步回归法直观的看到自变量前面的系数大小，从而判断自变量对因变量影响的大小。 第三个，岭回归。 通过逐步回归时，我们可能得到几个自变量进入方程中，但是有时会出现自变量影响的方向出现错误，比如第一产业的产值对国民收入是正效应，而可能方程中的系数为负的，这种肯定是由于共线性导致出现了拟合失真的结果，而这样的结果我们只能通过自己的经验去判断。通常我们在做影响因素判断的时候，不仅希望得到各个因素对因变量真实的影响关系，还希望知道准确的影响大小，就是每个自变量系数的大小，这个时候，我们就可以通过岭回归的方法。

实验二__多元线性回归模型和多重共线性

实验二 多元线性回归模型和多重共线性 一、实验目的：掌握多元线性回归模型的估计方法、掌握多重共线性模型的识别和修正。 二、实验要求：应用教材第119页案例做多元线性回归模型，并识别和修正多重共线性。 三、实验原理：普通最小二乘法、简单相关系数检验法、综合判断法、逐步回归法。 四、预备知识：最小二乘法估计的原理、t 检验、F 检验、2R 值。 五、实验步骤 1、设定并估计多元线性回归模型 t t t t t t t u X X X X X Y ++++++=66554433221ββββββ （2.1） 1.1 建立工作文件并录入数据（参照实验一），得到图 2.2.1 图2.2.1 1.2 对（ 2.1）采用OLS 估计参数 方法一：在主界面命令框栏中输入 ls y c x2 x3 x4 x5 x6，然后回车，即可得到参数的估计结果，如图2.2.2所示。 方法二：按住ctrl 键，同时选中序列y 和x2 x3 x4 x5 x6，点右键，在所出现的右键菜单中，选择open\as Equation …后弹出一对话框，点击“确定”，即可得回归结果。 方法三：点击主界面菜单Quick\Estimate Equation ，弹出方法二中出现的对话框。不过框中没有设定回归模型，可以自己输入y c x2 x3 x4 x5 x6，点确定即可得到回归结果。（注意被解释变量y 一定要放在最前面，变量间留空格）。 图 2.2.2

根据图2.2.2中的数据，得到模型（2.1）的估计结果为 43525 .173989664.0995406.0)752685.1()108296.3()465073.3()939591.3()031172.1)(208384.0()2830.321()177929.4()944215.0()380395.1()012692.0() 690.1316(1077.56398624.12271773.3438193.5013088.03773.274?226 5432====--=-++++-=df F R R t X X X X X Y i 从上回归结果可以看出，拟合优度很高，整体效果的F 检验通过。但有重要变量X2、X6的t 检验不显著，可能存在严重的多重共线性。 2．多重共线性模型的识别 2.1 综合判断法 由模型（2.1）的估计结果可以看出，9954.02=R ，20.9897R =可决系数很高，说明模型对样本的拟合很好；173.3525F =检验值很大，相应的0.000092p =，说明回归方程显著，即各自变量联合起来确实对因变量“全国旅游收入” 有显著影响；给定显著性水平0.05α=，但变量X2、X6系数的t 统计量分别为1.031172、-1.752685，相应的p 值分别为0.3607、0.1545，说明X2、X6对因变量影响不显著，而且X6系数符号与经济意义不符。综合上述分析，表明模型（2.1）很可能存在严重的多重共线性。 2.2 简单相关系数检验法 计算解释变量x2、 x3、 x4、 x5、 x6的简单相关系数矩阵。 方法1：将解释变量x2、 x3、 x4、 x5、 x6选中，双击选择Open Group （或点击右键，选择Open/as Group ），然后再点击View/Correlation/Common Sample ，即可得出相关系数矩阵（图2.2.3）。再点击顶部的Freeze 按钮，可得到一个Table 类型独立的object （图2.2.4）。 相关系数矩阵 图2.2.3 图2.2.4