第6章多元线性回归分析.pptx
《第6章多元线性回归分析.pptx》由会员分享,可在线阅读,更多相关《第6章多元线性回归分析.pptx(95页珍藏版)》请在咨信网上搜索。
1、1回 归 分 析多元线性回归回归分析是研究变量间回归分析是研究变量间的依赖关系一种方法的依赖关系一种方法 本章目录本章目录2回 归 分 析多元线性回归提提 纲纲 REG过程回归分析的基本内容回归分析实例本章目录本章目录3回 归 分 析 多元线性回归REG过程的调用格式:PROC REG DATA=SAS数据集 选项1;MODEL 因变量=自变量名表/选项2;PLOT Y变量*X变量/选项3;OUTPUT OUT=数据集名 关键字=变量名.;RUN;必选项1 REG过程本章目录本章目录4回 归 分 析 多元线性回归1 REG过程选项1中常用选择项有:GRAPHICS 高分辩率的图形方式OUTES
2、T=SAS数据集 保存回归分析的结果 COVOUT=SAS数据集 存入估计的协方差阵OUTSSCP=SAS数据集 保存离差阵RIDGE=值 给出岭回归中的K值,其方式有M、M TO N、M TO N BY I、M1,M2 TO M3NOPRINT 不打印输出本章目录本章目录5回 归 分 析 多元线性回归1 REG过程选项2中常用选择项有:CLI 每个个体预测值的95%上、下限CLM 每个观测因变量期望值的95%上、下限R 每个个体的预测值、残差及标准误P 每个个体的观测值、预测值、残差等 (若选择CLI CLM R,则无需选择它)I 计算(XX)-1 XPX 计算XX XY 本章目录本章目录6
3、回 归 分 析 多元线性回归1 REG过程选项2中常用选择项有:VIF 方差膨胀因子,它表示由于共线性的存在而使参数 估计值的方差增大的情况.STB 标准化偏回归系数CORRB 参数估计的相关阵COVB 参数估计的协方差阵COLLIN 要求进行共线性分析INFLUENCE 要求分析观测值对参数估计和预测值的影响 本章目录本章目录7回 归 分 析 多元线性回归1 REG过程选项2中常用选择项有:SELECTION=BACKWARD 后退法 SLSTAY=值(缺省值为0.1)FORWARD 向前法 SLENTRY=值(缺省值为0.5)STEPWISE 逐步回归法 SLSTAY=值 SLENTRY=
4、值(缺省值均为0.15)RSQUARE R2选择法ADJRSQ 修正.R2选择法CP Mallous Cp统计量MAXR R2最大增量法MINR R2最小增量法本章目录本章目录8回 归 分 析 多元线性回归1 REG过程选项3中常用选择项有:OVERLAY 多个图在一个图上表示SYMBOL=用某一符号表示图形HPLOTS=N 在同一页水平方向作N幅图VPLOTS=N 在同一页垂直方向作N幅图本章目录本章目录9回 归 分 析 多元线性回归1 REG过程常用的统计关键词有:P(PRIDICTED)预测值R(RESIDUAL)残差L95M 期望值的95%下限U95M 期望值的95%上限L95 个体预
5、测值的95%下限U95 个体预测值的95%上限STDP 期望值的标准误本章目录本章目录10回 归 分 析 多元线性回归1 REG过程常用的统计关键词有:STDI 预测值的标准误STUDENT 学生化残差RSTUDENT 去掉某观测后的学生化残差COOKD COOK D值H 杠杆值PRESS 当去掉第I个观测值后拟合模型的第I个观测的残差除以1-H;DFFITS 预测值的标准影响力.本章目录本章目录11回 归 分 析 多元线性回归2 线性回归2.1 线性回归的数学表示因变量自变量为满足线性关系(I)次观测,对 进行所得的组数据为它们均满足(I)式本章目录本章目录12回 归 分 析 多元线性回归2
6、 线性回归2.1 线性回归的数学表示因变量自变量为满足线性关系(I)次观测,对 进行所得的组数据为它们均满足(I)式本章目录本章目录13回 归 分 析 多元线性回归2 线性回归2.1 线性回归的数学表示本章目录本章目录14因此(I)式可写成如下矩阵形式:(II)此为多元线性回归方程。回 归 分 析 多元线性回归2 线性回归2.1 线性回归的数学表示本章目录本章目录15最小二乘法解回 归 分 析 多元线性回归2 线性回归2.2 回归参数的估计本章目录本章目录16回 归 分 析 多元线性回归2 线性回归2.2 回归参数的估计若对 进行标准化,即 ,其中 ,则得到的回归系数即标准化回归系数。标准化回
7、归系数 表示当其他自变量固定时,每变化一个单位,因变量 平均变化 个单位。因此 反映了自变量 对因变量 的影响大小。另外 的正号反映了 与 间是正相关关系,负号则为负相关关系 本章目录本章目录17回 归 分 析 多元线性回归2 线性回归2.3 回归方程的假设检验模型的检验对于任一组观测数据,我们都可按上述方法建立回归方程,那么它们是否具备建立线性回归方程的条件呢?这就需要进行回归方程的显著性检验。即检验假设 ,也就是所有回归系数都等于零。如果检验的结果是拒绝 ,即接受其备择假设,说明至少有一个回归系数 ,从而说明变量 线性依赖于某个变量 ;若检验的结果是接受 ,则说明所有变量 对变量的线性关系
8、是不重要的。本章目录本章目录18回 归 分 析 多元线性回归2 线性回归2.3 回归方程的假设检验模型的检验对回归方程的显著性检验是通过方差分析得到。首先将因变量的离均差平方和分解为由回归和误差引起两部分,然后构造F统计量来进行统计推断的 本章目录本章目录19其中复决定系数回 归 分 析 多元线性回归2 线性回归2.3 回归方程的假设检验模型的检验其中:本章目录本章目录20回 归 分 析 多元线性回归2 线性回归2.3 回归方程的假设检验回归系数的检验 回归方程显著性检验是从总体上对自变量与因变量之间是否存在线性关系进行了考察,若检验的结果是拒绝原假设,则接受其对立假设,也就是说至少存在某个变
9、量的回归系数不为零,因此还需对每个变量的回归系数进行逐个检验,即对某个固定的 检验:本章目录本章目录21回 归 分 析 多元线性回归2 线性回归2.3 回归方程的假设检验回归系数的检验考虑统计量 ,则 服从自由度为的T-分布。其中 ,的标准误为 ,其估计为 。通过计算 和 ,若 或 中任一个不比 大,则拒绝 ,认为该变量的回归系数显著地不为零。反之则认为该变量与因变量之间没有显著的线性关系。本章目录本章目录22回 归 分 析 多元线性回归2 线性回归2.3 回归方程的假设检验预测与置信区间 将变量 的一组观测值代入回归方程,即得到变量 的预测值。因此预测是一件很简单的事,只要确定了一个非常有效
10、的回归方程即可。有时我们还需要对预测值进行区间估计,下面给出因变量的期望值 和预测值 的区间估计。本章目录本章目录23例回 归 分 析 多元线性回归2 线性回归2.3 回归方程的假设检验预测与置信区间预测值的 置信区间为:的 置信区间为:本章目录本章目录241.熟悉SAS中的REG过程2.掌握回归分析的过程回 归 分 析 多元线性回归2 线性回归小结与作业SAS中的REG过程回归分析的基本内容小 结作 业本章目录本章目录25自变量的选择回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录26选择自变量的准则 选择自变量进入回归模型的方法(SAS实例)提提 纲纲 提提 纲
11、纲 回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录27选择选择自变自变量的量的准则准则选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.引言因变量自变量为满足线性关系(I)次观测,对 进行所得的组数据为它们均满足(I)式回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录28选择选择自变自变量的量的准则准则选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录29选择选择自变自变量的量的准则
12、准则选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法因此(I)式可写成如下矩阵形式:(II)此为多元线性回归方程。全模型全模型回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录30选择选择自变自变量的量的准则准则选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法其中复决定系数最小二乘法解回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录31选择选择自变自变量的量的准则准则选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法选模型选
13、模型现在从 个变量中选出 个 变量,同样考虑上述过程:回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录32选择选择自变自变量的量的准则准则选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法2.从拟合的角度考虑的准则:-观测个数-模型中参数个数其中:修正决定系数准则:(最大最大)回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录33选择选择自变自变量的量的准则准则选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法2.从拟合的角度考虑的准则:均方误差准则:(最小最小)回
14、 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录34选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法3.从极大似然估计法考虑的准则:选择选择自变自变量的量的准则准则AIC或BIC信息量准则:(最小最小)日本统计学家赤池(Akaike)1974年提出的。应用到我们的选模型,有:回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录35选择选择自变自变量的量的准则准则选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法4.从预测的角度考虑的准则:准则:(最小最小)1964年由
15、马勒斯(Mallows)提出,其思想是:使得(均方预测误差)愈小愈好是全模型下误差方差的估计。即:回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录36选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法向前引入法(FORWARD)向后剔除法(BACKWARD)逐步筛选法(STEPWISE)回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录37选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1
16、.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法引言引言:(偏F检验)-全模型-选模型记:表示全模型的复决定系数表示减模型的复决定系数回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录38选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法引言引言:(偏F检验)定义:显然若几乎为零,说明增加 对 的解释能力没有明显提高;否则,若显著不为零,则 就可以为回归模型提供显著的解释信息。回 归 分 析 多元线性回归2 线性回归2.4 自变量
17、的选择本章目录本章目录39选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法引言引言:(偏F检验)统计假设:统计检验量为:回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录40选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法引言引言:(偏F检验)检验:(对给定的检验水平 )从全模型中删除 ,对Y的解释能力无明显的减弱变化。若时,则接受 ,显著
18、为零,所以,若时,拒绝引入 会明显提高对 的解释能力;,说明显著不为零,这说明在变量已进入模型后,回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录41选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法向前引入法向前引入法:(FORWARD)其做法是:令:(1)对 个自变量,分别同因变量建立一元回归方程计算变量 相应的 值,记为回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录42选择选择自变自变量的量的准则准则选择选择自变自变量
19、进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法向前引入法向前引入法:(FORWARD)(2)建立因变量与自变量子集的二元回归方程,并计算相应的 ,记为:若:,则将引入回归方程.否则,算法终止。回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录43选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法向前引入法向前引入法:(FORWARD)若:,则将引入回归方程否则终止。(3)重复上述过程,直到
20、没有变量可引入为止。回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录44选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法向后删除向后删除:(BACKWARD)其做法是:选其中最小者的全模型,然后计算各自变量 相应选模型的 值,记为:(1)建立 个自变量与因变量回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录45选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择
21、自变自变量进量进入回入回归模归模型的型的方法方法向后删除向后删除:(BACKWARD)(2)对剩下的 个变量重复(1),直到没有变量可剔除为止。若:,则将从回归方程中剔除否则算法终止。回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录46选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法逐步筛选法逐步筛选法:(STEPWISE)逐步筛选法是人们最常用的的变量筛选方法。它是向前选择变量法和向后删除变量法的一种结合。向前选择变量法中,一旦某个自变量被选入模型,
22、它就永远留在模型之中。然而,随着其他变量的引入,由于变量之间互相传递的相关关系,一些先进入模型的变量的解释作用可能会变得不再显著。向后删除变量法中,一旦某个自变量被删除后它就永远被排斥在模型之外。但是,随着其他变量的被删除,它对Y的解释作用也可能会显著起来。回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录47选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法逐步筛选法逐步筛选法:(STEPWISE)其做法是:(1)(模型的起始与向前选择变量法一样)首先,
23、求Y与每一个Xj的一元线性回归方程,选择F值最大的变量进入模型。然后,对剩下的(p-1)个模型外的变量进行偏F检验,在若干通过偏F检验的变量中,选择Fj值最大者进入模型。回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录48选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法1.常用的简便方法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法逐步筛选法逐步筛选法:(STEPWISE)(2)对模型外的(p-2)个自变量做偏F检验。在通过偏F检验的变量中选择Fj值最大者进入模型。接着对模型中的三个自变量分别进行偏F检验,如果三个
24、自变量都通过了偏F检验,则接着选择第四个变量。但如果有某一个变量没有通过偏F检验,则将其从模型中删除。(3)重复上述步骤,直到所有模型外的变量都不能通过偏F检验,则算法终止。其做法是:回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录49选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法2.全子集法:选择选择自变自变量进量进入回入回归模归模型的型的方法方法其做法是:先计算所有可能变量子集的回归方程(共 个),然后按修正R2选择法(ADJRSQ)、选择法(CP)、均方误差法(MSE)以及AIC或BIC等准则进行选择。回 归 分 析
25、多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录50选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法例子例子 考虑Hald水泥数据数据。其中:X13CaOAl2O3的含量(%)X23CaOSiO2的含量(%)X34CaOAl2O3Fe2O3的含量(%)X42CaOSiO2的含量(%)Y表示水泥凝固时释放的热量(卡/克)。回 归 分 析 多元线性回归2 线性回归2.4 自变量的选择本章目录本章目录51选择选择自变自变量的量的准则准则选择选择自变自变量进量进入回入回归模归模型的型的方法方法小 结R2adj最大均方误差最小Cp最小AIC或BIC最小
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 多元 线性 回归 分析
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。