线性回归模型检验方法拓展-三大检验.doc

第四章　线性回归模型检验方法拓展——三大检验
作为统计推断的核心内容，除了估计未知参数以外，对参数的假设检验是实证分析中的一个重要方面。对模型进行各种检验的目的是，改善模型的设定以确保基本假设和估计方法比较适合于数据，同时也是对有关理论有效性的验证。
一、假设检验的基本理论及准则
假设检验的理论依据是“小概率事件原理”，它的一般步骤是
（1）建立两个相对（互相排斥）的假设（零假设和备择假设）。
（2）在零假设条件下，寻求用于检验的统计量及其分布。
（3）得出拒绝或接受零假设的判别规则。
另一方面，对于任何的检验过程，都有可能犯错误，即所谓的第一类错误
P（拒绝H0|H0为真）=
和第二类错误
P（接受H0|H0不真）=
在下图，粉红色部分表示P（拒绝H0|H0为真）=。黄色部分表示P（接受H0|H0不真）=。

而犯这两类错误的概率是一种此消彼长的情况，于是如何控制这两个概率，使它们尽可能的都小，就成了寻找优良的检验方法的关键。
下面简要介绍假设检验的有关基本理论。
参数显著性检验的思路是，已知总体的分布，其中是未知参数。总体真实分布完全由未知参数的取值所决定。对提出某种假设，从总体中抽取一个容量为n的样本，确定一个统计量及其分布，决定一个拒绝域，使得，或者对样本观测数据X，。是显著性水平，即犯第一类错误的概率。
既然犯两类错误的概率不能同时被控制，所以通常的做法是，限制犯第一类错误的概率，使犯第二类错误的概率尽可能的小，即在

的条件下，使得
，
达到最大，或
，
达到最小。其中表示总体分布为时，事件的概率，为零假设集合（只含一个点时成为简单原假设，否则称为复杂原假设）。为备择假设集合，并且与不能相交。由前述可知，当为真时，它被拒绝（亦即H0不真时，接受H0）的概率为，也就是被接受（亦即H0不真时，拒绝H0）的概率是（功效），我们把这个接受的概率称为该检验的势。在对未知参数作假设检验时，在固定下，对的每一个值，相应地可求得的值，则定义

称为该检验的势函数。统计检验的势（函数）主要用于比较假设检验的优劣。于是一个好的检验方程是
或
为了理论上的深入研究和表达方便，我们常用函数来表示检验法。定义函数

它是拒绝域的线性函数，仅取值0或1。反之，如果一个函数中只取0或1，则可作为一个拒绝域。也就是说，和之间建立了一种对立关系，给出一个就等价于给出了一个检验法，（我们称为检验函数）。那么，对于检验法的势函数为

于是，一个好的检验法又可写为

称满足上式的检验法为最优势检验。如果对于复杂原假设和备择假设，则称为一致最优势检验()。
奈曼—皮尔逊（）基本引理给出于是的充要条件。
定理　设是来自总体分布密度为的样本，为未知参数，对于简单假设检验问题，检验函数是显著性水平为的最优势检验的充要条件是，存在常数，使得满足

这就是著名的奈曼—皮尔逊基本引理，需要指出的是，上述定理中的检验函数通常称为似然比检验函数，若记

称为似然比统计量。如果较大，意味着较大。所以在为真时观测到样本点的可能性比为真时观察到样本点的可能性小，因而应拒绝原假设；反之，如果较小则应接受。此外，利用，上述定理中的可写为

这说明对于简单假设检验问题，似然比检验是最优的，反之最优势检验法也一定是似然比检验法。而大量的文献都已证明了传统假设检验中的检验、检验、检验和检验都是最优势检验。
于是，我们可以放心地回到这部份的主题——计量经济模型的（假设）检验方法。
二、一般线性框架下的假设检验
设多元回归模型为
（2-43）
式（2-43）的统计检验通常包括以下三种情况
1、单个系数的显著性检验。
2、若干个回归系数的联合检验。
3、回归系数线性组合的检验。
从检验的方面看，考虑以下典型假设
、。即解释变量对Y没有影响，这是最常见的参数显著性检验。
、 。是某一具体值。例如表示价格弹性，我们也许希望它是-1。
、。这里的可以看成生产函数中资本和劳动的弹性，此时检验是否规模报酬不变。
、或。即检验和的系数是否相同。
、。即检验全部解释变量都对没有影响。
、。　这里的含义是把向量分为两个子向量和，分别含有和个元素。检验就是检验某一些解释变量（的一部分）对没有影响。
诸如以上的情形都可归于一般的线性框架
（2-44）
注意：这里。其中是由已知常数构成的矩阵（），r是各元素为常数（一般是0或1）的矩阵。于是，对于上述情形，的具体表示为
（i）
（ii）
（iii）
（iv）
（v）
（vi）
将上述假设问题一般化，则

为了检验这个假设，应先估计出，计算，若其值较“小”，（接近于0），则不应否定原假设；而如果其值较大，那么应对提出怀疑。为此我们先考察的分布。
对于OLS的，我们知道。这里的是所有解释变量观测值组成的矩阵，其中不含全是1的第一列，的数学期望和方差分别是

所以

于是，在成立的条件下

那么，由有关的数理统计知识可知，其中的方差经过构造，服从自由度为的卡方分布，为参数中非零的个数，即
（2-45）
此外，我们还可以证明
（残差平方和的分布）。
因此，由上述两式，可构造在下的F检验统计量
（2-46）
注意，（亦即）。于是，检验的程序是，如果计算出的F值大于某个事先选定的临界值，则拒绝。具体描述如下
、
此时为。为,即主对角线上的第个元素，是一K阶对称方阵。因此
（2-47）
取平方根　，这就是传统的关于回归参数显著性的t检验法。
、
类似，这里
（2-48）
此时也可以计算，比如的95%置信区间，而不用检验关于的具体假设，这个置信区间是。
、
给出了两个估计系数的和，而此时，式中，。那么
于是检验统计量为
（2-49）
或者，也可以计算的95%置信区间
、
类似，可推得此时的检验统计量为
（2-50）
、
此时 ，，，那么
（2-51）
这就是我们熟悉的关于回归方程显著性的F检验。
、
这里对应于。把分块为，可以证明（过程略）
此时
（2-52）
其中，是对做线性回归的残差平方和。是对所有回归的。
通过上述示例，我们看到在一般线性框架下的假设检验，它涵盖了经典计量经济分析中的所有统计检验方法。有了它，我们可以方便地实现许多实证问题中线性意义下的统计检验。
三、一般线性假设检验的另一种形式
1、“有约束”与“无约束”检验。上面第种情况出现的统计量就是这里所说的另一种形式。显然是的特殊情况，而事实上我们还将看到其它的情况也可归于。另外，还有一个问题，即类似于第种情况的检验与通常带约束的最小二乘估计的关系是什么？也就是说，对未知参数有约束限制的模型进行回归后的结果，与对没有约束限制的模型回归后的参数检验的结果是否一致？下面的具体分析回答了这一问题。
事实上，无论还是都可以认为用了两种不同回归的结果。第一种回归可看作有约束的回归，或者说中的约束条件实际上是对估计方程施加的。即中有约束回归是将从回归式中省略掉，或等价地说，令为零；在中，有约束的回归只用了前面一部分变量（）。而、两种情况的第二种回归是无约束回归，它们都用了所有的变量。
记无约束模型的残差平方和是，有约束模型的残差平方和是，现在的问题是对某些的显著性检验也就是对应的加入模型后，残差平方和是否显著减少。
2、带约束条件的最小二乘估计。根据上述第种情形，考虑离差形式的回归方程　

对其施加约束，代入回归方程

或

由变量对的回归便可得到的受约束估计值，而这个回归的就是有约束的，即。实际上，这就是所谓带约束条件的最小二乘估计。而有约束的与无约束的之间有什么样的差异？
3、“另一种形式”的得到。一般地，在约束条件下，求使达到最小的，构造拉格朗日函数
（2-53）
运用约束条件下的OLS方法可得到（过程略）
（2-54）
其中，是无约束的估计量，有约束回归的残差为

将其转置，再与其自身相乘，有

再把式（2-54）的代入并化简得
（2-55）
与式（2-46）相比，即
（2-46）
中除外的分子完全相同，这就得到了检验假设的统计量的“另一种形式”为
（2-56）
这也恰好说明前面所述的6种检验的情形都可以用上述方式进行，即拟合一个有约束的回归，用有约束模型的残差平方和与无约束模型的残差平方和之差的大小（或记为）来推断原假设是否成立。就是说一般的线性假设情形都是的特例，或者式（2-56）所示的F统计量是普遍适应于一般线性假设的一种重要检验方法。即
（2-57）
其中，和分别是有约束模型和无约束模型的残差平方和,是约束条件个数。同时，这也回答了本小节开始的问题，即对于未知参数有约束限制的模型进行回归后的结果，与对无约束限制的模型回归后的参数检验的结果应该是一致的。
四、似然比检验（）
由前述可知，在统计推断中，古典检验方法是建立在似然比的基础之上。由此可见似然比检验（）的重要性（当然它的实用性也会在应用中显现出来）。奈曼认为（，1928）检验只适用于对线性约束的检验（在张晓峒教授的教科书里如此说，但这个说法可能存在偏颇。在Green的第五版教科书里，描述LR方法是可以用于非线性约束检验的）。该检验的基本思路是如果约束条件成立，则相应的约束模型与非约束模型的极大似然函数值应该是近似相等（以下简称似然函数）。
先看一个二元函数的简单例子，设
（1）
其对数似然函数为
（2）
假设，则上式为
（3）
式（3）是在线性约束（先验）下估计的，故称有约束对数似然函数（RLLF），而式（2）称为无约束对数似然函数（ULLF）。为了检验先验约束的真实性，检验使用如下统计量
（4）
式中，，为无约束似然函数，为有约束似然函数。可以证明，在大样本下，由式（4）给出的统计量服从自由度为假设中约束条件个数的卡方分布。本例中线性约束只有一个，所以自由度为1。
检验的基本思想是，如果先验约束是真实的，则有约束与无约束的对数似然函数不应有差异。这时，式（4）中的将为0。但如果先验约束不真，则两个对数似然函数必定相异。根据统计知识，在大样本下，服从分布，于是能找出这个差异在或上是否在统计上显著，同时根据值原理，还能计算出相应的值。
一般而言，似然比被定义为原假设下似然函数的最大值与无约束条件下似然函数的最大值的比率。前面我们得到了线性回归模型参数的极大似然估计量

它们在无约束条件下，使似然函数值最大化。把它们代入似然函数可得无约束的最大似然值（推导过程略）
　　　 　（2-58）
式中为一常数，与模型中的任何参数无关，是残差平方和。
另一方面，如果在约束条件下，使似然函数值最大化，令和为有约束的参数估计值，是约束条件下的最大似然值；令和是无约束的参数估计值，无约束的最大值为，则当然不会超过，但如果约束条件“有效”，应当“逼近”，这就是似然比检验的基本思路（在有约束条件下，即模型中有没有出现的变量，其拟合效果与无约束条件下的模型拟合效果一样，只能说明有约束条件的模型好）。因此，定义似然比为
（2-59）
显然，。如果原假设为真，我们认为的值会接近1。或者说，如果太小，我们则应该拒绝原假设。似然比检验的建立就是要使得当时，拒绝原假设。即（为显著性水平）。在某些情况下，拒绝域可以转化为含有我们熟知的统计量或统计量的形式。不过，普遍适用的是大样本检验。可以证明，对大样本来说，统计量
　 （2-60）
具体地，如果很大，则应拒绝原假设。即似然比检验的拒绝域为
，其中为卡方分布下的临界值。
前面已得到无约束的最大似然值，为了保证的计算，我们还需要计算出约束条件下的最大似然值。为此，构建拉格朗日函数，使其最大化

式中的是的拉格朗日乘数向量，就是无约束的对数似然函数，可得约束条件下的。由于，在正态性假定下，参数的极大似然估计量与最小二乘估计量实际上是相同的，此时得到的就与上一小节所得到，即与式（2-54）相同。残差为，而的带约束的极大似然估计为，因此
　　 　 　 （2-61）
式中为常数。将式（2-58）和式（2-61）代入式（2-60），就得到了似然比检验统计量的另一种形式
　　　 　（2-62）
由此可见，计算统计量需要分别拟合无约束模型和有约束模型。
事实上，前面讲的各种检验,如检验、检验，式（2-56）等都可以根据似然比原理推导出来。这说明似然比检验是统计检验的理论基础。
五、沃尔德检验（）
检验（，1943）适用于线性或非线性约束条件的检验，其优点是只需要估计出无约束模型，当约束模型的估计很困难时，该方法尤其适用。检验的原理是通过测量无约束估计量与约束估计量之间的距离来实现对约束条件的检验。
先看一个简单的例子，设模型为

检验线性约束条件是否成立？检验只需对上述无约束模型进行估计，因为对于约束估计量和来说，必然有。如果约束条件成立，则无约束估计量应该近似为0。如果约束条件不成立，则无约束估计量应该显著地不为0。
可以证明，在经典假定下，（）渐进服从均值为，方差为的正态分布（注意这里数学上的表达习惯）。但通常里含有总体未知方差，故用的样本估计量（此记号表明含有总体未知方差的估计），因此，定义统计量为

在线性约束条件成立的情况下，可以得到渐进服从分布（注意这里是线性约束）。
更一般的情况（既包括线性，也包括非线性），由前述所知，估计量服从正态分布推出了式（2-45）。这里，我们考虑的渐近正态性，也能得到类似式（2-45）的结果，即
　　 （2-63）
其中，是总体未知方差，是中约束条件个数。
用的一致估计量代替式中的，渐近分布成立，或者说大样本情形的统计量为
　　 （2-64）
类似于前面的式（2-56），上式的分子也可写为。于是，统计量具有另一种形式，
　　　 　 （2-65）
与检验的情况一样，呈大样本卡方分布。如果的值大于卡方分布的上侧临界值，则拒绝原假设。而前面的式（2-56）也可归为检验类。
六、拉格朗日乘数检验（）
检验是由于1960年和于1948年分别提出来的。不同的是检验只需估计有约束模型，当施加约束条件后的模型形式变得简单时，通常使用该检验。
设无约束模型的对数似然函数为

对于无约束模型的极大似然估计值有

若约束条件成立，则有约束条件下的极大似然估计值应与的无约束模型的极大似然估计值非常接近，即成立。检验的原理是，如果显著的不为零，则约束条件不成立。统计量定义为

其中，是以为元素组成的列向量，同时用替换了，称为信息矩阵，其逆矩阵是的方差-协方差矩阵。在约束条件成立下，可以证明

其中，为约束条件个数。
●有关信息矩阵的定义。如果是的极大似然估计量，由大样本性或渐近性，，其中，信息矩阵（它表示了参数估计的方差与协方差矩阵）的定义如下

在线性模型的极大似然估计中，可知信息矩阵为

它的逆矩阵为

在信息矩阵里，非对角线上为0的项表明与是彼此独立分布的。这里应注意比较检验中的。
检验主要依赖于对数似然函数及信息矩阵。记，称为在处的得分向量（即在处的一阶偏导数）。无约束估计量的得分为，而有约束估计量的得分为，在约束条件有效的情况下，有。可以证明，得分向量的均值为零，方差－协方差矩阵为信息矩阵，于是二次型服从自由度为的分布。 所以，当大样本时，在下，利用有约束估计可得统计量
　　　 　（2-66）
这时　

用和代替上式的和，以及，可得
并考虑信息矩阵

将和代入式（2-66），得如下结果
　 （2-67）
此时，我们只需计算有约束的估计量，比较计算的是无约束的估计量，在许多情况下计算有约束估计量比计算无约束估计量容易，所以检验比较流行。
恩格尔(Engle，1982)证明了对于大样本来说，检验可分两步完成。第一步，计算有约束的估计量，从而得到残差向量。第二步，让对所有的变量回归，可得回归的可决系数。式（2-67）的统计量就是如下结果
（2-68）
给定显著性水平，得临界值，当时(为样本容量)，则拒绝原假设。
检验方法实际上是从一个较简单的模型开始，检验是否可以增加新变量。首先，对简单模型(变量较少)回归，得到残差。如果“真实”模型变量很多，则这些变量加入模型应对有影响。其次，对所有变量回归而得到的的大小就将直接决定是否应该增加新变量，即约束是否成立。如果很大()，则说明新增变量对有显著影响，即真实模型应含较多变量，或者说对参数约束(比如某些=0)不成立。如果较小()，则说明新增变量对没有显著影响，真实模型就应是变量较少的简单模型，即约束条件成立。这就是通常所说的“从一般到简单”的模型“约化”方法。
检验的具体步骤如下：
1、用OLS估计约束模型，计算残差序列。
2、建立辅助回归式

其中，为随机误差项，
3、用OLS估计上式并计算可决系数。
4、得到统计量

5、给定显著性水平，查卡方分布表，得临界值，若，
则拒绝原假设，说明无约束模型成立。
七、、和的比较
（一）三种检验方法一致之处
1、三种检验方法都由极大似然估计而来。
2、三种检验方法都用到了对数似然函数。
3、三种检验方法都是针对模型约束条件进行检验。
（二）三种检验方法不一致之处
1、检验只适用于线性约束的检验，检验需要计算带约束和无约束的对数似然函数值。
2、检验和检验既适用于线性约束也适用于非线性约束的检验。
3、检验只需要估计无约束的模型，而检验只需要估计约束模型，所以，当施加约束条件后模型形式变得简单时，使用检验更方便。
（三）三种检验方法的关系
对于、和三个检验方法的选择应以实际计算难易程度而定，一般来说，和检验优于检验，因为和检验只需估计一个模型即可，而检验需要估计有约束和无约束两种模型。并且，在小样本条件有

说明只有当检验的结果为拒绝原假设（约束条件不成立），或者检验的结果为接受原假设（约束条件成立）时，三种检验结果才是一致的。所以，三种检验方法有可能得出相互不一致的结论。
总之，当检验拒绝原假设时，其他检验也一样。当检验没有拒绝原假设时，其他检验也不会拒绝原假设。尽管在小样本时三个值可能有所不同，但在大样本情形，这三个检验近似相等。就计算而言，检验最麻烦，其他两种还算简单。另外，在小样本情况下，并且约束条件为线性时，用检验比用这三个检验更可靠。
（四）下面简要推导一下这三个检验统计量之间的著名不等式，即在线性回归模型时，对于小样本条件有如下关系成立

首先，表达式

可写为
（2-69）
将其按级数的形式展开，便可得到。
其次，说明表达式

可写为
(2-70)
事实上，对于回归模型的残差可表为

其中是一对称等幂矩阵，它具有性质，。而对于满足约束条件的有约束估计量同样有，从而(因为)，于是有

即，这就得到了的另一种表达式，即式（2-67）。
再次，还可写为
（2-71）
同样按级数的形式展开，便可得到，即最终，我们有。
参见（美）Jack Johnston & John Di Naido，《计量经济学方法》，中国经济出版社，2002年，第146页-第149页。

下面给出的是一元线性回归离差形式的三种检验的具体形式()(推导过程要用到对数似然函数，但并不复杂，这里从略)。

上述三个式子对于大样本来说都服从自由度为1的卡方分布。就几何上而言，对于一元回归的原假设，检验是基于和之间的垂直距离

检验是基于和之间的水平距离

式中，是信息矩阵，此处为)。
检验则是基于对数似然函数在处的斜率，得分函数是对数似然的导数，
为在处的得分，而每一个检验都很好地度量了原假设与备择假设之间的“距离”。
现将三种检验方法的要点内容列表如下：
方法
适用范围
计算方式
以一元线性回归为例的计算及直观意义()

只适用线性约束的检验
计算带约束和无约束的对数似然值

与之间的垂直距离

线性约束和非线性约束检验
只需估计无约束的模型

(检验) 度量与之间的水平距离

同上
只需估计约束模型

考察对数似然函数在处的斜率