计量经济学中相关证明.doc

课本中相关章节的证明过程第2章有关的证明过程2.1 一元线性回归模型 有一元线性回归模型为：yt = b0 + b1 xt + ut 上式表示变量yt 和xt之间的真实关系。其中yt 称被解释变量（因变量），xt称解释变量（自变量），ut称随机误差项，b0称常数项，b1称回归系数（通常未知）。上模型可以分为两部分。（1）回归函数部分，E(yt) = b0 + b1 xt,（2）随机部分，ut 。图2.8 真实的回归直线 这种模型可以赋予各种实际意义，收入与支出的关系；如脉搏与血压的关系；商品价格与供给量的关系；文件容量与保存时间的关系；林区木材采伐量与木材剩余物的关系；身高与体重的关系等。以收入与支出的关系为例。假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。但实际上数据来自各个家庭，来自各个不同收入水平，使其他条件不变成为不可能，所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。随机误差项ut中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。所以，在经济问题上“控制其他因素不变”实际是不可能的。回归模型的随机误差项中一般包括如下几项内容，（1）非重要解释变量的省略，（2）人的随机行为，（3）数学模型形式欠妥，（4）归并误差（粮食的归并）（5）测量误差等。回归模型存在两个特点。（1）建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。（2）也正是由于这些假定与抽象，才使我们能够透过复杂的经济现象，深刻认识到该经济过程的本质。通常，线性回归函数E(yt) = b0 + b1 xt 是观察不到的，利用样本得到的只是对E(yt) = b0 + b1 xt 的估计，即对b0和b1的估计。在对回归函数进行估计之前应该对随机误差项ut做出如下假定。(1) ut 是一个随机变量，ut 的取值服从概率分布。(2) E(ut) = 0。(3) D(ut) = Eut - E(ut) 2 = E(ut)2 = s 2。称ui 具有同方差性。(4) ut 为正态分布（根据中心极限定理）。以上四个假定可作如下表达：ut N (0, s 2 )。 (5) Cov(ui, uj) = E(ui - E(ui) ) ( uj - E(uj) ) = E(ui, uj) = 0, (i j )。含义是不同观测值所对应的随机项相互独立。称为ui 的非自相关性。(6) xi是非随机的。(7) Cov(ui, xi) = E(ui - E(ui) ) (xi - E(xi) ) = Eui (xi - E(xi) = Eui xi - ui E(xi) = E(ui xi) = 0.ui 与xi 相互独立。否则，分不清是谁对yt的贡献。 (8) 对于多元线性回归模型，解释变量之间不能完全相关或高度相关（非多重共线性）。在假定（1），（2）成立条件下有E(yt) = E(b0 + b1 xt + ut ) = b0 + b1 xt 。2.2 最小二乘估计（OLS）对于所研究的经济问题，通常真实的回归直线是观测不到的。收集样本的目的就是要对这条真实的回归直线做出估计。图2.9 怎样估计这条直线呢？显然综合起来看，这条直线处于样本数据的中心位置最合理。怎样用数学语言描述“处于样本数据的中心位置”？设估计的直线用 =+ xt表示。其中称yt的拟合值（fitted value），和分别是 b0 和b1的估计量。观测值到这条直线的纵向距离用表示，称为残差。 yt =+=+ xt +称为估计的模型。假定样本容量为T。（1）用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。（2）用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。（3）最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性（这种方法对异常值非常敏感）。设残差平方和用Q表示， Q = = = ，则通过Q最小确定这条直线，即确定和的估计值。以和为变量，把Q看作是和的函数，这是一个求极值的问题。求Q对和的偏导数并令其为零，得正规方程， = 2(-1) = 0 (2.7) = 2(- xt) = 0 (2.8)下面用代数和矩阵两种形式推导计算结果。首先用代数形式推导。由（2.7）、（2.8）式得， = 0 (2.9) xt = 0 (2.10)（2.9）式两侧用除T，并整理得，= (2.11)把（2.11）式代入（2.10）式并整理，得，xt = 0 (2.12)= 0 (2.13)= (2.14)因为= 0，= 0，采用离差和为零的结论：，。所以，通过配方法，分别在（2.14）式的分子和分母上减和得，= (2.15)= (2.16)即有结果： = （2.17） = 这是观测值形式。如果以离差形式表示，就更加简洁好记。 = = 矩阵形式推导计算结果：由正规方程， = 2(-1) = 0 = 2(- xt) = 0 T + () = + () = = = = 注意：关键是求逆矩阵。它等于其伴随阵除以其行列式，伴随阵是其行列式对应的代数余子式构成的方阵的转置。写成观测值形式。 = = 如果，以离式形式表示更为简洁： = = 2.3 一元线性回归模型的特性1 线性特性（将结果离差转化为观测值表现形式） 2 无偏性其中： 故有： 3 有效性首先讨论参数估计量的方差。即： 同理有： 显然各自的标准误差为：， 标准差的作用：衡量估计值的精度。由于为总体方差，也需要用样本进行估计。证明过程如下：因此有： 那么： 根据定义：，（实际观测值与样本回归线的差值）则有：两边平方，再求和：对上式两边取期望有： 其中： 故有：即有：，令，则问题得证。关于的计算：关于的证明： ，其中：。当 当，当时，有： Q.E.D.关于可能小于0的证明。设：则有：那么 但：，因为没有存在。同时，还有： 其中：，和 则： 考虑到： 若定义 可能小于0。参考书：Dennis J. Aigner Basic Econometrics, Prentice-Hall, Englewood Cliffs, N. J. 1971,pp85-88第二章2.1 简单线性回归最小二乘估计最小方差性质的证明对于OLS估计式和,已知其方差为 这里只证明最小，最小的证明可以类似得出。 设的另一个线性无偏估计为，即 其中 因为也是的无偏估计，即，必须有 ，同时 因为 上式最后一项中 （因为，）所以 而，因为，则有，为此 只有时，由于是任意设定的的线性无偏估计式，这表明的OLS估计式具有最小方差性。2.2 最小二乘估计的证明用离差形式表示模型时 而且 因此 则有 取的期望 式中 (1) (2) (3) 所以 如果定义 其期望值为 这说明是的无偏估计。第三章3.1 多元线性回归最小二乘估计无偏性的证明因为 对两边取期望, 由假定1:即是的无偏估计。3.2 多元线性回归最小二乘估计最小方差性的证明 设为的另一个关于的线性无偏估计式，可知 （为常数矩阵）由无偏性可得 所以必须有 要证明最小二乘法估计式的方差小于其他线性去偏估计式的方差，只要证明协方差矩阵之差 为半正定矩阵，则称最小二乘估计是的最小方差线性无偏估计式。因为 所以 由于 所以 由于 由线性代数知，对任一非奇异矩阵，为半正定矩阵。如果令则 由于半正定矩阵对角线元素非负，因此有即 （）这证明了的最小二乘估计在的所有无偏估计中是方差最小的估计式。3.3 残差平方和的均值为的证明 由残差向量的定义及参数的最小二乘估计式，有 可以记，则 容易验证，P为对称等冪矩阵，即 残差向量的协方差矩阵为 利用矩阵迹的性质，有 两边取期望得 第五章5.1在异方差性条件下参数估计统计性质的证明1、参数估计的无偏性仍然成立设模型为 （1）用离差形式表示 (其中) （2）参数的估计量为在证明中仅用到了假定。2、参数估计的有效性不成立假设（1）式存在异方差，且，则参数的估计的方差为 (5)在上述推导中用了假定。下面对（2）式运用加权最小二乘法（WLS）。设权数为，对（2）式变换为 （6） 可求得参数的估计，根据本章第四节变量变换法的讨论，这时新的随机误差项为同方差，即，而 的方差为 （7）为了便于区别，用()wls表示加权最小二乘法估计的，用()ols表示OLS法估计的。比较（5）式与（7）式，即在异方差下用OLS法得到参数估计的方差与用WLS法得到参数估计的方差相比较为 （8）令，由初等数学知识有，因此（10）式右端有 （9）从而，有 这就证明了在异方差下，仍然用普通最小二乘法所得到的参数估计值的方差不再最小。5.2 对数变换后残差为相对误差的证明事实上，设样本回归函数为 （10）其中为残差，取对数后的样本回归函数为 （11）其中残差为，因此 （12）对（12）式的右端，依据泰勒展式 （13）将（13）式中的用替换，则可近似地表示为 （14）即表明（11）式中的误差项为相对误差。第六章：6.1: 存在自相关时参数估计值方差的证明+第九章9.1 概率极限性质的证明其中：为X2的样本方差，为X2和X3的样本协方差， 为X2和的样本协方差。9.2 参数一致性的证明同理，可证，；和。 9.3 有测量误差模型参数估计结果的推导因此，有测量误差模型参数估计的概率极限为 第11章11.1 联立方程偏倚的证明例如，设联立方程模型为 对(1)式的OLS估计为： （3）其中利用了和。对上式两边取期望，得 这里的，则，是的有偏估计。对（3）式取概率极限，得 （4）其中：是Y与u的样本协方差，其总体协方差为 是Y的样本方差，其总体方差为 因此 因为，则，这说明不是的一致估计。24