偏正态条件下多元线性回归模型的统计推断及其应用.pdf
《偏正态条件下多元线性回归模型的统计推断及其应用.pdf》由会员分享,可在线阅读,更多相关《偏正态条件下多元线性回归模型的统计推断及其应用.pdf(11页珍藏版)》请在咨信网上搜索。
1、应用数学MATHEMATICA APPLICATA2024,37(2):519-529偏正态条件下多元线性回归模型的统计推断及其应用赵伟凯1,2,杨兰军1,2,戴琳1,2,吴刘仓1,2(1.昆明理工大学理学院,云南 昆明 650500;2.昆明理工大学统计学研究中心,云南 昆明 650500)摘要:本文考虑带偏正态随机项多元线性回归模型的统计推断问题.基于最大似然方法,本文所做的工作如下:1)证明了参数最大似然估计在n p+1条件下以概率1存在唯一;2)在唯一性条件下给出参数估计的一致性结论;3)在一致性的条件下研究了参数的渐近性质,给出参数的渐近分布.最后通过数值模拟说明了所提理论和方法的有
2、效性.实例表明模型参数估计的渐近分布具有实际意义.关键词:偏正态分布;多元线性模型;最大似然估计;渐近正态性中图分类号:O212.1AMS(2010)主题分类:62F03;62F12文献标识码:A文章编号:1001-9847(2024)02-0519-111.引言为方便讨论,本文常用记号规定如下:对于方阵A,tr(A),AT,rank(A)分别表示A的迹、A的转置和A的秩;In表示n阶单位阵,1n表示元素都是1的n维列向量,x(i)表示X矩阵的第i行向量;=argF表示取内满足F的取值;E0()和D0()分别表示在模型参数0条件下的期望和方差;P和L分别表示依概率收敛和依分布收敛.在金融经济、
3、生物医学以及社会生产等实践活动中产生的实际数据的分布未必具有严格的对称性,这类数据如果使用正态分布等对称概率统计模型来拟合,难以正确地描述数据的分布规律.Azzalini1在正态分布模型的基础上进行推广,提出了偏正态分布概率统计模型,相继对它的性质、估计、统计诊断、推广以及多元偏正态分布等进行了系统深入地研究.随后越来越多的国外统计学者开始研究偏态分布模型,可参考文24.关于偏正态分布下模型的统计推断,国内相关文献众多,胡明星等5采用MCMC算法对偏正态空间自回归模型进行了贝叶斯估计;王丹璐等6采用EM算法研究了偏正态数据下位置、均值回归模型的极大似然估计;陈超等7定义了偏对称正态分布,探讨了
4、此类分布的一些性质,吴树礼等8研究了-偏正态分布的尾部特征及极值的极限分布;潘永博9研究了偏正态误差分布下一元线性回归模型的参数估计及比较;侯格格10以经验特征函数为主要工具,对一元偏正态分布的位置、尺度、形状等参数进行估计.在众多的研究文献中,由于不能够得到偏态条件下估计量的显式解,因此多数情况下只能采用Gauss-Newton迭代、EM算法等方法在有限样本条件下得到模型参数的数值解,因而估收稿日期:2023-04-17基金项目:国家自然科学基金(12261051)作者简介:赵伟凯,男,汉族,河南人,研究方向:应用统计.通讯作者:杨兰军.520应用数学2024计的存在性问题显得尤为重要.同时
5、,在实际应用中估计的统计特征也直接影响到模型的应用价值.基于最大似然的角度,本文考虑了偏正态条件下多元线性回归模型基于最大似然估计的一些统计特征,主要包括两个方面:(i)讨论了模型参数最大似然估计及估计的存在性问题;(ii)讨论了模型参数最大似然估计的一致性和渐近分布.本文剩余部分安排如下:在第2节中介绍了偏正态条件下线性回归模型,基于最大似然估计给出了存在性的证明,并通过反证法给出了最大似然估计唯一性的证明;在第3节中,在估计唯一等条件下给出了模型参数一致性的证明;在第4节中,在一致性条件下,依次讨论了模型偏度参数,尺度参数以及回归系数的渐近性质,并给出了渐近分布;在第5节中,通过数值模拟和
6、实例分析验证了本文所提出理论和方法的有效性.最后,在第6节中给出了本文的结论.2.偏正态条件下线性回归模型的最大似然估计如果随机变量Z的密度函数可以表示为:f(z)=2(z )(z ),(2.1)其中,为位置参数,为尺度参数,为偏度参数,(),()分别为标准正态分布的密度函数和分布函数,则称Z服从参数为(,2,)的偏正态分布,记为Z SN(,2,).当偏度参数=0时,密度函数(2.1)退化为正态分布的密度函数,即Z N(,2).本文考虑偏正态条件下线性回归模型:Y=X+,i SN(0,2,),i=1,2,n,(2.2)其中=(1,2,n)T,i,i=1,2,n,服从偏度参数为,尺度参数为2的偏
7、正态分布且相互独立,Y=(y1,y2,yn)T为响应变量,X为n p解释变量矩阵且rank(X)=p(=n),=(1,2,p)T为线性回归模型的回归参数向量.在模型(2.2)中,记x(i)为X的第i行行向量,则关于未知参数=(T,2,)的似然函数为L(T,2,)=ni=12(yi x(i)(yi x(i),对应的对数似然函数为lnL(T,2,)=n2ln2n2ln2ni=1(yi x(i)222+ni=1ln(yi x(i),(2.3)记zi=yix(i),则有似然方程n22+122ni=1zi222ni=1zi(zi)(zi)=0,1ni=1zix(i)T1ni=1(zi)(zi)x(i)T
8、=0,ni=1zi(zi)(zi)=0,即有2=1nni=1(yi x(i)2,ni=1zix(i)T ni=1(zi)(zi)x(i)T=0,ni=1zi(zi)(zi)=0.(2.4)第 2 期赵伟凯等:偏正态条件下多元线性回归模型的统计推断及其应用521假定参数=(T,2,)T的最大似然估计存在且为=(T,2,)T,记gi(T,)=(nyix(i)ni=1(yix(i)2)(nyix(i)ni=1(yix(i)2),i=1,2,n,Gn(T,)=(g1(T,),g2(T,),gn(T,)T则b可通过下式求得:2=1n(Y X)T(Y X),():=arg(T,)Rp+1(Y X)TInn
9、(Y X)Gn(T,)TX=0,(Y X)TGn(T,)=0,记 2()=1n(Y X)T(Y X),则关于参数(T,)T的对数似然函数为l(T,2(),)=n2ln2nn2+ni=1lnnyix(i)nj=1(yjx(j)2nj=1(yj x(j)2,由于n p+1,故nj=1(yj x(j)2 YTMXY,Rp以概率1大于0,即有l(T,2(),)关于(T,)T Rp+1连续且l(T,2(),)n2(ln2nYTMXY 1)以概率1成立,因而有如下定理.定理1 在模型(2.2)中,当n p+1时,参数=(T,2,)T最大似然估计=(T,2,)T以概率1存在.在模型(2.2)中,定理1说明了
10、未知参数=(T,2,)的最大似然估计=(T,2,)在有限样本条件n p+1下以概率1可以通过牛顿迭代等数值计算方式得到数值解.估计的唯一性也是关注内容之一,其对估计的收敛性、渐近正态性都非常重要,对估计的数值计算方法也会产生一定的影响.定理2 在模型(2.2)中,当n p+1时,参数=(T,2,)T最大似然估计=(T,2,)T以概率1唯一.证记对数似然函数为l(T,2,)=n2ln2n2ln2ni=1(yi x(i)222+ni=1ln(yi x(i),令zi=yix(i),且不失一般性假定=0,注意到2=1nni=1(yi x(i)2及是的连续可微函数,对任意总有l(T,2,)2=0,l(T
11、,2,)=0,因而l(T,2,)2=0,l(T,2,)=0,l(T,2,)2=0.假设模型存在两个不等的极大似然估计bi=(bTi,2(bi),(bi)T,i=1,2,则有l(bT1)=l(bT2)+l(T)T|=b2(b1b2)+12(b1b2)Tl(T)T|=e(b1b2),其中e为b1与b2连线上的某个点.由于l(bT1)=l(bT2),l(T)T|=b2=0,则有(b1b2)Tl(T)T|=e(b1b2)=0.522应用数学2024由于zi(zi)+(zi)zi=(zi)0,limzizi(zi)+(zi)=0,因而对任意的zi R都有(zi)zi(zi)+(zi)2(zi)0,即有2
12、l(T,2,)T=12ni=1x(i)Tx(i)1+2(zi)zi(zi)+(zi)2(zi)0,因而0=(0T,02,0)为Qn()的极小值点.类比于定理2的方法可知,0=(0T,02,0)为Qn()的最小值点,则在模型(2.2)中,关于模型参数=(T,2,)的最大似然估计有下面结论.定理3在模型(2.2)中,参数的最大似然估计=(T,2,)依概率收敛到参数真值0=(0T,02,0),即有 0,n .证注意到=(T,2,),样本来自参数0=(0T,02,0),且有lnL(T,2,)=n2ln2n2ln2ni=1(yi x(i)222+ni=1ln(yi x(i),由于Qn()=lnL()/n
13、,Qn()=E0lnL()/n,yi x(i),i=1,2,n,相互独立,则当n 时有Qn()Qn()0成立.对任意 0,记n=(T,2,)|Rp,2 0,R,Sno()是中心在0以Rp+2上半径为的球形开邻域,no()=Sno()n,no()c为no()的补集,注意到0是Qn()的最小值点,则有lim infnminno()cQn()Qn(0)0成立.综合上面所述,根据文12中定理3.3得证.定理3的结论表明模型参数的最大似然估计具有一致性,同时也为模型的进一步统计推断奠定了基础.4.未知参数估计的渐近分布对于偏正态条件下的多元线性回归模型,未知参数估计的大样本性质值得关注,尤其是偏度参数估
14、计的渐近性质.在模型最大似然估计一致性条件下,下面重点考虑参数T,2,估计的渐近分布.不失一般性,不妨假定模型参数的最大似然估计唯一且一致收敛于参数真值,X的元素一致有界及列元素绝对值和一致有界,limnXXTn存在且非奇异.由于估计满足ni=1 zi(0 zi)/(0 zi)=0,则有n(0)=1nni=1 zi(0 zi)(0 zi)1nni=1 z2i(zi)zi(zi)(zi)2(zi)1,第 2 期赵伟凯等:偏正态条件下多元线性回归模型的统计推断及其应用523其中 zi=(yi x(i)/,为 与0之间的某一个值,则关于估计 有下面近似分布.定理4在模型(2.2)中,n(0)LN(0
15、,Dz1(0z1)(0z1)E2z212(0z1)2(0z1),其中z1 SN(0,1,0).证注意到(2.4)式中ni=1 zi(zi)(zi)=0,其中 zi=yix(i),则由拉格朗日中值定理可得n(0)=1nni=1 zi(0 zi)(0 zi)1nni=1 z2i(zi)zi(zi)(zi)2(zi)1,其中 为 和0之间的某一值.注意到yi x(i)0,i=1,2,n,相互独立且各阶阶矩存在,X的元素一致有界及列绝对值和一致有界,limnXXTn存在且非奇异,P0,b P0,b 2P02,记zi=yix(i)00则有1nni=1x(i)(0)(0 zi)(0 zi)P0,1nni=
16、1 zi(0 zi)(0 zi)1nni=1zi(0zi)(0zi)P0,1nni=1 z2i2(zi)2(zi)1nni=1z2i2(0zi)2(0zi)P0,1nni=1 z2i(zi)zi(zi)2(zi)P0.由于z2i2(0zi)2(0zi),i=1,2,n,独立且期望、方差均存在且有界,故有1nni=1z2i2(0zi)2(0zi)PE0z212(0z1)2(0z1).由于zi(0zi)(0zi),i=1,2,n,独立,其方差存在且有界,其期望为E0zi(0zi)(0zi)=2zi(0zi)(0zi)(zi)(0zi)dzi=0,记2=Dzi(0zi)(0zi),则有1nni=1z
17、i(0zi)(0zi)LN(0,2).综合上面所述可得n(0)LN(0,Dz1(0z1)(0z1)E2z212(0z1)2(0z1),其中z1 SN(0,1,0),定理得证.偏度参数是刻画随机变量分布对称程度的基本尺度,随机变量是否具有对称分布尤为值得关注.当=0时,模型(2.2)即为正态条件下的经典多元线性模型,因而通常需要做假设检验H0:=0 H0:=0.定理3给出了偏正态条件下多元线性回归模型偏度参数的渐近分布,据此可以讨论上述偏度参数的假设检验问题,根据数据的渐近分布和检验的显著性水平确定拒绝域:W=|u1/2Dz1(0z1)(0z1)E2z212(0z1)2(0z1),其中z1 SN
18、(0,1,0),u1/2为标准正态分布的1 /2下分位数,进而可结合实际情况,对数据是否服从偏正态做出判断.定理5在模型(2.2)中,假定X列绝对值和一致有界,0=limnXXTn存在且非奇异,则有n(0)LN(0,0201).524应用数学2024证注意到(2.4)式中ni=1 zix(i)Tni=1(zi)(zi)x(i)T=0,其中 zi=yix(i)bb,则由拉格朗日中值定理可得n(0)=XTXn 2nni=1(yix(i)(yix(i)+(yix(i)1(yix(i)2(yix(i)x(i)Tx(i)1 1nni=1(0yix(i)0)(0yix(i)0)x(i)T1nni=1yi
19、x(i)0 x(i)T,其中为与0连线上的某一个点.注意到yi x(i)0,i=1,2,n,相互独立且各阶阶矩存在,X的元素一致有界及列绝对值和一致有界,存在且非奇异 limnXXTn,P0,b P0,b 2P02,则有1nni=1(yix(i)(yix(i)2x(i)T)(yix(i)x(i)P0,1nni=1 2 2(yix(i)2(yix(i)x(i)Tx(i)P0,1nni=1(0yix(i)0)(0yix(i)0)x(i)TP0,从而有n(0)+(XTXn)1 1nXT(Y X0)P0.由于(XTXn0)1/21nXTY X00LN(0,Ip),则有n(0)LN(0,02(limnX
20、TXn)1),根据文13中定理5.1.8,结论得证.定理5给出了回归系数的渐近分布,据此可以深入讨论模型及变量的显著性问题.定理6在模型(2.2)中,当n 时有n(2 20)LN(0,204).证由(2.4)式有 2=1n(Y X)T(Y X),从而 2=1n(Y X0)T(Y X0)(0)TXT(Y X0)(0)TXTX(0),注意X 到的元素一致有界及列绝对值和一致有界,limnXXTn存在且非奇异,0P0,则有1n(0)TXT(Y X0)P0,1n(0)TXTX(0)P0,从而n 21n(Y X0)T(Y X0)P0.由于yi x(i)0,i=1,2,n,相互独立且其矩母函数为M(t)=
21、2e2t22(t1+2),则有E(yi x(i)0)2=2M(t)t2?t=0=02,D(yi x(i)0)2=4M(t)t4?t=0(02)2=204,从而有1nni=1(yi x(i)0)2 E(yi x(i)0)21nD(yi x(i)0)2LN(0,1),第 2 期赵伟凯等:偏正态条件下多元线性回归模型的统计推断及其应用525结合n 21n(Y X0)T(Y X0)P0,则有n1nni=1(yi x(i)0)2 02LN(0,204),即有n 2 02LN(0,204),结论得证.定理6给出了尺度参数的渐近分布,该分布只与02有关.尺度参数描述了数据的离散程度,据此我们可以对数据做进一
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 偏正 条件下 多元 线性 回归 模型 统计 推断 及其 应用
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。