第5章最小二乘法.pptx
《第5章最小二乘法.pptx》由会员分享,可在线阅读,更多相关《第5章最小二乘法.pptx(73页珍藏版)》请在咨信网上搜索。
1、第一节第一节 最小二乘法原理最小二乘法原理 最小二乘法的发展已经历了200多年的历史,它最早起源于天文和大地测量的需要,其后在许多科学领域里获得了广泛应用。特别是近代矩阵理论与电子计算机相结合。使最小二乘法不断地发展而久盛不衰。最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。一、问题背景问题背景 在测量的实验数据处理中,经常需要根据两个量的一批观测数据(xi,yi),i=1,2,n求出这两个变量Y与X之间所满足的一个函数关系式Yf(X)。若变量间的函数形式根据理论分析或以往的经验已经确定好了,而其中有一些参数是未知的,则可通过观测的数据来确定这些参数;若变量间的具体函数形式尚未确
2、定,则需要通过观测数据来确定函数形式及其中的参数。一、问题背景问题背景 在多数估计和曲线拟合的问题中,不论是参数估计还是曲线拟合,都要求确定某些(或一个)未知量,使得所确定的未知量能最好地适应所测得的一组观测值,即对观测值提供一个好的拟合。解决这类问题最常用的方法就是最小二乘法。在一些情况下,即使函数值不是随机变量,最小二乘法也可使用。设X和Y两个物理量之间的函数关系为假定此函数关系f已知,但其中a1,a2,ak等参数还未求出,现对于X和Y有一批观测数据:xi,yi,i1,2,,n,要利用这批数据在一定法则之下作出这些参数a1,a2,ak的估计。假设诸观测值相互独立且服从正态分布。在等精度观测
3、的情况下,即认为各误差服从相同的正态分布N(0,y)。现在的问题是一个参数估计问题:需要给出a1,a2,ak的估计值 ,。解决这类问题最常用的方法就是最小二乘法。在一些情况下,即使函数值不是随机变量,最小二乘法也可使用。一般根据测量的实际情况,可假设变量X的测量没有误差(或与Y的误差相比很小,可略去),而变量Y的测量有误差,故关于Y的观测值yi可以写成这里y0i表示xi对于的Y的变量真值,i表示相应的测量误差。二、最小二乘法准则与正规方程二、最小二乘法准则与正规方程 在参数估计问题中,最小二乘法的法则最小二乘法的法则是:所选取的参数估计值 ,应使变量Y的诸观测值yi与其真值的估计值(又叫拟合值
4、),即f(xi;a1,a2,ak)之差的平方和为最小。用式子表示时,记残差i为最小二乘法就是要求=最小最小在这个条件下,利用数学中求极值的方法可以求出参数 ,。这样求出的参数叫参数的最小二乘估计。正规方程正规方程 根据数学分析中求函数极值的条件:=最小最小共得k个方程,称正规方程正规方程,求此联立方程的解可得出诸参数估计值 (j1,2,k)。不等精度情况下的最小二乘法不等精度情况下的最小二乘法 以上是等精度观测的情况,若诸观测值yi是不等精度的观测,即它们服从不同的方差i2的正态分布N(0,1),那么也不难证明,在这种情况下,最小二乘法可改为:选取的参数估值应使诸观测值yi与其估计值 之差的加
5、权平方和为最小。用式子表示就是要使=最小最小其中,wi为各观测值yi的权。wi2i2,i1,2,n。这里2为任选的正常数,它表示单位权方差。不等精度情况下的最小二乘法正规方程不等精度情况下的最小二乘法正规方程同样地,根据数学分析中求函数极值的条件:共得k个方程,称正规方程,求此联立方程的解可得出诸参数估计值 (j1,2,k)。最小二乘法最小二乘法的的几何意义几何意义 从几何图形上可看出,最小二乘法就是要在穿过各观测点(xi,yi)之间找出这样一条估计曲线,使各观测点到该曲线的距离的平方和为最小。YX三、最小二乘法与最大似然法的关系三、最小二乘法与最大似然法的关系 如果假定各观测值是相互独立且服
6、从正态分布,期望值是(xi;a1,a2,ak),方差是i2,则观测值的似然函数为 最大似然法要求上式取极大值,这就相当于要求指数项中的=最小最小这就说明了在观测值服从正态分布的条件下,最这就说明了在观测值服从正态分布的条件下,最小二乘估计与最大似然估计是一致的。小二乘估计与最大似然估计是一致的。观测值不服从正态分布时的最小二乘估计观测值不服从正态分布时的最小二乘估计 实质上,按最小二乘条件给出最终结果能充分地利用误差的抵偿作用,可以有效地减小随机误差的影响,因而所得结果具有最可信赖性。假若观测值不服从正态分布,则最小二乘估计并不是最大似然估计。但应该指出,在有些问题中观测值虽然不服从正态分布,
7、但当样本容量很大时,似然函数也趋近于正态分布,因此,这时使用最小二乘法和最大似然法实质也是一致的。不服从正态分布时最小二乘法的统计学性质不服从正态分布时最小二乘法的统计学性质 若观测值是服从正态分布的,这时最小二乘法和最大似然法实际上是一回事。但观测值不服从正态分布或其分布未知时,这时用最小二乘法显得缺乏理论的验证。但应该指出,作为一种公理来使用,最小二乘法仍然是可以接受的,而且可以证明,所得到的估计仍然具有一些很好的统计性质,这些性质是:(1)解是无偏的,即(2)解是观测值的线性组合,且有最小方差。这称为高斯马尔可夫定理;(3)加权的残差平方和的期望值是当21,即取wi1/i2,这时称为2
8、量。期望值为nk。第二节第二节 线性参数的最小二乘法线性参数的最小二乘法 一般情况下,最小二乘法可以用于线性参数的处理,也可用于非线性参数的处理。由于测量的实际问题中大量的是属于线性的,而非线性参数借助于级数展开的方法可以在某一区域近似地化成线性的形式。因此,线性参数的最小二乘法处理是最小二线性参数的最小二乘法处理是最小二乘法理论所研究的基本内容乘法理论所研究的基本内容。一、线性参数的测量方程一般形式一、线性参数的测量方程一般形式 线性参数的测量方程一般形式为(5-7)相应的估计量为(5-8)误差方程误差方程其误差方程为(5-9)二、线性参数的误差方程式的矩阵形式二、线性参数的误差方程式的矩阵
9、形式设有列向量 和nt阶矩阵(nt)则线性参数的误差方程式(59)可表示为 即(5-10)等精度测量最小二乘原理的矩阵形式等精度测量最小二乘原理的矩阵形式即或(5-11)(5-12)残余误差平方和最小这一条件的矩阵形式为 不等精度测量最小二乘原理的矩阵形式不等精度测量最小二乘原理的矩阵形式最小二乘原理的矩阵形式为 或(5-14)(5-13)式中的P为nn阶权矩阵。线性参数的不等精度测量还可以转化为等精度的形式,从而可以利用等精度测量时测量数据的最小二乘法处理的全部结果。三、线性参数最小二乘法的正规方程三、线性参数最小二乘法的正规方程 为了获得更可取的结果,测量次数n总要多于未知参数的数目t,即
10、所得误差方程式的数目总是要多于未知数的数目。因而直接用一般解代数方程的方法是无法求解这些未知参数的。最小二乘法则可以将误差方程转化为有确定解的代数方程组(其方程式数目正好等于未知数的个数),从而可求解出这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程正规方程(或称为法方程)。1线性参数的最小二乘法处理的基线性参数的最小二乘法处理的基本程序本程序 线性参数的最小二乘法处理程序可归结为:线性参数的最小二乘法处理程序可归结为:(1)根据具体问题列出误差方程式;)根据具体问题列出误差方程式;(2)按最小二乘法原理,利用求极值的方法将误差方程)按最小二乘法原理,利用求极值的方法将误差方
11、程转化为正规方程;转化为正规方程;(3)求解正规方程,得到待求的估计量;)求解正规方程,得到待求的估计量;(4)给出精度估计。)给出精度估计。对于非线性参数,可先将其线性化,然后按上述线性参对于非线性参数,可先将其线性化,然后按上述线性参数的最小二乘法处理程序去处理。数的最小二乘法处理程序去处理。建立正规方程是待求参数最小二乘法处建立正规方程是待求参数最小二乘法处理的基本环节。理的基本环节。2等精度测量的线性参数最小二乘法处理等精度测量的线性参数最小二乘法处理的正规方程的正规方程 线性参数的误差方程式为最小二乘法处理的正规方程为(5-19)这是一个t元线性方程组当其系数行列式不为零时,有唯一确
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最小二乘法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【天****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【天****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。