支持向量回归机.doc
《支持向量回归机.doc》由会员分享,可在线阅读,更多相关《支持向量回归机.doc(10页珍藏版)》请在咨信网上搜索。
1、 . 3.3 支持向量回归机SVM本身是针对经典的二分类问题提出的,支持向量回归机(Support Vector Regression,SVR)是支持向量在函数回归领域的应用。SVR与SVM分类有以下不同:SVM回归的样本点只有一类,所寻求的最优超平面不是使两类样本点分得“最开”,而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间,求最优回归超平面同样等价于求最大间隔。3.3.1 SVR基本模型对于线性情况,支持向量机函数拟合首先考虑用线性回归函数拟合,为输入量,为输出量,即需要确定和。图3-3a SVR结构图 图3-3b不灵敏度函数惩罚函数是学习模型在学习过程中对误差的一
2、种度量,一般在模型学习前己经选定,不同的学习问题对应的损失函数一般也不同,同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。表3-1 常用的损失函数和相应的密度函数损失函数名称损失函数表达式噪声密度-不敏感拉普拉斯高斯鲁棒损失多项式分段多项式标准支持向量机采用-不灵敏度函数,即假设所有训练数据在精度下用线性函数拟合如图(3-3a)所示, (3.11)式中,是松弛因子,当划分有误差时,都大于0,误差不存在取0。这时,该问题转化为求优化目标函数最小化问题: (3.12)式(3.12)中第一项使拟合函数更为平坦,从而提高泛化能力;第二项为减小误差;常数表示对超
3、出误差的样本的惩罚程度。求解式(3.11)和式(3.12)可看出,这是一个凸二次优化问题,所以引入Lagrange函数: (3.13)式中,为Lagrange乘数,。求函数对,的最小化,对,的最大化,代入Lagrange函数得到对偶形式,最大化函数: (3.14)其约束条件为:C怎么来的 (3.15)一个点不能同时两个等式都满足求解式(3.14)、(3.15)式其实也是一个求解二次规划问题,由Kuhn-Tucker定理,在鞍点处有: (3.16)得出,表明,不能同时为零,还可以得出:怎么得到的 (3.17)从式(3.17)可得出,当,或时,可能大于,与其对应的称为边界支持向量(Boundary
4、 Support Vector,BSV),对应图3-3a中虚线带以外的点;当时,即,与其对应的称为标准支持向量(Normal Support Vector,NSV),对应图3-3a中落在管道上的数据点;当,时,与其对应的为非支持向量,对应图3-3a中管道内的点,它们对没有贡献。因此越大,支持向量数越少。对于标准支持向量,如果,此时,由式(3.16)可以求出参数: 同样,对于满足的标准支持向量,有 一般对所有标准支持向量分别计算的值,然后求平均值,即 (3.18)因此根据样本点求得的线性拟合函数为 (3.19)与之前有的解释不一样非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一
5、个高维特征空间(Hilbert空间)中,然后在此高维空间中再进行线性回归,从而取得在原空间非线性回归的效果。首先将输入量通过映射映射到高维特征空间中用函数式变为:与3.14对应 (3.20)支持向量机的核心要点式(3.20)中涉及到高维特征空间点积运算,而且函数是未知的,高维的。支持向量机理论只考虑高维特征空间的点积运算,而不直接使用函数。称为核函数,核函数的选取应使其为高维特征空间的一个点积,核函数的类型有多种,常用的核函数有:多项式核:;说明为什么,其次讲一下为什么引入核函数高斯核:;RBF核:;B样条核:;Fourier核:;因此式(3.20)变成 (3.21)在变换过后的空间中的表示式
6、可求的非线性拟合函数的表示式为: (3.22)3.3.2 结构改进的支持向量回归机前半部分怎么解释,分类的时候好解释,回归的时候呢上节所述的SVR基本模型其优化目标为: (3.23)SVR结构改进算法一般在优化目标中增加函数项,变量或系数等方法使公式变形,产生出各种有某一方面优势或者一定应用范围的算法。Suykens提出了最小二乘支持向量机(LS-SVM)105,与标准SVM相比其优化指标采用了平方项,从而将不等式约束转变成等式约束,将二次规划问题转化成了线性方程组的求解,其优化目标为: (3.24)LS-SVM与标准SVM相比减少了一个调整参数,减少了个优化变量,从而简化了计算复杂性。然而L
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 支持 向量 回归
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【a199****6536】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【a199****6536】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。