新版线性判别函数省公共课一等奖全国赛课获奖课件.pptx
《新版线性判别函数省公共课一等奖全国赛课获奖课件.pptx》由会员分享,可在线阅读,更多相关《新版线性判别函数省公共课一等奖全国赛课获奖课件.pptx(130页珍藏版)》请在咨信网上搜索。
1、第四章第四章 线性判别函数线性判别函数nBayesian分类器设计方法,已知n类条件概率密度 p(x|i)参数表示式n先验概率 P(i)n利用样本预计 p(x|i)未知参数n用贝叶斯规则将其转换成后验概率 P(i|x),并依据后验概率大小进行分类决议。第1页处理实际问题方法处理实际问题方法n在实际中存在问题n样本特征空间类条件概率密度形式经常极难确定n利用 Parzen 窗等非参数方法恢复分布往往需要大量样本,而且伴随特征空间维数增加所需样本数急剧增加。n所以,在处理实际问题时,往往是利用样本集直接设计分类器,而不恢复类条件概率密度。n即采取判别函数,首先给定某个判别函数类,然后利用样本集确定
2、出判别函数中未知参数。第2页线性判别函数线性判别函数n线性判别函数法是一类较为简单判别函数。是统计模式识别基本方法之一。n它首先假定判别函数 g(x)是 x 线性函数,即 g(x)=wTx+w0,对于 c 类问题,能够定义 c 个判别函数,gi(x)=wiTx+wi0,i=1,2,c。n用样本去预计各 wi 和 wi0,并把未知样本 x 归到含有最大判别函数值类别中去。n关键是怎样利用样本集求得 wi 和 wi0。第3页训练和学习训练和学习n“训练”和“学习”n在待识别模式中,挑选一批有代表性样本,经过人工判读,成为已知分类样本,把这批样本逐一输入到计算机中“训练”程序或算法中,经过一次次迭代
3、,最终得到正确线性判别函数。n这么迭代过程称之为训练过程,所组成分类器称为有些人监督或有教师分类器。第4页4.1.1 线性判别函数基本概念线性判别函数基本概念n在正态分布Bayesian判别中,已经碰到过在两类情况下判别函数为线性情况。n假设有1 和2 两类模式,在二维模式特征空间可用一直线把这两类模式划分开,如图 4.1 所表示。第5页x1x2g(x)=w2x2+w1x1+w0 图4.1两类模式一个简单判别函数+划分直线方程参数坐标变量4.1.1 线性判别函数基本概念线性判别函数基本概念第6页判别规则判别规则n若给定一个未知类别模式xn当g(x)0 时,则决议 x 属于1;n当 g(x)0,
4、所以决议面法向量是指向 R1。n所以,有时称 R1 中任何 x 在 H 正侧,对应地,称 R2 中任何 x 在 H 负侧。4.1.1 线性判别函数基本概念线性判别函数基本概念第12页判别函数判别函数 g(x)是特征空间中某点是特征空间中某点 x 到超平到超平面距离一个代数量度。面距离一个代数量度。n若把 x 表示成式中 xp:是 x 在 H 上投影向量;r:是 x 到 H 垂直距离;:是w方向上单位向量。4.1.1 线性判别函数基本概念线性判别函数基本概念第13页若 x 为原点,则 g(x)=w0 (4-7)将(4-7)代入(4-6),就得到从原点到超平面 H 距离 (4-6)判别函数判别函数
5、 g(x)是特征空间中某点是特征空间中某点 x 到超平到超平面距离一个代数量度。面距离一个代数量度。4.1.1 线性判别函数基本概念线性判别函数基本概念第14页假如 w00,则原点在 H 正侧;若 w00,则原点在 H 负侧。若w0=0,则 g(x)含有齐次形式 wTx,说明超平面 H 经过原点。判别函数判别函数 g(x)是特征空间中某点是特征空间中某点 x 到超平到超平面距离一个代数量度。面距离一个代数量度。4.1.1 线性判别函数基本概念线性判别函数基本概念第15页图 4.2 对这些结果作了几何解释。4.1.1 线性判别函数基本概念线性判别函数基本概念第16页结论结论n利用线性判别函数进行
6、决议,就是用一个超平面把特征空间分割成两个决议区域。n超平面方向由权向量 w 确定,它位置由阈值权 w0 确定。n判别函数 g(x)正比于 x 点到超平面代数距离(带正负号)当 x 在 H 正侧时,g(x)0,在负侧时,g(x)0。4.1.1 线性判别函数基本概念线性判别函数基本概念第17页4.1.2 广义线性判别函数广义线性判别函数n如图 4.3 所表示二类问题。n设有一维样本空间 X,所希望划分是:n假如 xa,则 x 属于1 类;n假如 b x0,则决议 x1g(x)0,则决议 x2二次判别函数可写成以下普通形式g(x)=c0+c1x+c2x2(4-10)假如适当选择 x y 映射,则可
7、把二次判别函数化为 y 线性函数4.1.2 广义线性判别函数广义线性判别函数第20页式中式中称为广义判别函数,a叫做广义权向量。普通地,对于任意高次判别函数 g(x)(这时 g(x)可看作对任意判别函数作级数展开,然后取其截尾部分迫近),都能够经过适当变换,化为广义线性判别函数来处理。4.1.2 广义线性判别函数广义线性判别函数第21页存在问题存在问题n经过变换后,维数大大增加了,这将使问题很快陷入所谓“维数灾难”。n在统计学习理论中,对广义线性分类器进行研究,克服了“维数灾难”问题,进而发展出了最新模式识别方法支持向量机,成为处理有限样本情况下非线性分类问题有效伎俩。4.1.2 广义线性判别
8、函数广义线性判别函数第22页n把(4-1)式定义线性判别函数写成下面形式(4-12)增广特征向量Augmented feature vector增广权向量(广义权向量)Augmented weight vector4.1.2 广义线性判别函数广义线性判别函数第23页结论结论ny 与 x 相比,即使增加了一维,但保持了样本间欧氏距离不变,变换后样本向量依然全部位于 d 维子空间,即原 X 空间中,方程(4-13)在Y空间确定了一个经过原点超平面 。它对 d 维子空间划分与原决议面 wTx+w0=0 对原 X 空间划分完全相同。4.1.2 广义线性判别函数广义线性判别函数第24页例子例子n这种方法
9、优缺点可经过例子来说明。考虑二次判别函数得到三维向量y从x到y映射如图所表示。4.1.2 广义线性判别函数广义线性判别函数第25页例子例子4.1.2 广义线性判别函数广义线性判别函数数据仍保持固有一维,因为改变x将造成y沿着一个三维曲线运动。假如x服从某一个概率分布时,得到密度函数是退化,即曲线之外是0,在曲线上是无穷大,这是从低维空间到高维空间映射普遍问题。第26页例子例子4.1.2 广义线性判别函数广义线性判别函数图中映射y=(1,x,x2)T把一条直线映射为三维空间中一条抛物线。因为两类问题,在三维空间中,一个平面就是一个分隔面。所以,由图可见,这产生了原始一维x空间不连通性第27页例子
10、例子g(x)=1+x+2x2x0.5时g(x)0a=(-1,1,2)T4.1.2 广义线性判别函数广义线性判别函数由aTy=0定义平面将y空间分成两个判别区域,如图给出当a=(-1,1,2)T时分类平面和x空间对应判别区域。第28页结论结论aTy=0在2维空间不穿过原点4.1.2 广义线性判别函数广义线性判别函数一个三维增广特征空间y和增广权向量a(在原点)。满足aTy=0点集是一个穿过y空间原点超平面(用红色表示),这个平面垂直于a。这个平面在其原来二维空间中不一定穿过原点(即立方体顶部虚线所表示判决边界)。所以存在一个增广权向量a,能够取得x空间中任意判定线。第29页4.1.3 设计线性分
11、类器主要步骤设计线性分类器主要步骤设计线性分类器,就是建立线性判别函数(4-l)式g(x)=wTx+w0或广义线性判别函数(4-12)式这么,设计线性分类器就转化为,利用训练样本集寻找准则函数极值点 和 或 。第30页设计线性分类器主要步骤以下:设计线性分类器主要步骤以下:n 要有一组含有类别标志样本集X=x1,x2,xN。n假如在样本 xn 抽出后,把它看作一个确定观察值,则这组样本集称为确定性样本集;n若把 xn 看作一个随机变量,则这组样本集称为随机样本集。n有时也将样本集 X 转换成增广样本集 Y 来处理。4.1.3 设计线性分类器主要步骤设计线性分类器主要步骤第31页n 要依据实际情
12、况确定一个准则函数 J 它必须满足:J 值反应分类器性能,它极值解则对应于 最好 决议。J是样本集X和w、w0或 a 函数;设计线性分类器主要步骤以下:设计线性分类器主要步骤以下:4.1.3 设计线性分类器主要步骤设计线性分类器主要步骤第32页用最优化技术求出准则函数极值解 和 w*或a*。这么就能够得到线性判别函数或设计线性分类器主要步骤以下:设计线性分类器主要步骤以下:4.1.3 设计线性分类器主要步骤设计线性分类器主要步骤第33页4.2 Fisher线性判别线性判别nFisher线性判别函数是经典判别方法之一,应用非常广泛。n应用统计方法处理模式识别问题时,困难之一是维数问题。n在低维空
13、间里行得通方法,在高维空间里往往行不通。n所以,降低维数有时就成为处理实际问题关键。第34页n在数学上通常能够把 d 维空间样本投影到一条直线上,形成一维空间,即把维数压缩到一维。n在普通情况下,总能够找到某个方向,使在这个方向直线上,样本投影能分开得最好。n问题是怎样依据实际情况找到这条最好、使最易于分类投影线。这就是Fisher法所要处理基本问题(见图 4.4)。4.2 Fisher线性判别线性判别第35页4.2 Fisher线性判别线性判别第36页从从 d 维空间到一维空间数学变换方法维空间到一维空间数学变换方法n假设有一集合 X 包含 N 个 d 维样本 x1,x2,xN,其中 N1
14、个属于1 类样本记为子集 X1,N2 个属于2 类样本记为 X2,若对 xn 分量作线性组合可得标量yn=wTxn,n=1,2,Nin这么便得到 N 个一维样本 yn 组成集合,并可分为两个子集 Y1 和 Y2。4.2 Fisher线性判别线性判别第37页w*就是最好投影方向n从几何上看,假如|w|=1,则每个 yn 就是相对应 xn 到方向为 w 直线上投影,实际上,w 绝对值是无关紧要,它仅使 yn 乘上一个百分比因子,主要是选择 w 方向。nw 方向不一样,将使样本投影后可分离程度不一样,从而直接影响识别效果。n所以,前述所谓寻找最好投影方向问题,在数学上就是寻找最好变换向量 w*问题。
15、4.2 Fisher线性判别线性判别第38页定义几个基本参量定义几个基本参量n在 d 维 X 空间n各类样本均值向量mi,i=1,2 n样本类内离散度矩阵 Si 和总类内离散度矩阵 Sw,i=1,2 Sw=S1+S24.2 Fisher线性判别线性判别第39页n样本类间离散度矩阵SbSb=(m1 m2)(m1 m2)Tn其中 Sw 是对称半正定矩阵,而且当 Nd 时通常是非奇异。nSb 也是对称半正定矩阵,在两类条件下,它秩最大等于 1。定义几个基本参量定义几个基本参量4.2 Fisher线性判别线性判别第40页在一维在一维 Y Y 空间空间n各类样本均值,i=1,2 样本类内离散度 和总类内
16、离散度4.2 Fisher线性判别线性判别第41页定义定义Fisher准则函数准则函数n希望投影后,在一维 Y 空间里各类样本尽可能分得开些,即希望两类均值之差越大越好;n希望各类样本内部尽可能密集,即希望类内离散度越小越好。所以,能够定义Fisher准则函数为:4.2 Fisher线性判别线性判别第42页n寻找使JF(w)尽可能大 w 作为投影方向。但 JF(w)式并不显含w,所以必须设法JF(w)将变成w显函数。尽可能大尽可能小Fisher准则函数准则函数4.2 Fisher线性判别线性判别第43页Fisher准则函数准则函数4.2 Fisher线性判别线性判别第44页Fisher准则函数
17、准则函数4.2 Fisher线性判别线性判别第45页Fisher准则合理性:准则合理性:nJF(w)只与投影方向相关,与大小无关若w是一个最优解,kw也是最优解,k是任何不为零常数。4.2 Fisher线性判别线性判别第46页Fisher最正确投影方向求解:最正确投影方向求解:n要求:Sw=S1+S2正定。不然,存在投影方向w,使得wTSww=0,全部数据被投影到一点上。JF(w)没有极大值。n求出最正确投影方向上任何一个w即可。nJF(w)有上界,最正确投影方向一定存在!(Sb)max,(Sw)min分别是Sb,Sw矩阵最大、最小特征根。4.2 Fisher线性判别线性判别第47页Fishe
18、r最正确投影方向求解:最正确投影方向求解:n一定存在一个最优w,满足wTSww=1,因为Sw 正定。无约束最优化:等价于带约束最优化:max wTSbw wTSww=14.2 Fisher线性判别线性判别第48页n因为分母等于1是非零常数,wTSww=10n定义 Lagrange 函数为JF(w)是广义Rayleigh商,带等式约束最优化,能够用Lagrange乘子法求解。Fisher最正确投影方向求解:最正确投影方向求解:4.2 Fisher线性判别线性判别第49页式中 为Lagrange乘子,将上式对w求偏导数,得Fisher最正确投影方向求解:最正确投影方向求解:4.2 Fisher线性
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 新版 线性 判别函数 公共课 一等奖 全国 获奖 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【w****g】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【w****g】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。