线性判别函数省公共课一等奖全国赛课获奖课件.pptx
《线性判别函数省公共课一等奖全国赛课获奖课件.pptx》由会员分享,可在线阅读,更多相关《线性判别函数省公共课一等奖全国赛课获奖课件.pptx(92页珍藏版)》请在咨信网上搜索。
1、v线性判别函数和决议面线性判别函数和决议面v感知准则函数和梯度下降法感知准则函数和梯度下降法v固定增量法及其收敛性固定增量法及其收敛性v最小平方误差准则函数最小平方误差准则函数v多类情况下线性判别函数多类情况下线性判别函数v分段线性判别函数分段线性判别函数vFisher 线性判别函数线性判别函数v支持向量机支持向量机第二章第二章 线性判别函数线性判别函数第1页2.1 2.1 线性判别函数和决议面线性判别函数和决议面 模式表示模式表示 在分类识别方法中,首先应该把代表事物那在分类识别方法中,首先应该把代表事物那些些特征特征抽取出来,组成代表这个模式抽取出来,组成代表这个模式特征向量特征向量。现在
2、假定已经抽取到模式若干特征:现在假定已经抽取到模式若干特征:假如这假如这 个特征能够很好地描述原始待识别个特征能够很好地描述原始待识别事物,则能够用事物,则能够用 维空间一个列向量来代表:维空间一个列向量来代表:第2页1.问题与处理思绪问题与处理思绪问题:问题:设有由设有由N个待分类个待分类两类别两类别模式组成一个样模式组成一个样本集,本集,怎样实现对样本集中两类样本分类?怎样实现对样本集中两类样本分类?第3页在普通情况下样本在特征空间分布情况:在普通情况下样本在特征空间分布情况:(二维两类别模式例子)(二维两类别模式例子)第4页二维三类别模式例子二维三类别模式例子第5页能够看出能够看出:不一
3、样类别经典样本在特征空间中显著处于不不一样类别经典样本在特征空间中显著处于不一样区域。一样区域。表明表明:因为相同类别模式含有因为相同类别模式含有相同或相近特征相同或相近特征,因而,因而一类模式在特征空间中某一区域分布,而另一类一类模式在特征空间中某一区域分布,而另一类则在另外区域分布。则在另外区域分布。第6页 我们能够得到启发我们能够得到启发:用用已知类别模式样本已知类别模式样本产生一个代数表示分产生一个代数表示分界面界面 ,将特征空间分成两个互不重合,将特征空间分成两个互不重合区域,使不一样类别模式样本位于不一样区域,区域,使不一样类别模式样本位于不一样区域,再用再用 作为判别函数,对待识
4、别模式作为判别函数,对待识别模式进行分类。进行分类。在特征空间可看作一个决议面。在特征空间可看作一个决议面。第7页归纳处理问题思绪归纳处理问题思绪:(1)分类问题分类问题 特征空间分布特征空间分布 寻找寻找 子区域分界面子区域分界面 确定判别函数确定判别函数(2)待识别模式待识别模式 判别函数判别函数 分类分类处理方法?处理方法?代入代入 判别判别第8页 判别函数判别函数 能够有各种形式,哪种形式能够有各种形式,哪种形式最简单最简单呢?呢?线性函数线性函数 在二维空间是一条直线;在三维空间是一个在二维空间是一条直线;在三维空间是一个平面;在高维空间也是一个平面,因为是非平面;在高维空间也是一个
5、平面,因为是非直观,称为直观,称为超平面超平面。第9页 线性判别函数是全部模式特征线性组合。线性判别函数是全部模式特征线性组合。或或 式中式中 是特征系数,称为权,是特征系数,称为权,称为阈值权。称为阈值权。用什么方法来确定用什么方法来确定 呢?呢?第10页2.线性判别函数确实定方法线性判别函数确实定方法设有已知类别两类别样本集,分布以下:设有已知类别两类别样本集,分布以下:第11页线性判别函数能够写成:线性判别函数能够写成:参数参数 决定了决定了 方向和位置方向和位置第12页怎样依据已知样本确定怎样依据已知样本确定?因为要用因为要用 对两类样本在特征空间正确划对两类样本在特征空间正确划分两类
6、模式区域,我们能够假定一个规则:分两类模式区域,我们能够假定一个规则:当样本为一个类别时,当样本为一个类别时,使使 当样本为另一个类别时,使当样本为另一个类别时,使 第13页 对全部样本都按这个规则来做,不满足时,对全部样本都按这个规则来做,不满足时,调整调整 ,最终能够找到一个,最终能够找到一个 ,使全,使全部样本都满足这个规则。部样本都满足这个规则。这个过程称为这个过程称为训练学习训练学习,已知类别样本称为,已知类别样本称为训练样本训练样本。用训练学习方法确定线性判别函数。用训练学习方法确定线性判别函数。怎样训练学习?怎样训练学习?第14页3.线性判别函数普通表示线性判别函数普通表示 对于
7、对于n维模式向量维模式向量 ,其线性,其线性判别函数是全部模式特征线性组合,即判别函数是全部模式特征线性组合,即 能够写成能够写成其中其中,称为权向量。称为权向量。第15页4.在向量空间几何表示在向量空间几何表示 取取 作为决议面。作为决议面。假如两个向量假如两个向量 和和 都在决议面上,则有:都在决议面上,则有:或写成或写成 因为因为 和和 是决议面上任意两点,所以是决议面上任意两点,所以 也是在决议面上任意向量。也是在决议面上任意向量。表明了什么?表明了什么?第16页 两个两个n维向量相互正交充要条件是两向维向量相互正交充要条件是两向量内积为零。即量内积为零。即 所以所以,表明表明:权向量
8、和决议面上任一向量正交。所以权向权向量和决议面上任一向量正交。所以权向量方向就是决议面法线方向。量方向就是决议面法线方向。第17页 在两维模式下,决议面在两维模式下,决议面 把模式空间分成两个子空间,把模式空间分成两个子空间,分别是对分别是对 类决议域类决议域 和对和对 类决议域类决议域 。假如我们要求:假如我们要求:在在 中,中,;在;在 中,中,决议面法向量方向指向决议面法向量方向指向 。第18页 第19页我们能够把向量我们能够把向量 表示为:表示为:待求距离待求距离 决议面决议面 上一点上一点 与与 有什么样关系有什么样关系?第20页 则有:则有:或或判别函数值判别函数值 是是 到决议面
9、距离度量。到决议面距离度量。第21页同理,能够得出:同理,能够得出:从原点到决议面从原点到决议面 距离为距离为 。假如假如 ,原点在,原点在 正面;正面;假如假如 ,原点在,原点在 反面;反面;假如假如 ,判别函数有齐次形式,判别函数有齐次形式 决议面经过原点。决议面经过原点。第22页二类模式线性分类器决议法则是:二类模式线性分类器决议法则是:假如假如 则决议则决议 ,即把,即把 归到归到 类;类;假如假如 则决议则决议 ,即把,即把 归到归到 类;类;对于线性判别函数,关键问题是求对于线性判别函数,关键问题是求怎样求?怎样求?第23页2.2 2.2 感知准则函数和梯度下降法感知准则函数和梯度
10、下降法1.感知准则函数感知准则函数 由前面介绍知识,我们知道,由前面介绍知识,我们知道,对于一组两类别样本集:对于一组两类别样本集:我们能够设线性判别函数为:我们能够设线性判别函数为:决议面方程为:决议面方程为:即即 第24页 求得权向量求得权向量 ,就可确定决议面方程。,就可确定决议面方程。由数学知识,知由数学知识,知 齐次形式比较轻易。齐次形式比较轻易。能否将能否将 变换成齐次形式呢?变换成齐次形式呢?令令 ,则,则,n维维X空间空间 (n+1)维)维Y空间空间 Y称为增广模式向量,称为增广模式向量,A称为增广权向量称为增广权向量 第25页 经过这么变换,求解问题就变为:经过这么变换,求解
11、问题就变为:设有一组两类模式增广模式向量样本集,设有一组两类模式增广模式向量样本集,利用这些样本确定一个线性判别函数利用这些样本确定一个线性判别函数权向量权向量 ,使,使 能够对能够对 正确分类。正确分类。第26页训练规则为:训练规则为:对于属于对于属于 类全部样本,有类全部样本,有:对于属于对于属于 类全部样本,有类全部样本,有:注意到注意到 和和能否使能否使?在属于在属于 类样本前加上负号,则类样本前加上负号,则第27页这么处理后,问题变为:这么处理后,问题变为:求使对于全部训练样本都满足:求使对于全部训练样本都满足:,权向量权向量怎样求怎样求?是一个线性不等式组,而是一个线性不等式组,而
12、 是是 维,样本数量为维,样本数量为 ,普通,普通 比比 大多,大多,这么,这么,解不唯一。解不唯一。第28页 为了解线性不等式组为了解线性不等式组 ,需要结构一个,需要结构一个准则函数,并希望结构准则函数有极值形式。准则函数,并希望结构准则函数有极值形式。是因为使用权向量是因为使用权向量 而被误分类样本集合。而被误分类样本集合。当一个样本当一个样本 被误分类时,就有被误分类时,就有 ,所以所以 。仅当。仅当 时,时,到达最小值。到达最小值。第29页我们称我们称为为感知准则函数感知准则函数。有了准则函数之后,我们就能够用最优化方法寻有了准则函数之后,我们就能够用最优化方法寻找使准则函数到达极小
13、值解权向量找使准则函数到达极小值解权向量 。怎样求怎样求?第30页2.2.梯度下降法梯度下降法 梯度定义梯度定义 梯度是函数梯度是函数 一阶偏导数组成向量一阶偏导数组成向量,记为记为 二元函数等值线二元函数等值线 定义定义:坐标面上函数相等各点连线叫等值线坐标面上函数相等各点连线叫等值线,也称也称等高线。等高线。第31页 函数函数 为不一样值时,得到一系列等值线,组成为不一样值时,得到一系列等值线,组成 等值线族等值线族 。在极值处等值线在极值处等值线聚成一点,并位于等值聚成一点,并位于等值线中心,当该中心为线中心,当该中心为极小值时,离开它越远,极小值时,离开它越远,值越大,反之,若值越大,
14、反之,若该中心为极大值时,离开该中心为极大值时,离开它越远,它越远,值越小。值越小。第32页 梯度方向梯度方向 由梯度定义知,由梯度定义知,梯度方向就是函数法线方向。梯度方向就是函数法线方向。第33页 梯度方向性质梯度方向性质:v沿梯度方向,函数值增加最快,为最速沿梯度方向,函数值增加最快,为最速上升方向;上升方向;v沿负梯度方向,函数值下降最快,为最沿负梯度方向,函数值下降最快,为最速下降方向。速下降方向。第34页梯度下降法基本思想:梯度下降法基本思想:函数函数 在某点在某点 梯度梯度 是一个向量,它是一个向量,它方向与过点方向与过点 等量面等量面 法线方向重合,法线方向重合,指向指向 增加
15、一方,是准则函数改变率最大方向。增加一方,是准则函数改变率最大方向。反之,负梯度方向则是函数反之,负梯度方向则是函数 降低最快方向。所降低最快方向。所以在求准则函数以在求准则函数 极小值时,极小值时,沿负梯度方向搜索沿负梯度方向搜索有可能最快找到最小值。有可能最快找到最小值。第35页梯度下降法实现:梯度下降法实现:先任意选择一个初始权向量先任意选择一个初始权向量 ,计算,计算 上梯上梯度度 ,从,从 出发在最陡方向(即负梯出发在最陡方向(即负梯度方向)上移动一个距离以得到下一个权向量度方向)上移动一个距离以得到下一个权向量 。可采取下面迭代方法从可采取下面迭代方法从 推出推出 。百分比因子,叫
16、做步长或增量百分比因子,叫做步长或增量 因为因为 第第 个梯度分量是个梯度分量是 。第36页 所以,可得到梯度下降法迭代公式:所以,可得到梯度下降法迭代公式:当第当第 步迭代用权向量步迭代用权向量 来分类时被误分类样本集合来分类时被误分类样本集合 这种寻找解权向量梯度下降法简述以下这种寻找解权向量梯度下降法简述以下:把第把第 次权向量加上被误分类样本和与某个常次权向量加上被误分类样本和与某个常数数 乘积,就得到第乘积,就得到第 次权向量。次权向量。第37页 优点:优点:只要二类样本线性可分,这个算法只要二类样本线性可分,这个算法总可收敛。总可收敛。缺点:缺点:每次迭代必须遍历全部样本,才能每次
17、迭代必须遍历全部样本,才能得到当前权向量得到当前权向量 下误分样本集下误分样本集 ,从,从而再对而再对 值进行修正。值进行修正。第38页用用训练样本集训练样本集求线性决议面方法关键点:求线性决议面方法关键点:v求线性决议面函数v转化成齐次形式v感知准则函数v梯度下降法v迭代公式第39页2.3 2.3 固定增量算法及其收敛性固定增量算法及其收敛性 针对梯度下降法缺点,作以下两点改变,针对梯度下降法缺点,作以下两点改变,得到固定增量算法:得到固定增量算法:(1)把全部样本看作是一个序列,每当前)把全部样本看作是一个序列,每当前一步迭代权向量把某个样本错误分类时,就一步迭代权向量把某个样本错误分类时
18、,就对这一个权向量作一次修正,而不是等当前对这一个权向量作一次修正,而不是等当前权向量权向量 对全部样本计算后再找犯错分类对全部样本计算后再找犯错分类样本集样本集 去进行修改。去进行修改。(2)考虑每次迭代时)考虑每次迭代时 保持不变。保持不变。第40页二类模式下用固定增量法求解权向量:二类模式下用固定增量法求解权向量:设设已已知知二二类类模模式式样样本本集集 和和 ,这这些些样样本本都都已已被被变变成成增增广广模模式式向向量量形形式式,要要求求用用固固定定增增量量方方法法决决定定一一个个超超平平面面 ,使使它能正确划分样本集它能正确划分样本集 和和 。开开始始时时能能够够任任意意假假定定 和
19、和 位位于于决决议议面面哪一边。一样能够任意选择广义向量哪一边。一样能够任意选择广义向量 初始值初始值 。然后把训练集然后把训练集 和和 中增广模式向量中增广模式向量 依次取出,计算依次取出,计算 与与 内积内积 。第41页假定假定 在在 正面,正面,在它反面在它反面权向量权向量 用以下规则调整:用以下规则调整:v假如假如 ,而,而 ,则用,则用 代替代替 ;v假如假如 ,而,而 ,则用,则用 代替代替 ;v假如假如 ,而,而 ,则,则 保持不变。保持不变。v假如假如 ,而,而 ,则,则 保持不变。保持不变。把属于把属于 和和 全部模式都用上述方法处理一全部模式都用上述方法处理一遍,称为一次迭
20、代。遍,称为一次迭代。这个算法重复执行,直至权向量这个算法重复执行,直至权向量 不再改变,不再改变,则则 ,即求得解权向量,即求得解权向量 。第42页 2.7 Fisher 2.7 Fisher 线性判别函数线性判别函数 在应用统计方法进行模式识别时,许多问在应用统计方法进行模式识别时,许多问题包括维数,在低维空间行得通方法,往往在题包括维数,在低维空间行得通方法,往往在高维空间行不通。所以,发展了一些降低特征高维空间行不通。所以,发展了一些降低特征空间维数方法,空间维数方法,Fisher线性判别函数就是其中线性判别函数就是其中之一。之一。在介绍在介绍Fisher线性判别函数之前,先补充线性判
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 线性 判别函数 公共课 一等奖 全国 获奖 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【w****g】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【w****g】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。