神经网络分类器ppt课件.ppt
《神经网络分类器ppt课件.ppt》由会员分享,可在线阅读,更多相关《神经网络分类器ppt课件.ppt(60页珍藏版)》请在咨信网上搜索。
1、第五章第五章 神神经网网络分分类器器5.1 感知器算法感知器算法5.2 神神经网网络分分类器器1.5.1 感知器算法感知器算法一、引言一、引言模式模式识别与人工智能是研究如何利用与人工智能是研究如何利用计算机算机实现人人脑的一些的一些功能。功能。2.人工神人工神经网网络研究的研究的发展:展:u1943年,提出形式神年,提出形式神经元的数学模型,人工神元的数学模型,人工神经网网络研究的研究的开端。开端。u1949年,提出神年,提出神经元的学元的学习准准则,为神神经网网络的学的学习算法奠算法奠定了基定了基础。u50年代,研究年代,研究类似于神似于神经网网络的分布系的分布系统。u50年代末提出感知模
2、型,把神年代末提出感知模型,把神经网网络的的实现付付诸工程工程实践。践。u1982年,提出神年,提出神经网网络的数学模型,引入了能力的概念,研的数学模型,引入了能力的概念,研究了网究了网络的的动力学特性;力学特性;设计出用出用电子子线路路实现网网络的方案,的方案,大大促大大促进了神了神经网网络的研究。的研究。u1986年,提出多年,提出多层感知器的反向感知器的反向传播算法。播算法。u现在神在神经网网络的的应用已渗透到智能控制、信号用已渗透到智能控制、信号处理、理、优化化计算、生物医学工程等算、生物医学工程等领域。域。3.二、人工神二、人工神经元元1、生物神、生物神经元元典型的神典型的神经元,即
3、神元,即神经细胞胞结构:胞体、构:胞体、树突、突、轴突、突触突、突触胞体:神胞体:神经细胞的本体,完成普通胞的本体,完成普通细胞的生存功能。胞的生存功能。树突:有大量的分枝,接受来自其他神突:有大量的分枝,接受来自其他神经元的信号。元的信号。轴突:用以突:用以输出信号。出信号。突触:神突触:神经元相元相联系的部位,系的部位,对树突的突触突的突触为兴奋性的,使性的,使下一个神下一个神经元元兴奋;对胞体的突触胞体的突触为抑制性的,阻止下一个抑制性的,阻止下一个神神经元元兴奋。4.神神经元的基本工作机制:元的基本工作机制:u神神经元的两种工作状元的两种工作状态:兴奋和抑制。和抑制。u动态极化原极化原
4、则:在每一个神:在每一个神经元中,信息以元中,信息以预知的确定方知的确定方向流向流动,即从神,即从神经元的接收信息部分元的接收信息部分传到到轴突的突的电脉冲起脉冲起始部分,再始部分,再传到到轴突突终端的突触,以与其它神端的突触,以与其它神经元通信。元通信。u连接的接的专一性原一性原则:神:神经元之元之间无无细胞胞质的的连续,神,神经元元不构成随机网不构成随机网络,每一个神,每一个神经元与另一些神元与另一些神经元构成精确元构成精确的的联接。接。信号的信号的传递过程:程:u接受接受兴奋电位;位;u信号的信号的汇集和集和传导;u信号的信号的输出。出。5.2、人工神、人工神经元元人工神人工神经元模型:
5、元模型:xi:输入,神入,神经元的元的输入入值i:权值,突触的,突触的连接接强度度f:输出函数,非出函数,非线性函数性函数y:输出出神神经元元动作:作:常用常用输出函数:出函数:阈值函数:函数:6.双曲正切函数:双曲正切函数:非非线性,性,单调性性无限次可微无限次可微权值很大很大时接接近近阈值函数函数权值很小很小时接接近近线性函数性函数阶跃函数:函数:7.f 为阈值函数:函数:3、感知器模型、感知器模型8.则:y=sgn(WTX)即:即:y=f(WTX)这种神种神经元没有内部状元没有内部状态的的转变,而且函数,而且函数为阈值型。因此,型。因此,它它实质上是一种上是一种线性性阈值计算算单元。元。
6、感知器是一个具有感知器是一个具有单层计算算单元的人工神元的人工神经网网络。感知器。感知器训练算法就是由算法就是由这种神种神经网网络演演变来的。来的。设阈值:=-0W=(1,2,n,0)TX=(x1,x2,xn,1)T感知器算法能感知器算法能够通通过对训练模式模式样本集的本集的“学学习”得出判得出判别函函数的系数解。数的系数解。9.算法描述算法描述用用样本本训练时,若,若xi,g(x)0,则w不不变。若若g(x)0,分,分别赋予初始增予初始增广广权矢量矢量w(1)的各分量的各分量较小的任意小的任意值。u输入入训练模式模式xk,计算判算判别函数函数值wT(k)xk u调整增广整增广权矢量,矢量,规
7、则是:是:如果如果wT(k)xk0,则w(k+1)=w(k)+Cxk如果如果wT(k)xk0,则w(k+1)=w(k)u如果如果kdj(x)任意任意 j i,则判判xi(1)赋初初值,分,分别给c个个权矢量矢量wi(1)(i=1,2,c)赋任意任意的初的初值,选择正常数正常数,置步数,置步数k=1.(2)输入符号未入符号未规范化的增广范化的增广训练模式模式xk,xkx1,x2 xN,计算算c个判个判别函数:函数:di(xk)=wi(k)xk(i=1,2,c)(3)调整增广整增广权矢量,矢量,规则是:是:u如果如果xki和和di(xk)dj(xk)(任意任意j i),则:wi(k+1)=wi(k
8、)(i=1,2,c)算法步算法步骤:16.u如果如果xki和和dl(xk)di(xk)(l i)则:wi(k+1)=wi(k)+xk wl(k+1)=wl(k)-xk wj(k+1)=wi(k)(任意任意j l,i)(4)如果如果kN,令令k=k+1,返至返至(2)。如果。如果k=N,则检验判判别函数函数wix对x1,x2 xN,是否都能正确分是否都能正确分类。若。若是,是,结束;若不是,令束;若不是,令k=1,返至返至(2)17.例例2:已知:已知训练样本本(0,0)属于属于1类,(1,1)属于属于2类,(-1,1)属于属于3类,试求解向量求解向量w1*,w2*,w3*18.实验四四:实验所
9、所用用样本本数数据据如如表表给出出,编制制程程序序实现1、2、3、4类的分的分类。19.7、感知器算法推广、感知器算法推广由感知器算法:由感知器算法:进一步:将一步:将cxk变为对分分类错误敏感的准敏感的准则函数函数J(w,x)定定义:梯度下降准梯度下降准则20.u感知机感知机Perceptron(Rosenblatt 1958)Adaline(Widrow and Hoff)uPerceptron(Minsky&Papert,1969)uHopfield模型模型(Hopfield,1982)u多多层感知机感知机MLP与反向与反向传播算法播算法BP(Rumelhart,1986)5.2 神神经
10、网网络分分类器器神神经网网络的特点的特点u自学自学习u自适自适应u并行并行处理理u分布表达与分布表达与计算算21.神神经网网络本本质上可以理解上可以理解为函数逼近,可以函数逼近,可以应用到众多用到众多领域:域:u优化化计算算u信号信号处理理u智能控制智能控制u模式模式识别u机器机器视觉等等神神经网网络的的应用用22.常用常用输出函数:出函数:线性性输出函数:出函数:a=f(x)=xSigmoid 函数:函数:23.Hebb学学习规则:如果神如果神经元元ui接收来自另一神接收来自另一神经元元uj的的输出,出,则当当这两个神两个神经元同元同时兴奋时,从,从uj到到ui的的权值wij就得到加就得到加
11、强,可写成:,可写成:神神经元的学元的学习算法算法式中式中wij为到到uj的第的第i个个权值的修正量,的修正量,为控制修正速度的系控制修正速度的系数。数。“修正修正”为“增增强”或或“减弱减弱”的概念,不局限于代数的概念,不局限于代数的的“加加”或或“减减”。24.u前前馈神神经网网络:各神:各神经元接受前元接受前级输入,并入,并输出到下一出到下一级,无反无反馈,可用一有向无,可用一有向无环图表示。表示。u前前馈网网络通常分通常分为不同的不同的层,第,第i层的的输入只与第入只与第i-1层的的输出出联接。接。u可可见层:输入入层和和输出出层u隐层:中:中间层5.2.1 前前馈神神经网网络及其主要
12、方法及其主要方法25.26.例:感知器例:感知器u双双层神神经网网络:一:一层为输入入层,另,另一一层有有计算算单元;元;u修正修正权值w:式中式中k为迭代次数。迭代次数。i=1,2,n j=1,2,mu反复依次反复依次输入入训练集中的特征向量集中的特征向量x,计算算实际输出出值,并修正,并修正权向量向量u与与线性判性判别函数等价,只解决函数等价,只解决线性可分性可分问题,收,收敛速度快速度快27.三三层前前馈神神经网网络用三用三层前前馈神神经网网络实现逻辑门例:与非例:与非门(NAND)x1,x2-1,1y-1,1用前用前馈神神经网网络实现“与非与非门”,可,可组成任何成任何逻辑函数函数28
13、.三三层神神经网网络实现非非线性分性分类例:异或例:异或(XOR)任何一个任何一个逻辑电路都可以只用路都可以只用XOR门来来实现,XOR是通用是通用门29.实线:+虚虚线:-数字:数字:权值单个个阈值神神经元可元可实现任意多任意多输入的与、或、与非、或非入的与、或、与非、或非门任何任何逻辑函数可用一个三函数可用一个三层前前馈网网络实现30.有有4个模式,要分个模式,要分为2类:31.u适当适当选取神取神经元的元的输出函数,两出函数,两层前前馈神神经网网络可以逼近可以逼近任意的多元非任意的多元非线性函数性函数u若有足若有足够多的多的隐单元,任何从元,任何从输入到入到输出的出的连续函数都可函数都可
14、以用一个以用一个这样的三的三层网网络任意精度近似任意精度近似u三三层或三或三层以上的前以上的前馈网网络通常被叫做多通常被叫做多层感知器感知器(MLP)uMLP的适用范的适用范围大大超大大超过单层网网络32.多多层前前馈网网络u双双层网网络一个一个线性性边界界u三三层或三或三层以上以上任意任意决策决策边界界存在存在问题:u未未给出出隐单元数目元数目u未未给出出权值u仅根据根据训练样本,很本,很难知道知道应该有什么形式的界有什么形式的界面函数面函数u实际设计过程中程中还有很有很多多问题33.u三三层前前馈网网络的使用范的使用范围大大超大大超过二二层前前馈网网络,但学,但学习方法方法较为复复杂,主要
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 分类 ppt 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。