毕业论文神经网络优化学习算法综述.doc
《毕业论文神经网络优化学习算法综述.doc》由会员分享,可在线阅读,更多相关《毕业论文神经网络优化学习算法综述.doc(41页珍藏版)》请在咨信网上搜索。
1、神经网络优化学习算法综述摘要:人工神经网络的研究始于二十世纪四十年代,神经网络的优化学习一直是研究的热点。神经网络的优化算法就是利用神经网络中的神经元的协同并行计算能力来构造的优化算法,它将实际问题的优化解与神经网络的稳定状态相对应,把对实际问题的优化过程映射为神经网络系统的演化过程。本文对目前几种常见的神经网络优化学习算法,感知器,Widrow-Hoff学习算法,BP学习算法等进行了综述性研究。关键词:人工神经网络,优化学习,感知器,Widrow-Hoff,BP,RBFA Survey on Neural Network Optimization Learning AlgorithmsAbs
2、tract: Artificial neural network research began in the 1940s, neural network optimization study has been on the hot. Neural network optimization algorithm is that it uses the neural networks of neurons in the synergy parallel computing capacity to optimize the structure of the algorithm, it make the
3、 optimization of the practical problems correspond with the stable state of the neural network, and the optimization process of practical problems is mapped for the evolvement process of the neural network systems. In this paper, several of the current common neural networks with their learning algo
4、rithm optimizations are given an overviewed research, such as perceptron, Widrow-Hoff learning algorithm, BP learning algorithm, and so on.Key words: neural networks, learning algorithm, perceptron, BP,RBF, Widrow-Hoff一 引言神经网络的研究至今已有近60年的历史,其发展道路曲折,目前已得到较深入而广泛的研究与应用。1943年心理学家McCulloch和数学家Pitts合作提出了形
5、式神经元的数学模型,即MP模型,他们利用逻辑的数学工具研究客观世界的事件在形式神经网络中的表达。1949年,心理学家Hebb通过对大脑神经细胞、学习和条件反射的观察和研究,剔除了改变神经元连接的Hebb规则,现在多数学习机仍遵循Hebb学习规则。50年代末, Rosenblatt设计发展了MP模型,剔除了多层感知机,即Perceptron,试图模拟动物和人脑的感知和学习能力。60年代初,Widrow提出了自适应线性单元模型,即Adaline,以及一种有效的网络学习方法,即Widrow-Hebb规则,或称为规则。鉴于上述研究,神经网络一起了许多科学家的兴趣。但是,1962年,但是具有较高学术地位
6、的人工智能创始人Minsky和Papert出版了Perceptron一书,对以感知机为代表的神经网路的功能和局限性从数学上进行了深入分析,并指出Perceptron只能进行线性分类求解一阶谓词问题同时寻找多层感知机的有效学习算法并不乐观。这导致许多学者放弃了对神经网络的研究,使神经网络的研究陷入了低潮。直到80年代,Hopfield通过引入能量函数的概念,研究网络的动力学性质,并用电子线路设计出相应的网络,从而开拓了神经网络用于联想记忆和优化计算的新途径,进而掀起了神经网络的研究热潮,为神经优化的研究奠定了基础。Rumelhart和MaClelland等提出了PDP理论,尤其是发展了多层前向网
7、络的BP算法,为解决多层前向网络的学习问题开辟了有效途径,并成为迄今应用最普遍的学习算法。随后开拓性的研究工作又大大发展了神经网络的模型与学习算法,并加深了人们对神经网络的认识。二 神经网络模型及其优化算法按结构方式分类神经网络可分为两大类模型,即前馈(feed-forward)模型和后馈(feed-back)模型。按照神经网络的拓扑结构与学习算法相结合的方法,将神经网络分为前馈网络、竞争网络、反馈网络和随机网络四大类,下面介绍感知机神经网络、BP神经网络、RBF网络、自适应线性神经网络(ADALINE-Adaptive Linear Neuron)、Hopfield反馈神经网络模型(HNN)
8、等并对其学习算法进行比较分析,以揭示神经网络所具有的功能和特征。2.1、感知机神经网络感知机神经网络是第一个完整的人工神经网络,它的输入可以是非离散量,它的权值不仅是非离散量,而且可以通过调整学习而得到。感知机可以对输入的样本矢量进行模式分类,而且多层的感知机,在某些样本点上对函数进行逼近,但感知机是一个线性阈值单元组成的网络,在结构和算法上是其他前馈网络的基础。2.1.1、 单层感知机单层感知机模型如图(2.1)所示,它具有简单的模式识别能力,但只能解决线性分类,而不能解决非线性问题。 图2.1单层感知机模型为联接权值;y为输出;f为阈值函数,即当输入的加权和大于或等于阈值时,感知器的输出为
9、1,否则为0或者-1。它与MP模型的不同之处是假定神经元间的耦合程度(联接权值)可变,这样它就可以学习。感知机的输入与输出关系可描述如下(2-1)式:感知器的学习是有师学习,它可以通过多次训练达到学习的目的。训练的要素有两个:训练样本集和训练规则。训练规则就是误差修正规则;训练样本集是由若干个输入-输出模式对构成的集合,这里的输出模式指对应于输入模式的期望输出。学习过程的基本思想是针对给定的输入-输出模式,求出输入模式的实际输出与期望输出之间的误差,用迭代方法调整连接权值和阈值,直到使各样本的实际输出与期望输出一致。单层感知器的局限性是:若输入模式为线性不可分集合,则网络的学习算法将无法收敛,
10、也就不能进行正确的分类。单层感知器虽然有它的局限性,但它在神经网络研究中有着重要的意义和地位,它提出了自组织、自学习的思想;对能够解决的问题,有一个收敛的算法,并从数学上给出了严格的证明。如果在输入和输出层之间加上一层或多层隐单元,则构成的多层感知器具有很强的处理功能,可以解决异或问题。 2.2.2、 多层感知机一个M层的多层感知机(前向网络)可描述如下: 网络包含一个输入层(定义为第0层)和M-1个隐层,最后一个隐层称为输出层。 第层包含个神经元和一个阈值单元(定义为每层的第0单元),输出层不含阈值单元。 第层第i个单元到第层的第个单元的权值表为。 第层(0)第个(0)神经元的输入定义为,输
11、出定义为,其中为隐单元激励函数,常采用Sigmoid函数,。输入单元一般采用线性激励函数,阈值单元的输出始终是1. 目标函数通常采用其中P为样本数,为第p个样本的第个输出分量。 对于典型的三层前向网络,其结构如图2.2所示。三层感知器可以识别任一图多变形或误解的图区域。更多层的感知器网络可识别更为复杂的图形。对于多层感知器网络,有以下结果,假定隐层的节点可以根据需要任意设置,那么用三层阈值节点的网络可以实现任意的二值逻辑函数。 由于感知器的传输函数是阈值函数,所以在函数不是线性可分时,感知器学习方法得不出任何结果,为此,人们用可为函数如Sigmoid曲线来代替阈值函数,用梯度下降法来修正权值,
12、得到误差回传BP网络。2.2、误差回传神经网络(BP) 2.2.1、概述BP网络即误差回传神经网络(Back-Propagation Neural Network),它是一种无反馈的前向网络,网络中的神经元分层排列。除了有输入层、输出层之外,还至少有一层隐蔽层;每一层内神经元的输出均传送到下一层,这种传送由联接权来达到增强、减弱或抑制这些输出的作用,除了输入层的神经元外,隐蔽层和输出层神经元的净输入是前一层神经元输出的加权和。每个神经元均由它的输入、活化函数和阈值来决定它的活化程度。BP网络的工作过程分为学习期和工作期两个部分。学习期由输入信息的正向传播和误差的反向传播两个过程组成。在正向传播
13、的过程中,输入信息从输入层到隐蔽层再到输出层进行逐层处理,每一层神经元的状态只影响下一层神经元的状态,如果输出层的输出与给出的样本希望输出不一致,则计算出输出误差,转让误差反向传播过程,将误差沿原来的联接通路返回。通过修改各层神经元之间的权值,使得误差达到最小。经过大量学习样本训练之后,各层之间的联接层就固定下来了,可以开始工作期。工作期中只有输入信息的正向传播。正向传播的计算按前述神经元模型工作过程进行。因此,BP网络的计算关键在于学习期中的误差反向传播过程,此过程是通过使一个目标函数最小化来完成的。通常目标函数定义为实际输出与希望输出之间的误差平方和(当然也可以定义为熵或线性误差函数),可
14、以使用梯度下降法导出计算公式。 2.2.2、BP网络的计算BP网络结构与多层感知机结构图相比,二者是类似的,但差异也是显著的。首先,多层感知机结构中只有一层权值可调,其他各层权值是固定的、不可学习的;BP网络的每一层连接权值都可通过学习来调节。其次,感知机结构中的处理单元为二进制的0或1;而BP网络的基本处理单元(输入层除外)为非线性的输入输出关系,一般选用S型函数。 图2.31)传统的BP算法在训练网络的学习阶段,设有个训练样本,先假定用其中的某一个样本的输入/输出模式对和对网络进行训练,隐含层的第个神经元在样本作用下的输入为式中,和分别为输入节点在样本作用时的输入和输出,对输入节点而言两者
15、相当;为输入层神经元与隐含层神经元之间的连接权值;为隐含层神经元的阈值;为输入层的节点数,即输入的个数。隐含层第个神经元的输出为式中,为激活函数。 对于Sigmoid型激活函数式中,参数表示偏值,正的使激活函数向左移动;的作用是调节Sigmoid函数形状,较小的使Sigmoid函数逼近一个阶跃限幅函数,而较大的将使Sigmoid函数变得较为平坦,如图2.4 所示。 图2.4隐含层激活函数的微分函数为隐含层第个神经元的输出将通过权系数向前传播到输出层第个神经元并作为它的输入之一,而输出层第个神经元的总输入为式中,为隐含层神经元与输出层神经元之间的连接权值;为输出层神经元的阈值;为隐含层的节点数。
16、输出层的第个神经元的实际输出为输出层激活函数的微分函数为若其输出与给定模式对的期望输出不一致,则将其误差信号从输出端反向传播回来,并在传播过程中对加权系数不断修正,直到在输出层神经元上得到所需要的期望输出值为止。对样本完成网络权系数的调整后,再送入另一样本模式对进行类似学习,直到完成个样本的训练学习为止。BP网络权系数的调整规则对于每一样本的输入模式对的二次型误差函数为则系统对所有个训练样本的总误差函数为式中,为模式样本对数;为网络输出几点数。一般来说,基于还是基于来完成加权系数空间的梯度搜索会获得不同的结果。在Rumelhart等人的学习加权的规则中,学习过程按使误差函数减小最快的方向调整加
17、权系数直到获得满意的加权系数集为止。这里加权系数的修正是顺序操作的,网络对各模式对一个一个地顺序输入并不断进行学习,类似于生物神经网络的处理过程,但不是真正的梯度搜索过程。系统最小误差的真是梯度搜索方法是基于上式的最小化方法。传统的BP网络总结起来,具有以下主要优点:(1) 只要有足够多的隐含层和隐节点,BP网络可以逼近任意的非线性映射关系;(2) BP网络的学习算法属于全局逼近的方法,因而它具有较好的泛化能力。同时BP算法有两个突出的弱点:(1) 收敛到局部极小点;(2) 收敛速度慢; 为此,许多人对BP网络的学习算法进行了广泛的研究,提出了许多改进的算法,下面介绍典型的几种。2)改进的BP
18、算法1) 引入动量项的BP算法上述标准BP算法实质上是一种简单的最速下降静态寻优算法,在修正时,只是按时刻的负梯度方向进行修正,而没有考虑以前积累的经验,即以前时刻的梯度方向,从而常常使学习过程发生振荡,收敛缓慢。为此,有人提出了如下的改进算法,即式中,既可表示单个的连接权系数,也可表示连接权向量(其元素为连接权系数);为时刻的负梯度;是时刻的负梯度;为学习速率,;为动量项因子,。该方法所加入的动量项实质上相当于阻尼项,它减小了学习过程的振荡趋势,改善了收敛性,这是目前应用比较广泛的一种改进算法。 (2)自适应BP算法传统BP算法中,学习率是一个人为设定的常数,为防止误差下降率太快产生的震荡发
19、散现象一般要求足够小,然而一旦过小必然影响学习过程的收敛速度。自适应BP算法就是为了让学习率能够进行自我调整,以改变原始BP算法的收敛特性。的自适应律可设定为:其中:a,b均大于0;(1)表示BP网络前N次迭代学习的均方误差函数梯度值小于零; (2)表示BP网络前N次迭代学习的均方误差函数梯度值大于零。学习速率进行自适应调整的方法可以保证神经网络总是以可接受的、最大的学习速率进行训练。当一个较大的学习速率仍能够使网络稳定学习,使其误差继续下降,则增加学习速率,使其以更大的学习速率进行学习。一旦学习速率调得过大,而不能保证误差继续减少,则减少学习速率直到使其学习过程稳定为止。(3)弹性BP算法
20、隐含层sigmoid函数的特性决定了当输入很大时,斜率接近0导致权值的修正停止。弹性BP学习算法依靠偏导数的符号决定权值更新的方向,能有效地解决这个问题,其权值修正过程如下: (6.3.33)其中,为供设计者选择的参数;符号函数。其初始值要根据实际应用预先设定。事实证明弹性BP算法的收敛速度优于附加动量法和自适应BP算法。(4)增广LPIDBP学习算法R.Vitthal受PID调节器的启发,发明了利用误差梯度函数的比例,积分,微分组合形成调节量的RPIDBP学习算法:其中:,为比例,积分,微分系数;为当前梯度值;为当前梯度变化量。仅有比例项时即为标准BP算法。但此算法的不仅参数较多又不易设定,
21、而且容易产生积分饱和,所以提出了增广LPIDBP学习算法,其原理如下(图2.5):图2.5设PID传递函数为:其中:为比例增益;为积分增益;为微分常数;为为消除高频干扰而引入滤波器的常数,取值范围为(3,10)。设T为采样时间,对上述方程取一阶近似离散化后有:其中:。由原理图有如下算式对离散化后的传函取双线性变换,代换后可得: 其中:, 。此算法的修正公式中相当于增加了惯性项,可以在一定程度上抑制振荡和积分饱和,经验证,增广LPIDBP学习算法也具有很好的收敛性。(5)共轭梯度BP算法原始BP算法使用的梯度下降法存在收敛速度慢且容易掉入局部极小的缺陷。共轭梯度法的基本思想在于:要求在中的极小点
22、,就必须选择好每一步的搜索方向。将第次迭代的搜索方向指向将第次迭代时的最速下降方向与将第次迭代的搜索方向的线性组合,并且,与是共轭向量。但是,由于BP网络的均方误差函数无法导出形如的二次型函数,所以一般的共轭梯度法不能直接应用于BP网络,需要进行修正。其计算公式为:其中:方向因子,即为误差的性能函数。共轭梯度法兼取最陡下降法和牛顿法的优点,同时克服了收敛速度慢及易陷入局部极小等缺点,是一种有效的算法。2.3、径向基函数(Radial Basis Function,RBF)网络算法RBF网络是一种三层前馈式神经网洛,具有全局逼近的性质,且不存在局部极小的问题,已广泛应用与系统辨识和参数逼近。 图
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 毕业论文 神经网络 优化 学习 算法 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【胜****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【胜****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。