Hopfield神经网络综述.doc
《Hopfield神经网络综述.doc》由会员分享,可在线阅读,更多相关《Hopfield神经网络综述.doc(20页珍藏版)》请在咨信网上搜索。
1、题目: Hopfield神经网络综述一、 概述:1. 什么是人工神经网络(Artificial Neural Network,ANN)人工神经网络是一个并行和分布式的信息处理网络结构,该网络结构一般由许多个神经元组成,每个神经元有一个单一的输出,它可以连接到很多其他的神经元,其输入有多个连接通路,每个连接通路对应一个连接权系数。人工神经网络系统是以工程技术手段来模拟人脑神经元(包括细胞体,树突,轴突)网络的结构与特征的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络,它是生物神经网络的一种模拟和近似。主要从两个方面进行模拟:一是结构和实现机理;二是从功能上加以模拟。根据神经网络的主要连接
2、型式而言,目前已有数十种不同的神经网络模型,其中前馈型网络和反馈型网络是两种典型的结构模型。1)反馈神经网络(Recurrent Network) 反馈神经网络,又称自联想记忆网络,其目的是为了设计一个网络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。反馈神经网络是一种将输出经过一步时移再接入到输入层的神经网络系统。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点: (1).网络系统具有若干个稳定状态。当网络从某一初始状态开始运动,网络系统总可以收敛到某一个稳定的平衡状态; (2).系统稳定的平衡状态可以通过设计网络的权
3、值而被存储到网络中。反馈网络是一种动态网络,它需要工作一段时间才能达到稳定。该网络主要用于联想记忆和优化计算。在这种网络中,每个神经元同时将自身的输出信号作为输入信号反馈给其他神经元,它需要工作一段时间才能达到稳定。2. Hopfield神经网络 Hopfield网络是神经网络发展历史上的一个重要的里程碑。由美国加州理工学院物理学家J.J.Hopfield 教授于1982年提出,是一种单层反馈神经网络。Hopfield神经网络是反馈网络中最简单且应用广泛的模型,它具有联想记忆的功能。 Hopfield神经网络模型是一种循环神经网络,从输出到输入有反馈连接。在输入的激励下,会产生不断的状态变化。
4、反馈网络有稳定的,也有不稳定的,如何判别其稳定性也是需要确定的。对于一个Hopfield网络来说,关键是在于确定它在稳定条件下的权系数。下图中,第0层是输入,不是神经元;第二层是神经元。Hopfield网络示意图 1984年,Hopfield设计并研制了网络模型的电路,并成功地解决了旅行商(TSP)计算难题(快速寻优问题)。 根据网络的输出是离散量或是连续量,Hopfield网络也分为离散和连续的两种。 Hopfield神经网络有两种:离散Hopfield网络(DHNN)和连续Hopfield网络(CHNN) 。1)离散Hopfield网络(DHNN):神经元的输出只取1和0,分别表示神经元处
5、于激活和抑制状态。对于二值神经元,它的计算公式如下 其中,xi为外部输入。并且有:2)连续Hopfield网络(CHNN)拓扑结构和DHNN的结构相同。不同之处在于其函数g不是阶跃函数,而是S形的连续函数。一般取G (u)=1/(1+)二、特性分析1.离散Hopfield网络(DHNN)的结构和工作方式 离散Hopfield网络是一个单层网络,有n个神经元节点,每个神经元的输出均接到其它神经元的输入。各节点没有自反馈,每个节点都附有一个阀值。每个节点都可处于一种可能的状态(1或1),即当该神经元所受的刺激超过其阀值时,神经元就处于一种状态(比如1),否则神经元就始终处于另一状态(比如1)。 一
6、个DHNN的网络状态是输出神经元信息的集合。对于一个输出层是n个神经元的网络,其t时刻的状态为一个n维向量: 因为yi(t)可以取值为1或0,故n维向量Y(t)有2n种状态,即网络有2n种状态。 如图所示:如果Hopfield网络是一个稳定 网络,有3个神经元,则有8种状态。右图可直观看出:若在网络的输入端 上加入一个输入向量,则网络的状态会产生变化,即从超立方体的一个顶点转向另一个顶点,并且最终稳定于一个特定的顶角6。3神经元8种状态的立方体模型假设一个DHNN,其状态为Y(t): 如果对于任何t,当神经网络从t=0开始,有初始状态Y(0)。经过有限时刻t,有:Y(t+t)=Y(t)则称网络
7、是稳定的。 Hopfield网络稳定的充分条件:权系数矩阵W是对称矩阵,并且对角线元素为0。无自反馈的权系数对称Hopfield网络是稳定的。 稳定的Hopfield网络 离散Hopfield网络的一个功能是可用于联想记忆,也即是联想存储器。这是人类的智能特点之一。人类的所谓“触景生情”就是见到一些类同过去接触的景物,容易产生对过去情景的回昧和思忆。对于Hopfield 网络,用它作联想记忆时,首先通过一个学习训练过程确定网络中的权系数,使所记忆的信息在网络的n维超立方体的某一个顶角的能量最小。当网络的权系数确定 之后,只要向网络给出输入向量,这个向量可能是局部数据即不完全或部分不正确的数据,
8、但是网络仍然产生所记忆的信息的完整输出。1)应用举例(数字识别)问题设计一个Hopfield网络,使其具有联想记忆功能,能正确识别阿拉伯数字,当数字被噪声污染后仍可以正确地识别6。设计思路假设网络由0-9共10个稳态构成,每个稳态由10*10的矩阵构成,该矩阵用于模拟阿拉伯数字点阵。即将每个数字划分成10*10方阵,有数字的部分用1表示,空白处用-1表示。数字表示示意图设计步骤(1)设计数字点阵(0-9)(2)创建Hopfield网络(3)设计受到噪声污染的数字点阵(4)数字识别(5)结果分析(代码和仿真结果在第三仿真部分给出)2. 连续Hopfield网络(CHNN)的结构和工作方式连续型H
9、opfield网络(CHNN)是由一些简单的电子线路连接起来实现的。每个神经元均具有连续时间变化的输出值。采用具有饱和非线性的运算放大器来模拟神经元的S型单调输入输出关系,即电子线路连接的连续Hopfield网络(1)电子线路连接的连续Hopfield网络(2)对于一个N节点的CHNN模型来说,其神经元状态变量的动态变化可用下述非线性微分方程组来描述能量函数定义为CHNN的能量函数不是物理意义上的能量函数,而是在表达形式上与物理意义的能量函数一致,表征网络状态的变化趋势。定理:若作用函数是单调递增且连续的,则能量函数E是单调递减 且有界的。 CHNN用非线性微分方程描述,网络的稳定性通过构造其
10、能量函数(又称李雅谱诺夫函数),并用李雅谱诺夫第二稳定性定理进行判断。 说明7: (1)李雅谱诺夫函数并不唯一; (2)若找不到网络的李雅谱诺夫函数,不能证明网络不稳定; (3)目前没有统一的找李雅谱诺夫函数的方法; (4)用能量函数的方法研究网络的稳定性,在数学上欠严谨。如果把一个最优化问题的目标函数转换成网络的能量函数,把问题的变量对应于网络的状态,那么Hopfield神经网络就能够用于解决优化组合问题。 应用Hopfield神经网络来解决优化计算问题的一般步骤为: (1)分析问题:网络输出与问题的解相对应; (2)构造网络能量函数:使其最小值对应问题最佳解; (3)设计网络结构:由能量函
11、数和网络稳定条件设计网络参数,得到 动力学方程; (4)硬件实现或软件模拟。1)应用举例(TSP:Traveling Salesman Problem) 它假定有n个城市A,B,C,它们之间的相互距离分别为 。要求寻找一条闭合路径,此路径历经每个城市且经过一次,返回起始城市,要求此路径最短。 不考虑方向性和周期性,在给定n的条件下,可能存在的闭合路径数目为1/2(n-1)!。随着n的增大,计算量急剧增大,会发生所谓的“组合爆炸”问题7。城市数路径数城市数路径数31121.995810743132.3950108512143.1135109660154.358910107360166.53841
12、01182520171.04611013920160181.7784101410181440193.20121015111814400206.08231016 置换矩阵 A,B,C,D,E(对应各行)表示城市名称; 1,2,3,4,5(对应各列)表示路径顺序; 矩阵中“1”表示该城市在路径全程中所居顺序,其余元素均为“0”。此处路径顺序为CAEBDC。特点: (1)每行只有一个“1”,其余元素均 为“0”; (2)每列只有一个“1”,其余元素均为“0”; (3)全部元素中“1”的总和为n。12345A01000B00010C10000D00001E00100思路 利用nn个神经元组成Hopfi
13、eld神经网络,网络达到稳定状态时各个神经元之状态对应置换矩阵的各个元素值,各城市间的距离作为一组约束信息决定神经元之间的连接强度 。期望网络演变的最终结果给出最优解,也即以置换矩阵表明最短距离条件下路径之顺序。能量函数 式中,A,B,C,D是权值, 表示城市x到城市y之间的距离。前三项是问题的约束项,最后一项是优化目标项。改进动态方程 具体算法步骤 (1)置初值和权值,t=0,A=1.5,D=1.0,; (2)读入N个城市之间的距离 ; (3)神经网络输入的初始化 ; 其中,N为城市个数,为(-1,+1)区间的随机值; (4)利用动态方程计算 ; (5)根据一阶欧拉法计算 ; (6) 采用s
14、igmoid函数计算 ; (7)计算能量函数E; (8)检查路径合法性,判断迭代是否结束,若未结束返回到第(4)步; (9)输出迭代次数、最优路径、能量函数、路径长度及能量变化。 仿真中所采用的关键命令: * sumsqr(X):求矩阵X中各元素的平方值之和; * sum(X)或sum(X,1)为矩阵X中各行相加,sum(X,2)为矩阵X中各列相加; * repmat:用于矩阵复制; * dist(x,y):计算两点间的距离。 (代码和仿真结果在第三仿真部分给出)三、 仿真1. 数字识别问题数字1编码:array_one被噪声污染的数字1编码:noisy_array_one数字2编码:arra
15、y_two被噪声污染的数字2编码:noisy_array_two分别将这些编码建立成matlab里面的m文件并以data0和data0_noisy,data1和data1_noisy进行命名。以下是程序代码:% Hopfield神经网络的联想记忆数字识别 % 清空环境变量clear allclc % 数据导入load data1 array_oneload data2 array_two % 训练样本(目标向量) T = array_one;array_two; % 创建网络 net = newhop(T); % 数字1和2的带噪声数字点阵(固定法(人为添加噪声)load data1_nois
16、y noisy_array_oneload data2_noisy noisy_array_two % 数字1和2的带噪声数字点阵(随机法)4 % noisy_array_one=array_one;% noisy_array_two=array_two;% for i = 1:100% a = rand; % if a 0.3 加入30%的噪声% noisy_array_one(i) = -array_one(i);% noisy_array_two(i) = -array_two(i);% end% end % 数字识别 % 单步仿真TS = 1(矩阵形式)4% identify_one
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hopfield 神经网络 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【a199****6536】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【a199****6536】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。