基于突触巩固机制的前馈小世界神经网络设计.pdf
《基于突触巩固机制的前馈小世界神经网络设计.pdf》由会员分享,可在线阅读,更多相关《基于突触巩固机制的前馈小世界神经网络设计.pdf(14页珍藏版)》请在咨信网上搜索。
1、基于突触巩固机制的前馈小世界神经网络设计李文静1,2,3,4,5李治港1,2,3,4,5乔俊飞1,2,3,4,5摘 要小世界神经网络具有较快的收敛速度和优越的容错性,近年来得到广泛关注.然而,在网络构造过程中,随机重连可能造成重要信息丢失,进而导致网络精度下降.针对该问题,基于 Watts-Strogatz(WS)型小世界神经网络,提出了一种基于突触巩固机制的前馈小世界神经网络(Feedforwardsmall-worldneuralnetworkbasedonsynapticconsolidation,FSWNN-SC).首先,使用网络正则化方法对规则前馈神经网络进行预训练,基于突触巩固机制
2、,断开网络不重要的权值连接,保留重要的连接权值;其次,设计重连规则构造小世界神经网络,在保证网络小世界属性的同时实现网络稀疏化,并使用梯度下降算法训练网络;最后,通过 4 个 UCI 基准数据集和 2 个真实数据集进行模型性能测试,并使用 Wilcoxon 符号秩检验对对比模型进行显著性差异检验.实验结果表明:所提出的 FSWNN-SC 模型在获得紧凑的网络结构的同时,其精度显著优于规则前馈神经网络及其他 WS 型小世界神经网络.关键词小世界神经网络,突触巩固机制,网络正则化,重连规则,Wilcoxon 符号秩检验引用格式李文静,李治港,乔俊飞.基于突触巩固机制的前馈小世界神经网络设计.自动化
3、学报,2023,49(10):21452158DOI10.16383/j.aas.c220638Structure Design for Feedforward Small-world Neural NetworkBased on Synaptic Consolidation MechanismLIWen-Jing1,2,3,4,5LIZhi-Gang1,2,3,4,5QIAOJun-Fei1,2,3,4,5AbstractBecauseoffasterconvergencespeedandsuperiorfaulttolerance,small-worldneuralnetworkhasat
4、trac-tedwideattentioninrecentyears.However,intheconstructionprocess,itmaycausethelossofimportantinforma-tionduetorandomreconnection,whichmayleadtothedeclineofnetworkaccuracy.Tosolvethisproblem,de-rivedfromtheWatts-Strogatz(WS)small-worldneuralnetwork,afeedforwardsmall-worldneuralnetworkbasedonsynapt
5、icconsolidation(FSWNN-SC)mechanismisproposedinthisstudy.Firstly,theregularfeedforwardneur-alnetworkispre-trainedbyusingthenetworkregularizationmethod.Basedonthesynapticconsolidationmechan-ism,theunimportantconnectionweightsofthenetworkaredisconnectedandtheimportantconnectionweightsareretained.Second
6、ly,therewiringrulesaredesignedtoconstructasmall-worldneuralnetwork,whichcanrealizethesparsenessofthenetworkwhileensuringthesmall-worldpropertiesofthenetwork.Thegradientdescentalgorithmisusedtotrainthenetwork.Finally,fourUCIbenchmarkexperimentsandtwopracticalexperimentsarecarriedouttoevaluatethemodel
7、performance,andtheWilcoxonsigned-rankstestisperformedtotestthesignificantdif-ferencesbetweencomparativemodels.ExperimentalresultsshowthattheFSWNN-SCmodelproposedinthisstudynotonlyobtainsacompactnetworkstructure,butalsohassignificantlybetteraccuracythanregularfeedforwardneuralnetworksandotherWSsmall-
8、worldneuralnetworks.Key wordsSmall-worldneuralnetworks,synapticconsolidationmechanism,networkregularization,rewiringrule,Wilcoxonsigned-rankstestCitationLiWen-Jing,LiZhi-Gang,QiaoJun-Fei.Structuredesignforfeedforwardsmall-worldneuralnetworkbasedonsynapticconsolidationmechanism.ActaAutomaticaSinica,2
9、023,49(10):21452158人工神经网络是受生物神经网络启发而设计出来的一种数学计算模型,具有良好的容错能力、万能的逼近特性以及优越的自适应和自学习功能1,同时具备高速并行处理信息的结构2,可以解决复收稿日期2022-08-11录用日期2022-11-12ManuscriptreceivedAugust11,2022;acceptedNovember12,2022国家重点研发计划(2021ZD0112301),国家自然科学基金(62173008,62021003,61890930-5)资助SupportedbyNationalKeyResearchandDevelopmentPro-
10、gramofChina(2021ZD0112301)andNationalNaturalScienceFoundationofChina(62173008,62021003,61890930-5)本文责任编委何晖光RecommendedbyAssociateEditorHEHui-Guang1.北京工业大学信息学部北京1001242.北京人工智能研究院北京1001243.智能感知与自主控制教育部工程研究中心北京1001244.计算智能与智能系统北京市重点实验室北京1001245.智慧环保北京实验室北京1001241.FacultyofInformationTechnology,BeijingU
11、niversityofTechnology,Beijing1001242.BeijingArtificialIntelligenceIn-stitute,Beijing1001243.EngineeringResearchCenterofIntel-ligencePerceptionandAutonomousControl,MinistryofEduca-tion,Beijing1001244.BeijingKeyLaboratoryofComputa-tionalIntelligenceandIntelligentSystem,Beijing1001245.Bei-jingLaborator
12、yforIntelligentEnvironmentalProtection,Beijing100124第49卷第10期自动化学报Vol.49,No.102023年10月ACTAAUTOMATICASINICAOctober,2023杂的工程问题.这些优点使得人工神经网络成为当今最成功的人工智能模型之一3,已广泛地应用于众多领域,如非线性系统建模45、数据挖掘67、计算机视觉89和自然语言处理1011等.1998 年,Watts 等12发现许多生物网络、社会网络介于随机网络和规则网络之间,其拓扑结构呈现出稀疏特性,且具有较大的聚类系数和较短的平均路径长度,并将其定义为小世界网络.随着人们对生物
13、神经网络研究的深入,借助弥散张量成像、磁共振脑功能成像等技术,研究者发现生物神经网络在结构和功能上均呈现出小世界属性1315.研究表明,生物神经网络较短的平均路径长度可以加快信息在网络中的传播速度,较大的聚类系数能够增加网络的容错能力16.尽管人工神经网络通过构建大量节点(神经元)之间的相互连接模拟人脑的信息处理方式,但是其拓扑结构及功能与生物神经网络仍相去甚远.近年来,已有很多学者尝试将小世界属性引入人工神经网络设计中,旨在提高人工神经网络的信息处理及容错能力.前馈神经网络(Feedforwardneuralnetwork,FNN)由于结构简单灵活17,且可以以任意精度逼近任一连续函数181
14、9,在模式识别、函数逼近等方面得到广泛应用2021.目前,基于 FNN的小世界神经网络设计得到越来越多的关注.Si-mard 等22以多层感知器为基础模型,建立了一种多层前馈小世界神经网络,发现小世界神经网络比规则网络和随机网络有更快的学习速度和更高的精度.Li 等23探究了重连概率对小世界神经网络性能的影响,发现重连概率在 0.1 附近时,网络收敛速度最快.可见,将小世界属性融入人工神经网络结构设计能够提升网络的收敛速度和泛化能力.基于此,小世界神经网络已广泛地应用到智能控制2425、风力预测26、医疗诊断2728、污水处理2930等多个领域,取得了良好的效果.小世界神经网络的拓扑结构直接影
15、响着网络的性能.目前,构造小世界神经网络的方法主要包括Watts-Strogatz(WS)12和 Newman-Watts(NW)31两种方式.WS 型前馈小世界神经网络通过在FNN 上以一定概率随机断开相邻层连接再进行随机跨层重连实现小世界网络构建,而 NW 型前馈小世界神经网络则是通过在 FNN 上直接随机跨层加边进行小世界网络构造.从网络的构造方式可以看出,WS 型小世界神经网络相比 NW 型小世界神经网络拓扑结构更加稀疏,因此得到更多学者的关注.在 WS 方式构造的基础上,不少学者通过改进其断开或重连策略实现构造方式的优化.例如,李小虎等32对随机断开连接加以限制,即禁止断开最后一个隐
16、含层与输出层之间的连接,以防止孤立神经元的产生.王爽心等33提出基于层连优化的小世界神经网络的改进算法,引入了同层节点重连的策略,改善了小世界神经网络聚类系数偏低的问题,并且发现输入层和输出层直接相连会造成网络性能下降.此外,近年来研究学者在 WS 构造方式的基础上对网络进行稀疏化,以进一步提高网络的泛化性能.Guo等34提出了一种基于 E-信息熵的剪枝算法用于稀疏化 WS 型前馈小世界神经网络,在一定程度上改善了因网络结构过大而出现过拟合的问题.Li 等30利用节点的 Katz 中心性衡量网络中节点的重要性,删除不重要的节点使网络结构更加紧凑,同时提高了网络的泛化性能.尽管以上研究通过优化网
17、络结构提升了网络性能,但是在 WS 型构造方式中,网络的随机跨层重连是在随机断开相邻层间连接的基础上实现的,而连接断开的随机性可能会导致网络重要信息丢失,在一定程度上影响网络的建模精度.针对以上问题,本文提出一种基于突触巩固机制3536的前馈小世界神经网络(Feedforwardsmall-worldneuralnetworkbasedonsynapticconsolid-ation,FSWNN-SC).首先,使用正则化方法对 FNN进行预训练,基于突触巩固机制选择性断开网络连接;其次,设计小世界网络重连规则,同时实现网络的稀疏化,并采用梯度下降学习算法训练网络;最后,通过 4 个 UCI 基
18、准数据集和 2 个真实数据集进行模型性能测试,并使用 Wilcoxon 符号秩检验37对实验结果进行显著性分析.1背景知识1.1前馈神经网络yl前馈神经网络,又称多层感知器,采用级联方式连接实现信息的前向传导,其结构由输入层、隐含层和输出层组成,如图 1(以 4 层为例)所示.假设 FNN 共包含 L 层,使用 X 表示输入数据,(1 l L)表示第 l 层输出,FNN 各层功能及表示详述如下.X=x1,x2,xnT1)输入层.输入层将输入数据导入 FNN,该层神经元激活函数常采用线性的,以得到数据的原始特征.若输入数据为 n 维,即,则输入层包含 n 个神经元,其中第 i 个神经元的输出为y
19、1i=xi,1 i n(1)2)隐含层.FNN 包含至少一层隐含层,通过激活函数实现该层输入数据的非线性映射,激活函数2146自动化学报49卷 1当网络满足 时,该网络为小世界网络38.对于前述前馈神经网络,其连接遵循一定的规则,即相邻层之间为全连接结构,同一层内神经元之间无连接且不存在跨层连接.因此,对任一神经元,其近邻神经元之间不存在边,由式(4)可得网络聚类系数为 0.通过在前馈神经网络规则连接的基础上进行随机跨层重连,可生成小世界神经网络30,3234.相对于规则前馈神经网络,小世界神经网络由于存在跨层连接,其聚类系数始终大于 0,且由于位于不同层的两个神经元之间的最短路径减小使得其特
20、征路径长度减小.相对于完全随机网络,小世界神经网络的拓扑结构含有随机网络的“无序”特性,使其特征路径长度接近于完全随机网络的特征路径长度,同时小世界神经网络的拓扑结构仍然保留一定的“规则”连接,这使得小世界神经网络的聚类系数远大于完全随机网络的聚类系数,因此具备小世界属性.1.3突触巩固机制在生物神经网络中,突触是神经细胞之间的连接,也是细胞间信息传递的“桥梁”.研究表明,突触具有可塑性,可以自主调节其连接强度,突触的形态和功能可发生较为持久的改变.当学习特定任务时,有些突触兴奋性会增强,有些会被抑制,这就是突触巩固机制39.突触巩固的实现依赖突触的长时程增强(Long-termpotenti
21、ation,LTP)40和长时程抑制(Long-termdepression,LTD)41.如果两个神经元之间存在持久的信息传递,LTP 将加强它们之间的突触连接;如果两个神经元之间的信息传递弱且呈间歇性,LTD 会抑制其间突触连接.因此,突触巩固机制可以选择性地增强和削弱特定的突触.如图 2 所示,图 2(a)是神经元与突触模型,图 2(b)输入层隐含层输出层图1前馈神经网络结构示意图Fig.1Thearchitectureoffeedforwardneuralnetwork10期李文静等:基于突触巩固机制的前馈小世界神经网络设计2147展示了突触巩固机制作用下突触的变化.其中,粗线表示重要
22、的突触在突触巩固的作用下会增强其连接强度(LTP),而虚线表示不重要的突触在突触巩固作用下会消失(LTD).研究者通过模拟生物神经系统的结构特征和突触的可塑性机制,设计人工神经网络结构及学习规则.突触巩固机制在人工神经网络结构设计中也得到了广泛应用,如模型压缩42和增量学习43等.2基于突触巩固机制的小世界神经网络设计受到突触巩固机制的启发,本文提出一种前馈小世界神经网络(FSWNN-SC).首先,通过前馈神经网络正则化对其进行预训练,保留网络中重要的权值连接、断开网络中不重要的权值连接以模拟生物神经网络的突触巩固;其次,制定小世界网络重连规则,对断开的连接进行随机跨层重连,实现小世界神经网络
23、的构造;最后使用梯度下降法对网络进行训练,实现网络权值更新.2.1FNN 预训练对于规则 FNN,本文首先使用网络正则化方法对其进行预训练,旨在通过网络稀疏化保留网络重要权值连接、断开不重要的权值连接.具体步骤如下:1SP1)初始化.初始化网络结构包括层数和神经元个数等参数,网络的连接权值设置为 ,1 区间内的随机数.设置惩罚系数 、网络学习率 、预训练迭代步数 和重连概率.2)定义损失函数.即L1(W)=E(W)+g(W)(7)E(W)该损失函数由两项组成,其中第 1 项 为误差项,通过式(8)计算得到E(W)=12Mm=1(dm yLm)2(8)dmyLmm其中,M 为训练样本数,与 为样
24、本 的期望g(W)g(W)Lq0 q 1)与实际输出.第 2 项 是正则化项,其中 是惩罚系数,为 (范数,即g(W)=Wq(9)q=01/2此处分别列出,1 时的计算式,即g(W)=W0=L1l=1nli=1nl+1j=1(1 e|wlij|)(10)g(W)=W12=L1l=1nli=1nl+1j=1?wlij?12(11)g(W)=W1=L1l=1nli=1nl+1j=1?wlij?(12)wlij其中,L 为网络的总层数,代表第 l 层的第 i 个神经元与第 l+1 层的第 j 个神经元的连接权值.由于其在原点处不可导,将其在原点处进行平滑44,即g(W)=Wq,|w|a18a3w4+
25、34aw2+38a,|w|a(13)其中,a 为接近于 0 的常数,本文中取值 a=0.005.3)使用梯度下降法更新网络权值.更新式为W(t+1)=W(t)+W(t)(14)tW(t)l+1wlij其中,为迭代步数,是权值变化矩阵,矩阵中第 l 层的第 i 个神经元与第 层的第 j 个神经元的连接权值变化量 可由式(15)计算得到wlij(t)=(E(W)wlij(t)+g(W)wlij(t)=(l+1j(t)yli(t)+g(W)wlij(t)(15)l+1j其中,是学习率,是惩罚系数.按照式(16)计算得到l+1j=Wl+1jl+2(yl+1j),l 1,L 2Mm=1(dm yLm),
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 突触 巩固 机制 前馈小 世界 神经网络 设计
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。