适合类脑脉冲神经网络的应用任务范式分析与展望.pdf
《适合类脑脉冲神经网络的应用任务范式分析与展望.pdf》由会员分享,可在线阅读,更多相关《适合类脑脉冲神经网络的应用任务范式分析与展望.pdf(14页珍藏版)》请在咨信网上搜索。
1、适合类脑脉冲神经网络的应用任务范式分析与展望张铁林*李澄宇王刚张马路余磊徐波(中国科学院自动化研究所北京100190)(中国科学院神经科学研究所上海200031)(军事科学院军事认知与脑科学研究所北京100850)(电子科技大学成都611731)(武汉大学武汉430072)摘要:类脑脉冲神经网络(SNN)由于同时具有生物合理性和计算高效性等特点,因而在生物模拟计算和人工智能应用两个方向都受到了广泛关注。该文通过对SNN发展历史演进的分析,发现上述两个原本相对独立的研究方向正在朝向快速交叉融合的趋势发展。回顾历史,动态异步事件信息采集装置的成熟,如动态视觉相机(DVS)、动态音频传感(DAS)的
2、成功应用,使得SNN可以有机会充分发挥其在脉冲时空编码、神经元异质性、功能环路特异性、多尺度可塑性等方面的优势,并在一些传统典型的应用任务中崭露头角,如动态视觉信号追踪、听觉信息处理、强化学习连续控制等。与这些物理世界的应用任务范式相比,生物大脑内部存在着一个特殊的生物脉冲世界,这个脉冲世界与外界物理世界互为映像且复杂度相似。展望未来,随着侵入式、高通量脑机接口设备的逐步成熟,脑内脉冲序列的在线识别和反向控制,将逐渐成为一个天然适合SNN最大化发挥其低能耗、鲁棒性、灵活性等优势的新型任务范式。类脑SNN从生物启发而来,并将最终应用到生物机制探索中去,相信这类正反馈式的科研方式将极大的加速后续相
3、关的脑科学和类脑智能研究。关键词:脉冲神经网络(SNN);类脑智能;脑机接口(BCI);实验范式中图分类号:TP183文献标识码:A文章编号:1009-5896(2023)08-2675-14DOI:10.11999/JEIT221459Research Advances and New Paradigms for Biology-inspiredSpiking Neural NetworksZHANGTielinLIChengyuWANGGangZHANGMaluYULeiXUBo(Institute of Automation,Chinese Academy of Sciences,Bei
4、jing 100190,China)(Institute of Neuroscience,Chinese Academy of Sciences,Shanghai 200031,China)(Center of Brain Sciences,Beijing Institute of Basic Medical Sciences,Beijing 100850,China)(University of Electronic Science and Technology of China,Chengdu 611731,China)(Wuhan University,Wuhan 430072,Chin
5、a)Abstract:SpikingNeuralNetworks(SNN)aregainingpopularityinthecomputationalsimulationandartificialintelligencefieldsowingtotheirbiologicalplausibilityandcomputationalefficiency.Herein,thehistoricaldevelopmentofSNNareanalyzedtoconcludethatthesetwofieldsareintersectingandmergingrapidly.Afterthesuccess
6、fulapplicationofDynamicVisionSensors(DVS)andDynamicAudioSensors(DAS),SNNshavefoundsomeproperparadigms,suchascontinuousvisualsignaltracking,automaticspeechrecognition,and收稿日期:2022-11-21;改回日期:2023-05-08;网络出版:2023-05-10*通信作者:张铁林基金项目:科技创新2030新一代人工智能项目(2020AAA0104305),中国科学院先导专项(XDA27010000,XDB32070000),上
7、海市市级科技重大专项(2021SHZDZX),中国科学院青年促进会FoundationItems:TheNationalKeyResearchandDevelopmentProgramofChina(2020AAA0104305),TheStrategicPriorityResearchProgramoftheChineseAcademyofSciences(XDA27010000,XDB32070000),TheShanghaiMunicipalScienceandTechnologyMajorProject(2021SHZDZX),andTheYouthInnovationPromotio
8、nAssociationCAS第45卷第8期电子与信息学报Vol.45No.82023年8月JournalofElectronics&InformationTechnologyAug.2023reinforcementlearningofcontinuouscontrol,thathaveextensivelysupportedtheirkeyfeatures,includingspikingencoding,neuronalheterogeneity,specificfunctionalcircuits,andmultiscaleplasticity.Incomparisontotheser
9、eal-worldparadigms,thebraincontainsaspikedversionofthebiology-worldparadigm,whichexhibitsasimilarlevelofcomplexityandisusuallyconsideredamirroroftherealworld.ConsideringtheprojectedrapiddevelopmentofinvasiveandparallelBrain-computerInterface(BCI),aswellasthenewBCI-basedparadigm,whichincludesonlinepa
10、tternrecognitionandstimuluscontrolofbiologicalspiketrains,itisnaturalforSNNstoexhibittheirkeyadvantagesofenergyefficiency,robustness,andflexibility.ThebiologicalbrainhasinspiredthepresentstudyofSNNsandeffectiveSNNmachine-learningalgorithms,whichcanhelpenhanceneurosciencediscoveriesinthebrainbyapplyi
11、ngthemtothenewBCIparadigm.Suchtwo-wayinteractionswithpositivefeedbackcanacceleratebrainscienceresearchandbrain-inspiredintelligencetechnology.Key words:SpikingNeuralNetwork(SNN);Brain-inspiredintelligence;Brain-ComputerInterface(BCI);Experimentalparadigm1 引言脉冲神经网络(SpikingNeuralNetwork,SNN)1作为脑启发的新型神
12、经网络算法之一,自1997年首次提出以来,受到了神经科学、计算机科学等多领域科研人员的广泛关注。SNN同时兼具生物合理性和时空计算高效性,因此可以同时在生物脑模拟和类脑智能计算上发挥优势,同时也可以在生物智能和人工智能之间架起沟通桥梁,加快我们理解生物认知智能的本质。经过20多年的发展,SNN也在备受瞩目和期待中多次调整科研定位并逐步集中于一些合适的应用领域:如基于SNN的生物认知功能模拟被广泛地应用于计算神经科学中,用以验证多种生物想定;基于SNN的人工智能应用也逐步在计算精度、能耗、鲁棒性、灵活性等方面发挥出独特优势。未来的SNN路在何方,在应用场景、自身模型特点等方面应该有哪些坚持、折中
13、和突破,是SNN科研领域极为关键的本质问题。2 类脑SNN的发展历史演进SNN是一种强调以脉冲编码和脉冲通信为主要信息处理手段的新型人工神经网络模型,于1997年被首次提出并被广泛称为“第3代”人工神经网络1。自提出以来,SNN一直在多层面(如机制机理、学习方法等)、多评价维度(如正确率、泛化性等)存在着和人工神经网络(ArtificialNeuralNet-work,ANN)算法的评测对比。一个很直观的问题是,生物体经过千百年的遗传进化,为什么最终选择了SNN而非ANN的智能形式,除了部分能耗限制以外,还有没有其他如神经元编码、网络结构、学习方法、生存范式等根本差异的原因。从生物计算的视角来
14、看,了解这些差异和原因,将可以极大地帮助我们评估或厘清生物智能本质。带着诸多期盼,SNN经过了20多年的发展,其典型的科研方向主要覆盖两大应用领域:一个是以计算神经科学为主的生物计算仿真模拟,多用于解释多层次的生物脑感知认知机制和现象;另一个是以类脑智能计算为主的人工神经网络创新应用,需要深入交叉计算机、生物、新器件等多学科来突破新一代人工智能软件算法和硬件基础。下面针对这两个方向展开详细介绍。2.1 生物模拟计算方向已发现的很多生物机制和实验现象被广泛地应用在SNN算法中,用来解释和验证生物脑的智能感知、工作记忆、决策等能力,如图1所示。1952年,较为精细的生物神经元H-H(Hodgkin
15、-Huxley)放电模型被提出,该模型验证了1907年提出的漏电-积分-放电(LeakyIntegrated-and-Fire,LIF)模型猜想。LIF由于具有更简明的数学表达式而被更广泛地应用于后续诸多SNN算法模型中。1990年左右,随着神经形态计算概念的提出,SNN作为以Spike异步事件编码的人工神经网络新形态模型,受到了计算机软件、微电子硬件等领域的持续关注。以神经形态计算为主的类脑硬件有望突破原有的冯氏计算架构,在存算一体、异步并行计算、极低能耗等方面发挥优势。然而,将生物的多尺度计算能力直接复制到人工智能系统中并不如初始预计的那样简单,2014年以生物脑计算模拟为初始目标的欧盟脑
16、计划也因为其逐渐增加的实施难度而调整了战略方向。一些感觉较为简单的生物神经元类型、网络结构等在后续的光学和电子显微镜下展现出了极其复杂的非线性变化,双光子、膜片钳等在体生物信息记录也显示网络存在长期且多类型的神经可塑性机制,包括但不限于,神经元可塑性(如动态放电阈值),突触可塑性(如脉冲时序可塑性、短时突触可塑性等),以及一些元可塑性(如多巴胺、乙酰胆碱等神经调制影响的“可塑性的可塑性”)。在1997年SNN被提出后,不同类型的生物机制才有机会被嵌入到同一个框架中,用以更方便地理2676电子与信息学报第45卷解生物系统的认知能力、能量消耗等。SNN后续被称为第3代人工神经网络,主要用于区分第1
17、代的感知机(一类两层线性人工神经网络模型)和第2代的多层感知机(一类多层非线性人工神经网络模型)。与SNN相关的生物机制和现象在实验过程中陆续被发现。如2003年,生物突触的随机信息传递机制被数学建模并应用于SNN的突触学习2;2006年,电导的动态扰动过程被精确模拟并用于促进SNN学习3;2013年,一种特定的针对昆虫决策控制模拟的SNN网络被首次提出4;20142017年,多类功能脑区启发的SNN模型被提出,如类海马的多尺度环状SNN网络用于模拟海马的鲁棒记忆形成和提取57,6层皮层特征约束下的SNN网络用于模拟运动识别能力8。2017年后,多类生物合理的SNN学习算法被开发出来,如生物启
18、发Force学习算法9、多生物可塑性规则融合算法1012、自组织反向传播(Self-BP,SBP)学习算法13等。生物结构也启发了一些SNN新模型,如不同尺度Motif生物结构分布预测14、多类Motif基本环路结构的视听多模态融合算法15、基于神经网络结构搜索的SNN架构搜索16、基于彩票理论的生物网络结构测评17等。这些生物模拟计算方面的科研进展,为后续构建生物合理的人工神经网络提供了很多借鉴和启发,是迈向新一代人工智能算法的重要一环。值得一提的是,随着越来越多的生物特征被加入到SNN中,SNN逐渐从生物模拟转为可以承担更多类似ANN的人工智能应用,如基于MNIST数据集的手写体数字识别1
19、8、基于TIDigits数据集的数字语音识别17,19、基于TIMIT语音数据集的说话人识别20、基于DvsGesture数据集的动作行为识别13、强化学习应用任务等20,21。由此可以预见,从生物模拟计算到人工智能应用的融合趋势已经越来越明显,一些基本关键的SNN适用性问题也即将被回答,即哪些人工智能应用任务可以最大化发挥SNN的优势,而哪些任务并不适合SNN,反而更适合传统的ANN领域。2.2 人工智能应用方向SNN和ANN的发展都极大借鉴了不同时期人们对生物智能的认识。现有的SNN研究很多是将SNN看作ANN的一种脉冲型特例,即除了脉冲节点编码以外,其他的如网络结构、学习方法、优化器等都
20、和ANN的技术路线保持一致,最为极端的做法是研究如何将训练好的ANN直接等价转换为SNN22。这些从人工智能应用视角出发来发展SNN的研究思路,将最大化地借鉴已有ANN的科研积累,如反向传播学习方法、卷积核结构算子等,并在保持SNN可接受的精度损失下尽可能提升能效比。在这个指导思路下,已有很多SNN算法被提出并广泛应用到很多特定场景23,24。自2005年首个动态视觉相机(DynamicVisionSensor,DVS)被提出后25,SNN作为适配模型算法之一被广泛研究。DVS相机将动态输入差异信息编码成动态脉冲序列,可以极大地提升相机帧率并减少响应时间。随后,一些贝叶斯理论与SNN学习算法尝
21、试融合,用以提升SNN的适应性26。2012年,SNN算法首次在硬件上实现了GPU加速27。通过BP算法来直接优化SNN在2016年左右也迎来了高潮,不同结构但更深的SNN算法被接连提出并广泛应用到ANN曾经探索过的诸多应用领域23,24。在这期间,BP的生物合理性也被重新提出并广泛讨论28,一些更加生物合理的BP变种方法也被广泛提出,如反馈校准方法29(FeedbackAlignment,FA)、奖赏而非误差传播方法18(Biologically-plausibleRewardPropagation,BRP)、目标传播30(TargetPropagation,TP)、直接随机目标传播31(D
22、irect图1SNN历史发展时间简表第8期张铁林等:适合类脑脉冲神经网络的应用任务范式分析与展望2677RandomTargetPropagation,DRTP)等方法。甚至经典的脉冲时序依赖可塑性(SpikeTiming-De-pendentPlasticity,STDP)也被论证和BP在能量函数约束下具有某种相关性32,对BP可能是某种生物合理算法假设增加了越来越多的佐证。然而,生物中的反向传播虽然有类似的形式,却是以自组织的形式存在且只能存在相邻层次,不支持2以上层级的反向传播33,34,因此更加合理的自组织反向传播SBP算法被提出并在典型的SNN和ANN网络上验证了其有效性13。此外,
23、一些非梯度类的优化方法在SNN的学习中也发挥了重要作用,如类似多巴胺奖赏学习的信度分配方法19、多种STDP的变种方法35等。一些基础工具的持续开发也极大地促进了相关领域的发展,如标准化Python工具包36的支持使得大规模、深度SNN的软硬件部署37,38成为可能。上述以计算高效性为出发点的SNN模型,已经不仅在传统如图像分类等方面表现良好,更在如DVS脉冲事件信息处理、连续动态语音识别39、连续动作强化学习21,40等方面展示优势。更为重要的是,随着SNN模型在精度方面的逐渐提升,研究人员对SNN本身的生物特性及其可能具有的应用优势越来越重视。以人工智能应用为方向出发的SNN研究,也逐步朝
24、生物合理且计算高效的融合方向发展。2.3 SNN的交叉融合发展方向如前所述,SNN的发展方向已经表现出较为明显的交叉融合趋势。同时满足生物合理和计算高效的应用方向主要有两个:一个是类脑计算智能,包括以高效计算研究为主的类脑芯片以及以通用智能研究为主的认知计算;另一个就是本文重点强调的基于SNN的脑机接口解码及调控。类脑计算智能通过深入融合ANN和SNN的综合计算优势,结合忆阻器等新材料器件,已经在典型的计算应用任务中取得了迅猛发展,如以动态视觉DVS、动态听觉(DynamicAudioSensors,DAS)等感知设备为主的高效信息处理,较好地平衡了计算精度和能量消耗。与之相比,脑机接口应用环
25、境中,侵入式、高通量、噪声强的电极阵列采集得到的脉冲序列信息,天然的适用于SNN网络进行信息处理,可以发挥其快速性、鲁棒性、灵活性等优势。SNN是由生物现象、机制等发现启发出来的类脑新模型,这类模型折返回来用于解析脑机接口中的生物信号本身,无疑将展示出极大的计算优势。一方面,类脑SNN模型满足多尺度生物计算合理性,因此对生物信号的处理天然具有更明确的可解释性。另一方面,已有的计算神经科学已经开展了多种脑功能的SNN计算模拟,如海马的学习记忆模拟、视觉感知计算模拟等,这些生物SNN模型具有深刻的生物合理性,如多类可塑性机制、生物拓扑结构、兴奋性异质性神经元类型等,可以作为未来生物组织的计算仿真替
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 适合 脉冲 神经网络 应用 任务 范式 分析 展望
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。