基于动态视觉运动特征的脉冲神经网络识别方法.pdf

基于动态视觉运动特征的脉冲神经网络识别方法董峻妃姜润皓燕锐唐华锦*(四川大学计算机学院成都610065)(浙江大学计算机科学与技术学院杭州310058)(浙江工业大学计算机科学与技术学院杭州310014)摘要：针对现有脉冲神经网络(SNN)对动态视觉事件流识别精度低与实时性差等问题，该文提出一种基于动态视觉运动特征的脉冲神经网络识别方法。首先利用基于事件的运动历史信息表示与梯度方向计算提取事件流中的动态运动特征；然后引入时空池化操作来消除事件在时间和空间上的冗余，保留显著的运动特征；最后，将特征事件流输入脉冲神经网络进行学习与识别。在基准的动态视觉数据集上的实验结果表明，动态视觉运动特征可显著提升SNN对于事件流的识别精度与计算速度。关键词：动态视觉感知；事件相机；脉冲神经网络；动作识别；运动特征提取中图分类号：TP391.4文献标识码：A文章编号：1009-5896(2023)08-2731-08DOI:10.11999/JEIT221478Spiking Neural Network Recognition Method Based onDynamic Visual Motion FeaturesDONGJunfeiJIANGRunhaoYANRuiTANGHuajin(College of Computer Science,Sichuan University,Chengdu 610065,China)(College of Computer Science and Technology,Zhejiang University,Hangzhou 310058,China)(College of Computer Science and Technology,Zhejiang University of Technology,Hangzhou 310014,China)Abstract:Consideringtheshortcomingsofthelowrecognitionaccuracyandpoorreal-timeperformanceofexistingSpikingNeuralNetworks(SNN)fordynamicvisualeventstreams,aSNNrecognitionmethodbasedondynamicvisualmotionfeaturesisproposedinthispaper.First,thedynamicmotionfeaturesintheeventstreamareextractedusingtheevent-basedmotionhistoryinformationrepresentationandgradientdirectioncalculation.Then,thespatiotemporalpoolingoperationisintroducedtoeliminatetheredundancyofeventsinthetemporalandspatialdomain,furtherretainingthesignificantmotionfeatures.Finally,thefeatureeventstreamsarefedintotheSNNforlearningandrecognition.ExperimentsconductedonbenchmarkdynamicvisualdatasetsshowthatdynamicvisualmotionfeaturescansignificantlyimprovetherecognitionaccuracyandcomputationalspeedofSNNforeventstreams.Key words:Dynamicvisualperception;Eventcamera;SpikingNeuralNetwork(SNN);Actionrecognition;Motionfeatureextraction1 引 言相比固定时间间隔采样场景光强的传统相机，动态视觉传感器(又称事件相机)以异步、稀疏的时空事件流表征场景的光强相对变化1，不仅去除了静态冗余信息，而且其高动态范围和高时间分辨率特性天然避免了运动模糊问题，能够更高效地捕捉场景动态信息。然而，这种异步稀疏的事件表示形式导致现有的计算机视觉算法无法直接适用2,3。相反，生物神经系统启发的脉冲神经网络(SpikingNeuralNetworks,SNN)的异步脉冲计算范式自然兼容AER数据，不仅具备强大的时空信息处理能力，而且有望在资源受限设备上实现低延迟、低功耗的边缘计算46。这些优异属性吸引了众多研究者将SNN应用于事件相机的相关任务中。SNN与事件相机结合的工作目前主要关注于物体识别任务。一种主流的SNN事件流识别模型模拟收稿日期：2022-11-25；改回日期：2023-05-02；网络出版：2023-05-19*通信作者：唐华锦基金项目：国家重点研发计划(2020AAA0105900)FoundationItem:TheNationalKeyResearchandDevelopmentProgramofChina(2020AAA0105900)第45卷第8期电子与信息学报Vol.45No.82023年8月JournalofElectronics&InformationTechnologyAug.2023了视觉皮层腹侧流的前馈信息处理过程，实现了事件驱动的物体形状特征提取与脉冲编码，如HFirst模型7和类皮层模型8。近年来，大量研究工作从噪声鲁棒9、多尺度特征融合10，脉冲学习算法11等多种角度对该模型进行优化，进一步提升了事件流识别性能。另一种主流方法利用代理梯度技术端到端训练深度SNN，如时空反向传播(Spatio-Tem-poralBackPropagation,STBP)12、脉冲层误差时间重分配(SpikeLayerErrorReassignmentintime,SLAYER)13、深度连续局部学习(DEepCOntinuousLocalLEarning,DECOLLE)14。尽管这些模型取得了不错的物体识别性能，但对于更具时空动态变化的动作识别任务通常面临性能损失，主要原因可能是缺乏动作过程中关键运动特征的有效表示。受视觉皮层背侧流对于运动信息的提取与处理过程启发，Liu等人15提出一种利用事件运动信息的层次SNN模型，通过引入一种具有突触延迟的运动敏感神经元来实现光流估计，进而提取运动方向以及速度特征，实现基于事件的动作识别。然而，该模型利用突触延迟来提取事件的运动特征带来额外的计算延迟，这不利于实时动作识别。同时速度信息对于动作识别任务通常是非必要的16,17。为解决上述问题，本文提出一种全新的动态视觉运动特征表示方法，通过基于事件的运动历史信息表示与运动梯度方向计算，可以高效提取动作事件流中的动态运动信息与不同运动过程的时空动态差异。基于提出的特征表达方法，本文设计了一个SNN事件流识别模型，实现动作事件流的快速、准确识别，在3个基准的动作事件流数据集上提升了识别精度，并在真实动态场景下进行测试，证明了模型的鲁棒性。2 基于动态视觉运动特征的SNN识别方法2.1 整体网络架构如图1所示，基于动态视觉运动特征的SNN识别方法包含运动感知、时空池化和SNN分类3个阶段的处理。运动感知层对异步传入的动作事件流进行运动特征表示，首先引入具有速度不变性的事件索引平面(IndexSurface,IS)16来记录像素点的运动历史信息。然后基于该运动历史信息计算传入事件十字邻域内的运动时空关联，最后利用该时空关联值得到事件的梯度方向，该梯度方向蕴含了事件的运动特征并被嵌入到事件表示中；时空池化层对编码事件流进行时间与空间上的池化操作，得到更稀疏的特征事件流；SNN分类层通过脉冲学习算法对特征编码后的事件流进行监督训练，实现动作事件流的识别。2.2 动态视觉的事件流表示由于事件相机中的每个像素独立地感知环境中光强的相对变化，一旦变化量超过预设的阈值，则输出事件。事件流通常可以表示为ei=xi,yi,ti,pi,i 1,2,.,n(1)(xi,yi)tipiieipi 1,1xi 1,2,.,Nyi 1,2,.,MN Mn其中，分别表示第 个事件的地址，触发时间和极性(，“1”表示光强减弱的负极性，“1”表示光强增强的正极性)。，其中是事件相机的分辨率。是事件流中事件的总数。2.3 运动感知ISISN MeiIS为挖掘离散事件间蕴含的运动信息，同时保留事件的异步驱动特性，本文首先采用了事件索引平面()16来记录动作的历史运动信息。为消除正负极性的干扰，将两种极性的事件分成两个通道进行处理，分别用一个与输入分辨率()大小相同的矩阵记录对应像素位置上最新传入事件的索引值，对于事件 的矩阵更新可表示为图1基于动态视觉运动特征的SNN识别方法流程图2732电子与信息学报第45卷IS(xi,yi,pi)=i(2)ISN M 2IS因此，为的矩阵，每个位置储存的事件索引值表示了事件流中对应像素位置最近的运动情况。最后运动产生的事件越接近当前事件，对应位置上存储的索引值越大，进而可以有效表示动作的最近历史运动情况。(xi,yi)r为进一步刻画事件的运动信息，本文选取事件索引平面上以当前事件的位置为中心，为半径的十字邻域上的4个值来计算局部邻域内事件的时空关联Xright=exp(IS(xi,yi,pi)IS(xi+r,yi,pi)(3)Xleft=exp(IS(xi,yi,pi)IS(xi r,yi,pi)(4)Yup=exp(IS(xi,yi,pi)IS(xi,yi+r,pi)(5)Ydown=exp(IS(xi,yi,pi)IS(xi,yi r,pi)(6)rU(ei,r)=Xright,Xleft,Yup,Ydown其中，是时间衰减参数，用以消除久远历史事件的影响，避免运动模糊。本文中设置 为2。描述了当前事件与局部邻域内的历史事件之间的时空关联性，用这种关联性计算当前事件的运动梯度方向。ei=atan2(Y,X)+(7)X=Xright Xleft(8)Y=Yup Ydown(9)atan2(Y,X)(,其中，是反正切函数，返回一个的方位角atan2(y,x)=arctan(yx),x 0arctan(yx)+,y 0,x 0arctan(yx),y 0,x 0,x=02,y 0,x=0移除,y=0,x=0(10)X=Y=0eiei(ei,ei)特别地，当时，认为 是个孤立点，则把 移除。经过运动感知层后，随后这些特征事件将被传入时空池化层。2.4 时空池化4 4为消除事件在时间和空间上的冗余，保留显著的运动特征，引入时空池化层9。在经过运动感知层后，具有相同梯度方向特征的事件被分配到一个特征图上。每个特征图被划分为多个的非重叠ms邻域，该邻域内的事件以每5为时间窗，输出时间窗内的第1个事件。动态视觉运动特征算法伪代码如算法1所示。2.5 脉冲神经网络识别算法SNN对运动感知阶段得到的特征事件流进行学习与识别。SNN采用单层全连接结构，其神经元使用了泄露整合发放神经元(LeakyIntegrate-and-Fire,LIF)模型，突触连接权重由事件驱动的Tem-potron学习规则18训练，该学习规则驱动目标神经元发放单脉冲来进行分类。2.5.1 LIF神经元模型LIF神经元动力学的数学表达为V(t)=iwitjitK(t tji)+Vrest(11)witjiijV(t)tVrestK其中，和 是第 个输入神经元的突触权重和第个输入时间。是 时刻神经元的膜电压，是神经元的静息电位。是规范化的突触后电压核函数。2.5.2 Tempotron学习规则P+P该学习规则旨在训练LIF神经元在接收目标输入的时候发放一个脉冲(称为状态)，否则保持沉默(称为状态)。一旦神经元的发放状态错误，则触发Tempotron学习规则。误差反向传播算法被用来调整突触权重，损失函数定义为膜电压的最大值和阈值之间的距离L=Vthr Vtmax,P+错误Vtmax Vthr,P错误(12)VtmaxtmaxP+Pwi=Lwi其中，是神经元的最大膜电压，下角标是最大膜电压时刻，错误指应该发放而没有发放，错误指不该发放而发放了。根据梯度下降算法可知，即算法1 动态视觉运动特征算法(ei,ei)1:输出:r,IS(x,y,p)02:输入:，初始化ei3:for每个到来的事件doIS(xi,yi,pi)iIS4:/更新U(ei,r)5:计算十字邻域，式(3)式(6)XY6:利用式(8)、式(9)计算和ei7:计算当前事件的运动梯度方向，式(7)式(10)(xi,yi)(xi/4,yi/4)8:/时空池化ei9:if不在不应期内then(ei,ei)10:输出11:end if12:end for第8期董峻妃等：基于动态视觉运动特征的脉冲神经网络识别方法2733wi=titmaxK(tmax ti),P+错误 titmaxK(tmax ti),P错误0,其他(13)mVmsmsms其中，是学习率，在本文中设置为0.1。此外，静息电位设置为0，将阈值设置为1，膜时间常数和突触电流衰减时间常数，分别设置为20和5，不应期设置为5，突触权重初始化为以均值为0，标准差为0.1的正态分布。3 实验结果与分析3.1 数据集本文在3个人体手势/动作事件流识别的基准数据集上评估所提出算法的性能，包括：DVS128Gesture数据集19、ActionRecognition数据集20和DailyAction-DVS数据集15。DVS128Gesture数据集包含了3种照明条件下DVS128事件相机记录的29个受试者的11种手势动作。ActionRecognition数据集包含了3种拍摄距离下DAVIS事件相机记录的15个受试者的10种动作。DailyAction-DVS数据集包含了2种拍摄位置和2种光照条件下DVS128事件相机记录的15个受试者的12种动作。具体的数据集信息与划分见表1。3.2 基于事件的动作识别算法比较表2给出了在3个数据集上与其他主流方法的识别结果对比。3.2.1 DVS128 Gesture数据集本文提出的模型在DVS128Gesture数据集上取得了94.7%的识别精度，优于传统基于HFirst特征18和结合光流特征15的单层SNN识别方法，识别精度分别提升了24.6%和2.0%。这表明本文提出的运动梯度方向特征表示方法可以更有效地提取事件流中潜在的时空运动信息，并提供一种具备运动特征可分性的脉冲编码表示，有利于后端的动作识别。基于HFirst特征的单层SNN方法的性能较差，这揭示了运动特征表示对于动作手势识别任务的重要性，即动作的运动过程相比其轮廓形状更有助于动作的区分。尽管只使用了单层SNN进行监督训练，本文模型的识别精度同样优于需要较大的网络规模与迭代训练次数的深度SNN方法，比STBP12和SLAYER13方法分别提升了1.3%和1.1%。这表明本文设计的运动梯度方向特征更加简单高效，降低了对SNN学习容量与识别能力的要求，更有利于在资源受限的边缘设备上实现低延迟、低功耗的人类动作识别。3.2.2 DailyAction-DVS数据集DailyAction-DVS数据集中的动作类别更多且同类样本间的录制环境差异较大，这对模型动作识别的鲁棒性提出了更高的要求。本文提出的模型在该数据集上也取得了最高的平均识别精度(96.1%)，相比传统基于HFirst特征18和结合光流特征15的单层SNN识别方法分别提升了19.2%和5.8%。此外，本文方法还高于最优的深度SNN中的DECOLLE方法14，获得4.4%的精度提升。这表明本文方法对环境变化具有鲁棒性，具备推广到真实场景的潜力。3.2.3 Action Recognition数据集ActionRecognition数据集具有更大空间分辨率，但总样本数量不到300个，这对模型的学习与泛化能力提出了更高的要求。尽管如此，本文提出的模表 1 数据集信息与划分情况数据集类别数分辨率训练集测试集DVS128Gesture111281281 151191ActionRecognition1034626025041DailyAction-DVS121281281 235205表 2 基于事件的动作识别算法比较(%)方法结构DVS128GestureActionRecognitionDailyAction-DVSSLAYER12深度SNN(8层)93.6STBP13深度SNN(6层)93.4DECOLLE14深度SNN(6层)95.579.691.7SCRNN21脉冲卷积循环网络(5层)92.0文献22基于卷积和储层计算的SNN65.0文献9HFirst特征+单层SNN61.555.068.3SPA18HFirst特征+单层SNN70.176.9文献15光流特征+单层SNN92.778.190.3本文运动特征+单层SNN94.779.596.1注：加粗字体表示各列最优结果；“”表示此处数据数据为空2734电子与信息学报第45卷型依旧取得了79.5%识别精度，比同样使用单层SNN的文献9和文献15方法分别提升了24.5%和1.4%，并且识别精度接近于最优的深度SNN方法DECOLLE14。这表明本文方法对于复杂动作识别问题具有更强大的扩展性，并且识别性能不依赖大量训练样本。3.3 特征表示方法比较分析3.3.1 特征编码效果分析首先，可视化几种典型的特征表示方法的编码结果，如图2所示，展示了一根围绕中心顺时针旋转管道所产生的事件流片段和几种动态视觉特征表示方法的编码效果。原始事件流(图2(a)中的事件点只表示极性，即光强变弱(红点)和变强(蓝点)，未能体现出管道上、下半部运动方向的差异(白色箭头)。HFirst特征表示方法7关注了管道自身的边缘信息而忽视运动信息，因此将管道转动过程所产生的事件都编码为同一种特征(图2(b)，黄色表示)，无法区分运动方向相反的事件。相反，光流特征表示15(图2(c)以及本文提出的运动特征表示(图2(d)可以有效提取出事件的运动信息，进而对运动方向相反的上下两部分事件进行差异化的特征表示(分别用黄色点和蓝色点表示)。因此，基于运动梯度信息的特征表示方法可以准确表征不同运动过程的时空动态差异，这种精确的运动信息提取与特征表示有利于动作事件流的识别。本文进一步通过定量实验验证所提特征表示方法的有效性。文献9,11,15和本文模型都采用了事件特征编码表示结合单层SNN分类器的架构。考虑到单层SNN学习算法不同对模型识别精度的影响，本文在DVS128Gesture数据集上统一使用Tempotron算法训练单层SNN分类器，以比较不同特征表示方法对于基于事件的动作识别任务的有效性。具体来说，我们考虑了3种典型基于事件的特征表示方法，包括文献9和文献11中采用的HFirst特征，文献23中采用的HOTS时间平面特征，以及文献15提出的光流特征。3.3.2 识别精度比较从表3的识别精度比较结果可以看出本文的方法取得了94.65%的最优性能。HFirst关注于事件流中物体自身边缘特征，而HOTS关注于局部事件间的时间关联特征。两种特征表示都缺乏运动信息的有效描述，在手势动作识别任务上的性能较差。基于光流估计获得的运动特征表示由于考虑了运动的方向以及速度信息，取得了较高识别精度91.53%。相比该方法，本文的特征表示方法有效刻画了动作过程中的运动关联与方向特征，因而使识别精度提升了3.12%。3.3.3 处理速度分析0.913 106本文对比了不同特征表示方法对于事件的处理速度，处理速度具体定义为方法每秒能够处理的事件数量(kev/s)。从表3的事件处理速度比较结果可以看出本文特征表示方法的处理速度具有显著优势，每秒可处理个事件。相比HFirst形状特征和HOTS时间平面特征，处理速度分别提升了约28倍和16倍。值得注意的是，光流运动特征引入具有突触延迟的运动敏感神经元尽管提升了动作识别性能，但突触延迟的模拟增加了额外的计算延迟，极大影响事件处理速度。相比而言，本文方法利用简单有效的梯度方向计算特征，不仅保证了可靠的识别精度，而且计算更加快速，每秒事件处理数量提升了近249倍，非常适合在线处理。3.3.4 混淆矩阵分析图3进一步说明了运动特征表示给动作识别任务带来的增益。对于左/右臂顺时针和逆时针的动作识别，运动过程的时空关联信息尤为重要。缺乏运动特征表示的HFirst难以区分顺时针与逆时针的运动过程(图3(a)红色方框)。HOTS虽然同样缺乏运动特征表示，但可以从事件间的时间关联特征中捕获一定的运动时序信息，因而一定程度改善了顺时针与逆时针运动的识别问题。但该方法对于空间上的运动关联的刻画不足，导致同侧动作的识别更容易产生混淆。相比之下，光流特征表示(图3(c)表 3 不同特征表示方法的性能比较特征表示方法识别精度(%)处理速度(kev/s)HFirst特征61.5032.9HOTS特征85.5654.7光流运动特征91.533.67运动特征(本文)94.65913注：加粗字体表示各列最优结果图2动态视觉特征表示方法对比图第8期董峻妃等：基于动态视觉运动特征的脉冲神经网络识别方法2735和本文的运动梯度方向特征表示(图3(d)在容易混淆的顺时针与逆时针动作识别上的错误率显著降低，并且本文方法在整体识别精度上更具有优势，这表明本文方法能够捕获运动过程的时空关联以及方向变化的关键动态信息。3.4 运动历史信息表示方法比较分析本文提出的梯度方向特征计算依赖于运动历史信息。目前描述运动历史信息的方法主要有3种，时间平面24、计数平面和事件索引平面16。3种平面分别用每个像素位置的最近事件的时间、发生的事件个数以及索引作为运动历史信息。如表4所示，本文在3个动作数据集上比较分析了以上3种运动历史信息对于运动梯度方向特征的性能影响。可以看出，本文的动作识别模型在不同运动历史信息下都可以取得较高的识别精度，这表明了梯度方向计算可以有效提取当前事件与历史事件的运动关联与方向特征，并且具有很强的通用性。索引平面比另外两种方法对于动作识别性能提升相对显著，原因可能在于索引平面的速度不变性保证了速度变化时相对一致的运动历史信息表示，更有利于本文的梯度方向特征表示捕获关键的运动表 4 不同运动历史信息表示方法的性能比较(%)运动历史信息时间平面计数平面索引平面DVS128Gesture93.5891.4494.65ActionRecognition76.9274.3679.49DailyAction-DVS94.6393.6696.10注：加粗字体表示各列最优结果图3不同特征表示方法下的识别混淆矩阵结果比较2736电子与信息学报第45卷方向信息，而计数平面对像素位置事件数量的统计表示损失了事件原有的时间关联信息，进而导致了较低的识别精度。3.5 动态场景手语识别为验证方法在真实动态场景中的识别能力，使用DAVIS346事件相机录制了一套手语动作数据集SignLanguage10-DAVIS，并进行了实际场景下的识别测试。该数据集包含4种拍摄位置和4种光照条件下6个受试者的10种常用手语(喝水、大家、去、听、休息、学校、看、洗澡、睡觉、想要)，共960个样本。由于在线识别对算法的实时性和鲁棒性具有更高的要求，因此，本文用STBP训练的深度SNN替代Tempotron训练的单层SNN。基于录制的数据集，分别进行了离线和在线测试，具体来说，离线测试的做法是：首先将数据集按照6:1划分为训练集和测试集，然后用测试集中的数据对训练集训练后网络进行测试，经过5次独立实验得到的平均离线测试准确率为99.03%。在线实验的做法是：用数据集所有样本训练模型，然后找3个数据集之外的人作为受试者。每个受试者在事件相机前做手语动作，每个动作重复3遍。通过计算每个动作的平均识别准确率，得到在线测试的总体平均识别准确率(97.38%)。实验结果表明本文提出的模型在线测试相比离线测试结果只降低了1.65%，具有真实动态视觉场景下动作识别的鲁棒性。4 结束语本文面向基于事件相机的动作识别任务与应用，针对现有SNN事件流识别模型缺乏高效运动特征描述所导致的动作识别精度较低且速度较慢等问题，将运动历史信息与梯度方向计算引入事件流的处理中，提出一种全新的基于事件的梯度方向特征表达方法，可以高效提取动作过程中的运动信息。相比传统事件特征表示方法(如HFirst特征，HOTS特征以及光流特征)具有更强大的特征可分性且处理速度更快，尤其是在顺时针与逆时针这种依赖运动时空相关性的动作区分上。此外，基于提出的特征表达方法，本文结合SNN设计了一个前馈的动作事件流识别模型，可实现动作事件流的快速、准确识别，在3个人体动作事件流识别的基准数据集上显著优于对比的几种单层甚至深度SNN模型。参 考 文 献GALLEGOG,DELBRCKT,ORCHARDG,et al.Event-basedvision:AsurveyJ.IEEE Transactions on PatternAnalysis and Machine Intelligence,2022,44(1):154180.doi:10.1109/TPAMI.2020.3008413.1张宇豪,袁孟雯,陆宇婧,等.面向动态事件流的神经网络转换2方法J.计算机应用,2022,42(10):30333039.doi:10.11772/j.issn.1001-9081.2021091607.ZHANGYuhao,YUANMengwen,LUYujing,et al.NeuralnetworkconversionmethodfordynamiceventstreamJ.Journal of Computer Applications,2022,42(10):30333039.doi:10.11772/j.issn.1001-9081.2021091607.李家宁,田永鸿.神经形态视觉传感器的研究进展及应用综述J.计算机学报,2021,44(6):12581286.doi:10.11897/SP.J.1016.2021.01258.LIJianingandTIANYonghong,Recentadvancesinneuromorphicvisionsensors:AsurveyJ.Chinese Journalof Computers,2021,44(6):12581286.doi:10.11897/SP.J.1016.2021.01258.3ROYK,JAISWALA,andPANDAP.Towardsspike-basedmachineintelligencewithneuromorphiccomputingJ.Nature,2019,575(7784):607617.doi:10.1038/s41586-019-1677-2.4张铁林,徐波.脉冲神经网络研究现状及展望J.计算机学报,2021,44(9):17671785.ZHANG Tielin and XU Bo.Research advances andperspectivesonspikingneuralnetworksJ.Chinese Journalof Computers,2021,44(9):17671785.5胡一凡,李国齐,吴郁杰,等.脉冲神经网络研究进展综述J.控制与决策,2021,36(1):126.doi:10.13195/j.kzyjc.2020.1006.HUYifan,LIGuoqi,WUYujie,et al.Spikingneuralnetworks:A survey on recent advances and newdirectionsJ.Control and Decision,2021,36(1):126.doi:10.13195/j.kzyjc.2020.1006.6ORCHARDG,MEYERC,ETIENNE-CUMMINGSR,et al.HFirst:AtemporalapproachtoobjectrecognitionJ.IEEE Transactions on Pattern Analysis and MachineIntelligence,2015,37(10):20282040.doi:10.1109/TPAMI.2015.2392947.7ZHAO Bo,DING Ruoxi,CHEN Shoushun,et al.FeedforwardcategorizationonAERmotioneventsusingcortex-likefeaturesinaspikingneuralnetworkJ.IEEETransactions on Neural Networks and Learning Systems,2015,26(9):19631978.doi:10.1109/TNNLS.2014.2362542.8XIAORong,TANGHuajin,MAYuhao,et al.Anevent-drivencategorizationmodelforAERimagesensorsusingmultispikeencodingandlearningJ.IEEE Transactions onNeural Networks and Learning Systems,2020,31(9):36493657.doi:10.1109/TNNLS.2019.2945630.9LIUQianhui,PANGang,RUANHaibo,et al.UnsupervisedAERobjectrecognitionbasedonmultiscalespatio-temporalfeaturesandspikingneuronsJ.IEEE Transactions onNeural Networks and Learning Systems,2020,31(12):53005311.doi:10.1109/TNNLS.2020.2966058.10LIUQianhui,RUANHaibo,XINGDong,et al.Effective11第8期董峻妃等：基于动态视觉运动特征的脉冲神经网络识别方法2737AERobjectclassificationusingsegmentedprobability-maximizationlearninginspikingneuralnetworksC.The34thAAAIConferenceonArtificialIntelligence,NewYork,USA,2020:13081315.doi:10.1609/aaai.v34i02.5486.HEWeihua,WUYujie,DENGLei,et al.ComparingSNNsandRNNsonneuromorphicvisiondatasets:SimilaritiesanddifferencesJ.Neural Networks,2020,132:108120.doi:10.1016/j.neunet.2020.08.001.12SHRESTHASBandORCHARDG.SLAYER:SpikelayererrorreassignmentintimeC.The32ndInternationalConferenceonNeuralInformationProcessingSystems,Montreal,Canada,2018:14191428.13KAISERJ,MOSTAFAH,andNEFTCIE.Synapticplasticitydynamicsfordeepcontinuouslocallearning(DECOLLE)J.Frontiers in Neuroscience,2020,14:424.doi:10.3389/fnins.2020.00424.14LIUQianhui,XINGDong,TANGHuajin,et al.Event-basedactionrecognitionusingmotioninformationandspikingneuralnetworksC.TheThirtiethInternationalJointConferenceonArtificialIntelligence,Montreal,Canada,2021:17431749.doi:10.24963/ijcai.2021/240.15AFSHAR S,HAMILTON T J,TAPSON J,et al.Investigation of event-based surfaces for high-speeddetection,unsupervisedfeatureextraction,andobjectrecognitionJ.Frontiers in Neuroscience,2019,12:1047.doi:10.3389/fnins.2018.01047.16MANDERSCHEIDJ,SIRONIA,BOURDISN,et al.Speedinvarianttimesurfaceforlearningtodetectcornerpointswithevent-basedcamerasC.2019IEEE/CVFConferenceonComputerVisionandPatternRecognition,LongBeach,USA,2019:1023710246.doi:10.1109/CVPR.2019.01049.17ZHAOBo,YUQiang,DINGRuoxi,et al.Event-drivensimulationofthetempotronspikingneuronC.2014IEEEBiomedicalCircuitsandSystemsConference(BioCAS)Proceedings,Lausanne,Switzerland,2014:667670.doi:10.1109/BioCAS.2014.6981814.18AMIRA,TABAB,BERGD,et al.Alowpower,fullyevent-basedgesturerecognitionsystemC.2017IEEE19ConferenceonComputerVisionandPatternRecognition,Honolulu,USA,2017:73887397.doi:10.1109/CVPR.2017.781.MIAO Shu,CHEN Guang,NING Xiangyu,et al.Neuromorphicvisiondatasetsforpedestriandetection,actionrecognition,andfalldetectionJ.Frontiers inNeurorobotics,2019,13:38.doi:10.3389/fnbot.2019.00038.20XINGYannan,DICATERINAG,andSORAGHANJ.Anew spiking convolutional recurrent neural network(SCRNN)withapplicationstoevent-basedhandgesturerecognitionJ.Frontiers in Neuroscience,2020,14:590164.doi:10.3389/fnins.2020.590164.21GEORGEAM,BANERJEED,DEYS,et al.Areservoir-basedconvolutionalspikingneuralnetworkforgesturerecognitionfromDVSinputC.2020InternationalJointConferenceonNeuralNetworks(IJCNN)