结合轮廓与姿态的时空融合步态识别方法.pdf

步态识别是利用步态信息对人的身份进行识别的技术。与指纹、虹膜、人脸等生物特征识别方法相比，步态识别具有采集容易、距离远、非接触、难以伪装和无需配合等优点1-3。随着计算机视觉和人工智能技术的快速发展，结合步态识别的公共安防系统和智能视频分析系统，在保障社会公共安全，提高智慧城市的科学化管理水平等方面存在广泛的技术需求，其发展也受到工业界的密切关注4-6。步态识别的基本目标是从身体的变化过程中学习到独特且不变的表征。目前大多数的步态识别方法是基于轮廓的步态识别方法。轮廓由行人的原始图像获得，从人体的外形轮廓的角度描述了人体的运动过程。然而轮廓容易受到诸如服装和携带物等遮挡因素的影响，在这些遮挡情况下，轮廓出现严重变形且不再准确地反映行人的身体状态，导致步态识别的准确率出现明显下降。现有的一些步态识别方法希望从轮廓图中提取更加鲁棒的步态特征来抵抗遮挡。例如，Zhang等7提出了一种新的自动编码器框架，利用 LSTM（long结合轮廓与姿态的时空融合步态识别方法张超越，张荣宁波大学 信息科学与工程学院，浙江 宁波 315211摘要：现有的大多数步态识别方法是基于轮廓的步态识别方法，然而轮廓容易受到遮挡的影响，从而导致识别准确率下降。在现实的监控场景下，遮挡几乎是不可避免的，提高遮挡情况下的步态识别精度是算法能够“落地”于实际应用的前提。针对此问题，提出了结合轮廓与姿态的时空融合步态识别方法。利用姿态具有抵抗遮挡的能力，设计多模态空间特征融合模块，利用特征重用策略和模态融合策略以提高空间特征的信息容量；设计多尺度时间特征提取模块，利用独立分支提取不同时间尺度下的时间信息，提出一种基于注意力的特征融合策略以自适应地整合时间信息；设计空间特征集合分支，以深监督方式提高时空特征的表达能力。在公开数据集上的实验结果表明了所提方法的有效性，模型在遮挡情况下具有较好的鲁棒性。关键词：步态识别；抵抗遮挡；多模态；多尺度；注意力文献标志码：A中图分类号：TP391.4doi：10.3778/j.issn.1002-8331.2204-0500Spatio-Temporal Fusion Gait Recognition Method Combining Silhouette and PoseZHANG Chaoyue,ZHANG RongFaculty of Electrical Engineering and Computer Science,Ningbo University,Ningbo,Zhejiang 315211,ChinaAbstract：Most of the existing gait recognition methods are contour-based gait recognition methods,however,contoursare easily affected by occlusion,resulting in a decrease in recognition accuracy.In real monitoring scenarios,occlusion isalmost inevitable,and improving the accuracy of gait recognition under occlusion is the premise that the algorithm canland in practical applications.Aiming at this problem,a spatio-temporal fusion gait recognition method combining silhou-ette and pose is proposed.Using the ability of pose to resist occlusion,a multi-modality spatial feature fusion module isdesigned,and the feature reuse strategy and modal fusion strategy are used to improve the information capacity of spatialfeatures.A multi-scale temporal feature extraction module is designed to extract temporal information at different timescales using independent branches,and an attention-based feature fusion strategy is proposed to integrate temporal infor-mation adaptively.A spatial feature set branch is designed to improve the representation of spatial-temporal features in adeeply supervised manner.Experimental results on publicly available datasets show the effectiveness of the proposedmethod,and the model has good robustness under occlusion.Key words：gait recognition;occlusion resistance;multi-modality;multi-scale;attention基金项目：浙江省公益性技术研究项目（LGF21F020008）；浙江大学CAD&CG国家重点实验室开放基金项目（A2119）。作者简介：张超越（1997），男，硕士，CCF会员，主要研究方向为模式识别、计算机视觉，E-mail：；张荣（1974），博士，副教授，CCF会员，主要研究方向为数字图像取证、计算机视觉和医学图像分析等。收稿日期：2022-04-28修回日期：2022-08-11文章编号：1002-8331（2023）16-0135-08Computer Engineering and Applications计算机工程与应用135Computer Engineering and Applications计算机工程与应用2023，59（16）short-term memory）网络从原始RGB视频中提取步态特征。Chao等1提出基于深度集合的步态识别方法GaitSet，利用卷积网络直接从原始步态轮廓中提取空间特征，然后再采用时间轴上的压缩操作对空间特征进行深度集合。Fan等2提出了基于部件的步态识别方法GaitPart，从时空角度提高步态识别精度，首先利用焦点卷积从单幅图像中提取细粒度的空间信息，然后将人体水平划分成不同部件，最后利用微动作捕捉模块从每个部件中提取并聚合短时间的步态信息。在CASIA-B数据集上，这些方法在无遮挡情况下取得了优异的表现，但在遮挡情况下，准确性都急剧下降。由于轮廓对遮挡十分敏感，有学者利用对遮挡不敏感的人体关节点来进行步态识别。例如，Liao等8提出PTSN（pose-based temporal-spatial network）模型，首先利用2D姿态估计技术提取人体的关节点坐标，然后利用LSTM网络和CNN网络分别提取时间特征和空间特征。在遮挡情况下，姿态热图较为准确地反映人体关节点位置，而轮廓不能准确反映行人的身体状态，在遮挡情况下关节点比轮廓更为准确8-9。由于关节点缺少对人体外形的描述，同时受到姿态估计算法准确度的影响，相比于基于轮廓的步态识别方法，基于关节点的步态识别方法的识别精度较低。为提高模型抵抗遮挡的能力，本文提出一种结合轮廓与姿态的时空融合步态识别方法。结合轮廓与姿态的时空融合步态识别方法从时间和空间两方面增强步态特征的表达能力。总体来说，本文的贡献可以总结为以下三点：（1）在空间特征提取方面，设计多模态空间特征融合模块。提出一种特征重用策略增强网络对单模态图像的特征提取能力，提出一种模态融合策略促进多模态信息的融合，提升空间特征的表达能力。（2）在时间特征提取方面，设计多尺度时间特征提取模块。利用独立的时间特征提取分支来提取隐藏在不同时间尺度的行人运动规律，提出一种基于注意力的特征融合策略自适应地整合行人的运动规律，提升时间特征的表达能力。为了保证时空特征的准确性，设计一个空间特征集合分支以监督网络训练。（3）在公开CASIA-B数据集10上的结果表明，本文模型在无遮挡和遮挡情况下的识别精度都超过了现有方法 GaitPart和 GLN。同时在更具有挑战性的 GREW数据集11上，模型具有明显的识别优势。1本文方法1.1轮廓图与姿态热图预处理人体的关节点从原始图像中获得，定位了人体关节点的位置，将包含人体关节点的图像称作姿态热图。对于姿态热图的获取与处理，本文使用预先训练过的卷积姿态机（convolutional pose machine，CPM）12来获得二维姿态热图。CPM构建了一个多级的级联卷积网络，以RGB图像为输入，生成17张图像，其中包括16张关节置信度图像和1幅背景图像，关节置信度图像上估计了人体16个关节点的坐标。本文只选择其中14个关节点的置信度图像，分别为上颈部、头顶、左肩膀、右肩膀、左肘部、右肘部、左手腕、右手腕、左臀部、右臀部、左膝盖、右膝盖、左脚踝、右脚踝。然后，将这14张置信度图像相加，得到一幅完整的姿态热图。一幅姿态热图显示了人体中所有的关节点位置，每个像素上的值代表关节点的估计值，值越大，关节点处于这个位置的概率越大。为使姿态热图与轮廓图在空间上保持对齐，本文利用Takemura等13提出的方法分别对姿态热图和轮廓图进行处理，并将姿态热图和轮廓图的图像大小调整为6444，处理后的图像如图1所示。其中第一行是处理后的轮廓图，第二行为处理后的姿态热图。1.2遮挡对轮廓和关节点的影响分析在监控场景下，遮挡是不可避免的，但是遮挡对轮廓和关节点的影响不同，为了展示遮挡对轮廓和关节点的影响，图1展示了在服装遮挡情况下轮廓和姿态的变化。图中第一行图像为轮廓图，展示了身体的外部形状，第二行图像为姿态热图，显示了人体内部关节点的位置。图中左侧两列为正常情况下行人的步态轮廓图和姿态热图，右侧两列为同一行人穿着外套情况下的步态轮廓图和姿态热图。如图1中第一行轮廓图所示，服装导致人体轮廓出现明显的变化，如第二行姿态热图所示，在服装导致的遮挡情况下，姿态热图的变化较小。与轮廓图相比，姿态热图在遮挡情况下更加鲁棒，不易受到遮挡的影响。图1最后两张图中，轮廓受到衣服遮挡，身体上半部分不再准确，因此不能获得步态特征。而关节点的存在恰好补充轮廓图中遮挡区域缺失的空间信息，因此关节点和轮廓具有互补功能。此外，轮廓的变化过程和姿态的变化过程如图2所示。图2展示的是同一行人在穿外套情况下的轮廓图和姿态热图。轮廓和姿态的连续变化均能体现出人体运动的变化规律，从视觉的角度看，姿态热图和轮廓图是对同一行人的两种不同的描述，属于不同模态的图像，从时间层面分析，轮廓图从人体外形的角度反映行人步行状态的变化，姿态热图从关节点角度反映行人步行状态的变化，轮廓和关节点从不同方面体现了行人的运动特点，因此姿态和轮廓都可作为步态识别的数据。图1轮廓图和姿态热图Fig.1Silhouettes and pose heatmaps1362023，59（16）1.3算法框架结合轮廓与姿态的时空融合步态识别方法的网络结构主要由多模态空间特征融合模块和多尺度时间特征提取模块构成，采用三元组损失（triplet loss）14训练网络。网络流程如下：首先利用现有的姿态热图生成技术，从原始图像中提取到行人的2D姿态热图。然后多模态空间特征融合模块分别从轮廓图和姿态热图中提取行人的空间特征，在模块内部，两种模态的空间信息被融合成行人的空间特征。最后多尺度时间特征提取模块从行人的空间特征序列中提取行人的时间特征。本文通过这两个模块对图像进行处理，获得了步态的时空特征。结合轮廓与姿态的时空融合步态识别网络的结构如图3所示。在本文网络中，主要使用二维卷积核和三维卷积核混合的卷积神经网络来提取行人的时空特征。多模态空间特征融合模块主要由二维卷积核堆积而成，而多尺度时间特征提取模块主要由三维卷积核堆积而成。因为二维卷积核在提取单帧图像特征上有优势，所以空间特征由二维卷积神经网络提取；因为三维卷积神经网络能有效捕捉行人运动规律，所以时间特征由三维卷积神经网络提取。值得注意的是，本文三维卷积神经网络作用在高层特征上，适当减少模型的参数量，让网络轻量化。1.4多模态空间特征融合模块多模态空间特征融合模块的主体结构如图4所示，模块包含了两个独立分支，图中上面分支为轮廓图特征提取分支，下面分支为姿态热图特征提取分支，两个分支结构相同但是参数独立不共享。图中55、33和11表示二维卷积核的大小；水平切割表示将特征图按水平方向平均切割成16部件的操作；全局池化表示为全局平均池化和全局最大池化，类似的操作也出现在文献1-2中；T表示图像的数量。多模态空间特征融合模块的输入是不同模态的两类图像，分别是轮廓图和姿态热图。模块的流程如下：首先，轮廓图和姿态热图经过双分支的网络结构分别生成不同模态的空间特征；然后，水平切割和全局池化作用在不同模态的空间特征上，得到压缩后的空间特征fsilhouette和fpose，类似操作出现在GaitPart2中；最后，利用模态融合策略融合特征fsilhouette和fpose，得到融合后的空间特征ffusion。设计双分支网络结构的原因为：轮廓图和姿态热图的模态不同，提取的特征表达内容和空间分布不同，轮廓图特征提取分支提取人体的边缘信息，而姿态热图特征提取分支提取人体的内部信息，双分支的网络结构保图2穿外套情况下同一行人的轮廓图和姿态热图Fig.2Silhouettes and pose heatmaps of same pedestrianunder coat-wearing condition多尺度时间特征提取模块多尺度时间特征提取模块多尺度时间特征提取模块多模态空间特征融合模块ffusionn=16T训练三元组损失TT图3时空融合步态识别方法的网络架构Fig.3Network architecture of spatio-temporal fusion gait recognition methodn=16TT模态融合模块池化层55333333连接池化层333311池化层55333333连接池化层333311水平切割与全局池化fsilhouettefposeffusionT11卷积图4多模态空间特征融合模块结构Fig.4Multi-modality spatial feature fusion module structure张超越，等：结合轮廓与姿态的时空融合步态识别方法137Computer Engineering and Applications计算机工程与应用2023，59（16）证了不同模态空间特征的独立性。步态轮廓图为黑白图像，相比于RGB图像，轮廓图中携带的信息量较少，因此充分利用获得的信息是十分重要的。网络浅层得到的几何信息与网络深层得到的语义信息在识别中具有相互补充的作用。为了融合网络浅层和深层的空间信息，提升空间特征携带信息的容量，在网络中设计使用特征重用15策略，特征重用的具体操作为：将第一个池化层后的特征与第四个卷积核后的特征进行通道维度上的特征拼接，然后利用11大小的二维卷积核进行融合压缩。特征重用策略的设计使用提高了单分支网络提取空间特征的能力，实验证明在第2.3.2小节。轮廓和关节点分别表示了人体边缘和内部的信息，因此不同模态的信息具有互补作用。为了融合多模态的信息，本文设计了模态融合模块，主要利用11大小的二维卷积核来实现不同模态特征的信息交互。模态融合模块的具体操作为：fsilhouette和fpose按部件进行特征拼接，拼接后的特征经过11卷积核融合得到空间特征ffusion。值得注意的是，特征拼接作用在通道维度，且每个部件分别使用参数独立的11卷积核进行特征融合。融合过程如式（1）所示：ffusion=conv1()concatfsilhouttefpose（1）其中，conv1表示11大小的卷积核，concat表示通道维度的特征拼接。多模态空间特征融合模块主要处理单帧图像上的空间特征提取问题，而多尺度时间特征提取模块主要处理图像序列上的时间特征提取问题。步态序列中的图像经过多模态空间特征融合模块得到空间特征序列，多尺度时间特征提取模块对空间特征序列进行时间建模。1.5多尺度时间特征提取模块人类可以通过自适应地关注不同时间尺度的时间序列对人进行识别，受此启发，本文设计了多尺度时间特征提取模块，从三个尺度的时间段中获得可判别的运动信息。同时，设计基于注意力的特征融合策略一方面自适应地增强更重要的尺度，抑制不太重要的尺度，另一方面对不同尺度的运动信息进行融合，以提高特征描述行人运动规律的能力。多尺度时间特征提取模块结构如图5所示。图中x11表示三维卷积核的大小，x表示三维卷积核在时间层面的大小，即三维卷积核一次性对x张连续的特征图进行处理；MP表示最大池化模块，模块为一个作用于时间维度的最大池化函数；ftime表示融合的时间特征；fspace表示集合的空间特征；concat表示特征拼接；i()i=1,2,3表示时间特征的权重；“”表示求和操作；“”表示乘法操作。模块的流程如下：首先，由多模态空间特征融合模块生成的空间特征序列分别经过三个独立的时间特征提取分支和一个空间特征集合分支，分别得到不同时间尺度下的时间特征和集合后的空间特征fspace；然后，时间特征融合模块自适应地融合不同时间尺度的时间特征，得到最终的时间特征ftime；最后，fspace和ftime被拼接成最终被用来识别的步态特征。人体的运动规律隐藏在不同时间尺度的图像序列中，本文从三个时间层面提取运动信息，即短时期、中时期和长时期。在步态识别领域，一般将30帧图像作为一个步态周期，本文将连续的9帧、15帧和21帧图像变化分别称为步态短时期、中时期和长时期的变化过程。GaitPart方法证明限制感受野可以提高空间特征的细粒度学习。受此启发，本文通过限制时间层面的感受野来加强网络对各时期运动规律的学习，设计了三个独立的时间特征提取分支，分别从三个时期提取时间信息。在不同分支中，通过调整三维卷积核的大小，控制顶层神经元在时间层面上的感受野不同，令不同分支关注于不同时间尺度下行人的轮廓变化，从而捕获不同时间尺度中行人的运动规律。例如在第一个时间特征提取分支中，顶层神经元的感受野被限制在9帧图像长度，因此网络关注于短时间的人体变化，并从短时间的人体变化中提取短时间的运动规律。第一、二、三个分支分别提取短时期、中时期和长时期的时间信息。311MP311时间特征提取分支1时间特征提取分支2时间特征提取分支3311MP311311MP311MP时间特征融合模块MP空间特征集合分支concatT权重分配ftimefspace123FCFC图5多尺度时间特征提取模块结构Fig.5Multi-scale temporal feature extraction module structure1382023，59（16）在不同时间尺度中，部件的运动规律有所不同，这些运动规律的重要性不同但都有助于步态识别，为了得到具有判别力的运动信息，本文设计了基于注意力的多尺度时间特征融合模块。在时间特征融合模块中，设计了几种不同的多尺度时间特征融合方式，分别为平均值融合(Mean)，最大值融合(Max)，平均值融合和最大值融合(Mean+Max)，卷积融合（11卷积），卷积注意力融合（通道注意力），最大值与卷积注意力融合（Max+通道注意力）。ftime和fspace的特征大小均为chw，c表示通道数，h表示特征图的长度，w表示特征图的宽度。时间特征融合模块的输入特征大小为mchw,m表示特征拼接维度，这里为3。提出的所有融合方式作用在特征拼接维度m上。卷积融合方式使用一个11的卷积核，在拼接维度m上对特征进行融合压缩。卷积注意力融合方式利用注意力机制自适应地对不同时间尺度的时间特征进行权重分配，最后对不同重要程度的时间特征进行融合，本文采纳了SENet的通道注意力机制16，注意力融合的具体过程为：在拼接维度m上，首先利用一个全连接层对拼接维度进行维度压缩，其次利用另一个全连接层对时间特征的重要性进行预测并分配重要性权重，然后重要性权重与原始时间特征相乘，最后在拼接维度上对时间特征进行求和。卷积注意力融合方式的作用有两个：第一是通过注意力机制增强更重要的尺度，抑制不太重要的尺度；第二是同时利用重要性程度不同的时间信息，增强时间特征的表达能力。卷积注意力融合方式存在自适应性，网络对于不同部件的输入特征，自动生成不同的时间重要性权重，从而达到对不同部件的具体性分析。本文最终采用了最大值与卷积注意力融合方式，不同融合方式下模型的识别效果在第3.3.4小节给出。为了加强网络的识别性能，在模块中设计一个监督分支，即空间特征集合分支。在空间特征集合分支中，利用MP操作在时间维度上集合所有图像中重要的空间特征1。监督分支的意义在于：（1）集合得到行人的空间特征，空间特征作为一种重要的步态特征，有助于增强步态特征的识别能力；（2）从时间特征提取的流程中，空间特征作为中间特征，约束中间特征的结构是一种深监督17的结构，深监督结构保证了在空间特征基础上得到的时间特征的准确性。由于每个部件都有独特的运动表示2，本文将人体分为16个部件，对每个部件设置参数独立的多尺度时间特征提取模块。每个模块的输出为1个空间特征向量和 1 个时间特征向量，对所有部件的时空特征进行concat特征拼接，最终得到162个特征向量，这些特征向量被视为最终进行步态识别的特征。1.6损失函数在训练阶段，设计使用三元组损失函数对网络进行训练。三元组损失的优势在于可以区分特征的细节，能更好地对细节进行建模，从而让网络学习到更好的特征。三元组损失的计算公式如下：Ltr=max()d()a,p-d()a,n+margin,0（2）其中，a、p、n分别表示基准样本（anchor）、正样本（positive）、负样本（negative）三者经过网络得到的特征值，d(),表示特征值之间的欧氏距离，margin代表间距值，是一个超参数，可以根据实验设定适合的值。三元组损失试图学习到一个特征空间，使得在该空间中的基准样本与正样本距离更近，基准样本与不同类别的负样本距离更远，其中正样本表示与基准样本身份不同的行人样本，负样本表示与基准样本身份相同的行人样本。比如，若d()a,p-d()a,n+margin0,则d()a,p+margin0，则d()a,p+margind()a,n，这表示相同身份的行人样本之间的距离较远，而不同身份的行人样本之间的距离很近，则此时损失大于0，针对这种情况，三元组损失会进行反传从而对网络进行优化，通过训练，损失会逐渐拉近相同行人之间的距离，拉远不同行人之间的距离，从而让网络能进行正确的分类。2实验2.1数据集和实验细节数据集：为了验证所提方法的性能，模型主要在CASIA-B数据集10和GREW数据集11上进行实验评估。CASIA-B数据集是目前最常用的步态数据集，它包含124名行人（编号为001124）、3种步行条件和11个视角（0，18，180）。行走条件包括正常（NM）、背包行走（BG）和穿着外套或夹克（CL）。每个行人身份包括6个正常行走的序列、2个背包行走的序列和2个穿着外套或夹克行走的序列。每个行人共有11（6+2+2）=110个视频序列。本文使用目前文献中常用的训练方式评估网络的性能，即大样本训练（LT）方式。在LT中，前74个行人用于训练，后50个行人用于测试。在测试集中，前4个NM条件序列（NM#1-4）被放置在图库（Gallery）中，最后两个 NM 条件序列（NM#5-6）、两个 BG 条件（NM#1-2）和两个 CL 条件（CL#5-6）序列被用作查询（Probe）序列。GREW 数据集是最新的步态数据集，它包含了26 345个行人身份下的128 671个步态序列，序列来源于自然场景下的882个摄像头角度，每个序列的视角和遮挡情况不同。GREW数据集提供了轮廓序列以及对应的2D/3D关节点序列。与来源于实验场景的CASIA-B数据集不同，GREW数据集来源于自然场景，GREW数据集更具挑战性。本文使用文献11中的训练方式评估张超越，等：结合轮廓与姿态的时空融合步态识别方法139Computer Engineering and Applications计算机工程与应用2023，59（16）网络的性能，将20 000个行人身份的102 887个序列作为训练，将6 000个行人身份的24 000个序列作为测试。实验细节：本文网络有两个输入，即轮廓序列和姿态热图序列，两个序列中的图像一一对应。训练时，随机从序列中选择50张图片，也就是T=50，模型输入的轮廓图和姿态热图按文献13中提到的方法对齐，并调整为6444的大小。训练采用Adam随机优化方法，训练时学习率设置为1E-4，Triplet Loss的margin被设定为0.2。实验环境为Ubuntu18.04，训练设备为带有两个NVIDIA GeForce 2080Ti GPU的服务器。在CASIA-B数据集上，将 Batch Size大小设置为（7，6），设置 LT的训练方式并迭代训练模型 10 万次。在 GREW 数据集上，将Batch Size大小设置为（6，6），迭代训练模型20万次。值得注意的是，GREW数据集提供了2D关节点序列，在训练之前，本文使用高斯模糊函数生成2D姿态热图序列。2.2主要的实验结果表1展示了在LT训练方式下，结合轮廓与姿态的时空融合步态识别方法与现有一些方法在CASIA-B数据集上的评估结果。表中包含模型在所有视角下的平均Rank-1识别准确率，最后一列为平均识别准确率。实验表明在无遮挡情况（NM）下，本文方法的识别精度达到97.7%。为了表现本文方法在遮挡情况下的性能，分别在背包（BG）和服装（CL）遮挡下进行准确度测试，实验表明在BG和CL的指标下，结合轮廓与姿态的时空融合步态识别方法识别准确率分别达到93.0%和81.9%，超出GaitPart模型1.5个百分点和3.2个百分点，说明本文方法具有较好抵抗遮挡的能力。表2展示了本文方法和现有一些方法在GREW数据集上的评估结果。GREW数据集来源于自然场景，场景和遮挡情况复杂，而结合轮廓与姿态的时空融合步态识别方法，Rank-1识别准确率达到49.02%，超出GaitSet模型2.74个百分点，说明结合轮廓与姿态的时空融合步态识别方法在复杂多变的现实场景下仍然具有优势。结合轮廓与姿态的时空融合步态识别方法从两个角度提高模型抵抗遮挡的能力：第一个角度是提高模型提取步态特征的准确性；第二个角度是利用关节点信息补充轮廓中遮挡部位的信息。从第一个角度分析，本文利用密集连接策略提高步态空间特征的信息容量，设计多尺度时间特征提取模块自适应提取时间信息，同时设计了深监督结构以保证空间特征的准确性，也保证在空间特征基础上得到的时间特征的准确性。从第二个角度分析，本文利用多模态空间特征融合模块中的模态融合模块，令提取的关节点信息，补充轮廓图中遮挡区域缺失的空间信息，从而实现多模态信息的相互补充，进而解决遮挡问题。2.3消融实验为验证网络中各个组件的有效性，本节在CASIA-B数据集上对每个组件进行消融实验。在网络的训练和测试阶段，图片大小被控制为6444，模型的训练条件控制为 LT 训练条件。消融实验的结果如表 3表 6 所示，表3展示了网络各部分的重要性，表4展示了特征重用策略的重要性，表5展示了不同尺度时间信息的重要性，表6展示了不同融合策略对模型的影响。TypeNMBGCLGalleryProbeGaitSet1GaitPart2PTSN8GLN3OursGaitSet1GaitPart2PTSN8GLN3OursGaitSet1GaitPart2PTSN8GLN3Ours91.194.196.894.497.286.789.189.591.593.859.970.753.269.276.90180099.098.699.299.399.594.294.895.297.496.375.085.583.982.586.91899.999.398.499.499.795.796.792.798.494.778.386.987.984.089.93697.898.598.498.798.893.495.187.997.194.174.683.372.681.088.1547295.194.094.496.896.488.988.383.992.290.871.477.161.378.681.49094.592.396.896.894.685.584.979.089.788.571.372.561.376.376.510896.195.996.097.597.589.089.084.793.191.270.876.975.078.680.012698.398.496.098.598.691.793.583.196.293.974.182.266.982.882.314499.299.296.899.599.394.596.183.197.596.874.683.871.080.585.616298.197.898.498.899.495.993.890.396.595.069.480.270.276.881.218088.090.495.292.393.583.385.874.288.088.154.166.546.064.772.2Mean96.196.296.997.597.790.891.585.894.393.070.378.768.177.781.9表1LT训练条件下模型在CASIA-B数据集上的平均Rank-1识别率Table 1Average Rank-1 recognition rate of model on CASIA-B dataset under LT training conditions单位：%BaselineGEINet18GaitPart2GaitSet1OursRank-16.8244.0146.2849.02Rank-513.4260.6863.5865.69Rank-1016.9767.5270.2671.65Rank-2021.0173.4776.8277.25表2模型在GREW数据集上的识别精度Table 2Recognition accuracy of model onGREW dataset单位：%1402023，59（16）2.3.1网络各部分重要性消融实验为了展示网络各部分的重要性，对模型进行消融实验，具体实验结果如表3所示，最后两列给出模型的参数量以及在单样本上的运行时间。姿态信息和融合策略的重要性：通过组别（A-3）、（A-4）可以看出，从轮廓图和姿态热图提取的多模态信息可以进行有效的融合以提高步态识别的精度。与无姿态引入的模型相比，融合了姿态热图的模型准确率在背包和穿大衣的遮挡情况下分别可以提升1.6个百分点和5.2个百分点，说明了模态融合策略的有效性。模态融合策略可以实现多模态信息的信息交互功能，使关节点信息补充轮廓中被遮挡部分的空间信息，从而提高步态特征的表达能力。多尺度时间特征提取模块的重要性：通过组别（A-1）、（A-4）可知，模型加入多尺度时间特征提取模块后，识别准确率在不同行走条件下分别提高1.1个百分点，1.3个百分点和2.2个百分点，证明了多尺度时间特征提取模块的有效性，模块具有捕捉行人运动特征的能力。同时，联合利用空间特征和时间特征，模型的识别效果最好，说明时间特征表达了人体的运动规律，在步态识别中是不可或缺的。监督分支的重要性：通过组别（A-2）、（A-4）可知，增加监督分支之后，模型的识别准确率分别提升了0.5个百分点、0.7个百分点、1.1个百分点，说明监督分支作为深监督的结构，具有良好的监督作用，既保证空间特征的准确性，也保证在空间特征基础上得到的时间特征更加准确。联合利用时空信息进行步态识别，识别准确率最高，说明空间特征在步态识别中是十分重要的，空间特征表示一个人静态下的身体特点，与时间特征一样具有判别能力。模型参数量和实时性分析：通过表 3 最后两列可知，本文模型的参数量约为7.4106，其中多模态空间特征融合模块的参数量约为1.1106，多尺度时间特征提取模块的参数量约为6.3106，增加各模块之后虽然增加了参数量，但也显著提高了识别准确率。同时，本文模型的运行时间较短，在单样本上的运行时间为0.23 s，具备良好的实时性。2.3.2特征重用策略消融实验为了展示多模态空间特征融合模块中单分支提取空间特征的能力以及特征重用策略的作用，对单分支内部组成进行消融实验，实验如表4所示。组别（B-1）和组别（B-2）分别为不采用和采用特征重用策略的空间特征提取网络，值得注意的是，在实验过程中，只使用轮廓图分支且只利用空间特征进行识别。使用特征重用策略后网络的识别性能显著提高，说明特征重用策略的有效性，同时也说明高低层网络的空间信息具有互补功能，提高深浅层信息的利用效率可以提高网络的空间特征提取能力。2.3.3时间特征提取分支消融实验为了更好地展示多尺度时间特征提取模块中不同尺度的时间信息的重要性，对模块内部组成部分进行消融实验（实验过程中不加入姿态热图），具体的实验结果如表5所示。仅设置一个时间特征提取分支时，模型也具备识别能力，说明每个分支均能寻找到人体运动过程中的时间信息，不同时间尺度的时间信息都有助于识别，不能完全舍弃这些信息。增加时间特征提取分支后，识别精度有所提高，一方面说明基于注意力的特征融合策略的有效性，另一方面证明在不同时间尺度下的运动规律可以相互补充以提高特征对行人步态描述的能力。在步态识别领域，需要一种长短期的时间建模方法来捕获人体的运动规律。2.3.4时间特征融合方式消融实验在时间特征融合模块中，本文测试了不同融合方式下模型的识别准确率，结果如表6所示。联合使用最大值融合与卷积注意力融合方式时，网络的识别准确率最组别（A-1）（A-2）（A-3）（A-4）空间特征时间特征姿态热图准确率/%NM96.697.296.497.7BG91.792.391.493.0CL79.780.876.781.9参数量/1061.16.97.4运行时间/s0.080.190.23表3网络各部分的重要性Table 3Importance of each part of network组别（B-1）（B-2）特征重用策略准确率/%NM94.795.3BG87.989.8CL69.672.5表4特征重用策略的重要性Table 4Importance of feature reuse strategy组别（C-1）（C-2）（C-3）（C-4）（C-5）时间特征提取分支1时间特征提取分支2时间特征提取分支3准确率/%NM96.196.296.196.396.4BG91.091.291.191.291.4CL75.375.775.876.276.7表5不同尺度下时间信息的重要性Table 5Importance of temporal information at different scales组别（D-1）（D-2）（D-3）（D-4）（D-5）（D-6）平均值融合最大值融合卷积融合卷积注意力融合准确率/%NM96.897.497.297.297.697.7BG91.692.291.892.092.393.0CL80.18