基于ResNet的轻量化视频行为识别方法.pdf

2 0 4 2 0 2 4年1期2 0 2 4年第4 6卷第1期基于R e s N e t的轻量化视频行为识别方法马永航 林志诚作者简介:马永航(2 0 0 2-),本科生,研究方向为强化学习、递归神经网络、非线性系统,E-m a i l:e n d e r s t u.x j u.e d u.c n(通信作者)。(新疆大学 乌鲁木齐8 3 0 0 4 6)摘 要 视频行为识别是计算机视觉领域的一个重要研究方向。文中提出了一种基于R e s N e t-5 0结构的轻量化视频行为识别方法,以处理视频中丰富而复杂的时空特征。通过增加模型的卷积层深度,能更准确地提取特征,并提高视频行为识别的准确率。研究结果表明,与传统的卷积神经网络相比,该方法具有更高的准确率。关键词:视频行为识别;残差网络;图像处理;深度学习;神经网络中图分类号 T P 1 8 3L i g h t w e i g h tV i d e oB e h a v i o rR e c o g n i t i o nM e t h o dB a s e do nR e s N e tMAY o n g h a n ga n dL I NZ h i c h e n g(X i n j i a n gU n i v e r s i t y,U r u m q i 8 3 0 0 4 6,C h i n a)A b s t r a c t V i d e ob e h a v i o r r e c o g n i t i o n i s a n i m p o r t a n t r e s e a r c hd i r e c t i o n i n t h e f i e l do f c o m p u t e rv i s i o n.T h i sp a p e rp r o p o-s e sa l i g h t w e i g h t v i d e ob e h a v i o r r e c o g n i t i o nm e t h o db a s e do nR e s N e t-5 0s t r u c t u r e t op r o c e s s r i c ha n dc o m p l e xs p a t i o t e m-p o r a l f e a t u r e s i nv i d e o s.B y i n c r e a s i n g t h ed e p t ho f t h e c o n v o l u t i o n a l l a y e r o f t h em o d e l,f e a t u r e s c a nb e e x t r a c t e dm o r e a c-c u r a t e l ya n dt h ea c c u r a c yo fv i d e ob e h a v i o rr e c o g n i t i o nc a nb e i m p r o v e d.T h er e s e a r c hr e s u l t ss h o wt h a t t h em e t h o dh a sh i g h e ra c c u r a c yt h a nt r a d i t i o n a l c o n v o l u t i o n a l n e u r a l n e t w o r k s.K e y w o r d s V i d e ob e h a v i o r r e c o g n i t i o n,R e s n e t,I m a g ep r o c e s s i n g,D e e p l e a r n i n g,N e u r a l n e t w o r k s0 引言随着互联网和数字技术的快速发展,网络视频已经成为人们日常生活中不可或缺的一部分。例如,社交媒体平台、视频分享网站、在线直播平台等提供了丰富多样的视频内容。然而,这种大规模的视频数据也带来了诸多挑战,如如何有效地对网络视频进行行为识别。传统的视频行为识别方法通常需要大量的计算资源和时间,限制了其在实际应用中的可行性1-2。为克服传统方法的限制,近年来,轻量化网络视频行为识别方法受到了广泛关注。轻量化方法旨在通过减少模型的复杂度和参数量来提高计算效率,在保持准确性的同时,提高行为识别的速度。这种方法对移动设备、嵌入式系统、边缘计算等资源受限的场景尤为重要。近年来,卷积神经网络(C NN)在图像识别、目标检测等领域得到了广泛应用,这是因为C NN对图像中的空间信息非常敏感3-4。然而,传统的C NN在处理视频时存在一个问题,即缺乏对时序信息的理解能力。这意味着C NN无法将视频中前后帧之间的变化关联起来,导致其在视频行为识别方面表现不佳。一些研究表明,在轻量化视频行为识别任务中,使用较深层次的网络结构可以获得较高的准确性。通过在视频序列中提取空间特征,并结合适当的时间建模方法,可有效地捕捉视频中的动作和行为。本文提出了一种基于R e s N e t的轻量化视频行为识别方法,并分析了它在行为识别任务中的性能表现,以此来推动轻量化方法在视频行为识别领域的进一步发展。1 基本原理1.1 轻量化视频行为识别的原理轻量化视频行为识别技术是一种基于深度学习的视频分类和识别技术。它可以对视频中的行为进行自动识别和分类,从而实现对视频的智能化管理和分析5。具体而言,轻量化视频行为识别技术主要包括以下几个步骤。(1)数据采集和预处理。采集大量的视频数据,并对其进行预处理,包括视频格式转换、帧提取、图像增强等。(2)特征提取。对视频中的关键帧进行特征提取。应用传统的图像特征提取算法,如S I F T,HOG,L B P6等,对关键帧进行特征提取,并将视频中的行为转化为一组特征向量。(3)分类器训练。在得到特征向量后,需要使用分类器对其进行训练。常见的分类器包括S VM、KNN、决策树等7。通过对特征向量进行分类器训练,可以实现对视频2 0 2 4年1期2 0 5 行为的自动分类和识别。(4)行为识别。将视频中的关键帧特征向量输入训练好的分类器中,实现对视频行为的自动识别和分类。1.2 R e s N e t模型原理R e s N e t(R e s i d u a lN e t w o r k)是由微软亚洲研究院的何凯明等提出的一种深度卷积神经网络模型,它在2 0 1 5年的I m a g e N e t图像识别比赛中获得了第一名。R e s N e t的主要特点是使用了残差学习(R e s i d u a lL e a r n i n g)的思想,可以训练层次深的神经网络模型,有效地解决了深度神经网络训练过程中的梯度消失和梯度爆炸问题8。R e s N e t的核心思想是引入了残差块(R e s i d u a lB l o c k),通过在网络中添加残差块,让网络学习残差函数,从而使得网络的深度不再过多地影响训练。残差块的结构如图1所示。图1 残差块示意图图1中,x表示输入的特征图,r e l u为激活函数,F(x)表示可学习的残差映射。残差块的核心思想是将输入的特征图x通过两个卷积层进行特征提取,然后将提取的特征图与输入的特征图相加,得到残差函数。最后,将残差函数与输入的特征图相加,得到残差块的输出。R e s N e t的整个网络结构可以分为多个阶段,每个阶段包含多个残差块。在每个阶段中,特征图的大小会逐渐减小,通道数会逐渐增加。在最后的全局平均池化层和全连接层之前,还会添加一个平均池化层,将特征图的大小降至11,再通过全连接层进行分类。R e s N e t的优点在于,其可以训练层次较深的神经网络模型,同时避免梯度消失和梯度爆炸问题。此外,R e s N e t的网络结构非常简单,易于实现和调整。因此,R e s N e t已经成了深度学习领域中非常重要的模型之一,被广泛应用于图像分类、目标检测、语义分割等领域。2 R e s N e t行为识别模型设计视频数据由多个视频帧组成,每一帧都包含着时序信息。因此,与图像识别不同,视频人体行为识别需要提取出更深层次的时间信息和空间信息。因此,本文选择R e s N e t-5 0模型作为主干网络,进行视频行为识别。R e s N e t-5 0中的残差模块使用了跳跃连接(S k i pC o n-n e c t i o n)的方式,这使得信息可以直接跳过一些层次而传递到后续层次,让网络可以更轻松地学习到恒等映射(I d e n t i t yM a p p i n g)和残差映射(R e s i d u a lM a p p i n g)之间的差异。具体而言,R e s N e t-5 0的网络结构由一系列的残差模块组成。每个残差模块由两个卷积层及一个跳跃连接组成。其中,第一个卷积层的输出经过激活函数(通常是r e l u)后,再经过第二个卷积层。然后,将第二个卷积层的输出与跳跃连接的输入相加,得到残差模块的输出。通过引入残差模块和跳跃连接,R e s N e t-5 0可以训练层次非常深的神经网络,有效解决了深层网络训练中的梯度消失和梯度爆炸问题。本文使用的R e s N e t-5 0的残差块如图2所示。图2 R e s N e t-5 0的残差块示意图3 实验结果及分析3.1 实验数据集数据集的规模和多样性对模型的性能至关重要。大规模和多样化的视频数据集能提供更全面的训练样本,有助于改善模型的泛化能力和识别准确率。本文选取U C F-1 0 1数据集9和HMD B 5 1数据集1 0用于训练和测试。其中,U C F-1 0 1数据集收集了来自Y o u-T u b e视频网站的1 0 1类视频文件,共计时长2 7 h,视频的初始分辨率大小为3 2 02 4 0。这些视频主要包括人与物体交互、人与人交互、肢体动作、乐器演奏和体育运动等五大类。HMD B 5 1数据集收集了来自电影中的5 1类视频文件,视频的初始分辨率大小为3 2 02 4 0。由于这些视频来自电影,因此视频中的光照条件、相机运动情况、背景人物数量等都有较大区别,对其进行识别具有较大的挑战性。这些视频主要包括普通面部动作(如微笑、咀嚼)、配合肢体的面部动作(如抽烟、喝饮料)、普通身体运动(如坐下、转身)、人与物体交互的动作(如打高尔夫、踢足球)和人与人之间的交互动作(如拥抱、握手)等五大类。3.2 实验结果本文评估网络性能的指标包括识别准确率和平均推理时间1 1-1 2,具体结果如表1所列。表1 数据评估结果网络模型U C F-1 0 1准确率/%HMD F 5 1准确率/%平均推理时间/sC NN6 8.15 0.61.2 1 1R e s N e t-5 08 0.35 4.74.5 4 3由表1可以看出,在轻量化视频行为识别任务中,使用移动信息2 0 6 2 0 2 4年1期R e s N e t-5 0可以获得较高的准确性。通过在视频序列中提取空间特征,并结合适当的时间建模方法,可有效捕捉视频中的动作和行为,但代价是会产生巨大的计算量和参数规模。4 结语为解决视频行为识别领域中传统卷积模型的低准确率问题,本文提出了使用R e s N e t-5 0网络进行轻量级视频行为识别的方法。研究表明,通过增加网络的层次可以显著提高识别的准确率。然而,该方法存在前期训练时间较长的缺点,且模型的准确率仍有提升空间。如何更好地处理长时间序列的视频数据、处理不确定性和噪声、提高模型的可解释性等问题,仍然是研究的焦点。未来,将考虑在保证准确率的前提下,通过降低训练模型的复杂度来提高识别效率,并将该模型应用于更多复杂的实际场景中。需要注意的是,实验结果可能因数据集、任务设置、数据预处理、超参数选择等因素而有所不同。因此,具体的实验结果可能因研究者的选择和实验设置而异。参考文献1宋立飞,翁理国,汪凌峰,等.多尺度输入3 D卷积融合双流模型的行为识 别 方 法 J.计 算 机 辅 助 设 计 与 图 形 学 学 报,2 0 1 8,3 0(1 1):2 0 7 4-2 0 8 3.2丰艳,李鸽,原春锋,等.基于时空注意力深度网络的视角无关性骨架行 为 识 别 J.计 算 机 辅 助 设 计 与 图 形 学 学 报,2 0 1 8,3 0(1 2):2 2 7 1-2 2 7 7.3朱红 蕾,朱 昶胜,徐 志 刚.人 体行 为识 别 数据 集研 究 进 展J.自动化学报,2 0 1 8,4 4(6):9 7 8-1 0 0 4.4单言虎,张彰,黄凯奇.人的视觉行为识别研究回顾、现状及展望J.计算机研究与发展,2 0 1 6,5 3(1):9 3-1 1 2.5杨国庆.基于深度学习的人体暴力行为识别技术研究D.西安:西安电子科技大学,2 0 2 2.6杨雨鑫,周欣,熊淑华,等.融合传统特征与神经网络的深度伪造检测算法J.信息技术与网络安全,2 0 2 1,4 0(2):3 3-3 8,4 4.7娄翔飞,吕文涛,叶冬,等.基于计算机视觉的行人检测方法研究进展J.浙江理工大学学报(自然科学),2 0 2 3,4 9(3):3 1 8-3 3 0.8HEK,Z HANGX,R E NS,e ta l.D e e pR e s i d u a lL e a r n i n gf o rI m a g eR e c o g n i t i o nC2 0 1 6I E E EC o n f e r e n c eo nC o m p u t-e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R).2 0 1 6:7 7 0-7 7 8.9S OOMR OK,Z AM I RRA,S HAH M.U C F 1 0 1:AD a t a s e t o f1 0 1 H u m a n A c t i o n s C l a s s e s F r o m V i d e o si n T h e W i l dJ.C o m p u t e rS c i e n c e,2 0 1 2,3(1 2):2-9.1 0KU EHN EH,J HUAN G H,G A R R O T EE,e ta l.HMD B:al a r g ev i d e od a t a b a s ef o rh u m a nm o t i o nr e c o g n i t i o nCP r o c e e d i n g so f t h e2 0 1 1I E E EI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e rV i s i o n.2 0 1 1:2 5 5 6-2 5 6 3.1 1张传雷,武大硕,向启怀,等.基于R e s N e t-L S TM的具有注意力机制的办公人员行为视频识别J.天津科技大学学报,2 0 2 0,3 5(6):7 2-8 0.1 2周骁卓,徐代升,罗力华,等.注意力机制下轻量化网络视频行为识别方法J.厦门理工学院学报,2 0 2 2,3 0(5):5 4-6 3.移动信息