基于难样本挖掘与混合注意力机制的目标跟踪算法.pdf

信息通信基于难样本挖掘与混合注意力机制的目标跟踪算法张焱焱，刘嘉敏（沈阳工业大学信息科学与工程学院，辽宁沈阳110 8 7 0）摘要：在SiamFC目标跟踪算法的基础上，提出一种基于难样本挖掘和混合注意力机制的目标跟踪算法。首先，为了改善训练样本的数据分布情况，将图像自身边缘信息填充训练样本尺寸不足的区域来增强背景干扰信息；其次，在模板分支加入残差连接来对目标从不同层级进行特征表达；然后，在搜索分支采用混合注意力模块充分地提取特征信息；最后，使用深度可分离卷积降低模型复杂度。实验结果表明本文算法在遮挡、光照、旋转等复杂场景下具有良好的表现。关键词：目标跟踪；李生网络；难样本挖掘；注意力机制；残差网络中图分类号：TP391Target tracking algorithm based on hard sample mining and attention mechanism(College of Information Science and Engineering,Shenyang University of Technology,Shenyang 110870,China)Abstract:Based on SiamFC target tracking algorithm,a target tracking algorithm is proposed based on difficult sample mining and mixedattention mechanism.Firstly,in order to improve the data distribution of training samples,the edge information of the image itself is usedto fill in the area with insufficient training sample size to enhance the background interference information.Secondly,residual connectionis added to the template branch to express the feature of the target from different levels,and the mixed attention module is then used in thesearch branch to fully extract the feature information.Finally,the depth-separable convolution is used to reduce the complexity of the model.Experimental results show that the proposed algorithm has good performance in complex scenes such as occlusion,illumination and rotation.Keywords:target tracking;siamese network;hard sample mining;attention mechanism;residual network1引言目标跟踪是近年来计算机视觉领域的重要研究课题之一，它能够应用于诸多领域。一个健壮的跟踪算法不仅要保证跟踪的精度，跟踪的速度也是十分重要的指标2。因此，同时兼顾速度和精度的李生网络模型近些年来开始在目标跟踪领域占据主导地位。SiamFC(Fully-Convolutional Siamese Networks)3是首次使用李生网络的目标跟踪算法，它使用同一个网络模型对目标区域和候选区域进行特征提取，并对得到的两个区域特征计算相似性来定位目标。而由于李生网络受限于平移不变性的条件，网络模型通常很难提取到足够的信息。即便使用了更深的网络模型，通常也需要更大的计算量和更复杂的图像处理方法，占用内存很大并且训练时间较长。针对以上问题，本文以SiamFC为基准算法，提出了一种基于难样本挖掘与混合注意力机制的目标跟踪算法，提高了跟踪的准确率并保证了实时性。2本文跟踪算法的框架本文所提出的算法是以SiamFC算法为基础，对SiamFC主干网络的模板分支和搜索分支进行改进，在模板分支中引入残差连接以保留模板特征的语义信息，在搜索分支中并行加入通道注意力机制SENetl（Sq u e e z e-a n d-Ex c i t a t i o n Ne t w o r k s）和非局部注意力机制GCNet5（G l o b a l Co n t e x t Ne t w o r k s），突出有用的特征信息并丰富了特征提取能力。使用深度可分离卷积(DepthwiseSeparableConvolution）代替传统卷积方式，不仅能够保证模型的精度，同时还能起到降低模型的参数量和减少计算量的效果，其网络框架如图1所示。收稿日期：2 0 2 3-0 2-16作者简介：张焱焱（1997-)，男，河南周口人，硕士研究生，沈阳工业大学，主要研究方向：计算机视觉；刘嘉敏（196 4-），女，江苏镇江人，博士，沈阳工业大学，教授，主要研究方向：计算机图形学与虚拟现实、计算机视觉。802023年第0 5期(总第 2 45 期)文献标识码：A文章编号：2 0 9 6-9 7 59(2 0 2 3)0 5-0 0 8 0-0 4ZHANG Yanyan,LIU Jiamin其中，模板图像和搜索图像分别作为模板分支和搜索分支的输入，然后对模板图像和搜索图像进行特征提取，并将得到的特征图送入互相关层进行相似性计算，进而得到最终的相似度响应分值图，通过具有最大相似度响应值的点所在的位置来估计目标位置。3本文跟踪算法的实现3.1 难样本挖掘在训练阶段，原有的SiamFC算法使用像素均值进行填充，这导致训练数据中含有的干扰背景太少，模型跟踪能力很难提升。因此，本文提出一种难样本挖掘的数据增强方法，对于训练样本对，将图像自身的边缘信息作为裁剪尺寸不足部分的填充区域。图2 中，左图为模板图像，中间图为SiamFC算法构造的搜索图像，右图为本文算法构造的搜索图像。由于图像自身信息的引入，导致目标样本周围增添了更多的难样本，更贴近真实跟踪场景，能够提高网络模型在训练过程中的鲁棒性。3.2残差连接卷积神经网络在提取目标特征信息时，随着层数的加深，网络提取到的信息也不同。浅层具有更准确的定位信息，深层具有更多的语义信息。何凯明7 提出的ResNet网络的残差连接方法将具有相同特征维度的深层特征和浅层特征相加，丰富了特征表示信息。由于目标跟踪任务需要浅层特征获得的位置信息来对目标定位，并且模型的复杂性会影响跟踪速度，因此本文使用改进后的AlexNet网络作为主干网络提取特征，通过对网络提取到的浅层特征与深层特征进行线性融合，对目标进行不同层级的表达。Changjiang Information&Communications张焱焱：基于难样本挖掘与混合注意力机制的目标跟踪算法残差连接SENotGCNet对应点和回互相关运算模板分支深度可分离卷积混合注意力模块Batch搜索分支atchNort图1本文算法框架图2 预训练样本对示例通道权重最大池化平均池化输入特征权重权重输出特征图3改进后SENet图本算法在模板分支AlexNet网络的第二层卷积后对特征图进行最邻近插值下采样，保留了有效特征。经下采样后的特征维度与最终输出特征维度相同，对这两种特征进行残差连接，将两个特征矩阵逐点相加得到最终特征结果，其结构见图1。3.3混合注意力模块胡杰提出的SENet网络显式地建模特征通道之间的相互依赖关系，使用全局平均池化对特征图进行压缩操作，将每个特征通道转化为一个具有全局感受野的实数。然后进行激发操作，通过学习参数来为特征通道生成权重值，从而建模特征通道间的相关性。本文在SENet全局平均池化的基础上，同时还用最大池化对特征图进行压缩操作，将两种压缩方式得到的通道权重进行相加。这样，最大池化和平均池化并行连接的方式比仅使用平均池化所获得的信息更多，改进后的SENet结构如图3所示。与SENet不同，GCNet的目的是捕获远程依赖关系，对特征图全文信息建模，从全局的角度来理解图像。GCNet框架分为三部分：（1）上下文建模模块：它将所有位置的特征信息聚合在一起，形成全局上下文特征；(2)特征转换模块：建模特征通道间的相关性；（3）融合模块：将全局上下文特征合并为81所有位置特征。其结构如图4所示。本文算法将SENet和GCNet并行连接在搜索分支主干网络的最后一个卷积层后，并将两个分支得到的权值相加作为最终的特征矩阵，其结构见图1。SoftmayerNorlRelu输入特征上下文建模模块图 4GCNet 结构图3.4深度可分离卷积Howard提出的深度可分离卷积由逐通道卷积和逐点卷积两个部分构成。逐通道卷积对每个输入通道单独进行卷积操作，而逐点卷积就是用11大小的卷积核对逐通道卷积的输出结果进行卷积运算，在保证精度不受损失的情况下极大输出特征特征转换模块融合模块Changjiang Information&Communications的降低了参数量和计算量。使用深度可分离进行一次卷积的参数量和普通卷积参数量和普通卷积参数量如式(1)和式(2)所示。D,D,xMxN(1)D,D,M+MN(2)深度可分离进行一次卷积的计算量和普通卷积计算量如式(3)和式(4)所示。D,D,MxW,xH,ND,D,MxW,xH,+MxWxH,N其中，D.表示卷积核大小，输出特征图大小为WxHoxN，M为输入特征图通道数。经比较后发现，深度可分离卷积相比于传统的卷积方式所使用的参数量和计算量都更小。为了保证模型的轻量性质，使用深度可分离卷积代替传统卷积来降低模型的复杂度，提高模型的计算速度。因此将深度可分离卷积应用在AlexNet骨干网络的第三层和第四层，其结构见图1。4实验结果与分析4.1数据集与参数设置在训练阶段，使用GOT-10K9数据集以及本文构造的样本对模型进行训练。学习率初始值为0.0 1，使用随机梯度下降法来优化网络，动量控制为0.9，学习率由10 到10 5呈指数衰减，权重衰减设置为0.0 0 0 5。本文算法使用的深度学习框架为PyTorch1.1.0，编程语言为Python3.6，实验操作系统为Windows10，内存32 GB，C PU 为Intel i9-9900 x3.5GHz,GPU为NVIDIARTX2080Ti，为验证模型的性能以及实时性，在OTB100l0数据集上与目前主流的跟踪算法进行了对比实验。OTB100数据集包含了10 0 组视频序列，包含了光照变化、尺度变化、遮挡、复杂背景、离开视野等11个复杂场景。4.2实验结果与分析OTB100数据集采用欧式距离精确度和重叠成功率这两个指标来评估跟踪算法的性能。欧式距离精确度是指计算跟踪预测框和真实标注框的中心位置的欧式距离；重叠成功率是指跟踪预测框和真实标注框的交并比大于指定阈值的帧数和视频帧总数的比率。为验证算法有效性,本文算法分别与DeepSRDCFll、Si a-mRPN12、CFNe t 13、St a p l e l 4、f D SST 15 主流算法和基准算法Sia-mFC进行了对比试验。实验结果如图5所示。10.9F0.8F0.70.60.50.40.30.20.10张焱焱：基于难样本挖掘与混合注意力机制的目标跟踪算法DeepSRDCF0.6350.9D-SiamRPN 0.6320.8*本文算法0.5930-CFNet0.5870.7SiamFC0.586mStaple0.5780.6fDSST(0.5170.50.4(3)0.3(4)0.20.1F00图5本文算法与其他算法在OTB100上的精确度和成功率对比从图5可以看出，本文算法相比于基准算法SiamFC表现较优，在成功率指标上提升0.7%，在精确度指标上提升了3.4%，相比于Staple和fDSST以及CFNet所代表的相关滤波器算法，本文算法在两项指标上都有较大的领先。相对比DeepSRDCF算法较差，但是DeepSRDCF速度仅有4fps，无法满足实时性的要求。SiamRPN同时对目标分类和对预测框回归，并使用更大的数据集进行训练，得到了良好的效果，本文算法与之尚存在差距，但本文算法结构简单，模型复杂度较小，在使用相对较小的训练集和较少的训练时间便可以达到不错的效果。为了更加直观地展示算法的跟踪性能，选取数据集部分视频序列对跟踪情况进行可视化，如图6 所示。图6（a）展示了遮挡场景。在8 9顿时目标受到强烈光照，此时多个算法已经出现跟丢的情况，而SiamRPN和CFNet算法虽然跟踪住目标，却产生了位置偏差和包围框大小估计不准的情况，而本文算法依旧能给出较准确的结果。在第10 7 顿时，出现了目标物体被遮挡的情况，此时只有本文算法能准确地估计结果，其余算法均受到遮挡的影响从而估计尺度较差。图6(b)展示了旋转和光照变化场景。从第10 顿到10 3帧，目标处于不停旋转过程中，在第10 3帧时，除SiamRPN和本文算法，其余算法均已出现跟丢目标的情况，而SiamRPN算法尺度估计较差，本文算法估计较好。在第114帧时，目标背景处受到突然强烈的光照，此时仍然只有本文算法跟踪成功且尺度估计较好。F0032#0089DeepSRDCF0.851-D-SiamRPN0.850*本文算法0.8 0 6 0Staple 0.784CFNet 0.778-SiamFC 0.772fDSST0.68711020位置误差阅值/像素(a)精确度图0.2(a)Tiger视频序列#010(b)MotorRolling视频序列30400.4重叠阅值(b)成功率图F010750StapleDeepSRDCF(c)7种算法的跟踪标注框示意图图6 7 种算法在2 种视频序列下的跟踪可视化结果820.6SiamRPNFDSST0.8CFNetSiamFC本文算法Changjiang Information&Communications为进一步确定本文所提算法模型轻量级程度以及算法运行速度，将本文算法与基准算法SiamFC进行比较，其结果如表1所示。表1模型大小以及速度对比实验跟踪算法模型大小/kBSiamFC9145本文算法11855结果证明，本文与基准算法SiamFC相比模型略大，但速度依旧保持较高的水平，完全满足了实时性的要求，这也验证了本文算法兼并速度与精度的优越性。5结语本文提出一种基于难样本挖掘和混合注意力模块的目标跟踪算法。本算法在训练过程中使用难样本挖掘的数据增强方法，并在李生网络的模板分支进行残差连接，保留目标位置信息，然后在搜索分支引入混合注意力模块来提高模型特征提取能力。使用深度可分离卷积降低模型复杂度来保证算法速度。实验结果证明本文算法比基准算法SiamFC表现更好，但是本文算法没有考虑模板更新问题，未来的工作将着重在此方面进行改进，以进一步提高算法的性能。参考文献：1 MENG L,YANG X.A survey of object tracking algorithmsJ.Acta Automatica Sinica,2019,45(7):1244-1260.2 李玺,查宇飞,张天柱,等.深度学习的目标跟踪算法综述J.中国图象图形学报,2 0 19,2 4(12)：2 0 57-2 0 8 0.3 BERTINETTO L,VALMADRE J,HENRIQUES J F,et al.Fully-convolutional siamese networks for object trackingC/HUA G,JEGOU H.Proceedings of European Confer-ence on Computer Vision Workshops.Amsterdam,Nether-lands:Springer,2016:850-865.4 HU J,SHEN L,SUN G,et al.Squeeze-and-excitation net-worksC/IEEE.Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.Salt Lake City,USA:IEEE Computer Society Press,2018:7132-7141.5 CAO Y,XU J,LIN S,et al.GCNet:non-local networks meet squeeze-excitation networks and beyondC/IEEE.Proceedings of the IEEE/CVF Intemational Conference on Computer Vision Workshops.Se-oul,Korea(South):IEEE Computer Society Press,2019:1971-1980.6 HOWARD A G,ZHU M,CHEN B,et al.MobileNets:effi-+.T.+（上接第7 9页）为实现对该方法在相关领域内的进一步推广使用，在后续工作中，将根据相关工作的具体需求，加大对此方法的测试与投入，通过此种方式，持续完善该方法的功能与综合性能。参考文献：1李军锋.多源数据融合的倾斜摄影三维建模在土地整备中的应用一一以虎门镇威远岛土地整备项目为例J.房地产世界,2 0 2 2,(2 2):35-38.2刘春杉,曾元武,罗宏明,等.广东省国土空间规划“一张图”实施监督信息系统下的海洋数据融合研究与实践J.测绘通报,2 0 2 2,(0 6):154-157.3张小飞,李宝宝,曾浩威,等.未知互耦影响下的多阵直接定83张焱焱：基于难样本挖掘与混合注意力机制的目标跟踪算法cient convolutional neural networks for mobile vision ap-plications EB/OL.(2017-05-17)2023-02-02.https:/ar-xiv.0rg/abs/1704.04861.7 HE K M,ZHANG X Y,REN S Q,et al.Deep residual learningfor image recognition C/IEEE.Proceedings of the IEEE速度/FPSConference on Computer Vision and Pattern Recognition.Las97Vegas,USA:IEEE Computer Society Press,2016:770-778.638 KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Image-Net classification with deep convolutional neural networksJ.Communications of the ACM,2017,60(6):84-90.9 HUANG L H,ZHAO X,HUANG K Q.GOT-10K:a largehigh-diversity benchmark for generic object tracking in thewildJ.IEEE Transactions on Pattern Analysis and MachineIntelligence,2019,43(5):1562-1577.10 WU Y,LIM J,YANG M H.Object tracking benchmarkJ.IEEE Transactions on Pattern Analysis and Machine Intelli-gence,2015,37(9):1834-1848.11 DANELLJAN M,HAGER G,FELSBERG M,et al.Convo-lutional features for correlation filter based visual trackingC/IEEE.Proceedings of IEEE International Conferenceon Computer Vision Workshops.Santiago,Chile:IEEE Com-puter Society Press,2015:621-629.12 LI B,YAN J J,WU W,et al.High performance visual trackingwith siamese region proposal networkC/IEEE.Proceed-ings of the IEEE Conference on Computer Vision and Pat-tern Recognition.Salt Lake City,USA:IEEE Computer So-ciety Press,2018:8971-8980.13 VALMADRE J,BERTINETTO L,HENRIQUES J,et al.End-to-end representation learning for correlation filter bas-ed trackingC/IEEE.Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition.Honolulu,USA:IEEE Computer Society Press,2017:2805-2813.14 BERTINETTO L,VALMADRE J,GOLODETZ S,et al.Sta-ple:complementary learners for real-time tracking C/IEEE.Proceedings of the IEEE Conference on Computer Vi-sion and Pattern Recognition.Las Vegas,USA:IEEE Com-puter Society Press,2016:1401-1409.15 DANELLJAN M,HAGER G,KHAN F S,et al.Discrimina-tive scale space tracking JJ.IEEE Transactions on PatternAnalysis and Machine Intelligence,2016,39(8):1561-1575.+位：基于子空间数据融合与降维搜索J.数据采集与处理,2022,37(06):1208-1217.4钟琦,杨波,朱莎,等.基于深度学习的配电网工程数据融合与智能分析方法研究J.电子设计工程,2 0 2 2,30(2 1):131-135.5钟国华,胡建敏,倪向东.基于数据融合模型的科技服务资源池构建方法一一以珠三角城市群综合科技服务智能门户平台建设为例J.广东科技,2 0 2 2,31(10):6 0-6 4.6龚健雅,张展,贾浩巍,等.面向多源数据地物提取的遥感知识感知与多尺度特征融合网络J.武汉大学学报(信息科学版),2 0 2 2,47(10):1546-1554.7任雪婷.无线传感器网络数据融合技术仿真研究1.长江信息通信,2 0 2 2,35(0 2):8 4-8 6.