基于无锚的轻量化孪生网络目标跟踪算法.pdf

第6 1卷 第4期吉 林 大 学 学 报(理 学 版)V o l.6 1 N o.4 2 0 2 3年7月J o u r n a l o f J i l i nU n i v e r s i t y(S c i e n c eE d i t i o n)J u l y 2 0 2 3d o i:1 0.1 3 4 1 3/j.c n k i.j d x b l x b.2 0 2 2 3 3 5基于无锚的轻量化孪生网络目标跟踪算法丁贵鹏1,陶 钢1,庞春桥1,王小峰1,段桂茹2(1.南京理工大学 能源与动力工程学院,南京2 1 0 0 9 4;2.陆军装备部驻吉林地区军事代表室,吉林 吉林1 3 2 0 0 0)摘要:针对运算资源受限条件下难以实现高精度、高帧率跟踪的问题,提出一种基于无锚的轻量化孪生网络目标跟踪算法.首先使用修改的轻量级网络M o b i l e N e t V 3作为主干网络提取特征,在保持深度特征表达能力的同时减小网络的参数量和计算量;然后对传统互相关操作,提出图级联优化的深度互相关模块,通过丰富特征响应图突出目标特征重要信息;最后在无锚分类回归预测网络中,采用特征共享方式减少参数量和计算量以提升跟踪速度.在两个主流数据集OT B 2 0 1 5和VOT 2 0 1 8上 进 行 对 比 实 验,实 验 结 果 表 明,该 算 法 相 比 于S i a m F C跟踪器有较大的精度优势,并且在复杂跟踪场景下更具鲁棒性,同时跟踪帧率可达1 7 5帧/s.关键词:目标跟踪;孪生网络;轻量级网络M o b i l e N e t V 3;互相关模块;无锚中图分类号:T P 3 9 1 文献标志码:A 文章编号:1 6 7 1-5 4 8 9(2 0 2 3)0 4-0 8 9 0-0 9L i g h t w e i g h t S i a m e s eN e t w o r kT a r g e tT r a c k i n gA l g o r i t h mB a s e do nA n a n c h o rF r e eD I NGG u i p e n g1,T AOG a n g1,P ANGC h u n q i a o1,WANGX i a o f e n g1,DUANG u i r u2(1.S c h o o l o fE n e r g ya n dP o w e rE n g i n e e r i n g,N a n j i n gU n i v e r s i t yo fS c i e n c ea n dT e c h n o l o g y,N a n j i n g2 1 0 0 9 4,C h i n a;2.M i l i t a r yR e p r e s e n t a t i v eO f f i c e i nJ i l i nR e g i o n,A r m yG e n e r a lA r m a m e n tD e p a r t m e n t,J i l i n1 3 2 0 0 0,J i l i nP r o v i n c e,C h i n a)收稿日期:2 0 2 2-0 8-0 7.第一作者简介:丁贵鹏(1 9 8 2),男,汉族,博士研究生,从事视觉观瞄系统设计的研究,E-m a i l:d i n g g u i p e n g1 6 3.c o m.通信作者简介:陶 钢(1 9 6 2),男,汉族,研究员,从事火炮设计与研发的研究,E-m a i l:t a o g a n g n j u s t.e d u.c n.基金项目:国家自然科学基金天文联合基金项目(批准号:U 1 7 3 1 2 4 0).A b s t r a c t:A i m i n ga tt h ep r o b l e mt h a t i tw a sd i f f i c u l tt oa c h i e v eh i g h-p r e c i s i o na n dh i g hf r a m er a t et r a c k i n gu n d e rl i m i t e dc o m p u t i n gr e s o u r c e s,w ep r o p o s e dal i g h t w e i g h ts i a m e s en e t w o r kt a r g e tt r a c k i n ga l g o r i t h mb a s e do na n a n c h o rf r e e.F i r s t l y,t h em o d i f i e dl i g h t w e i g h tn e t w o r k M o b i l e N e t V 3w a su s e da s t h eb a c k b o n en e t w o r k t oe x t r a c t f e a t u r e s,a n d r e d u c e dp a r a m e t e r s a n dc o m p u t a t i o no f t h en e t w o r k w h i l e m a i n t a i n i n g d e e pf e a t u r e e x p r e s s i o n c a p a b i l i t y.S e c o n d l y,f o rt r a d i t i o n a lc r o s s-c o r r e l a t i o no p e r a t i o n,w ep r o p o s e dd e e pc r o s s-c o r r e l a t i o n m o d u l ef o rg r a p hc a s c a d i n go p t i m i z a t i o n,w h i c hh i g h l i g h t e di m p o r t a n ti n f o r m a t i o no ft a r g e tf e a t u r e st h r o u g hr i c hf e a t u r er e s p o n s eg r a p h s.F i n a l l y,f e a t u r es h a r i n gw a su s e dt or e d u c ep a r a m e t e r sa n dc o m p u t a t i o nt o i m p r o v e t r a c k i n gs p e e d i nt h ea n c h o rc l a s s i f i c a t i o nr e g r e s s i o np r e d i c t i o nn e t w o r k.C o m p a r a t i v ee x p e r i m e n t sw e r ec o n d u c t e do nt w om a i n s t r e a md a t a s e t sOT B 2 0 1 5a n dVOT 2 0 1 8,t h ee x p e r i m e n t a l r e s u l t ss h o wt h a t t h ea l g o r i t h mh a sas i g n i f i c a n ta c c u r a c ya d v a n t a g e sc o m p a r e dt oS i a m F Ct r a c k e r,a n di sm o r er o b u s ti nc o m p l e xt r a c k i n gs c e n e s.A t t h es a m e t i m e,t h e t r a c k i n gf r a m er a t ec a nr e a c h1 7 5f r a m e s/s.K e y w o r d s:t a r g e tt r a c k i n g;s i a m e s en e t w o r k;l i g h t w e i g h tn e t w o r k M o b i l e N e t V 3;c r o s s-c o r r e l a t i o nm o d u l e;a n c h o r f r e e目标跟踪在智能安防、自动驾驶等领域应用广泛1.近年来,随着技术理论与硬件资源的发展,目标跟踪在跟踪准确性和鲁棒性方面取得了巨大成功,但由于在实际应用场景中计算机硬件运算资源通常受限,视觉跟踪在跟踪速度方面仍存在很大的局限性.因此,设计一种平衡速度与精度的跟踪器具有重要意义.目前,目标跟踪领域研究的重点大多数为如何进一步提升跟踪准确率,导致跟踪算法使用的网络结构越来越复杂,需要的计算资源越来越多.而目标跟踪应用场景是针对视频序列,速度是跟踪的一个重要指标,不能实现实时跟踪的算法在目标跟踪领域毫无意义.因此,本文在S i a m F C2基础上,提出一种基于无锚的轻量级孪生网络目标跟踪算法,以在计算资源受限环境下更好地平衡跟踪精度与速度.针对现有S i a m F C网络结构,修改轻量级网络M o b i l e N e t V 33作为主干网络,使提取的特征更适合于跟踪任务,进一步调整网络结构.提出级联优化的深度互相关模块,丰富特征响应图,突出目标特征重要信息,强化对跟踪有利的特征.对于无锚分类回归预测网络,采用特征共享方式减少参数量和计算量以提升跟踪速度.1 相关工作目标跟踪目前主要分为相关滤波类和深度学习类两大分支.相关滤波类跟踪算法主要采用梯度直方图特征、颜色特征等手工特征设计跟踪器,算法推理时间快,以K C F4和f D S S T5等为代表.但由于手工设计的浅层特征较简单,在应对目标跟踪过程中的复杂挑战时,稳定性较差.由于深度特征具有更强的表达能力,因此深度学习类跟踪算法在跟踪精度方面成果显著.但以MD N e t6为代表的深度网络类跟踪算法的预训练网络异常巨大,为提升跟踪精度需使用大量高维特征,导致跟踪的帧率只有几帧,完全不能满足实际应用场景.近年来,使用深度特征的孪生网络目标跟踪算法受到广泛关注,其在保持对首帧框选目标精准跟踪的同时,还可以实现高速稳定的跟踪.为进一步提升孪生网络跟踪算法的跟踪性能,基于S i a m F C已相继提出了一些更高效的改进算法,如构建训练多个孪生网络分支的MB S T7和使用R e s N e t 5 0作为主干网络的S i a mDW8等.孪生网络目标跟踪算法由两支结构相同权重共享的神经网络构成,如图1所示.其主要思想是将目标跟踪任务转化为相似性度量问题,通过两个相同子网络分别对首帧框选的目标模板和视频后序每图1 孪生网络类目标跟踪算法结构F i g.1 S t r u c t u r eo f s i a m e s en e t w o r kt a r g e t t r a c k i n ga l g o r i t h m一帧的搜索区域进行特征提取,获得模板特征向量和搜索特征向量.然后使用相似度量函数计算两路特征向量的相似性程度,从而确定目标在搜索区域中出现的位置.孪生网络跟踪原理的数学表达式为f(Z,X)=(Z)*(X),(1)其中f(Z,X)表示构造的相似性度量函数,Z是视频序列首帧中框选的目标模板图像,X是视频序列每帧的搜索区域图像,()表示两支结构相同权重共享的神经网络所提取的特征向量,*表示互相关运算.则跟踪过程为将第一帧中选定的目标模板图像和待跟踪搜索图像送入孪生网络中,通过两支结构相同权重共享的主干网络可得到两路特征向量,然后通过互相关运算计算相似程度.即以模版特征向量作为卷积核对搜索特征向量进行卷积,得到得分响应图,特征相应得分数值的大小直接反应目标在该分数位置出现的概率.分值最高的位置即待跟踪目标在这一帧搜索图像中的位置,然后对特征响应图中得分最高的位置进行多尺度变化,从而在原图中确定目标边界框.198 第4期 丁贵鹏,等:基于无锚的轻量化孪生网络目标跟踪算法 2 算法设计算法的整体框架如图2所示.首先,使用两支权值共享的轻量级网络M o b i l e N e t V 3构建成孪生网络分别提取模板图像和搜索图像的深度特征;其次,提出图级联优化的深度互相关模块替代传统互相关操作,通过丰富特征响应图突出目标特征重要信息;最后,对于图级联优化深度互相关模块输出的特征响应图,直接通过分类回归网络以无锚方式估计目标预测框在搜索图像中的位置信息.图2 本文算法结构F i g.2 S t r u c t u r eo fp r o p o s e da l g o r i t h m2.1 轻量级骨干网络M o b i l e N e t V 3目前在目标跟踪算法中使用孪生网络结构的多采用R e s N e t 5 09作为主干网络提取特征,可显著提升目标跟踪的精度,但也会使网络结构更复杂、增加网络的计算量,导致目标跟踪算法所需的硬件设备在计算资源上要求极高.因此,导致在算力较差的设备上进行跟踪时受到极大限制,每帧所需的时间大幅度提升,从而无法达到实时跟踪的效果.为降低网络的复杂度而采用较简单的A l e x N e t作为主干网络提取特征,确实能在速度上大幅度提升,但由于A l e x N e t的网络层数较少,不能提取到更深层的语义信息,算法的鲁棒性较低.所以综合考虑算法在现实设备算力受限的情况下,达到实时跟踪以及较好的跟踪效果,本文进行了大量的实验进行算法效果对比,最终发现采用M o b i l e N e t V 3作为主干网络可在保持良好跟踪精度的同时所需的计算量最少,适合于算力匮乏的情况.M o b i l e N e t V 3是在M o b i l e N e t V 11 0和M o b i l e N e t V 21 1上进行了优化,保存了M o b i l e N e t V 1经典的深度可分离卷积,并在M o b i l e N e t V 2的具有线性瓶颈的残差结构中引入了S E(s q u e e z e-a n d-e x c i t a t i o n)通道注意力模块,使网络结构更稳定.常用的神经网络参数量对比结果列于表1.表1 常见神经网络参数量对比T a b l e1 C o m p a r i s o no f c o mm o nn e u r a l n e t w o r kp a r a m e t e r s网络模型参数量计算量/M a d d sT o p_1精度/%A l e x N e t6 21 067 2 01 066 3.0R e s N e t2 61 063.51 097 9.0M o b i l e N e t V 14.21 065 7 51 067 0.6M o b i l e N e t V 23.41 063 0 01 067 2.0M o b i l e N e t V 35.41 062 1 91 067 5.2 注:M a d d s为乘加累积操作,1M a d d s包含1个乘法操作和1个加法操作.298 吉 林 大 学 学 报(理 学 版)第6 1卷 深度可分离卷积主要由深度卷积和点卷积两部分构成.深度卷积的计算过程如图3(A)所示,对于输入特征的各通道分别使用卷积核进行独立的卷积操作,其中每个卷积核大小为DkDk1.点卷积过程如图3(B)所示,对于深度卷积输出的深度特征再进行一次卷积操作,即采用核为11的标准卷积调整特征维度从而获得一个新的特征图.图3 深度可分离卷积F i g.3 D e e ps e p a r a b l ec o n v o l u t i o n假设要将大小为DFDFM的输入特征图通过卷积获得大小为DFDFN的新特征,使用卷积核的大小为Dk,一次标准卷积所需的计算量大小为MA Cc o n v=DFDFMNDkDk.(2)则深度可分离卷积所需计算量为MA CDW c o n v=DFDFMDkDk+MNDFDF.(3)二者计算量比值为=MA CDW c o n vMA Cc o n v=DFDFMDkDk+MNDFDFDFDFMNDkDk=1N+1D2k.(4)M o b i l e N e t V 2中的倒残差模块,可在保证参数量较小的同时获得更丰富的特征信息,但特征图不同通道对不同目标的响应不均衡,可能在所有特征通道中仅有少数通道对所需关注的目标具有较高的响应,此时网络对不同通道提取的特征赋予相同的权重会降低算法的性能.M o b i l e N e t V 3为解决该问题在倒残差结构中引入了S E通道注意力机制,根据特征的重要程度赋予不同的权重,虽然增加了一部分参数量,但对跟踪的时间影响不明显,极大提高了网络对目标关键特征的敏感度.M o b i l e N e t V 3网络采用的总步长为1 6,其最后的输出特征包含更多的类别信息,更适用于对目标类别的区分,但对于本文的跟踪,网络需要输出的特征还需要包含足够多的空间信息,从而有利于确定待跟踪目标的位置,因此保留更多的空间信息极为重要.而网络总的步长会直接影响特征图的输出尺寸及感受野的大小,所以为保留更多的空间特征信息,可适当减小网络步长.如果网络步长过小又会导致特征感受野的增大,进而导致跟踪目标的位置特征丢失明显,跟踪的精度也会极大降低.但感受野如果太小目标尺寸较大时,会导致提取的特征语义不足,使跟踪需要更大的计算负担,极大降低了跟踪效果.大量的对比实验表明,在网络步长为8时,跟踪的精度和速度等指标会更好,所以本文最终采用的步长为8.为保持较好的跟踪效果以及网络推理速度,本文在M o b i l e N e t V 3原网络结构上去掉了第5个s t a g e,并将第4个s t a g e中最后一个卷积操作的步长改为1,用于保留更多的深层特征信息,将第4个s t a g e最后一层的输出作为最终的特征图.表2列出了本文在M o b i l e N e t V 3基础上修改后的网络结构.表2 主干网络结构T a b l e2 B a c k b o n en e t w o r ks t r u c t u r e模板分支输入尺寸搜索分支输入尺寸对应操作是否使用通道注意力机制激活函数类型步长1 1 21 1 232 5 62 5 63C o n v,33h-s w i s h25 65 61 61 2 81 2 81 6B n e c k,33R e L U15 65 61 61 2 81 2 81 6B n e c k,33R e L U22 82 82 46 46 42 4B n e c k,33R e L U1398 第4期 丁贵鹏,等:基于无锚的轻量化孪生网络目标跟踪算法 续表2C o n t i n u e dt o t a b l e2模板分支输入尺寸搜索分支输入尺寸对应操作是否使用通道注意力机制激活函数类型步长2 82 82 46 46 42 4B n e c k,55R e L U21 41 44 03 23 24 0B n e c k,55R e L U11 41 44 03 23 24 0B n e c k,55R e L U11 41 44 03 23 24 0B n e c k,33h-s w i s h2778 01 61 68 0B n e c k,33h-s w i s h1778 01 61 68 0B n e c k,33h-s w i s h1778 01 61 68 0B n e c k,33h-s w i s h1778 01 61 68 0B n e c k,33h-s w i s h1771 1 21 61 61 1 2B n e c k,33h-s w i s h1771 1 21 61 61 1 2B n e c k,55h-s w i s h12.2 图级联优化的深度互相关模块一般的孪生网络2目标跟踪器直接采用卷积操作代替互相关操作得到特征响应图.因此,孪生网络类目标跟踪器中互相关操作的本质就是标准卷积:将孪生网络模板分支中获取的特征作为卷积核,在搜索分支的输出特征上进行卷积,从而得到特征响应图,其中特征响应图每个位置即反应该位置的相似性得分.为简化互相关操作,目前主流孪生网络8,1 2-1 3采用深度可分离卷积替代互相关操作,与原始标准卷积操作相比,极大减少了计算量从而提升跟踪推理速度.特征图对齐对目标跟踪非常重要,由S i a mR P N+1 3可知,简单使用R e s N e t等深层网络替换A l e x N e t不可避免地会引入大量的填充操作,导致提取的特征缺乏严格的平移不变性.S i a mR P N+通过均匀分布的数据增强方式使目标在中心点进行偏移,有效缓解网络因为破坏了严格平移不变性而产生的影响.因此,对于互相关操作不存在特征对齐问题,本文提出级联优化的深度互相关模块.级联优化的深度互相关模块如图2所示.为保持特征响应图在互相关后的空间维度不变,对深度可分离卷积DWC o n v增加填充P a d d i n g操作,在搜索特征图周围填充大小为7填充数据0.由于空间维度不变,DWC o n v操作后的特征响应图与搜索分支特征图空间尺寸保持一致,通过C o n c a t信道级联将DWC o n v操作后的特征响应图与搜索分支特征图进行特征融合,再通过11标准卷积C o n v将融合后的特征通道数调整为与搜索分支特征图通道数相同,以作为下一个DWC o n v操作的输入.本文级联优化的深度互相关模块可以丰富特征响应图,有效突出目标特征的重要信息.2.3 无锚分类回归预测网络分类回归预测网络主要分为分类分支和回归分支两大部分.分类分支主要用于区分图级联优化的深度互相关模块所输出的特征响应图中每个位置的类别,是目标所在的前景还是图像背景.而回归分支主要用于估计图级联优化的深度互相关模块所输出的特征响应图中前景目标的预测框.即分类分支主要利用图级联优化的深度互相关模块所输出的特征响应图中的丰富信息解码得到1 61 62大小的分类特征图.如果分类特征图上(w,h)所对应搜索图像X中的中心点(x,y)落在标签框内,则分类特征图上(w,h)即对应目标前景,否则为图像背景.因此分类特征图中每一位置(w,h,)都表示一个二维向量,即当前帧搜索图像中对应中心点处判定为前景背景的分数.相似地,回归分支将图级联优化的深度互相关模块所输出的特征响应图中的位置信息解码为1 61 64大小的回归特征图.回归特征图中每一位置(w,h,)都表示一个四维向量t(w,h)=(l,t,r,b),即回归特征图上(w,h)所对应搜索图像X中的中心点(x,y)到标签框上、下、左、右边界的距离.因此,回归特征图中每一位置(w,h,)的计算公式为l(w,h)=x-x0,t(w,h)=y-y0,r(w,h)=x1-x,b(w,h)=y1-y,(5)其中(x0,y0)和(x1,y1)分别表示标签框的左上角和右下角坐标,(x,y)表示回归特征图上的点(w,h)在搜索图像X中的中心点.498 吉 林 大 学 学 报(理 学 版)第6 1卷 为进一步优化分类回归预测网络,提升跟踪速度,本文将分类和回归两个分支的特征进行共享,用两个分支分别进行目标前景、背景分类和中心点到边界距离的预测.整体损失函数为L=1Lc l s+2Lr e g,(6)其中:Lc l s为交叉熵损失函数1 4;Lr e g为交并比(I o U)损失1 5;常数1和2为加权超参数,在训练期间1和2都设置为1.3 实验结果与分析3.1 实验环境与参数配置本文所有实验的实验环境配置如下:C P U为I n t e l(R)C o r e(TM)i 5-6 3 0 0 HQ,主频2.3GH z,内存8.0 0G B;G P U为NV I D I AG e F o r c eG T X 1 0 8 0 T i,显存1 1G B.实验使用数据集G o t-1 0 K1 6进行模型离线训练,共5 0个训练阶段,每阶段约1 00 0 0组图片对,使用M o b i l e n e t V 3预训练模型初始化本文跟踪算法的主干网络参数.训练过程中动量设为0.9,采用S G D法进行优化,学习率由1 0-2逐步衰减到1 0-5.3.2 数据集O T B 2 0 1 5基准实验结果数据集OT B 2 0 1 51 7是目标跟踪领域的一个经典数据集,其包含尺度变化、运动模糊、遮挡等1 1个跟踪挑战的1 0 0组图像序列.数据集OT B 2 0 1 5使用真实边界框中目标的位置初始化第一帧,使用跟踪准确率和成功率这两个指标对跟踪算法的性能进行量化.准确率指在整个数据集上跟踪算法预测的中心位置与标签位置之间的像素误差小于2 0的帧数的比例,成功率为跟踪算法预测框与标签的交并比大于0.5的帧数在整个数据集上的比值.本文采用数据集OT B 2 0 1 5进行消融实验和定量定性分析,验证本文算法的有效性.3.2.1 消融实验为验证本文算法中各结构组件的有效性,在数据集OT B 2 0 1 5上分析各部分对跟踪性能的影响.消融实验结果列于表3,其中S i a m F C为基准算法,实验1表示替换基准算法主干网络为M o b i l e N e t V 3,实验2表示在实验1的基础上互相关操作使用本文级联优化的互相关模块,实验3表示在实验2的基础上使用基于无锚的分类回归预测网络代替S i a m F C直接预测方式的总体算法.表3 消融实验结果T a b l e3 R e s u l t so fa b l a t i o ne x p e r i m e n t s评价指标S i a m F C实验1实验2实验3准确率0.7 7 20.8 2 60.8 4 40.8 6 9成功率0.5 8 70.6 1 20.6 3 50.6 4 8 由表3可见:实验1在替换基准算法主干网络为M o b i l e N e t V 3后,准确率和成功率分别提升了5.4%和2.5%;使用本文级联优化的互相关模块的实验2相较于实验1准确率和成功率有1.8%和2.3%的增益;最后在实验2的基础上使用基于无锚的分类回归预测网络代替直接预测方式的总体算法获得最佳跟踪效果.3.2.2 定量分析实验为定量分析验证本文算法的跟踪性能,与其他8种常见跟踪算法进行对比实验,实验结果如图4所示.由图4可见,本文算法的准确率和成功率分别达到0.8 6 9和0.6 4 8,明显优于基准算法S i a m F C,准确率和成功率分别提升了1 2.6%和1 0.4%.由于R e s N e t 5 0的特征提取能力,S i a mDW r p n算法取得了更好的跟踪准确率和成功率,但R e s N e t 5 0作为特征提取的主干网络,其模型参数量较大,难以在资源受限环境下实际应用.同时,跟踪速度能达到1 7 5帧/s,运行速度得到极大提升,在计算资源优先的情况下极具发展潜力.3.2.3 定性分析实验为更直观地展示本文算法的有效性,在数据集OT B 2 0 1 5上选取4组视频序列将跟踪结果可视化,从而定性分析算法性能.这4组视频序列的跟踪难点包含了本文算法试图解决的问题,将本文算法与598 第4期 丁贵鹏,等:基于无锚的轻量化孪生网络目标跟踪算法 S i a m F C,S i a mR P N,S R D C F,S t a p l e4种性能先进的算法进行了比较,图5中红色框、绿色框、蓝色框、青色框、紫色框、黄色框分别代表真实目标框、本文算法、S i a m F C、S i a mR P N、S R D C F、S t a p l e.各算法的非红色预测框与红色的真实目标框重叠反映了各算法的跟踪性能,重叠度越高表明效果越好.图4 定量实验结果F i g.4 Q u a n t i t a t i v e e x p e r i m e n t a l r e s u l t s图5 选定视频序列的定性实验结果F i g.5 Q u a l i t a t i v e e x p e r i m e n t a l r e s u l t so f s e l e c t e dv i d e o s e q u e n c e s由图5(A)可见,待跟踪目标为机械臂夹取的开发板,在视频中机械臂快速移动目标物开发板,并频繁与其他物体互相遮挡.由可视化结果可见,在第2 6 9帧时由于目标物在快速运动,且背景图像中出现相似物移动过程中与目标相似背景,青色框的S i a mR P N跟踪器率先出现漂移,丢失目标.S t a p l e跟踪器的黄色框变大重叠率变小,只有本文算法和S i a m F C紧凑地跟踪目标.从2 6 95 1 2帧时,随着目标发生平面内旋转并伴随尺度变化,紫色框的S R D C F跟踪器越来越小,无法有效跟踪目标,S i a m F C跟踪器的重叠率也开始变小,本文算法与标签框仍保持较高的重叠率.从5 1 25 9 4帧时,由698 吉 林 大 学 学 报(理 学 版)第6 1卷 于目标在图像内快速运动同时进行高速旋转,导致目标外观快速变化,S R D C F也彻底跟丢,S i a m F C跟踪器出现跟踪漂移,本文算法始终保持对目标较稳定的跟踪.由图5(B)可见,待跟踪目标跳水运动员在跳水过程中快速旋转并发生姿态变形.由于目标的快速旋转,在第8 6帧时,S i a m F C,S i a mR P N,S t a p l e相继跟丢目标,随着目标的进一步运动与姿态形变,在第1 4 5帧时仅有S R D C F和本文算法能对目标保持有效跟踪,从1 4 52 1 2帧,待跟踪目标运动员进一步发生形状变化,S R D C F的紫色框与红色真实标签框之间的重叠率开始变小,在第2 1 2帧时,S R D C F对目标的跟踪已经不十分准确,只有本文算法一直保持对目标的紧凑稳定跟踪.由图5(C)可见,待跟踪目标李小龙男孩在与小怪兽战斗过程中,由于快速运动导致目标的空间尺寸大小变化也非常频繁,且存在旋转和运动模糊.从初始帧到第3 3帧时,目标发生了旋转,此时S i a m F C和S i a mR P N的预测框率先发生漂移,且S i a m F C跟踪器彻底丢失目标,而S i a mR P N跟踪器对于目标的定位已经十分不准确,在接下来的视频序列里,目标发生了快速移动,运动到第4 4帧时,仅有本文算法能够定位目标,其他算法全部跟丢;从4 48 2帧过程中,目标存在运动模糊、旋转等跟踪挑战,本文算法在该过程中是唯一实现稳定且紧凑跟踪目标的算法.与对比算法相比,本文算法可以更好应对由快速运动导致目标的空间尺寸大小变化频繁问题.由图5(D)可见,待跟踪球员由于手持奖杯,在庆祝过程中不仅存在运动模糊还存在奖杯频繁遮挡的目标挑战,而且在视频序列中还存在大量相似背景以及镜头运动导致目标角度发生变化.从第7 09 4帧,目标快速运动出现模糊和奖杯遮挡,本文算法的绿色框在此过程中一直保持较高的重叠率,紧凑地跟踪目标,展现出跟踪性能的稳定.而S i a m F C和S i a mR P N相继丢失跟踪目标.在接下来的视频序列中,由于镜头的移动以及相似物的干扰,黄色框S t a p l e跟踪器彻底丢失目标,所有跟踪算法都丢失目标.S i a m F C和S i a mR P N找回目标但重叠率较低.到3 2 6帧时,只有本文算法和S i a m F C可以保持对目标的跟踪.相对而言,本文算法与真实边界框的重叠率更高、跟踪效果更好.3.3 数据集V O T 2 0 1 8实验分析数据集VOT 2 0 1 8包含6 0组视频序列,具有多种挑战,是当前单目标跟踪算法性能分析的主流测试数据集.评价指标采用期望重叠率(E AO)、准确性(A)和鲁棒性(R),其中准确性和期望重叠率数值越高且鲁棒性数值越低表示算法性能越好.本文引入了E C O,S i a m F C,S i a mR P N,f D S S T,S t a p l e,D S i a m,C C OT,S R D C F,C F N e t等具有代表性的常见单目标跟踪算法,进行跟踪性能对比.在相同的硬件平台上使用数据集VOT 2 0 1 8进行对比分析.各算法的跟踪性能量化指标列于表4.表4 数据集V O T 2 0 1 8实验跟踪结果T a b l e4 E x p e r i m e n t a l t r a c k i n gr e s u l t so fV O T 2 0 1 8d a t a s e t跟踪算法E AOAR帧率/(帧s-1)跟踪算法E AOAR帧率/(帧s-1)f D S S T0.1 0 70.4 9 20.1 2 27 2S i a mR P N0.3 8 40.5 8 80.2 7 61 6 0S t a p l e0.1 7 90.5 2 40.6 5 55 6S R D C F0.1 1 90.4 9 00.9 4 74S i a m F C0.1 8 80.5 0 90.5 8 58 6C F N e t0.1 8 20.4 7 00.5 4 36 0D S i a m0.1 9 60.5 1 20.6 5 44 5E C O0.2 8 00.4 8 40.2 7 68C C O T0.2 6 70.4 9 40.3 1 81本文0.3 9 30.5 9 00.3 1 61 7 5 由表4可见,与基准算法S i a m F C相比,本文提出的跟踪算法具有较高的跟踪准确性A(0.5 9 0)、良好的鲁棒性R(0.3 1 6),并且与对比算法相比获得了最优的期望重叠率E AO(0.3 9 3).本文算法相比于S i a m F C基准算法不仅有效改善了跟踪准确性,而且还可以以高达1 7 5帧/s的跟踪速度稳定跟踪.同时,相比于S i a mR P N基准算法期望重叠率提高了2.3%.因此,本文算法能更好地平衡跟踪精度与速度,具有更大的应用空间.综上所述,为更好地平衡跟踪速度与精度,在S i a m F C基准算法基础上本文提出了一种基于无锚的轻量化孪生网络目标跟踪算法.先使用修改的M o b i l e N e t V 3作为主干网络提取特征,然后针对互相关操作提出一种图级联优化的深度互相关模块获取特征响应图,最后通过分类回归网络以无锚的方式对特征响应图预测目标边界框.本文算法在数据集OT B 2 0 1 5和VOT 2 0 1 8上相比于基准算法S i a m F C取得了更好的速度与精度率.实验结果表明,本文算法在保持良好跟踪性能的同时大幅度提升了跟踪798 第4期 丁贵鹏,等:基于无锚的轻量化孪生网络目标跟踪算法 速度,有效解决了速度和精度的平衡问题,在计算资源受限环境下具有一定的应用价值.参考文献1 李玺,查宇飞,张天柱,等.深度学习的目标跟踪算法综述 J.中国图象图形学报,2 0 1 9,2 4(1 2):2 0 5 7-2 0 8 0.(L IX,CHAYF,Z HAN G TZ,e ta l.O v e r v i e wo fD e e pL e a r n i n gT a r g e tT r a c k i n gA l g o r i t h m sJ.C h i n e s eJ o u r n a l o f I m a g ea n dG r a p h i c s,2 0 1 9,2 4(1 2):2 0 5 7-2 0 8 0.)2 B E R T I N E T T OL,VA LMA D R EJ,HE N R I QU E SJF,e ta l.F u l l y-C o n v o l u t i o n