面向视频卫星的多目标跟踪技术.pdf

中国空间科学技术F e b.2 5 2 0 2 4 V o l.4 4 N o.1 1 4 4-1 5 3C h i n e s e S p a c e S c i e n c e a n d T e c h n o l o g yI S S N1 0 0 0-7 5 8 X C N1 1-1 8 5 9/Vh t t p:z g k j.c a s t.c nD O I:1 0.1 6 7 0 8/j.c n k i.1 0 0 0-7 5 8 X.2 0 2 4.0 0 1 6面向视频卫星的多目标跟踪技术陈海涛1,2,马骏1,李峰2,*,鹿明3,鲁啸天2,张南21.河南大学 软件学院,开封4 7 5 1 0 02.中国空间技术研究院 钱学森空间技术试验室,北京1 0 0 0 9 43.中国航天科技创新研究院 先进智能算法中心,北京1 0 0 1 6 3摘 要:随着面阵探测器的广泛使用,面向视频卫星的多目标跟踪具有重要意义,但基于图结构的多目标跟踪方法,在图的构建中,大多数从相邻帧提取线索,而忽略了以往帧的线索。针对这个问题,提出了一个端到端的图网络框架,利用从多帧中提取的运动特征、外观特征、拓扑信息等多种线索,对图的节点、边和全局变量进行构建。实现这个统一框架的一个关键原则是为不同的线索和不同的来源(轨迹和检测目标)设计兼容的特征表示和图网络更新机制。该框架以前馈的方式运行,并以在线的方式进行训练。在公共数据集V I S O、MOT 1 6、MOT 1 7基准上评测,取得了9 9.8%、4 8.8%、5 1.8%的多目标跟踪精度,优于其他相关多目标跟踪算法,并通过消融试验验证了各个线索对多目标跟踪性能提高的有效性,未来在智慧交通、智慧城市、军事战争等诸多领域具有广泛应用场景。关键词:多目标跟踪;视频卫星;图结构;时空信息;运动特征;外观特征中图分类号:V 1 9 文献标识码:A收稿日期:2 0 2 2-0 7-2 6;修回日期:2 0 2 2-0 9-2 9;录用日期:2 0 2 2-1 0-0 9基金项目:科技部重点研发计划(2 0 2 0 Y F A 0 7 1 4 1 0 0);国家自然科学基金青年科学基金项目(4 2 2 0 1 4 4 2)*通信作者.E-m a i l:f e n g_l i a l i y u n.c o m引用格式:陈海涛,马骏,李峰,等.面向视频卫星的多目标跟踪技术J.中国空间科学技术,2 0 2 4,4 4(1):1 4 4-1 5 3.C HE N H T,MA J,L I F,e t a l.A n e w m u l t i-t a r g e t t r a c k i n g m e t h o d f o r v i d e o s a t e l l i t e d a t aJ.C h i n e s e S p a c e S c i e n c e a n d T e c h n o l o g y,2 0 2 4,4 4(1):1 4 4-1 5 3(i n C h i n e s e).A n e w m u l t i-t a r g e t t r a c k i n g m e t h o d f o r v i d e o s a t e l l i t e d a t aC H E N H a i t a o1,2,MA J u n1,L I F e n g2,*,L U M i n g3,L U X i a o t i a n2,Z H A N G N a n21.C o l l e g e o f S o f t w a r e,H e n a n U n i v e r s i t y,K a i f e n g 4 7 5 1 0 0,C h i n a2.Q i a n X u e s e n S p a c e T e c h n o l o g y L a b o r a t o r y,C h i n a A c a d e m y o f S p a c e T e c h n o l o g y,B e i j i n g 1 0 0 0 9 4,C h i n a3.A d v a n c e d I n t e l l i g e n t A l g o r i t h m C e n t e r,C h i n a A c a d e m y o f A e r o s p a c e S c i e n c e a n d T e c h n o l o g y I n n o v a t i o n,B e i j i n g 1 0 0 1 6 3,C h i n aA b s t r a c t:W i t h t h e w i d e s p r e a d u s e o f a r e a a r r a y d e t e c t o r s,m u l t i-t a r g e t t r a c k i n g f o r v i d e o s a t e l l i t e s h a s b e c o m e o f g r e a t s i g n i f i c a n c e.H o w e v e r,f o r m u l t i-t a r g e t t r a c k i n g m e t h o d s b a s e d o n g r a p h s t r u c t u r e,i n t h e c o n s t r u c t i o n o f g r a p h s,m o s t o f t h e m e x t r a c t c l u e s f r o m a d j a c e n t f r a m e s,i g n o r i n g t h e p r e v i o u s f r a m e c l u e s.I n r e s p o n s e t o t h e a b o v e p r o b l e m s,a n e n d-t o-e n d g r a p h n e t w o r k f r a m e w o r k w a s p r o p o s e d t o c o n s t r u c t t h e n o d e s,e d g e s a n d g l o b a l v a r i a b l e s o f t h e g r a p h,u s i n g v a r i o u s c l u e s s u c h a s m o t i o n f e a t u r e s,a p p e a r a n c e f e a t u r e s,a n d t o p o l o g y i n f o r m a t i o n e x t r a c t e d f r o m m u l t i p l e f r a m e s.A k e y p r i n c i p l e t o r e a l i z e t h i s u n i f i e d f r a m e w o r k i s t o d e s i g n c o m p a t i b l e f e a t u r e r e p r e s e n t a t i o n s a n d g r a p h n e t w o r k u p d a t e m e c h a n i s m s f o r d i f f e r e n t c l u e s a n d d i f f e r e n t s o u r c e s(t r a j e c t o r i e s a n d d e t e c t i o n t a r g e t s).T h e f r a m e w o r k o p e r a t e d i n a f e e d-f o r w a r d f a s h i o n a n d t r a i n e d o n l i n e.B e i n g e v a l u a t e d o n t h e p u b l i c d a t a s e t s V I S O,MO T 1 6,MO T 1 7 b e n c h m a r k s,t h e m u l t i-t a r g e t t r a c k i n g a c c u r a c y o f 9 9.8%,4 8.8%a n d 5 1.8%w a s a c h i e v e d r e s p e c t i v e l y,w h i c h w a s b e t t e r t h a n o t h e r r e l a t e d m u l t i-t a r g e t t r a c k i n g a l g o r i t h m s.A n d t h e a b l a t i o n e x p e r i m e n t s w e r e u s e d t o v e r i f y t h e i m p r o v e m e n t t h a t e a c h c l u e t r a c k s m u l t i p l e t a r g e t s.T h e e f f e c t i v e n e s s o f p e r f o r m a n c e i m p r o v e m e n t w i l l h a v e a w i d e 陈海涛,等:面向视频卫星的多目标跟踪技术1 4 5 r a n g e o f a p p l i c a t i o n s c e n a r i o s i n m a n y f i e l d s s u c h a s s m a r t t r a n s p o r t a t i o n,s m a r t c i t i e s,a n d m i l i t a r y w a r f a r e i n t h e f u t u r e.K e y w o r d s:m u l t i-t a r g e t t r a c k i n g;v i d e o s a t e l l i t e;g r a p h s t r u c t u r e;s p a t i o t e m p o r a l i n f o r m a t i o n;m o t i o n f e a t u r e;a p p e a r a n c e f e a t u r e0 引言视频卫星是近年来兴起的一种新型对地观测卫星。与传统的成像卫星相比,它可以对特定的地面区域进行凝视观测,通过视频的形式记录地表的实时动态信息。其连续的时间序列帧提供了丰富的上下文信息,为运动目标的检测与跟踪提供了重要支撑。这使得视频卫星近年来在城市规模的交通管理1、海洋监测2和智能城市3等领域得到了广泛的应用。在视频卫星条件下,地面车辆目标尺寸较小,形状、纹理特征不明显,背景和目标之间的对比度低,容易被相对较高的树冠、高楼、高架桥等遮蔽,造成视频遮蔽区域内目标丢失,从而引发跟踪错误。另外,多个目标间的相似度高、相互干扰、可分辨性差,也会导致运动目标的跟踪难题。针对上述挑战,稳定地跟踪目标是视频卫星多目标跟踪的重要研究内容。多目标跟踪在视频卫星方面,近年来提出了许多优秀的跟踪算法,这些算法根据检测方式的不同,可以分为基于检测跟踪(d e t e c t i o n-b a s e d t r a c k i n g,D B T)、联 合 检 测 跟 踪(d e t e c t i o n-f r e e t r a c k i n g,D F T)两大类。D B T类算法包含检测器和跟踪器,即基于目标检测结果进行数据关联实现多目标跟踪的模式。首先使用检测器匿名定位目标,然后跟踪器通过数据关联解决目标身份识别问题。这样一个解耦的管道降低了总体复 杂 性,并 将 多 目 标 跟 踪(m u l t i o b j e c t s t r a c k i n g,MOT)的主要注意力转移到一个更统一的问题:轨迹关联。W a n g和 C h a r i等提出了用图网络模型进行轨迹关联4-5,但是图网络模型是静态图,通过将轨迹和检测目标视为节点,将轨迹和检测目标之间的关联视为边来构造图,当节点或边包含的信息过期时,这些静态图模型将失 败。K i m等 利 用 长 短 期 记 忆 网 络(l o n g s h o t m e m o r y n e t w o r k,L S TM)在多假设跟踪框架中对跟踪轨迹进行特征提取6,L S TM对时间进行建模的能力使其成为MOT问题的一个合理选择。然而,该方法不考虑所有轨迹和所有检测目标之间的全局关系。L i 等在图网络模型中引入全局关系7,但是在图的构建中,特征信息仅从相邻两帧中提取,没有利用过去帧中的信息。F e n g等人同时将提取到的长期线索与短期线索融合在一个网络结构中,利用两者的优点以应对MOT场景中的复杂情况8,但是其分别设立单目标跟踪与身份重识别两个网络来承载短期线索与长期线索,降低了匹配效率。B e w l e y等人提出通过卡尔曼滤波,以跟踪框与检测框之间的交并比作为代价矩阵输入匈牙利算法进行目标身份(i d e n t i t y,I D)关联9,该算法简单,运行速度快,但是目标I D的关联不稳定,目标身份切换(I D s w i t c h,I D S)明显。W o j k e在B e w l e y算法的基础上,增加了目标的深度外观特征作为关联代价,初步实现了算法在准确度、速度、I D S的平衡1 0。D F T类算法融合检测器和跟踪器进行联合学习,一个深度网络框架实现检测的同时完成目标跟踪,这也使得该类算法对检测模块更为依赖。W a n g等提出了一个实现检测与嵌入外观特征的联合学习网络,可以实时运行,并且在准确度上与D B T模式相当,但是锚框的存在导致检测与嵌入外观特征存在不对齐的现象1 1。C h u等结合单目标跟踪与数据关联的互补性,构建端对端的视觉多目标跟踪方法,在目标数目较少时可实现较高的跟踪准确度和速度,具备较高的抗遮挡性能1 2。但是处理目标在视野中快速出入及目标数量较多时算法表现不佳。W a n g等人将图结构引入到联合检测跟踪方法中,通过图神经网络(GNN)建模对象关系,以改进检测和数据关联1 3。本文采用了检测跟踪策略,并根据各个方法的优势,分别利用运动特征和外观特征作为输入,融合多种线索,提出了一种基于图结构的时1 4 6 中国空间科学技术F e b.2 5 2 0 2 4 V o l.4 4 N o.1空关联网络。首先利用长短期记忆网络从多帧中提取轨迹信息构建节点、边等特征,其次,随着每帧信息的输入,对图结构的节点和边重新赋值计算。此外,在节点、边特征的基础上增加了全局特征,全局特征通过节点间的融合、边间的融合来捕获所有节点和边之间的全局关系。为了实现在线跟踪能力,跟踪器执行逐帧数据关联,这些关联可以用图形表示为二部图匹配问题。在此基础上建立的匹配问题通过生成成对的相似性来解决,然后求解得到的优化问题来生成关联输出。本文主要创新点如下:1)提出了一种新的基于图结构时空关联网络,利用L S TM方法使图的构建从空间域扩展到时空域,同时在图中增加全局特征,该方法采用在线学习的方式;2)该图网络节点、边和全局变量随着时间可以不断地更新迭代。1 研究方法及原理1.1 整体网络结构多目标跟踪的目的是预测多个目标随时间变化的轨迹,运动特征轨迹由1到t-1帧的所有边界框构成。轨迹集表示为O=Tt-1i ni=1,其中n表示对象总个数。第i个对象的轨迹可以表示为Tt-1i=b1i,b2i,b3i,bt-1i ,轨迹中每个目标 在t-1帧 的 运 动 特 征 表 示 为bt-1i=xt-1i,yt-1i,wt-1i,ht-1i 。xt-1i和yt-1i表示目标在t-1帧的中心位置。wt-1i和ht-1i分别表示目标对象i的宽度和高度。第t帧中新的检测目标表示为D=btj mj=1,其中m表示检测目标个数,每对Tt-1i,btj 分配了相似性分数Sti j,n和m均为二部图的关联基数。首先给定一个包含检测到边界框的新帧t作为输入,跟踪器进行特征提取,图时空关联网络计算已检出的轨迹和新检测到的目标之间的相似性分数Sti j,从而生成一个二部图。然后采用匈牙利算法1 4来获得最优分配。在逐帧进行分配时,将生成轨迹信息,整体流程图如图1所示。主要有3个步骤:特征提取、图时空关联网络、数据关联。1)特征提取。从t帧中的检测目标提取外观特征或运动特征。具体来说,外观特征是利用卷积神经网络(C NN)从检测框中提取。运动特征是一个4维向量,包括中心位置的2 D坐标、物体的宽度和高度。2)图时空关联网络。时空关联网络根据提取到的外观和运动特征,利用L S TM生成轨迹信息,然后根据轨迹信息、检测目标信息、轨迹和检测目标之间的余弦相似度、目标框间的交并比(i n t e r s e c t i o n o v e r u n i o n,I OU)、全局特征等线索推断每个轨迹和每个检测目标之间的相似性。3)数据关联。此过程的输入是轨迹和检测目标之间的相似性分数,然后利用匈牙利算法寻找最佳分配,输出轨迹和检测目标之间的最终关联。图1 图时空关联网络目标跟踪方法整体流程F i g.1 O v e r a l l f l o w c h a r t o f t a r g e t t r a c k i n g m e t h o d i n g r a p h s p a c e-t i m e c o r r e l a t i o n n e t w o r k陈海涛,等:面向视频卫星的多目标跟踪技术1 4 7 1.2 图时空关联网络(1)基于运动特征的图时空关联网络本文基 于GN(g r a p h n e t w o r k)图 网 络 框架1 5,GN图网络框架的计算单位是GN块,GN块的输入是一张图,然后在其结构上进行计算,输出是一个更新后的图。在图中,目标和轨迹被表示成节点,而关系被表示成边,系统层面的特征用全局变量表示。GN块包含节点、边、全局变量更新模块,各个模块在计算过程中,对应的节点、边和全局变量在各自的更新模块中被依次更新。GN块可以根据自身需求自由选择组合更新模块,本文设计了两个更新模块来获取轨迹和检测目标之间的相似度,具体来说,包含一个全局变量更新模块和一个边缘更新模块。这两个更新模块包含了时空信息的利用和图网络的推理,并且把边更新模块放到了末尾。其原因是,节点和全局变量不存在真值,轨迹和检测目标是否存在连接只能通过边反应出来,因此该网络只受边的监督,节点和全局变量主要是为更新边。最终设计的GN块结构如图2所示。图2 G N块网络结构F i g.2 GN b l o c k n e t w o r k s t r u c t u r eGN块结构包括全局更新模块u,边更新模块e,两个更新模块分别由两层全连接层和中间的激活函数构成。输入是节点特征V,由轨迹特征和检测目标特征拼接而成;边特征E由轨迹和检测目标之间的余弦相似度和I OU比值拼接而成,节点特征V和边特征E每一帧都会根据提取到的信息重新赋值计算。全局特征U,第一帧的数值是在0到1之间随机初始化,随后每一帧的输入是前一帧的输出。GN块网络的输出是未经更新的节点特征V;e更新后的边特征E,E与输入的边特征E大小相同;u更新后的全局特征U,U与输入的全局特征U大小相同。V-u表示节点聚合,由当前帧所有的轨迹特征和检测目标特征聚合而来,节点聚合的输出为Vs,E-u表示边聚合,由当前帧所有的轨迹和检测目标之间的余弦相似度与I OU比值聚合而来,边聚合的输出为Es。将图2中的输入特征和更新模块进行展开,可以得到的结构如图3所示。图3 图时空关联网络结构展开图F i g.3 G r a p h s p a t i o t e m p o r a l c o r r e l a t i o n n e t w o r k s t r u c t u r e e x p a n s i o n d i a g r a m用 L表示轨迹特征,是基于L S TM运动特征预测计算的,由于轨迹不一定出现在最后一帧,可 能 出 现 不 完 善 或 者 丢 失 跟 踪,因 此 用L S TM合并一个对象以前的历史窗口作为候选轨迹信息是有必要的。随着每帧运动特征的输入,L S TM每帧都会输出轨迹特征向量,对于t帧中的检测目标来说,L S TM的最终输入为b1i,b2i,b3i,bt-1i 的4 D边界框,并在t-1帧输出轨迹特征向量LRDM,DM为L S TM隐层单元大小。R表示检测目标特征,由t帧中bti边界框坐标经过一层全连接层重新编码得到。I表示轨迹i的最后一个边界框pi与检测目标j的边界框qj的I OU比值,I OU计算如公式(1)所示。然而当目标密集时,I OU对特征表达的自由,也增加了学习紧凑的个体特征的难度。为解决这个问题,增加了两个关系特征之间的余弦相似性作为边特征,用 C表示,由轨迹 L与检测目标 R计算得来,计算如公式(2)所示。L=I OUi,j =A r e apiqj A r e apiqj (1)C=c o sL,R =L R L R(2)1 4 8 中国空间科学技术F e b.2 5 2 0 2 4 V o l.4 4 N o.1 全局变量更新模块u输入是随机初始化的全局变量U、聚合后的节点Vs、聚合后的边Es,输出为更新后的全局变量U。其中节点聚合过程如公式(3),包括轨迹特征和检测目标特征。边聚合过程如公式(4),包括余弦相似度和I OU比值。Vs=12KKk=1L+Kk=1R (3)Es=12KKk=1C+Kk=1I (4)K为对应特征总个数,此聚合过程本质上是对特征的求和平均,因此考虑了空间内目标的所有关联。为了送入到全局变量更新模块u中,将聚合后的节点、边与全局变量拼接起来,输入到全局变量更新模块第一层全连接层中,经过激活函数R E L U和第二层全连接层,最终输出结果为U,全连接层权重分别为W1、W2,可以用公式(5)表示:U=W1R E L UW2Vs;U;Es (5)边缘更新模块e的输入是更新后的全局变量U、节点特征V、边特征E,输出为更新后的边E。节点V由L、R拼接而来,边特征E由C、I拼接而来。对于全连接的输出结果,采用标准的S o f t m a x分类器来获取两者之间的相似性分数,其中W1、W2为边缘更新模块两层全连接层权重,计算过程如公式(6)所示:p=S o f t m a xW1R E L UW2V;E;U (6)最后使用交叉熵损失来训练整个网络。L表示为最终训练损失,可通过公式(7)计算:L=-pl o g p-1-p l o g1-p (7)式中:p表示每个轨迹和每个检测目标之间的真实关联。p=1表示检测目标与轨迹相关联,p=0表示相反的情况。p表示预测的p。(2)基于外观特征的图时空关联网络外观特征、运动特征都是目标跟踪问题的关键线索,当目标分辨率相对粗糙时,基于运动的模型的性能优于基于外观的模型。当目标检测不准确导致糟糕的运动估计时,基于外观的模型比基于运动的模型更具鲁棒性。如前所述,位置、拓扑、全局特征在计算相似度得分时都很有价值。为了探索外观特征对视频卫星目标跟踪的作用,改变了轨迹特征和检测目标特征的构建形式,将运动特征改变成外观特征,而根据轨迹特征和检测目标特征计算的余弦相似度和全局特征计算公式不变,整体网络结构不变。图4总结了用外观特征构建节点的过程。图4 节点特征构建F i g.4 G r a p h n o d e c o n s t r u c t i o n首先,L S TM接受卷积神经网络R e s N e t-3 4提取的外观特征作为输入,外观特征是卷积神经网络的最后一个全连接层的特征向量,大小为5 1 2,同时每个时间步长L S TM会整合历史外观特征输出新的特征向量,作为轨迹特征,对于t帧新检测到的目标,直接利用卷积神经网络的最后一层输出作为检测目标特征。轨迹特征和检测目标特征构建节点的公式如公式(8)所示:V=L-R 2(8)轨迹特征和检测目标特征都是5 1 2的向量,相比利用运动特征时包含更为复杂的信息,因此与运动特征直接拼接不同,将其相减再开平方,能更好地提取轨迹和检测目标之间的相似性。2 试验及结果分析2.1 数据集MOT 1 61 8和MOT 1 7是MOT C h a l l e n g e标准测试平台上最受欢迎的行人数据集。这两个数据集包含相同的图像序列,包括7个训练序列和7个测试序列。这些序列具有不同的帧率、分辨率、视角等。每个序列包含5 2 51 0 5 0帧,这两个标准测试集的不同之处在于,MOT 1 6只提供来自D PM1 9的检测结果,而MOT 1 7提供来自3个不同检测器的检测结果,包括D PM、F a s t e r R-C NN2 0和S D P2 1。分 别 在MOT 1 6陈海涛,等:面向视频卫星的多目标跟踪技术1 4 9 和MOT 1 7的训练集上训练我们的模型,在测试集上测试结果。V I S O数据集1 6是一个具有丰富注释的大规模卫星视频数据集,可用于运动目标的检测和跟 踪。其 中 基 于V I S O数 据 集 的 挑 战 赛S a t V i d e o D T 2 0 2 2成为了一个公共的卫星数据多目标跟踪基准之一1 7。该数据集由吉林一号卫星星座在卫星轨道的不同位置捕获。获取的视频覆盖了真实场景中1 14.6 k m2的区域。视频中的每个图像的分辨率为1 20 0 050 0 0像素,空间分辨率为0.9 2m,包含大量具有不同比例的物体。V I S O数据集截取其中1 0 2 41 0 2 4像素的区域,同时手动标记了4种常见类型的移动对象,包括飞机、汽车、轮船和火车。总共1 0 0个序列(视频11 0 0),总计3 2 8 2 5帧。具体而言,将视频16 0用作训练集,视频6 17 9用作验证集。测试集由视频8 09 0组成。因为9 11 0 0没有提供边界框注释和每帧中每个对象的实例I D,所以不做使用。而每个序列包含3 2 s内捕获的平均3 2 5帧,这使得它非常适合评估跟踪算法。2.2 试验环境以及训练过程试 验 采 用 的 深 度 学 习 框 架 为P y t o r c h 1.0.1,程序语言为p y t h o n,试验平台为Q u a d r o R T X 5 0 0 0,I n t e l(R)X e o n(R)G o l d 5 2 1 8处理器,1 2 8 G B内 存,操 作 系 统 为U b u n t u 1 8.0 4.6 L T S。首先将输入图像的大小调整为2 2 42 2 4像素。然后,使用预先训练好的R e s N e t-3 42 2提取外观特征。分别使用外观特征或运动特征时,外观特征和运动特征的大小分别设置为5 1 2和8,两个更新模块第一层全连接层的输出大小分别设置为2 5 6和4,激活函数R E L U中的负斜率设置为1 0-2,第二层全连接层的输出大小均为2。全局变量大小分别为1 0 0和2,使用轨迹和检测目标之间的I OU和余弦相似度初始化边特征,其大小均为1,使用A d a m2 3优化器来训练网络。学习速率设置为51 0-4。采用批量训练策略,将批次大小设置为8。2.3 评估指标采用MOT1 1的标准方法进行评估,包括多目 标 跟 踪 精 度(m u l t i p l e o b j e c t t r a c k i n g a c c u r a c y,MOT A)、跟 踪 器 身 份 维 持 能 力(i d e n t i f i c a t i o n F 1 s c o r e,I D F 1)、目标的大部分被跟踪到的轨迹个数(m o s t l y t r a c k e d,MT)、目标的大部分跟丢的轨迹个数(m o s t l y l o s t,ML)、错误正 样 本(f a l s e p o s i t i v e,F P)、错 误 负 样 本(f a l s e n e g a t i v e s,F N)、目标身份切换总次数(I D s w i t c h,I D S)。其中,MO T A 可以统计跟踪中错误指标的积累,反 映 多 目 标 跟 踪 器 跟 踪 的 准 确 性 能;I D F 1是指正确的目标检测数与真实数和计算检测数和的平均数比率;I D S用于衡量跟踪算法对目标跟踪状态的保持能力;MT是指目标被成功跟踪、且路径长度占总路径长度 8 0%以上的数量,进而反映同一个目标在长时间内的跟踪性能;ML指跟踪过程中各个目标至多有2 0%的视频帧能被正确地跟踪的跟踪轨迹数量;F P 表示在视频序列中不能与真实轨迹的边界框相匹配的假设边界框,即本来是假的,预测认为是真的;F N在视频序列中不能与假设边界框相匹配的真实轨迹的边界框,即本来是真的,预测认 为是假的。其中MO T A的计算如公式(9)所示:MOT A=1-F N+F P+I D S G T(9)式中:G T表示真实边界框数量;F N表示跟踪器未检测到目标的次数;F P表示跟踪器错误预测目标的次数;I D S表示总的目标身份信息切换次数。2.4 试验结果分析对于本文提出的基于图结构的目标跟踪算法,主要设计了3组试验在不同数据集上对算法进行验证。第一组试验针对算法的先进性进行验证,设计了与当前先进的目标跟踪算法的对比试验。第二组试验利用L S TM分别提取运动特征和外观特征对算法的有效性进行验证,设计了仅利用外观特征、仅利用运动特征和同时利用外观和运动特征构建图节点特征的目标跟踪效果的对比试验。第三组试验针对边特征、全局特征进行消融性验证,分别去除边特征中的余弦相似1 5 0 中国空间科学技术F e b.2 5 2 0 2 4 V o l.4 4 N o.1度、I OU比值以及全局特征的对比试验。2.4.1 算法先进性验证首先在MOT 1 6和MOT 1 7上评估方法的先进性,相比V I S O视频卫星数据集,行人数据集目标具有更详细的外观特征,所以试验采用外观和运动特征同时作为输入。在两种特征都使用时,对于一对轨迹和检测目标,同时获取两个网络的相似性分数,分别取其一半相加,作为最新的相似性分数。同时选取s o r t算法9、E D A-GNN算 法1,2 4、MHT_b L S TM*算 法1,6、GNMOT算法1,7作为对比方法,其中s o r t算法是先进的传统目标跟踪算法,D e e p s o r t算法是基于深度学习的目标跟踪算法,E D A-GNN算法和GNMOT算法是基于图结构的目标跟踪算法,MHT_b L S TM*算法利用L S TM提取特征。s o r t算法和D e e p s o r t算法都采用卡尔曼滤波进行预测,匈牙利算法进行匹配,D e e p s o r t算法和s o r t算法增加了级联匹配策略,并将深度卷积提取的目 标 外 貌 特 征 和 目 标 位 置 特 征 相 结 合。GNMOT算法采用空间特征构建GN图网络框架,E D A-GNN算法对外观和运动特征采用孪生网络计算相似性分数,然后输入到图网络中。MHT_b L S TM*采用传统L S TM方法提取运动特征,使用b L S TM提取外观特征,结合二者构建递归网络。将上述算法作为对比试验,可以验证我们的方法在自然场景下是否具有先进性。对于MOT 1 6数据集,试验结果见表1第一部分,箭 头 表 示 相 应 度 量 的 有 利 变 化 方 向。MOT A相 比 第 二 名GNMOT提 升 了1.1%,I D F 1提升了3.1%,MT、F P、F N、I D S等指标均优于GNMOT。在MOT 1 7数据集中,试验结果见表1第 二 部 分,我 们 的 方 法 相 比 第 二 名MOT A提升了1.6%,I D F 1和I D S均取得了前两名,F P和F N取 得 了 最 低 的2 60 3 4和2 4 3 6 0 2。为了证明在视频卫星领域的先进性,在基于S a t V i d e o D T 2 0 2 2挑战赛的V I S O测试集上评估了我们的方法。选取的对比算法包括s o r t算法、D e e p s o r t算法、GNMOT算法。V I S O测试集对比试验采用运动特征作为输入,试验结果见表1第三部分。可以看到我们的方法相比其他MOT方法,在各项指标上都取得了不错的结果。具 体 来 说,MOT A相 比 第 二 名 提 升 了0.2%,I D F 1相对GNMOT算法提升了0.6%,I D S下降到了1 2 0。同时本文方法能在闭塞或漂移后恢复到正确的目标,因此本文方法有更高的MT和更低的ML。选取第9个测试序列的第5 0帧、7 0帧、9 0帧,展示本文方法的跟踪结果,分别如图5、图6和图7所示。表1 各种方法的性能评估T a b l e 1 P e r f o r m a n c e e v a l u a t i o n o f v a r i o u s m e t h o d sD a t aM e t h o d sMO TAI D F 1MTMLF PF NI D SMOT 1 6S o r t9 3 12 9.0 76 23 5 61 9 6 0 71 0 4 0 0 72 1 8 6MHT_b L S TM*6 4 2.14 7.81 1 33 3 71 1 6 3 79 3 1 7 27 5 3GNMOT7 4 7.74 3.21 2 02 6 09 5 1 88 3 8 7 51 9 0 7O u r s4 8.84 6.31 0 92 6 58 9 9 28 3 7 0 79 3 5MOT 1 7S o r t9 4 3.1 43 9.8 42 9 59 9 62 8 2 9 32 8 7 5 8 04 8 5 2E D A-GNN2 44 5.54 0.53 6 89 5 52 5 6 8 52 7 7 6 3 34 0 9 1MHT_b L S TM*6 4 7.55 1.94 2 99 8 12 5 9 8 12 6 8 0 4 22 0 6 9GNMOT75 0.24 7.04 5 47 6 02 9 3 1 62 4 6 2 0 05 2 7 3O u r s5 1.84 9.94 9 58 0 32 6 0 3 42 4 3 6 0 22 2 4 2V I S OS o r t9 9 7.59 1.51 2 7 684 7 85 8 2 16 1 8D e e p s o r t1 0 9 6.39 3.71 2 5 12 12 1 9 27 5 0 47 5 7GNMOT7 9 9.69 1.51 3 2 405 3 63 44 9 0O u r s9 9.89 2.11 3 2 403 9 93 41 2 0 V I S O测试集包含1 1个序列、37 2 4帧图像,图像尺寸为1 0 2 41 0 2 4像素,在单独使用运动特征时,处理时间为1 5.9 3m i n,平均每帧处理时间为0.2 6 s。与此相对比的是 D e e p s o r t算陈海涛,等:面向视频卫星的多目标跟踪技术1 5 1 法、GNMOT算法,平均每帧处理时间分别为0.4 2 s、0.3 1 s,表明本文的算法具有更高的实时性,未来在实际应用中具有很大的前景。图5 第5 0帧跟踪结果F i g.5 F r a m e