基于激光雷达的无人驾驶3D多目标跟踪.pdf

基于激光雷达的无人驾驶 3D 多目标跟踪熊珍凯1,2程晓强3吴幼冬1左志强3刘家胜1摘 要无人驾驶汽车行驶是连续时空的三维运动,汽车周围的目标不可能突然消失或者出现,因此,对于感知层而言,稳定可靠的多目标跟踪(Multi-objecttracking,MOT)意义重大.针对传统的目标关联和固定生存周期(Birthanddeathmemory,BDM)管理的不足,提出基于边界交并比(Borderintersectionoverunion,BIoU)度量的目标关联和自适应生存周期管理策略.BIoU 综合了欧氏距离和交并比(Intersectionoverunion,IoU)的优点,提高了目标关联的精度.自适应生存周期管理将目标轨迹置信度与生存周期相联系,显著减少了目标丢失和误检.在 KITTI 多目标跟踪数据集上的实验验证了该方法的有效性.关键词无人驾驶,激光雷达,3D 目标检测,3D 多目标跟踪引用格式熊珍凯,程晓强,吴幼冬,左志强,刘家胜.基于激光雷达的无人驾驶 3D 多目标跟踪.自动化学报,2023,49(10):20732083DOI10.16383/j.aas.c210783LiDAR-based 3D Multi-object Tracking for Unmanned VehiclesXIONGZhen-Kai1,2CHENGXiao-Qiang3WUYou-Dong1ZUOZhi-Qiang3LIUJia-Sheng1AbstractUnmannedvehicleisathree-dimensionalmotionincontinuoustimeandspace,andtheobjectaroundthevehiclecannotdisappearorappearsuddenly.Therefore,fortheperceptionsystem,stableandrobustmulti-ob-jecttracking(MOT)isofgreatsignificance.Aimingattheshortcomingsofobjectassociationandfixedbirthanddeathmemory(BDM)inthetraditionalone,theborderintersectionoverunion(BIoU)basedobjectassociationandadaptivelifecyclemanagementstrategyareputforward.TheBIoUtakesintoaccounttheadvantagesofbothEuc-lideandistanceandintersectionoverunion(IoU)toimprovetheaccuracyofobjectassociation.Theadaptivelifecyclemanagementassociatestheobjecttrajectoryconfidencewiththelifecycle,whichsignificantlyreducesobjectmissingandfalsedetection.TheeffectivenessoftheproposedapproachisverifiedthroughexperimentsontheKITTImulti-objecttrackingdataset.Key wordsUnmannedvehicles,LiDAR,3Dobjectdetection,3Dmulti-objecttrackingCitationXiongZhen-Kai,ChengXiao-Qiang,WuYou-Dong,ZuoZhi-Qiang,LiuJia-Sheng.LiDAR-based3Dmulti-objecttrackingforunmannedvehicles.ActaAutomaticaSinica,2023,49(10):20732083多目标跟踪(Multi-objecttracking,MOT)技术是自动驾驶感知系统的重要组成部分.一方面,无人驾驶汽车的行驶过程是在时空下的连续运动,无人驾驶的规划与决策过程大多是基于连续时间序列完成的,因此除了目标的位置信息以外,目标的速度、角速度、加速度等时间关联特征也同样重要.另一方面,由于目标检测本身依据单帧图像或点云数据完成1,缺乏目标在时空运动中的上下文信息,因此当光照变化、目标遮挡等情况发生时,往往容易出现目标丢失,这对于决策器和规划器的稳定运行会产生不利影响.因此,实现可靠的多目标跟踪意义重大.多目标跟踪任务可以定义为当传感器获得一段时间内的目标数据序列后(如一系列 RGB图像或 3D 点云),实现不同时刻数据帧下同一目标的正确匹配.多目标跟踪问题需要解决以下问题:1)对不同数据帧中的同一目标,分配唯一的 ID 标号,并维持该标号不变;2)对于新出现的目标,分配新的 ID 标号,并进行持续跟踪;3)对已经从传感器数据中消失的目标,应及时剔除,避免不利影响.目前多目标跟踪的方法主要可以分为两类,分别是端到端(Endtoend)方法和基于检测的跟踪收稿日期2021-08-17录用日期2022-05-25ManuscriptreceivedAugust17,2021;acceptedMay25,2022国家自然科学基金(62036008,62173243,61933014),中国船舶集团自立科技研发专项基金(202118J),安徽理工大学高层次人才基金(2023yjrc55)资助SupportedbyNationalNaturalScienceFoundationofChina(62036008,62173243,61933014),ScienceandTechnologyRe-searchProjectofChinaStateShipbuildingCorporationLimited(202118J),andScientificResearchFoundationforHigh-levelTal-entsofAnhuiUniversityofScienceandTechnology(2023yjrc55)本文责任编委薛建儒RecommendedbyAssociateEditorXUEJian-Ru1.中国船舶集团有限公司第七一三研究所郑州4500152.安徽理工大学新能源与智能网联汽车学院合肥2311313.天津大学电气自动化与信息工程学院天津3000721.The713ResearchInstitute,ChinaStateShipbuildingCor-porationLimited,Zhengzhou4500152.CollegeofNewEnergyandIntelligentConnectedVehicle,AnhuiUniversityofScienceandTechnology,Hefei2311313.SchoolofElectricalandIn-formationEngineering,TianjinUniversity,Tianjin300072第49卷第10期自动化学报Vol.49,No.102023年10月ACTAAUTOMATICASINICAOctober,2023(Trackingbydetection)方法.前者将目标检测与跟踪视为一个统一的过程,输入单帧图像或点云数据,直接输出带有唯一 ID 标号的目标检测框信息;后者则将检测与跟踪视为递进过程,首先使用目标检测网络如 Complex-YOLO2,PointRCNN3获得检测框位置,然后再使用目标在多帧数据中的时空联系性进行关联,获得跟踪结果.代表方法包括 SORT(Simpleonlineandrealtimetracking)4、Deep-SORT(SORTwithadeepassociationmetric)5和 AB3DMOT(Abaselinefor3Dmulti-objecttracking)6.其中 AB3DMOT 将 2D 多目标跟踪问题扩展到 3D 多目标跟踪任务,提出了一种简洁高效的实时多目标跟踪框架,并在 KITTI 数据集上验证了出色效果,实时性达到了 200 帧/s,是 3D 多目标跟踪领域的经典之作.本文在分析 AB3DMOT 跟踪算法的基础上,针对原算法中的以下两点问题进行了研究:1)目标关联度计算在基于检测的跟踪方法中起到了突出作用,原 AB3DMOT 算法使用传统的交并比(Inter-sectionoverunion,IoU)作为度量指标,因此存在当两个检测框不相交时 IoU=0 的问题78,造成匹配失败;2)目前的 MOT 算法中大多都会用到生存周期(Birthanddeathmemory,BDM)策略,用于降低漏检率、获得更好的跟踪效果,但多采用固定生存周期,对所有目标进行无差别处理,并未考虑检测结果本身置信度对跟踪的影响.针对上述问题,本文提出了一种基于边界交并比(Borderintersec-tionoverunion,BIoU)度量的自适应多目标跟踪算法,主要创新点包括:1)提出了 BIoU 度量方法用于计算检测结果的关联性矩阵,相比于单一使用欧氏距离或传统 IoU度量的方法,BIoU 可以有效解决无交集和奇点问题,获得更可靠的多目标跟踪结果;2)提出了一种自适应的生存周期管理策略,将检测结果本身的置信度与生存周期关联起来,可以有效避免由于遮挡导致的跟踪失败和由于误检导致的错误跟踪的情况.基于 KITTI 多目标跟踪数据集9进行的实验表明,本文提出的基于 BIoU 和自适应生存周期管理的多目标跟踪算法,相比于原算法可以有效地提高跟踪的准确性和鲁棒性.1研究现状1.12D/3D 多目标跟踪任务多目标跟踪问题按照跟踪目标的状态种类可以分为 2D 多目标跟踪和 3D 多目标跟踪.其中 2D 多目标跟踪主要用于图像领域的目标跟踪任务,如安防监控、军事侦察、自然观测等领域10.DeepSORT5算法引入马氏距离度量和级联匹配用于提高跟踪精度.Leal-Taix等11介绍了一种两阶段深度学习跟踪算法:使用局部时空编码聚合像素和光流信息,通过梯度增强分类器将图像上下文特征与 CNN 输出相结合.孟琭等12详细说明了光流法、相关滤波法和深度学习方法在目标跟踪领域的应用效果.与2D 多目标跟踪相比,基于点云数据的 3D 多目标跟踪具有较为准确的深度估计,此类方法大多基于运动学模型.Azim 等13利用卡尔曼滤波器对获得的相邻两帧激光点云基于八叉树的占据栅格地图分析其不一致信息,从而检测动态物体;再使用全局最近邻的方法进行数据关联;最后基于卡尔曼滤波跟踪动态物体的中心点.Song 等14采用一种多任务的稀疏学习算法来选取最佳的候补对象,提高了复杂环境下的跟踪效果.为了验证有效的深度估计对目标跟踪性能的影响,Sharma 等15使用基于 3D点云校准的 2D 图像进行目标跟踪,考虑了三维空间信息,有效缓解了基于 RGB 图像中的深度估计不准确和遮挡问题,实现了较好的跟踪效果.2020 年,Weng 等6将 2D 跟踪算法 SORT 的思想迁移到 3D 点云中,提出 AB3DMOT 算法,无需GPU 训练即可实现优秀的跟踪性能.1.2关联度量目标匹配是多目标跟踪中的重要环节,有效度量预测目标与检测目标之间的关联性,是获得可靠匹配结果的关键.常用的匹配方法包括基于外观显著性特征的匹配方法1617和基于空间位置相关性的匹配方法1819.与 2D 图像相比,3D 点云数据更为稀疏,外观特征不明显,因此更常采用空间位置的相关性进行匹配.IoU 和目标间距离是常用的两种度量方法.SORT4和 AB3DMOT6算法中均使用预测框与检测框的 IoU 值作为关联度量,再利用匈牙利算法进行匹配.使用原始 IoU 进行关联度量存在两个问题:1)当预测框与检测框无交集时 IoU=0,此时无法获得有效的度量信息;2)多个预测框可能与检测框具有相同的 IoU 值,如图 1(a)中的情况.另一种方法是使用目标间距离作为度量指标,如预测框与检测框中心点之间的欧氏距离19.但使用距离度量同样存在不同的预测框与目标框的距离相同的情况.如图 1(b),虽然蓝色和红色表示的两个预测框差异很大,但它们与检测框中心的欧氏距离是相同的.近年来,使用深度网络来学习目标关联性2074自动化学报49卷特征的方法也得到了诸多研究,如 Wu 等18将 Point-RCNN 检测器得到的特征也作为关联度量的要素加入度量过程,从而获得更可靠的度量结果.1.3生存周期管理在现有的多目标跟踪算法中,会使用生存周期管理策略56,18.一方面,当出现因为遮挡造成的目标丢失情况时,生存周期管理策略可以保证在一段时间内仍然可以持续跟踪目标而不会立刻丢失;另一方面,当出现误检情况时,由于生存周期管理策略要求目标连续检测多帧,所以可以有效过滤掉单帧误检的目标.目前通常使用的是固定周期的管理策略,即对所有目标进行相同时长跟踪用于确定目标或删除目标.而在实际应用中,考虑到目标检测单元会输出检测框的置信度,用于表征检测结果的可靠性,因此,可以根据置信度对不同目标进行自适应生存周期管理,即:对置信度较高的目标可以保持更长时间以解决遮挡造成的目标漏检;对置信度较低的目标在发生误检后应尽快删除.2基于 BIoU 的 3D 多目标跟踪2.1问题描述zz多目标跟踪的主要任务是在给定一个图像序列的前提下,找到图像序列中待检测目标,并将不同帧中检测到的目标进行关联,得到目标的运动信息,给每一个运动目标一个固定准确的 ID 标号.对于 3D目标检测,一方面其天然克服了基于 RGB 图像中的 2D 目标检测的遮挡与目标位置估计不准确的问题,使得基于运动估计的在线跟踪算法易于应用;另一方面,对于 3D 目标检测的点云数据而言,缺乏类似 RGB 图像那样丰富的语义特征,导致难以使用特征描述的方式进行跟踪.因此,AB3DMOT6算法仅使用简单朴素的跟踪策略就实现了高效实时的目标跟踪效果.但是,该方法在匈牙利匹配环节中使用原始的 3DIoU 作为成本度量,而无人驾驶汽车的多目标跟踪本质仍然是一种近似的 2D 平面运动,其在 轴方向上变化较小,导致目标检测在 轴方向上的估计将对跟踪性能产生较大影响,同时由于 IoU 度量的局限性,本文提出 BIoU 作为一种新的成本度量融入到匈牙利匹配之中.目标的生存周期管理是目标跟踪的重要环节,生存周期设置过短在目标检测不稳定时会造成较为频繁的 ID 切换,生存周期过长容易增加错误跟踪和目标误检.因此,通过对跟踪轨迹的置信度打分,本文设计了自适应的生存周期管理机制,动态地调整目标的生存周期减少了 ID 切换和目标误检,实现了较好的跟踪性能.如图 2 所示,本文所提出的 3D 多目标跟踪的整体流程可以分为以下几个部分:1)使用 3D 检测器获得目标检测框;2)使用 3D 卡尔曼滤波器获得上一帧的目标预测框;3)基于 BIoU 计算检测框与预测框的关联度,使用匈牙利匹配算法获得最优匹配结果;4)使用 3D 卡尔曼滤波对所有匹配目标进行状态更新;5)对未匹配成功的目标进行生存周期管理;6)输出具有唯一 ID 标号的目标边框.2.2卡尔曼滤波卡尔曼滤波20是目前状态估计应用最为广泛的估计优化算法,它能够根据过去的信号信息,利用统计计算的原理,优化最小均方误差,从而预测出未来的状态量.卡尔曼滤波是对时间参数估计的yyx(a)不同预测框和检测框具有相同 IoU(a)Different predicted boxes have same IoUs withthe detected box(b)不同预测框和检测框具有相同欧氏距离(b)Different predicted boxes have same Euclideandistances with the detected boxxOO检测框检测框2预测框2预测框1预测框1预测框图1IoU 度量和欧氏距离度量失效情况Fig.1InvalidcasesaboutIoUmetricsandEuclideandistancemetrics10期熊珍凯等:基于激光雷达的无人驾驶 3D 多目标跟踪2075最小二乘逼近,能够建立起状态变量随时间变化的方程,从而估计出今后某个时刻的状态.卡尔曼滤波算法的核心包括如下几个方程:1)描述预测过程中,系统的状态向量预测方程Xk=AXk1+BUk+Wk1(1)ABUkkXkkXk1k 1Wk1k 1其中,为状态转移矩阵,为控制输入矩阵,表示 时刻的控制输入向量,表示 时刻状态的预测值,表示 时刻的状态输出值,为 时刻的状态转移过程中的随机干扰噪声,表现为均值为零的高斯白噪声.2)描述先验估计协方差矩阵的更新过程Pk=APk1AT+Q(2)QWkPkk其中,为状态转移过程噪声 的协方差矩阵,为 时刻的先验估计协方差矩阵的预测值.3)描述观测模型中由系统观测值得到系统观测向量的过程Zk=HXk+Vk(3)HZkkVk其中,为状态观测矩阵,为 时刻状态变量的观测值,为状态观测过程中的随机干扰噪声向量,表现为均值为零的高斯白噪声.4)卡尔曼滤波增益方程(权重)Kk=PkHT(HPkHT+R)1(4)KkkRVk其中,表示 时刻的卡尔曼增益,为观测噪声 的协方差矩阵.k5)卡尔曼滤波估计方程(时刻的最优状态估计)Xk=Xk+Kk(Zk HXk)(5)Xkk其中,表示 时刻状态向量经过卡尔曼滤波后的最优估计,是系统的实际输出值,表现为在预测值的基础上按照卡尔曼滤波增益叠加一个预测误差项.k6)卡尔曼滤波协方差估计方程(时刻的最优协方差估计)Pk=(1 KkH)Pk(6)Pkk其中,为 时刻卡尔曼滤波的后验估计协方差矩阵的预测值.该方程用来描述状态向量协方差矩阵的变化过程,正是这种不断更新的机制才能保证卡尔曼滤波不断克服随机噪声的影响.卡尔曼滤波算法能够在不准确的测量数据基础上尽可能地消除噪声的影响,对真实值做出预测.目标跟踪算法把跟踪目标的属性作为状态变量,利用卡尔曼滤波器对属性进行线性滤波,得到更好的预测值.2.2.1状态预测为了预测上一帧到当前帧的目标状态,这里使用恒定速度模型估计对象间的帧间位移,将目标状态表示成一个 11 维向量,即=x,y,z,l,w,h,s,vx,vy,vzT(7)xyzlwhsvxvyvzxyz其中,和 分别表示目标的中心点坐标,和 分别表示目标的 3D 边框尺度,为目标边框的航向角,表示当前轨迹的置信度分数,和 分别为目标在三维空间中沿,和 轴方向上的运动速度.k 1第 帧数据中的所有目标状态构成的集合表示为1k1,2k1,mk1k1(8)ik1k 1imk1k 1k 1k其中,表示在 时刻的第 个目标状态,表示在 时刻存在的目标数量.通过 时刻的目标状态,根据恒定速度模型可以估计出第 帧的目标状态.目标的预测位置为xk=xk1+vxyk=yk1+vyzk=zk1+vz(9)k 1ik1kik对于 时刻的每个目标状态 都可以给出 时刻的预测状态.新出现的轨迹与目标丢失的轨迹完成匹配的目标预测目标基于 BIoU 度量的目标关联自适应生存周期管理具有唯一ID 的目标检测目标匹配失败的跟踪目标轨迹关联原始点云3D 目标检测3D 卡尔曼滤波TkTk 1匹配失败的检测目标图2基于 BIoU 和自适应生存周期的 3D 多目标跟踪Fig.23Dmulti-objecttrackingbasedonBIoUandadaptivebirthanddeathmemory2076自动化学报49卷2.2.2状态更新根据数据关联的结果,可以将跟踪目标与检测目标分为 4 类:跟踪匹配成功、检测匹配成功、跟踪匹配失败和检测匹配失败.它们各自的具体形式为Tmatch=T1match,T2match,TwkmatchDmatch=D1match,D2match,DwkmatchTunmatch=T1unmatch,T2unmatch,Tmk1wkunmatchDunmatch=D1unmatch,D2unmatch,Dnkwkunmatch(10)TmatchDmatchwkTunmatchDunmatchmk1nkDmatch其中,和 表示匹配成功的跟踪目标与检测目标,表示当前时刻匹配成功的数量,和 分别表示匹配失败的跟踪目标和检测目标,表示上一时刻的所有跟踪目标数量,表示当前时刻的检测目标数量.完成匹配之后,使用匹配成功的目标 根据贝叶斯规则更新对应的目标状态.2.3基于 BIoU 的匈牙利匹配算法为了解决传统 IoU 度量或距离度量的失效问题,本文设计了一种结合欧氏距离与 IoU 的综合度量指标,即 BIoU 度量,它由原始 IoU 和边界距离惩罚项共同组成,具体形式为BIoU=IoU(B1,B2)RBIoURBIoU=2(plt1,plt2)+2(prb1,prb2)C2max(B1,B2)(11)IoU(B1,B2)RBIoUplt1,prb1,plt2,prb2()Cmax(B1,B2)IoU(B1,B2)(plt1,plt2)(prb1,prb2)Cmax(B1,B2)其中,表示一般意义下的两个边界框的交并比,为基于边界欧氏距离的惩罚项,是惩罚项因子,分别表示两个边界框最小外接框的左上顶点和右下顶点,函数 为两个顶点间的欧氏距离,表示两个边界框最小外接框的最大对角线距离,用于对边界距离进行归一化处理.需要说明的是,采用最小外接框的方法可以弱化旋转对边界距离的影响,便于计算边界距离.图 3(a)展示了 2DBIoU 的计算方法.绿色和蓝色实线框代表两个不同的边界框,虚线框为它们各自的最小外接框,灰色区域表示,红色线段表示边界距离 和,黄色线段表示最大对角线距离.对于 3D 多目标跟踪,本文将上述 2DBIoU 的定义扩展到 3D 坐标系下,如图 3(b)所示.3DBIoU的计算式为BIoU3D=IoU3D(V1,V2)RBIoU3DRBIoU3D=2(plft1,plft2)+2(prrb1,prrb2)C2max(V1,V2)(12)IoU3D(V1,V2)V1V2RBIoU3Dplft1,plft2,prrb1,prrb2(plft1,plft2)(prrb1,prrb2)Cmax(V1,V2)BIoUthresBIoU3DBIoUthres其中,表示两个 3D 边界框 和 的体积交并比(图中的灰色区域),惩罚项 与边界距离相关,分别是两个3D边界框最小外接框的左前上顶点和右后下顶点,和 分别是对应边界距离(图中的红色线段),则表示两个最小外接框所有顶点间的最大对角线距离(图中的黄色线段).在给定阈值 的情况下,当 时，则认为两个 3D 边界框匹配失败,即两个 3D 边界框分别属于独立的两个不同目标.2.4自适应生存周期管理策略FminFmax在多目标跟踪中,现有目标会离开视野,也可能有新目标进入视野,因此需要一个模块来管理轨迹的产生和删除.生存周期管理是常见的做法:将所有未成功匹配的检测目标视为潜在的新轨迹,为了避免跟踪误报,只有在该目标连续检测到 帧后才认为是一个新的目标轨迹;将所有未成功匹配的跟踪目标结果视为即将离开视野的轨迹,为了避免误删轨迹,只有该目标未成功匹配 帧后才视为目标丢失并将其删除.理想情况下,该策略可以保留因为单帧漏检未能成功匹配的目标轨迹,并仅删除已经离开视野的目标轨迹.但在实际中,3D 目plft1plt1plt2plft2prrb1prrb2prb1prb2max(V1,V2)max(B1,B2)IoU3D(V1,V2)IoU(B1,B2)V2B2B1V1r(prrb1,prrb2)r(prb1,prb2)r(plft1,plft2)r(plt1,plt2)(a)2D 边界交并比(a)2D BIoU(b)3D 边界交并比(b)3D BIoU图3边界交并比示意图Fig.3SchematicdiagramofBIoU10期熊珍凯等:基于激光雷达的无人驾驶 3D 多目标跟踪2077标检测器的误检和漏检普遍存在,采用固定的生存周期管理策略,将出现错误的跟踪轨迹.原因主要是固定的生存周期管理策略未有效利用检测目标的置信度信息,而对所有目标均进行相同周期的检查操作,从而导致检测置信度较低的目标(往往为误检目标)也需要跟踪多帧后才会被删除,而检测置信度较高的目标一旦被多帧遮挡(往往出现漏检)也可能被删除.因此,本文提出一种自适应生存周期管理策略,根据目标检测结果的置信度,动态调整最大生存周期,具体为FAmax=Fmax(score+)(13)score()FmaxFAmaxFmax=3,=0.5,=5其中,为当前目标的检测置信度,和 为尺度系数和偏移系数,表示 Sigmoid 非线性函数,为最大生存周期,为根据目标检测置信度计算后的生存周期.通过选取合适的 和,实现更好的跟踪效果.图 4 给出了当 时生存周期与检测置信度之间的关系.利用 Sig-moid 函数的 S 型曲线特性,检测目标的置信度越高,该目标的生存周期将会越长,从而实现生存周期动态调整.32FAmax10010置信度102030图4自适应生存周期Fig.4Adaptivebirthanddeathmemory3实验结果与分析3.1数据集与评价指标介绍本实验基于 KITTI 数据集的多目标跟踪基准进行评估,该基准由 21 个训练序列和 29 个测试序列组成.对于每个序列都提供了 LiDAR 点云、RGB图像以及校准文件.用于训练和测试的数据帧数分别为 8 008 和 11 095.对于测试集数据,KITTI 不向用户提供任何标签,而是在服务器上保留标签以进行 MOT 评估.对于训练集数据,含有 30 601 个目标和 636 条轨迹,同样包括 Car、Pedestrian 和 Cyclist类别.由于本文使用的目标跟踪系统是基于卡尔曼滤波算法的,不需要进行深度学习训练,因此将所有 21 个训练序列作为验证集进行验证.实验对比了 Car、Pedestrian 和 Cyclist 全部 3 个类别上的多目标跟踪效果.对于多目标跟踪方法,理想的评价指标应当能够同时满足 3 个要求:1)所有出现的目标都能够及时被发现;2)找到的目标位置应当尽可能和真实的目标位置一致;3)应当保持目标跟踪的一致性,避免目标标志的频繁切换.根据上述要求,传统的多目标跟踪将评价指标设置为以下内容:多目标跟踪准确度(Multi-objecttrackingaccuracy,MOTA)用于确定目标的个数以及跟踪过程中的误差累计,多目标跟踪精度(Multi-objecttrackingprecision,MOTP)用于衡量目标位置上的精确度,主要跟踪轨迹命中率(Mostlytracked,MT),主要丢失轨迹丢失率(Mostlylost,ML),身份切换次数(IDswit-ch,IDS),跟踪打断次数(Fragment,FRAG)等.3.2实验结果实验流程如图 5 所示,其中 3D 目标检测器使用与 AB3DMOT 算法相同的、已经训练好的PointRCNN 模型.在目标匹配阶段,使用本文提出的 BIoU 计算预测框与目标框之间的关联度,然后使用匈牙利匹配算法进行目标匹配.成功匹配的目标送入卡尔曼滤波器进行状态更新,未成功匹配的检测目标和预测目标均送入自适应周期管理模块进行判定.自适应周期管理模块根据目标的置信度分数自适应调整目标的最大生存周期,删除已达到最大生存周期而仍未匹配成功的目标,最终得出具备唯一 ID 标号的目标轨迹.BIoU 和自适应生存周期管理中涉及的参数通过整定得到,最终模型使用的参数如表 1 所示.为了验证本文所提出的基于 BIoU 度量和自适应生存周期管理多目标跟踪算法的性能,本文与基准 AB3DMOT 算法在 KITTI 多目标跟踪数据集的 3 类目标上进行了对比;同时在 Car 类别上还与另外两种端到端的深度学习算法 FANTrack21和DiTNet22进行了比较.实验结果如表 2 所示.表 2 的结果表明,本文提出的基于 BIoU 度量和自适应生存周期管理策略的多目标跟踪算法相比于基准算法在 3 类目标上均获得了更高的 MT 值,意味着本文算法在对目标的长时间跟踪性能上明显优于基准算法;在 Pedestrian 和 Cyclist 两个类别上,跟踪准确度 MOTA 较基准算法有显著提升,而在 Car 类别上与基准算法基本一致.最值得注意的是,本文算法在命中率 MT 和丢失率 ML 这两项指标上均有显著提升,说明了本文算法在长时间稳定2078自动化学报49卷跟踪目标这个问题上具有明显优势.另外,在 Ped-estrian 和 Cyclist 两类目标的跟踪任务上获得更好的效果,也说明了基于 BIoU 的目标跟踪可以有效提高对小目标的跟踪性能.分析其原因,可以发现小目标更易于出现检测框与预测框交集较少或无交集的情况,这也正是 BIoU 相较于传统 IoU 最大的优点,即解决 IoU 相等或 IoU=0 时的关联度量问题.图 6 和图 7 分别展示在出现误检和漏检情况时,本文所提出改进跟踪算法和基准算法的跟踪结果.在图 6 的第 2 行中,两类算法均出现了误检的情况(用红色圆圈标记),但相较于基准算法(图6(a)的第 1 行),由于引入了自适应生存周期管理,因此在下一帧数据中,改进跟踪算法及时将误检目标删除,而基准跟踪算法仍会对误检目标进行持续跟踪,直到生存周期结束.上述结果表明基于本文改进的跟踪算法可以明显减小误检目标的生存周期,降低误检次数.同样,对于目标漏检的情况,本文算法也能给出更好的结果.图 7(a)的第 3 行中,由于红色圆圈标记的目标被其他物体遮挡而导致漏检,在下一帧中,该目标再次被检测到时,已被标记为新的目标(这一点从对比图 7(a)的第 2 行和图 7(a)的第 4 行中检测框颜色不一致可以看出).而使用本文提出的改进算法,即使在图 7(b)的第 3 行中出现了遮挡,因为生存周期并未结束,因此目标仍然在持续跟踪,也未发生身份切换的问题.这说明,在由于目标遮挡等问题出现漏检时,本文提出的改进跟踪算法可以有效克服漏检问题,保持目标持续跟踪与 ID恒定.3.3消融实验对比Fmax=5FmaxFAmaxFAmax为了进一步说明 BIoU 度量和自适应生存周期管理策略的实际效果,本文在 KITTI 验证集上进行了消融实验.为了便于比较,本文设置最大生存周期;对于固定生存周期策略,生存周期即为;对于自适应生存周期策略,采用式(13)描述的关系自适应计算生存周期.消融实验的结果如表 3 所示,其中不使用 BIoU 和 的跟踪方法即为原始 AB3DMOT 算法.首先,对 BIoU 进行性能分析.在表 3 中,每类目标的第 2 行数据与第 1 行相比,区别在于使用 BIoU表1模型参数Table1Modelparameters参数值说明 0.05BIoU 惩罚因子 0.5生存周期尺度系数 4生存周期偏移系数Fmax 3(Car)5(Others)最大生存周期对 Car 目标为 3对其他类别目标为 5Fmin 3目标轨迹的最小跟踪周期该值与 AB3DMOT 相同BIoUthres 0.01 BIoU 阈值小于阈值认为匹配失败具有唯一 ID 标号的跟踪结果跟踪结果自适应生存周期管理基于 BIoU 的目标匹配卡尔曼滤波器匹配失败检测目标检测目标3D 目标检测网络匹配失败预测目标预测目标匹配目标上一时刻轨迹当前时刻轨迹轨迹关联新加入轨迹与需要丢弃轨迹32FAmax10010置信度102030plt1plt2B21Xk=AXk 1k +BUk +WPk=APk 1AT+QZk=HXk+VkKk=PkHT(HPkHT+R)1Xk=Xk+Kk(Zk HXk)Pk=(I KkH)PkB1d1d2max(B1,B2)prb2prb1图5基于激光雷达的 3D 多目标跟踪整体流程Fig.5OverallpipelineforLiDAR-based3Dmulti-objecttracking10期熊珍凯等:基于激光雷达的无人驾驶 3D 多目标跟踪2079替代原算法中的传统 IoU.对比发现:3 类目标的跟踪准确度 MOTA 和命中率 MT 性能均有提升;在大目标(Car 类别)上,MOTA 和 MT 略有提升;在小目标(Pedestrian 和 Cyclist)上提升明显,Ped-estrian 命中率 MT 提升超过 3%,Cyclist 准确度MOTA 提升超过 4%.需要说明的是:对于小目标类别,更容易出现预测框与检测框不重合(IoU=0)的问题.这种情况下,本文提出的 BIoU 由于引入了边界度量惩罚项,可以克服传统 IoU 失效的问题,获得可靠的匹配结果,从而提高跟踪精度和稳定性.其次,对自适应生存周期管理策略进行性能分析.在表 3 中,每类目标的第 3 行数据与第 1 行相比,区别在于使用自适应生存周期替代原算法中的固定生存周期.对比发现:使用自适应生存周期可以提高跟踪准确度 MOTA,减少身份切换次数 IDS和跟踪打断次数 FRAG;每个类别的 MOTA 均有大约 2%的性能提升;在 Pedestrian 类别上,IDS和 FRAG 均有明显降低,这是因为对于 Pedestri-an,更容易由于匹配失败出现漏检情况,使用自适表2KITTI 数据集上对 3 类目标(汽车、行人、骑自行车的人)跟踪性能对比Table2Trackingperformancecomparisonaboutthreekindsofobjects(Car,Pedestrian,Cyclist)onKITTIdataset类别方法MOTA(%)1MOTP(%)MT(%)ML(%)2IDS FRAG CarFANTrack2176.5284.8173.149.25154DiTNet2281.0887.8379.354.2120120AB3DMOT685.7086.9975.683.78224本文85.6986.9676.223.78224PedestrianAB3DMOT659.7667.2740.1420.4252371本文59.9367.2242.2520.4252377CyclistAB3DMOT674.7579.8962.4214.0254403本文76.4379.8964.4911.63544091 表示指标数值越大性能越好;2 表示指标数值越小性能越好.(a)原始跟踪结果(a)Tracking results of baseline(b)改进算法跟踪结果(b)Tracking results of our improved method图6改进方法与基准方法的跟踪比较(误检)Fig.6Trackingcomparisonbetweenourimprovedmethodandbaseline(falsedetection)2080自动化学报49卷应生存周期管理策略可以有效克服固定生存周期对漏检过于敏感的缺点.最后,对比基准的 AB3DMOT 算法,使用本文所提出的基于 BIoU 和自适应生存周期管理策略的跟踪算法,在 3 类目标的跟踪性能如准确度 MOTA、定位精度 MOTP、丢失率 ML、身份切换次数 IDS上均得到了提升,其中以 Cyclist 类别提升最为显著.消融实验结果表明,本文所提出算法能明显改善多目标跟踪效果.4结束语本文提出了一种使用 BIoU 度量和自适应生存周期管理策略的多目标跟踪算法.该算法使用 3D目标检测器输出的目标信息,使用 BIoU 度量计算检测框与预测框的匹配矩阵,使用匈牙利匹配算法获得匹配结果.BIoU 度量可以有效克服单独使用 IoU表3消融实验Table3Ablationexperiments类别BIoUFAmax MOTA(%)MOTP(%)MT(%)ML(%)IDS FRAG Car81.5586.7279.464.32221 81.6986.6980.004.32322 84.0986.9875.684.32224 84.3186.9676.22