应用于低空防御的实时多无人机检测与跟踪算法.pdf

电视技术第47 卷第6 期（总第57 1期）2020-23.DENGJW.Realtimegineering，2 0 2 3，47（6)Ior1oW-altltuoe文献引用格式：邓俊文：应用于低空防御的实时多无人机检测与跟踪算法J.电视技术，2 0 2 3，47（6）：2 0-2 3.ideoEngineeringARTS&DESIGN器件与设计中图分类号：TP311.5文献标识码：AD0I:10.16280/j.videoe.2023.06.005应用于低空防御的实时多无人机检测与跟踪算法邓俊文（中国电子科技集团公司第三研究所，北京100015)摘要：针对低空环境下慢速飞行小型无人机检测与跟踪困难的问题，设计并实现一种基于深度学习的计算机视觉算法，实现对低慢小无人机的快速检测和稳定跟踪。采用基于深度学习的YOLOv8算法快速检测图像中的无人机目标，再用SORT多目标跟踪算法对前后顿的检测结果进行关联，生成目标航迹，实现稳定跟踪。所提算法运行在NVIDIAJetsonOrin硬件平台上。实验结果表明，该算法能实时检测并稳定跟踪目标，对防御低空慢速飞行小型无人机具有较高应用价值。关键词：深度学习；无人机；神经网络Real Time Multi-Drone Detection and Tracking for Low-Altitude DefenseDENG Junwen(The 3rd Research Institute of China Electronics Technology Group Corporation,Beijing 100015,China)Abstract:In response to the difficulty of detecting and tracking slow flying small unmanned aerial vehicles in low altitude environments,this paper designs and implements a deep learning based computer vision algorithm to achieve fast detection and stable tracking of lowspeed small unmanned aerial vehicles.The article uses the YOLOv8 algorithm based on deep learning to quickly detect drone targetsin the image,and then uses the SORT multi target tracking algorithm to correlate the detection results before and after frames,generatetarget tracks,and achieve stable tracking.The proposed algorithm runs on the NVIDIA Jetson Orin hardware platform.The experimentalresults show that this algorithm can detect and stably track targets in real-time,and has high application value for defending low altitudeslow flying small unmanned aerial vehicles.Keywords:deep learning;drone;neural network0引言现代战争中，无人机的广泛运用极大地改变了战争形态。在战场环境下，有效防御无人机，成为越来越紧迫的需求。雷达作为无人机探测的主要手段，具有探测距离远、定位精度高、可对多个无人机目标持续跟踪的优点。然而，低空慢速飞行的无人机雷达反射面积小，并且往往处于雷达探测盲区，对雷达有效探测形成极大挑战。针对这个问题，研究一种基于计算机视觉的实时多无人机检测与跟踪算法，形成对雷达探测的有效补充，具有重大意义。利用计算机视觉技术检测并跟踪低空环境下慢速飞行的多个小型无人机目标，是一项极具挑战性的任务。其技术难点主要有：一是无人机型号种类多样，外观差异较大，特征描述困难；二是目标距离不同，相机焦距变化导致无人机的成像尺度差异大，多尺度目标检测是目标检测领域的难题；三是低空飞行的无人机背景复杂，比如天空、山坡、树林、水面、农田、建筑以及庭院等，对目标检测造成干扰；四是无人机灵活机动，难以对其飞行轨迹建模，对其进行稳定跟踪比较困难。针对这些技术难点，本文结合YOLOv8目标检测算法和SORT!多目标跟踪算法，能对低空环境下慢速飞行的多个小型无人机进行快速检测和稳定跟踪，对于及时发现并定位威胁目标、保障低空安全具有重要意义。1多多无人机检测多无人机检测的主要任务是确定单个或者多个无人机在图像中的位置和长宽，属于计算机视觉领域多目标检测任务的一个应用实例。本文电视技术第47 卷第6 期（总第57 1期）21ideo EngineeringARTS&DESIGN器件与设计采用YOLOv8目标检测算法实现多无人机检测。YOLOv8算法是卷积神经网络领域目前最先进算法之一，具有准确率高、检测速度快的优点。只要提供充足的不同场景下不同型号、不同成像尺寸无人机的训练样本，YOLOv8算法就能克服因无人机种类多样、外观差异大、背景复杂导致检测困难的问题。此外，YOLOv8是多尺度目标检测算法，对尺度变化的无人机具有较高的检测性能，对目标远近不同、相机焦距变化的场景具有较强的适应性。值得一提的是，YOLOv8算法运行速度快、检测性能高，对灵活机动目标建模和生成稳定航迹具有积极作用。利用YOLOv8算法实现多无人机检测，主要包括数据准备、网络训练和网络推理三个阶段。1.1数据准备基于深度学习的目标检测算法对训练数据要求较高，训练数据的质量极大地决定算法的检测效果。本文收集了各种场景、各种型号、各种成像尺寸的无人机图片三万多张2。无人机的成像背景包括天空、山坡、树林、水面、农田、建筑以及庭院等场景。无人机的型号涵盖国内大疆公司精灵、御、晓系列旋翼无人机和国外Parrot公司的Disco固定翼无人机。各场景下不同型号的无人机如图1所示。收集到的图像并不能直接用于YOLOv8神经网络训练，还需对图像中的无人机目标进行标注。数据标注是将无人机在图片中所处位置和长宽用特定数据格式记录下来，并保存到与图片同名的文本文件中。这些标注的数据也叫标签，随后被用于神经网络训练。本文采用机器自动标注与人工校验相结合的方式完成全体图片数据的标注。对机器标注不准确的图片，由人工对其重新标注。所有标注的图像和对应标签构成一个数据集。在训练神经网络之前还需要对数据集进行划分。本文按照8：1：1的比例将无人机数据集划分成训练集、校验集和测试集。训练集用于训练神经网络参数，校验集主要用于网络超参数调整和训练过拟合判别，测试集用于评估神经网络的检测能力。1.2网络训练网络训练是用训练数据计算网络框架中各卷积核参数的过程。本文采用YOLOv8算法训练无人机数据，网络主体框架如图2 所示。具体训练过程如下。（a）山坡（b）农田（c）庭院(d)森林(e）天空(f）湖面（g）海面(h）建筑图1各种场景下不同型号的无人机图像原始图片P5拼接C2f检测结果上采样ConvP1P4拼接C2f拼接C2f检测结果上采样ConvP2P3拼接C2f检测结果图2YOLOv8网络架构图电视技术第47 卷第6 期（总第57 1期）22ARTS&DESIGN电视技ideoEngineering器件与设计（1）首先用PyTorch机器学习库构建网络框架，然后用YOLOv8在COCO数据集上的预训练权重文件，初始化网络参数。（2）将训练集中的所有图像按原长宽比填充缩放到6 40 6 40 大小后输人神经网络运算。经过P1至P5模块的卷积计算后，在P3，P4，P5处分别输出8 0 8 0，40 40 和2 0 2 0 三个尺度的特征图。P5和P4尺度下的特征图经过上采样后分别与P4和P3尺度下的特征图拼接，P3和P4尺度下的特征图再分别与P4和P5尺度下的特征图拼接。这便是特征金字塔网络（FeaturePyramidNetwork，FPN）3和路径聚合网络（PathAggregationNetwork，PAN）4I神经网络的设计思想，其好处是在细粒度检测模块中融人更多的全局轮廓特征，在粗粒度检测模块中融合更多的局部细节特征，用以提升检测性能。神经网络输出三个尺度的检测结果，分别对应图像中的大、中、小三种目标。（3）构造损失函数并利用检测结果与训练集标注的差异计算损失。根据损失，使用SGDI5I梯度下降算法调整网络参数。（4）反复重复过程（2）、过程（3），直到损失低于某个阈值并且保持平稳即停止训练。保存训练过程中最优的一组网络参数，写人权重文件。1.3网络推理网络推理是在特定计算平台上构建神经网络并用训练好的权重文件初始化网络参数，执行前向推理获取检测结果的过程。其主要步骤如下。（1）在NVIDIAJetsonOrin硬件平台上，利用NVIDIAJetPackSDK构建软件开发环境。（2）构建并初始化YOLOv8神经网络。（3）对待检测图像进行预处理，保持长宽比，缩放至6 40 6 40 大小，输人神经网络计算，得到检测结果。对检测结果进行后处理，将目标位置和长宽转换到缩放前的图片中去。（4）使用非极大值抑制算法消除检测结果中的余，得到最终检测结果。2多无人机跟踪多无人机跟踪的主要目的是关联前后帧图像中同一无人机目标，并为其分配航迹号。SORT算法是当前多目标跟踪领域最高效的算法之一，处理能力高达每秒2 6 0 帧。SORT是一种检测后跟踪算法，其跟踪性能极大依赖检测质量，检测结果的好坏对多目标跟踪效果有着决定性的影响。本文利用YOLOv8算法检测每顿图像中的无人机目标，SORT算法利用检测到的目标进行目标关联和航迹生成，可以实时、稳定跟踪多个无人机目标。只要检测和跟踪的时间间隔足够短，目标在前后顿之间的运动可以近似为线性匀速运动，这极大地简化了灵活机动目标的运动建模。SORT多目标跟踪算法包含航迹创建、航迹匹配以及航迹删除三个核心步骤。2.1航迹创建航迹创建是用检测结果新建航迹并分配航迹号的过程，主要步骤如下。（1）对第一帧图像进行目标检测，得到检测结果。利用卡尔曼滤波对检测结果进行预测，得到预测结果。（2）获取到第二张图像的检测结果后，将检测结果逐一与前一顿图像中的预测结果匹配。如果匹配上，则生成预备航迹，更新卡尔曼滤波器参数，利用卡尔曼滤波对预备航迹进行预测，得到预测航迹；如果匹配不上，该检测结果被剩下。（3）获取到第三顿图像的检测结果后，将检测结果逐一与前一顿的预备航迹匹配。如果匹配上，生成正式航迹，为其分配航迹号，更新卡尔曼滤波器参数；如果匹配不上，再与前一顿剩下的检测结果匹配，如果匹配上，生成预备航迹，更新卡尔曼滤波器参数，反之，该检测结果被剩下。如此反复。2.2航迹匹配航迹匹配是当前顿目标检测结果与上一帧预测结果配对的过程。本文用检测结果与预测结果边框的交并比来衡量目标的相似度，用当前顿的所有检测结果与上一顿所有预测结果计算目标边框交并比，得到代价矩阵，用匈牙利算法从该代价矩阵中选择出全局最优的匹配组合。将匹配组合中目标边框交并比低于阈值的配对从组合中剔除，剩余的匹配就被认为是正确的匹配2.3航迹删除为了保证算法的正确、高效和低开销，必须建立准则，及时删除病态航迹。航迹删除准则如下：（1）正式航迹建立后，如果随后连续三帧关联不上目标，认为该航迹失效，从航迹列表中删除；（2）对于预备航迹，如果在下一顿关联不上目电视技术第47 卷第6 期（总第57 1期）23编辑：张玉聪ARTS&DESIGN视技重ideoEngineering器件与设计标，认为该航迹是错误关联，立即从预备航迹列表中删除；（3）对于上一顿剩下的检测点，如果在当前顿未能配对，在下一顿不参与计算。3实验结果本文将YOLOv8目标检测算法和SORT多目标跟踪算法移植到NVIDIAJetsonOrin硬件平台上。实验利用两段视频对算法性能进行测试，视频1包含一个无人机，视频2 包含两个无人机。图3是对单个无人机检测与跟踪的结果，图4是对两个无人机同时检测与跟踪的结果。由图可见，无论是单目标场景还是多目标场景，本文算法均能检出、跟踪场景中的无人机并稳定生成航迹。本文算法在NVIDIAJetsonOrin硬件平台上的处理能力在每秒30 顿以上，完全能满足实时检测与稳定跟踪的需求。(a)第8 帧(b)第33顿(c)第58 顿(d)第8 3 顿图3单目标跟踪结果(a)第15帧(b)第40 顿(c)第6 5帧(d)第9 0图4多目标跟踪结果4结语本文针对低空环境下慢速飞行小型无人机检测与跟踪困难的问题，采用计算机视觉的技术路线，结合YOLOv8目标检测算法和SORT多目标跟踪算法，在NVIDIAJetsonOrin硬件平台上实现了对单个或者多个无人机的检测与跟踪。实验表明，本文所提算法实时性好，跟踪稳定，可以直接用于工程实践。参考文献：1BEWLEY A,GE Z Y,OTT L,et al.Simple online andrealtime trackingEB/0L.2023-04-26.https:/arxiv.org/pdf/1602.00763.pdf.2 COLUCCIA A,FASCISTA A,SCHUMANN A,et al.Dronevs.bird detection:deep learning algorithms and results froma grand challengeJJ.Sensors,2021,21(8):2824-2851.3LIN T Y,DOLLAR P,GIRSHICK R,et al.Feature pyramidnetworks for object detectionEB/0L.2023-04-26.https:/arxiv.org/pdf/1612.03144.pdf.4LIU S,QI L,QIN H F,et al.Path aggregation network forinstance segmentationEB/OL.2023-04-26.https:/arxiv.org/pdf/1803.01534.pdf.5RUDER S.An overview of gradient descent optimizationalgorithmsEB/0L.2023-04-26.https:/arxiv.0rg/pdf/1609.04747.pdf.