基于Transformer的航空目标检测算法.pdf

年 无线电工程 第 卷 第 期：引用格式：季长清，高志勇，秦静，等基于的航空目标检测算法无线电工程，（）：，（）：基于的航空目标检测算法季长清，高志勇，秦静，汪祖民（大连大学 物理科学与技术学院，辽宁 大连；大连大学 信息工程学院，辽宁 大连；大连大学 软件工程学院，辽宁 大连）摘要：近几年，基于深度学习的目标检测算法在航空图像检测任务中得到了广泛应用。针对传统水平目标检测算法无法定位航空图像中大量密集排列的倾斜目标问题，提出了模型算法来实现航空图像中倾斜目标的检测任务。为了避免深度卷积神经网络（，）带来的网络退化等问题，使用结构搭建特征提取网络；针对密集的、小尺度图像目标的问题，采用多尺度特征融合的方法提升检测效果；针对倾斜目标检测的问题，通过边界框边缘感知向量表示任意角度的倾斜目标。在 和数据集上的部分测试结果表明，此方法的平均精度分别为 和，证明了模型算法的有效性。关键词：深度学习；倾斜目标；航空检测；中图分类号：文献标志码：开放科学（资源服务）标识码（）：文 章 编 号：（），（，；，；，）：，（），；，；，：；收稿日期：基金项目：国家自然科学基金青年科学基金项目（）：（）引言随着近些年航空技术和无人机巡航技术的快速发展，航空图像中的目标检测任务作为航空领域中最具挑战的任务之一，吸引了诸多目标检测领域研究者的关注，随着航空影像数据质量的提升，图像数据的检测面临着以下个问题：图像的空间分辨率不断提高，图像中的目标数据也越来越多，图像场景结构越来越复杂，密集检测较为困难；图像中不同比例尺度的目标样本具有不同的纹理特征，信号与信息处理 且待检测目标通常以任意方向显示。本文的研究内容将沿着上述个问题展开。伴随着深度学习技术的不断发展，可以将基于卷积神经网络（，）的目标检测算法大致分为类：端到端的一阶段检测方法和二阶段检测方法。二阶段检测方法需要预先生成区域建议框，然后再对区域建议框进行后处理，最后进行回归和分类，该类方法得到的目标准确度较高，但识别速度相对较低，比如、等。不同于二阶段检测方法，一阶段检测方法无需生成区域建议框，而是直接使用对图像数据进行处理，在提取的特征图上回归检测结果。比如系列算法等，但该类算法对小目标检测并不友好，在处理密集的目标时，产生的最后结果通常会覆盖过多的图像背景或相邻的目标区域。以上目标检测算法模型在训练过程中均使用水平框标注的形式，如分别标注目标左上角、右下角的坐标或者标注水平目标框的中心点坐标并同时记录水平目标框的宽度和高度，因此在实现模型推理时无法有效地解决航空旋转目标角度偏移的问题。受益于自然语言处理的发展，该领域中的结构被用于解决计算机视觉任务。年谷歌提出了 模型，它在的测试集上取得了 的准确率，刷新了该榜单上的纪录，该模型避免了深度卷积神经网络带来的网络退化等问题。由于现有的航空图像分辨率较高、像素点多，因此 模型基于全局自注意力的特征提取方式带来了大量的计算，非常耗费计算资源。随后出现的 模型很好地缓解了以上问题，该模型的主要思想是将具有很强建模能力的结构和重要的视觉信号先验知识结合起来，构筑了具有层级结构的主干网络，这使得 在特征提取的任务中达到了较好的效果，表明了结构在计算机视觉领域中具有独特的优势。模型首先把方法应用到目标检测领域，但没能解决航空图像中旋转目标检测的问题。模型在的基础上改良了收敛缓慢以及二分图分配不稳定的问题，但仍不能实现旋转目标的检测。结合以上问题及结构的启发，本文从端到端检测的思路出发并结合 的检测方式设计了一个基于的一阶段旋转目标检测器，主要工作是：使用了全局注意力机制的结构搭建特征提取网络，避免了过深卷积层带来的网络退化问题；使用了多层特征融合的思路去获得最终的特征图，充分利用了浅层与深层的特征；使用回归的方式直接得出了目标的旋转角度。模型 模型的整体结构由构建的目标检测模型存在着一些问题，比如随着卷积层数量的增加，特征图上单个位置对应的局部感受野会随之扩大，过大的局部感受野不利于小尺寸目标的检测；堆叠过多的卷积层无法更好地提取特征，网络模型存在退化问题等。所以本文提出了基于结构的旋转目标检测网络，称为，模型如图所示，主要包括由结构组成的主干特征提取网络和预测模块个部分。对于主干特征网络，本文使用层级式的设计方式，结合 模块并采用 的比例构建主干特征提取网络。在预测模块中，分别预测目标的热力图（）、中心点偏移量（）、边界框类型（）和边界框参数（）。为了更好地使用到浅层特征的位置细节信息，在模型构建时使用了多特征层融合的策略，分别使用了 模块的输出特征，与通过双线性插值实现上采样的特征图进行融合，用以实现更精确的目标检测。信号与信息处理 年 无线电工程 第 卷 第 期 图模型 主干特征提取网络使用改进后的 模型充当特征提取的主干网络。最重要的改进表现在 层，改进后的模型获取了每一次下采样产生的一维特征向量，并且新的 层根据实验设置的批量大小将一维特征向量重新分解成二维平面图像，这样做可以达到类似逐层扩大感受野的效果，便于在此基础上更好地把握图像的多尺度特征生成新的特征图。由于航空图像的分辨率非常高，所以在设计模型时使用了窗口多头自注意力机制（，）的方式将图像划分成多个不相交的区域，使得全局性的多头自注意力机制只在每个独立的区域内进行。这样的计算方式利用了局部性的先验知识，即同一个物体的不同部位或是语义相近的不同物体在图像上大概率会出现在相连的地方。所以即使是在独立的小区域内做自注意力计算，也足以满足视觉任务的需要。相对于中直接对整个特征图进行多头自注意力机制的方式，使用的方式在提取特征时能够大大减少计算量，尤其是在浅层存在较大特征图的时候。但由于隔绝了不同区域之间的信息传递，使得失去了全局建模的能力，所以模型构建时也使用了窗口转移多头自注意力机制（，）的方式，这种特征提取的方式能够让信息在相邻的区域中进行传递。使用这种模块组合构建的 单元可以让模型在进行特征的提取时不仅能关注到图像中的每一个像素点，还能降低计算的复杂程度。这种全局性的注意力机制让模型能够很好地处理密集、小目标的问题，可以较好地提取图像中的目标信息。特征融合策略由于高分辨率航空图像中的目标尺度变化范围较大，比如较大尺度的飞机和较小尺度的船舶。如果直接使用主干网络提取的特征图，并在同一特征图下对不同尺度的目标进行兴趣区域的目标特征提取时会造成较大的目标损失。融合不同尺度的特征是提高检测性能的一个重要手段，本文模型也像、和系列算法一样使用了特征融合的方式去构建。如图所示，通过残差连接的方式，将双线性插值上采样得到的深层特征和浅层特征结合起来。这样做既保留了图像的浅层位置细节信息又使用了高层特征图的语义特征，避免了仅使用最后低分辨率特征图带来的几何信息表征能力弱、缺乏空间几何特征细节的缺点。此时模型可以进一步处理通过该策略得到的特征图来解决倾斜目标的问题。在实验部分，本文对此特征融合策略做出了相应的论证。特征融合的方式如图所示。信号与信息处理 图特征融合的方式 预测模块模型的预测模块用来处理目标的倾斜问题。热力图用来检测航空图像中倾斜目标的中心点，特征图的通道数对应类别数，每个通道的映射通过一个函数传递。特定中心点的预测热力图值被视为物体检测的置信度。训练热力图时，为了减少高斯凸起内部点的损失和避免该项损失函数带来的梯度爆炸问题，此次实验使用了新的损失函数来训练这个热力图：（）（），（）（），（）式中：和 为地面实况和预测的热力图值，为特征图上的像素位置，为在热力图某点处恰是某类别的中心点，为一个极小的正数，为对象的数量，和为控制每个点的贡献的超参数。改进后的损失函数不同于。由于在热力图中选取的中心点坐标都为整数，从输入图像到输出热力图按比例缩小一个像素点坐标时会生成一个浮点数，将特征图上的点映射回原输入图像时会造成较大的精度误差，所以通过预测偏移图补偿量化浮动中心点和整数中心点之间的差异。需要预测的偏移量表示为：，()，（）式中：、分别为下采样倍后的坐标值。为了得到带方向的包围框用以标记任意方向的目标，使用边界框边缘感知向量的方法预测了个边界框边缘感知向量、。其中前个向量分别分布在笛卡尔坐标系的个象限中，所有的旋转物体共用一个坐标系，这样的方式可以高效地利用特征图中共同的信息，有利于提升模型的泛化能力。带方向的包围框的表示方式如图所示，图中包围框的参数定义为：，其中、是外接水平包围框的宽和高。获得的边界框边缘感知向量可以很好地表示出目标的倾斜方向。图带方向的包围框的表示方式 实验与结果分析 实验数据与实验环境为了评估旋转目标检测模型对密集小目标的检测效果，在 多目标数据集上展开研究，数据集包含多种实例密度不同的图像，特别是小目标高度聚集的图像，该数据集中大小为 的小目标占比约为，这为验证本模型对密集小目标的检测效果提供了帮助。数据集由 张航空图像组成，总共包含 个用水平包围框及旋转包围框标注的实例目标。本文采用该数据集旋转包围框的标注形式，选取了飞机（，）、船（，）、小型车辆（，）和大型车辆（，）类数据，共计训练图像张，测试图像张。具体的数据分布信息如表所示。表部分 数据集各类别分布 数据集类别训练集 测试集 该类数据基本涵盖了人们日常生活中使用的交通工具，将模型应用于交通领域，对处理交通问题具有深刻的意义。此次实验在 操作系统下，采用 显卡在 深度学习框架下展开。信号与信息处理 年 无线电工程 第 卷 第 期 评价指标模型选用的性能评价指标主要是均值平均精度（，），实验使用该评价指标来反映检测精度。（，）值为准确率（，）以及召回率（，）构成的曲线的面积。具体的计算公式为：，（），（）（），（），（）式中：（）为模型正确检测到的正样本数量，（）为模型错误检测到的正样本数量，（）为模型错误检测到的负样本数量，为所有目标类别的数量。实验结果 对比实验分析模型在 航空影像数据集上的实验结果分析如下。表为不同模型对 数据集中个类别的检测结果，本文选取了种较为典型的航空旋转目标检测器与本模型进行对比。其中，二阶段旋转目标检测方法与为了降低旋转包围框的回归难度，均设置了较多的锚框规格，在航空旋转目标检测任务上取得了一定的效果。模型为了保持图像语义和空间信息的完整性，提出了多尺度感兴趣区域对齐的概念。通过密集连接为所有尺度构建了高级语义特征图，增强了特征传播，强调了特征重用。同时设计了旋转锚框的策略来预测物体的最小外接矩形，减少了冗余检测区域，提高了召回率。模型是基于 架构搭建的。首先，使用区域建议网络生成围绕不同方向目标的水平框。其次，对于区域建议网络选出的每个水平框提取不同集合大小的特征，利用级联特征，采用多尺度池化来提取长宽比信息，同时预测目标的置信度、水平框和倾斜最小区域框。最后，采用倾斜的非极大值抑制（，）算法来得到检测结果。是基于模型搭建的一种无锚框的算法模型，将自注意力机制引入视觉任务中，利用基于自注意机制的模块作为特征交互模块，并在几何变换的基础上根据水平检测框实现了倾斜目标的检测，达到了较为先进的分类精度。但是仍存在像素点目标重叠的问题，极有可能会造成目标的漏检。通过与表中种算法模型的对比可以发现，提出的模型在值上均存在不同程度的提高，与二阶段检测算法和相比分别提升了 以及。与一阶段检测算法相比，本模型在的检测上提升了 的检测精度，在的检测上提高了 的检测精度，总体上本文模型的值提升了。本文方法在 数据集的类数据上取得了不错的检测效果，有效地证实了模型在航空目标检测任务上的可靠性与实用性。表 数据集上不同检测算法的结果 算法 图展示了模型在 数据集中不同场景下的部分检测结果，通过观察可以发现，针对目标较小、密集性强、背景复杂的问题，如图（）和图（）部分所示的船、车辆检测，本文检测算法能很好地处理图像中的密集小目标，在能够很好地适应不同的检测背景的同时，也能显示出船、车辆的停靠方向。针对水平检测算法忽略目标角度信息，不利于目标精确定位的问题，如图（）中部分所示的飞机检测，本文算法可以很好地应对不同的目标倾斜角度，能够精准地标记出目标位置。综上所述，本文方法在 数据集的多类别目标检测上达到了较好的检测效果，可以较为准确地标记出目标的位置和倾斜方向。信号与信息处理 （）船的检测效果（）大、小车辆的检测效果（）飞机的检测效果图检测结果 消融实验分析为了验证模型使用特征融合策略的有效性，在 数据集的类数据上做了一个消融实验，“”表示使用了特征融合策略，“”表示未使用特征融合策略，结果如表所示。表基于特征融合策略的消融实验 是否使用特征融合策略 通过表中每一列目标的检测精度对比可以发现，与以直接上采样得到较大特征图的方式构建模型相比，在使用特征融合策略利用浅层特征图构建模型时，该目标检测模型可以取得较好的检测效果。表明仅在最后特征图下对不同尺度的目标进行提取兴趣区域时造成的损失较大，进一步说明了本文方法的有效性。种构建方式搭建的模型在、的 检 测 上 分 别 相 差、，相差。种策略的对比如图所示。从图的对比中可以明显地看出本文实验所采用策略的有效性，图（）中的检测效果相对较好，图（）中存在较多漏检目信号与信息处理 年 无线电工程 第 卷 第 期 标，这进一步证明了使用特征融合策略搭建的模型更能适应航空图像中目标的形态特征，性能更优异，具有一定的优势。（）使用特征融合策略的检测结果（）未使用特征融合策略的检测结果图 种策略的对比 数据集上的实验分析由于使用的部分 数据集的类别分布不均衡，造成本文模型在部分类别的检测上未能达到理想的结果，本文在拥有单一、小目标类别的数据集上验证了的有效性。在年发布的数据集是用于合成孔径雷达（，）图像检测任务的数据集，包含有不同分辨率、比例、海况的 张图像，总计船舶目标 个。该数据集采用旋转框的标注形式，并在实验中将数据的标注形式统一为 格式，使该数据集可以适用于倾斜目标的检测。实验按照 的比例将数据集划分为训练集和测试集。除了比较二阶段检测算法以外，本文模型还比较了另一些改进的一阶段目标检测算法，结果如表所示。通过表可以发现，模型的检测效果超过了部分二阶段检测算法，比一阶段检测算法更为优秀，与之相比，值高出了。通过以上几组实验充分验证了模型在不同场景下的鲁棒性和有效性。表数据集上不同检测算法的结果 算法 结束语本文设计了一种基于层级式网络的一阶段航空图像旋转目标检测模型。模型使用了端到端构造目标检测器的思路，在网络基础上，针对航空图像的特性，利用模型的检测方式对提取的图像特征进行处理，即采用边界框边缘感知向量描述目标位置，实现了对任意方向目标的准确定位。模型巧妙地使用了特征融合网络的思想，并改进了损失函数的设计，进一步提升了网络的检测性能。在 数据集和数据集上的实验结果已经初步表明，该模型在密集检测、小尺度目标检测方面具有一定的优势，能够很好地完成航空图像中的旋转目标检测任务，具有一定的应用价值。在下一步的工作中，将继续对网络进行优化，进一步提升模型的检测性能，设计出基于的具有高效率、高性能、高实时性的遥感目标探测器。?参考文献，（）：，：信号与信息处理 ，：，：，：，：，（）：，（）：，：，：（）：，：（）：，（）：，：，：（）：，：，（）：，：（）：，：，：，：（）：，：，（）：，：，：，：何林远，白俊强，贺旭，等基于稀疏的遥感旋转目标检测激光与光电子学进展，（）：刘旭伦，马时平，何林远，等基于稀疏掩膜的遥感图像目标检测方法激光与光电子学进展，（）：陈少波，雷泽人基于 的遥感图像任意方向目标检测中南民族大学学报（自然科学版），（）：王童，王宏伟，王红基于旋转目标检测的飞机蒙皮损伤检测研究激光与光电子学进展，（）：，（）：，：张俊青，熊玉洁，孙宪坤，等结合双金字塔特征融合与级联定位的车牌检测计算机工程与应用，（）：，（）：，：，（）：，：，（）：，：，：，：，（）：信号与信息处理 年 无线电工程 第 卷 第 期 ，：（）李超，王凯，丁才昌，等改进特征融合网络的遥感图像小目标检测 计算机工程与应用：，（）：，：，：（）：，：（）：，：，：，：，（）：，：李健伟，曲长文，彭书娟，等基于卷积神经网络的图像舰船目标检测系统工程与电子技术，（）：徐英，谷雨，彭冬亮，等面向合成孔径雷达图像任意方向舰船检测的改进模型兵工学报，（）：苏航，徐从安，姚力波，等一种轻量化图像舰船目标斜框检测方法航空学报，（增刊）：作者简介季长清男，（），博士，副教授。主要研究方向：人工智能、大数据分析、空间数据库和智慧医疗。（通信作者）高志勇男，（），硕士研究生。主要研究方向：人工智能。秦静女，（），博士，副教授。主要研究方向：信号处理、大数据分析。汪祖民男，（），博士，教授。主要研究方向：智慧城市、物联网。信号与信息处理