单级感受野增强的红外多尺度目标检测网络_郑璐.pdf

引用格式：郑璐，周彤彤，叶泽聪，等单级感受野增强的红外多尺度目标检测网络电光与控制，（）：，（）：单级感受野增强的红外多尺度目标检测网络郑 璐，周彤彤，叶泽聪，彭月平（武警工程大学，研究生大队；信息工程学院，西安）摘要：针对红外多尺度目标检测，提出了一种轻量级的基于单级感受野增强的检测网络。检测网络采用简化的 作为骨干网络，结合空洞卷积和空间注意力机制，设计了单级感受野增强模块，使单级特征图感受野范围得到扩大，相邻像素点间的相关性得到增强。为提高模型反向传播效率、均衡正负样本，采用自适应训练样本选择方法，最终得到模型大小仅 ，浮点运算量仅 的轻量级检测算法。在构建的 数据集上 达到 ，在 显卡上 达到 帧。关键词：目标检测；多尺度；单级感受野增强；轻量级算法中图分类号：文献标志码：，（，；，）：，：；引言目前，随着计算机硬件的发展以及红外数据集的扩充，越来越多的基于深度学习的红外目标检测算法问世。与基于手工固定滑动窗口、步长和固定超参数的传统检测方法相比，基于深度卷积神经网络的方法凭借强大的特征提取和学习能力，能够从复杂图像中提取特征并进行分层表示。这些特性使得设计基于深度卷积神经网络的目标检测算法成为当前复杂背景下红外目标检测的有效突破口。收稿日期：修回日期：基金项目：军队装备综合研究项目（）；科研单位自主选题研究项目（）作者简介：郑 璐（），女，浙江金华人，硕士生。随着深度学习技术的兴起，基于 的红外目标检测方法通过数据驱动的方式学习目标特征，引起了广泛关注。文献率先将基于深度学习的目标检测算法应用于红外目标检测，但由于图像尺寸小、只有灰度信息、特征不明显，机器视觉领域现有的基于深度学习的目标检测算法不用于检测存在大量小目标的红外场景。为解决小目标虚警率高的问题，文献通过对高、低分辨率层的调整，重新设计了 网络结构；文献采用自适应感受野融合模块，增加小目标周围的上下文信息，并引入空间注意力机制来优化网络；文献指出，有效的小锚点和浅层特征是小目标检测的关键；为解决红外目标淹没在背景杂波中时虚警率高、检测率低的问题，文献利用卷积神经网络巧妙地将检测问题转化为模式分类问题，提出了一种 第 卷 第 期 年 月 电 光 与 控 制 郑 璐等：单级感受野增强的红外多尺度目标检测网络天空复杂云背景下红外小目标检测算法；文献利用回归型的深度卷积神经网络进行背景成分抑制，通过阈值分割提取出候选目标区域；在轻量化网络设计方面，文献尝试平衡无人机检测的精度和速度，设计了基于深度卷积神经网络的红外无人机监控快速探测器；文献以目标中心点作为目标检测关键点，采用轻量化的特征提取网络，提出了一种基于关键点的快速红外目标检测方法。本文从降低模型复杂度、强化红外特征、提高多尺度目标检测性能 个角度出发，提出一种基于单级感受野增强的红外多尺度目标检测网络。在特征提取阶段，采用简化的 网络，仅提取 倍下采样特征图；在特征融合阶段，利用单级感受野增强模块扩大特征图感受野覆盖范围，同时强化不同区域间的相关性；在检测阶段，采用自适应样本选择的方法。在制作的 数据集上进行实验，实验结果表明，该红外多尺度目标检测网络具有较好的检测效果。单级感受野增强的红外多尺度目标检测网络 简化的 骨干网络为尽可能地减少模型运算量，提高算法检测速度，改善 特征提取网络带来大量参数的问题，节省计算资源，本文使用 骨干网络进行优化。是 等于 年在 的基础上提出的改进版本，是目前轻量级神经网络中最具代表性的网络之一，其主要思想是采用深度可分离卷积来减少运算量及参数量。的核心模块是具有线性激活的倒残差结构。普通的残差结构先通过 卷积进行降维，减少通道数，再用 卷积核进行卷积处理，最后通过 卷积扩充通道数实现升维。对于倒残差结构，首先在 深度卷积之前使用 卷积和 激活函数，对通道数进行扩张，使网络能够获得更多特征，并在 卷积进行通道降维后，用 激活函数代替非线性的 激活函数，防止滤除有用信息对特征造成破坏。在 中通常采用，倍下采样特征图对多尺度目标进行检测，而本文算法中仅选取单级特征图作为后续感受野增强模块的输入，采用浅层特征图能够保留更多的细节信息。因此，使用 作为骨干网络，选用 倍下采样特征可以更充分地保留目标位置信息，保证了小目标的检测能力。单级感受野增强模块设计 设计思路考虑到多层特征的融合网络不可避免地会使检测器变得复杂，带来内存负担，并降低检测器的速度，考虑能否用单级特征图完成多尺度目标检测任务。文献指出特征金字塔（）的一大优势在于能够依据目标的不同尺度在不同级别的特征图上检测目标，对于单个特征图而言，特征感受野匹配的尺度范围限制了算法对检测目标的尺度，因此考虑能否找到一种使单级特征图感受野得到增强的优化方法，同时保证算法模型的简单、准确和快速。设计原理在红外多尺度目标图像中，由于目标尺度变化范围大，采用不同感受野的多级特征图对不同尺度目标进行检测。单一特征图的固定感受野只能匹配一定范围内的部分目标，当目标尺度和感受野不匹配时，检测效果会很差。受文献的启发，空洞卷积可以在不丢失分辨率的情况下扩大感受野，让每个卷积输出都包含较大范围的信息。但由于空洞卷积的稀疏性，远距离卷积得到的信息之间通常没有相关性，容易造成局部信息丢失，对中小目标的检测很不友好。将感受野扩张前后特征图各通道上的像素分别进行相加，能够更好地克服这一问题。以空洞率为 的空洞卷积为例，图（）、图（）分别表示有、无扩张感受野融合的 感受野示意图。图 感受野示意图 由图 可见，扩张感受野融合后的特征 具备原输入的像素信息和更大范围内的感受野信息，相邻像素点间的相关性得到增强，有效缓解了空洞卷积棋盘效应造成的局部信息丢失。单级感受野增强模块基于上述设计思路和原理，设计的单级感受野增强模块主要由扩张感受野融合和自适应滤波两个部分组成，如图 所示。图 感受野增强模块 第 期 首先，在扩张感受野融合阶段，把特征提取网络的输出特征 输入到 卷积经过维度变换，经过 空洞卷积扩大感受野，再经过 卷积恢复输入维度得到特征。特征通过膨胀卷积，覆盖尺度范围得到一定程度的扩大，相当于原来覆盖的尺度乘上一个大于 的因子，发生了偏移和扩大，仍然不能覆盖所有的目标尺度。所以对 和 各通道上像素值进行相加，使原始尺度范围和放大的尺度范围通过添加相应的特征相结合，得到一个包含多个接收域的输出特征，覆盖所有的目标尺度。随后，进入自适应滤波阶段，经过一个通道数为 的 卷积，将 的三维特征压缩为 的平面，再用 函数激活，将其像素值调整到 范围内。此时 可以看作一个既包含扩张感受野信息，又整合了各个通道间信息的强大滤波器，将输入特征 通过滤波器，得到基于感受野增强的输出特征。基于单级感受野增强的红外多尺度目标检测网络设计在完成 轻量级骨干网优化以及单级感受野增强模块设计的基础上，提出基于单级感受野增强的红外多尺度目标检测算法，用于红外多尺度无人机目标的检测，其网络结构如图 所示。图 红外多尺度目标检测网络结构图 算法以优化的 网络进行特征提取，仅使用原来 的前 层，即 个 和前 组。数据集中输入图片大小为，特征提取阶段输出为 的 倍下采样特征图。在进入单级感受野增强模块之前先通过 卷积完成上下文语义信息的细化。然后串联 个扩张率分别为，的感受野增强模块，赋予特征图不同大小的感受野，从而增加了特征感受野匹配的尺度范围，使网络能够捕获多尺度上下文信息，具备多尺度目标检测的能力。在目标预测阶段，单级特征图上稀疏的 生成策略造成正样本不均衡，导致训练中存在大量简单负样本产生的梯度回传，影响困难样本分类的准确性。在参考 和 正样本确定方法的基础上，采用一种自适应训练样本选择方法，如图 所示。图 样本选择方式示意图 如图 所示，通过计算先验框与标注框之间的，并与设定的阈值进行比较来确定正样本，如果大于设定的正样本阈值，则视为正样本；如果小于负样本阈值，则视为负样本，其余为忽略样本。将特征图位置映射回原图进行比对，即特征图中心点落在标注框内视为正样本，否则为负样本。在 的采样方式下，可能出现整个目标位于先验框内或者整个先验框包含于标注框的情况（即目标很大或很小），仍达不到阈值，导致把正样本误认为是负样本的情况，影响算法对小目标的检测性能。对于 采样方式，当目标较大时，会出现多个中心点均落在标注框内的情况，使算法将这些区域均视为正样本，但事实上该区域只包含了目标的一小部分，导致在大目标的检测中 的采样方式降低了正样本的质量。为使本文算法在不同尺度目标的检测上均有不错的表现，本文采用的自适应训练样本选择方法，结合了前面两种方法的优势：在筛选候选正样本时采用了 中心点距离相近的原则，在最后确定正样本时参考了 中基于候选框和标注框 的方案。首先计算先验框中心点与标注框中心点的距离，然后选取中心点距离目标中心点最近的 个先验框为候选正样本，在确定 阈值时，考虑候选正样本 的均值可以反映其整体质量，候选正样本 的方差可以反映当前特征层的选择是否合适，综合考虑均值和方差进行阈值设置。如图（）所示，对多尺度目标而言，自适应训练样本选择的方法依据中心点距离相近的原则筛选出候选正样本，缩小待选区域范围，在此基础上计算候选正样本 的均值和方差，并对特征层的选择进行调整：当 普遍较高时，设置高的 阈值；当 较低时，设置低的阈值，以保证网络在面对大目标和小目标的检测时，仍具备准确寻找到高质量第 卷电 光 与 控 制郑 璐等：单级感受野增强的红外多尺度目标检测网络正样本的能力。实验结果分析 数据集由于目前缺乏公开可用的相关空中红外多尺度目标数据集，本文实验在“”比赛提供的红外无人机视频数据集的基础上构建 数据集，涵盖多种不同复杂场景。在提供的红外无人机数据集中筛选出符合要求的 个红外视频段，使用 以 帧 的速率将视频提取成帧，调整图像大小为 ，编写 程序进行对应标签的提取，将标签格式由“”转化成“”，最终得到由 张图片和 个对应的标签文件组成的 数据集。实验细节和评估指标本文实验模型训练测试使用硬件平台为 ，；软件使用 系统，深度学习框架；目标检测算法框架使用商汤科技联合香港中文大学开发的基于 的深度学习目标检测框架。在检测实时性方面，本文实验采用模型参数量、浮点运算量 和每秒处理帧数（）项指标评估模型的大小、复杂程度和检测速度。在检测精度方面，采用准确率（）、召回率（）、阈值 为 的平均精度（，）这 项指标评判算法模型的检测性能，分别表示为 （）（）（）（）式中：为正确检测的目标数；为被检错的目标数；为未被检出的目标数。为精度，是对应每个标签的平均精度。对于本实验中仅有一种标签的情况，与 在数值上是相等的。检测结果与性能分析为评估提出的基于单级感受野增强的红外多尺度目标检测网络的性能，本节分别从定量和定性两个角度进行分析。定量分析表 为红外多尺度目标检测网络在 数据集上的检测结果，其中，和 分别是一阶段和两阶段目标检测的经典算法，并且 设有专门的多尺度融合用于多尺度目标的检测。是 系列算法的最新成果，是 的优化算法。表 数据集检测结果 算法召回率（帧）每秒浮点运算次数模型参数量 本文（）（注：表格中 个参数用 来存储。）由表 可以看出，在 数据集中，基于单级感受野增强的红外多尺度目标检测网络取得了 的 值，与 相比，参数量减小到了，值和召回率分别提升了 和 个百分点。与 相比，值提升了 个百分点，召回率提升了 个百分点，由于采用了轻量级骨干网络，删掉了 倍、倍和 倍下采样特征图，检测速度提升了 帧，说明本文算法在检测精度和速度上均优于经典目标检测算法。与 的优化算法 相比，值提升了 个百分点，召回率提升了 个百分点，参数量和浮点运算量大幅下降。本文算法在感受野增强模块中经过多次逐像素相加、相乘，故与 相比浮点运算量有所增加，但参数量不足 的，且 值和召回率分别提升 个百分点和 个百分点，说明基于单级感受野增强的红外多尺度目标检测网络在检测精度（值）和速度上超越了目前许多改进算法。定性分析图 显示了，和本文算法在 数据集上的可视化检测结果。可以看出，在第 张图的检测中，框出的目标明显大于真实目标，对于第 张图中复杂背景的检测存在漏检的问题；在对以海面为背景的第 张图进行检测时，难以检测出真实目标，对第 张图的检测结果进行仔细观察后发现，其框出的目标与 相比较为准确，但与真实目标大小仍有一定差距；在第 张图的检测中将模糊的电线杆误认为目标，在第 张图的检测中也存在虚警的现象；相比之下，本文所提出的基于单级感受野增强的红外多尺度目标检测网络发生漏检、错检的情况明显少于其他 种算法，在识别准确率和定位精度方面均有提升，能够有效地检测出复杂场景下的多尺度目标。第 期图 检测结果可视化 图 显示了本文提出的红外多尺度目标检测网络在单级感受野增强前后的特征图可视化结果。图 特征图可视化 由图 可以看出，经过单级感受野增强的红外多尺度目标响应更强，这是由于感受野增强后单级特征图经过扩张感受野融合、自适应滤波，捕获多尺度上下文信息的同时区域间相关性得到加强，有利于红外多尺度目标的检测。优化分析本节尝试针对单级感受野增强模块进行优化实验。实验共设 组，具体设置说明如下。实验：为 节提出的基于单级感受野增强的红外多尺度目标检测网络，以简化的 为特征提取网络，采用单级感受野增强模块，且模块内部通道数为。实验：在实验 的基础上，将单级感受野增强模块内部的通道数调整为。实验：在实验 的基础上，去掉自适应滤波，即扩张感受野融合后的特征 直接作为一次感受野增强的输出。实验：在实验 的基础上，在完成 次感受野增强后进行 次自适应滤波。实验：在实验 的基础上，用 层特征融合代替单层特征作为单级感受野增强模块的输入。实验：在实验 的基础上，去掉单级感受野增强模块。将以上 组网络设计按照实验设定的方法训练 轮次并在数据集上进行测试，优化实验结果如表 所示。表 优化实验结果 实验召回率（帧）每秒浮点运算次数模型参数量实验 实验 实验 实验 实验 实验 （注：表格中 个参数用 来存储。）对比实验 和实验 可以发现，将单级感受野增强模块内部通道数由 调整为 后，不仅减少了计算量和参数量，提升了检测速度，检测精度和召回率不但没有下降，反而有微小提升。其主要原因是输入感受野增强模块的浅层特征图通道数本就小于，再增加内部通道数实质上并没有扩充特征图所包含的信息，因此 通道与 通道相比，多出的 通道从某种意义上来说是冗余的。对比实验 和实验 发现，通过自适应空间滤波，值提高了 个百分点，网络参数量、浮点运算量基本不变，检测速度仍保持在 帧，说明在单级感受野增强模块中加入自适应空间滤波，将融合后的感受野通道信息进行整合，对原始输入浅层特征进行增强，能够提升模型多尺度目标检测性能。结合实验，发现在每一次特征增强后进行第 卷电 光 与 控 制郑 璐等：单级感受野增强的红外多尺度目标检测网络自适应滤波的效果是最好的，这样可以保证增强后特征的及时更新，能够更好地发挥单级感受野增强模块的作用。从实验、实验 和实验 中可以看出，实验 与实验 相比检测精度和召回率十分接近，但实验 设计的方法参数量计算量更小，检测速度更快，由此说明单级感受野增强模块在一定程度上可以替代多级特征融合，进而实现网络模型的压缩；对比实验 和实验，发现除去了单级感受野增强模块后，检测精度出现了大幅下降，从侧面说明单级感受野增强模块对于多尺度目标检测是有效的。此外，调整输入单级感受野增强模块的特征进行实验，发现无论是使用 倍下采样特征图还是 倍下采样特征图代替 倍下采样特征图，均不能很好地检测出多尺度目标，其主要原因是 倍下采样特征语义信息不足，存在干扰较多，倍下采样信息再经过 次感受野增强，造成小目标丢失，从而影响多尺度检测性能。因此，在优化实验结束后，单级感受野增强模块的有效性得到了验证，同时也发现当模块内部通道数为 时，算法性能达到最佳，为 ，检测速度达到 帧。结论针对检测算法参数量大、复杂度较高、对多尺度目标检测性能较差等问题，提出了一种基于单级感受野增强的红外多尺度目标检测网络。通过堆叠普通卷积和空洞卷积，结合空间注意力，设计了感受野增强模块。检测网络采用 的 倍下采样特征图，利用 个串联的扩张率分别为，的感受野增强模块，使单级特征图具备多尺度感受野信息。在正负样本均衡方面，采用自适应训练样本选择的方法。在构建的 数据集上，检测网络取得了的 值，检测速度达到 帧。实验结果表明，该基于单级感受野增强的检测网络对红外多尺度目标具有较好的检测效果。在下一步的研究中，将着眼于利用红外视频帧间信息强化目标特征，提升目标检测精度。参 考 文 献，：，：，（）：，：，：鞠默然，罗海波，刘广琦，等 采用空间注意力机制的红外弱小目标检测网络 光学精密工程，（）：，（）：，：，：谢江荣 基于深度学习的空中红外目标检测关键技术研究 上海：中国科学院大学（中国科学院上海技术物理研究所），：苗壮，张湧，陈瑞敏，等 基于关键点的快速红外目标检测方法 光学学报，（）：，：，：，：（）：，：，：第 期