融合全局上下文注意力的遥感图像检测方法.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:基金项目:湖南省自然科学基金项目()湖南省教育厅开放平台创新基金资助项目()作者简介:廖欢()男硕士研究生:.通信作者:朱文球()男硕士教授硕士生导师:.:./.融合全局上下文注意力的遥感图像检测方法廖 欢朱文球雷源毅徐 轲(湖南工业大学 湖南 株洲)摘要:针对遥感图像场景复杂、目标尺寸不一、且小尺寸目标过多导致的检测精度不佳和出现漏检等问题提出了一种融合全局上下文注意力的目标检测算法 该算法提出一种全局上下文注意力机制和 中 结构融合的模块以提升网络捕捉图像全局特征的能力通过 损失函数来提升对密集、尺寸小的目标的检测性能采用基于归一化的注意力模块降低图像中不太显著的特征和权重使网络能够达到更高的检测准确率利用动态卷积学习各个维度的信息让训练得到的模型在降低 情况下同时保持检测精度提升 在 数据集上实验结果 为.、准确率为.、召回率为.较原 模型分别提升了.、.和.证明了所改进 方法的有效性关键词:遥感图像 全局上下文注意力机制动态卷积本文引用格式:廖欢朱文球雷源毅等.融合全局上下文注意力的遥感图像检测方法.兵器装备工程学报():.:.():.中图分类号:.文献标识码:文章编号:()():.:引言遥感图像的目标检测技术在军用和民用领域都发挥着不可或缺的作用具有重要的应用价值 遥感图像目标检测技术旨在复杂的遥感背景图像中找到需要的目标如飞机、油罐、车辆等并精确地对其进行位置定位和分类 然而由于遥感图像背景复杂度高、目标尺寸多样性高等特点使得检测的目标存在过高的误检和漏检问题 传统基于人工提取图像特征如、算法其设计复杂、效率以及泛化能力低下 近些年来深度学习在目标检测中取到了重大的进展 通过构建深度神经网络训练大量数据来学习目标的特征信息较传统的手工提取特征算法已经取得了更好的精度并且实现起来更加方便、效率更高 目前基于深度学习的目标检测算法主要分为 种类型 一类是基于候选框的两阶段目标检测算法最经典的是 提出的、和 算法其设计复杂、消耗资源多且检测速度较慢另一类是基于回归的单阶段目标检 测 算 法 具 有 代 表 性 的 是、和 系列方法 相较于两阶段目标检测算法单阶段目标检测算法不仅在在网络设计结构层次方面更加简单而且在检 测 精 度、速 度 方 面 也 更 优 其 中 系 列 的模型在精度和速度方法具有很高的检测能力在学术界和工业界都使用广泛综上所述本文中提出一种融合全局上下文注意力机制的遥感图像目标检测算法 在 的.版本基础上设计一种全局上下文注意力机制和 中 结构融合的模块 提升网络模型对图像全局特征的捕捉能力使用 作为模型置信度和分类损失以此提高对图像小目标的召回率采用基于归一化的注意力模块用来降低图像中不太显著的权重利用动态卷积在降低模型参数情况下提升网络模型对目标的检测精度 根据网络深度和宽度的不同划分了、和 等 个 网 络 模 型 其 中 是模型容量、复杂度最小的一个 由于本实验数据集不够大因此选取 的.版本模型作为基础模型具体结构如图 所示 主干网络主要由、和 结构组成 结构主要借鉴了跨阶段网络 的思想将输入特征分为 个部分处理 主干部分通过卷积、归一化和激活函数逐步提取特征分支仅仅通过卷积层调整通道通过划分梯度信息消除了大量的梯度冗余信息 结构由卷积、归一化 和激活函数 组成用于提取模型的特征 结构将输入特征串行通过多个 的最大池化层再经由 网络结构提取堆叠的特征能够增大网络的感受野提升网络的表征能力图 网络结构示意图.模型沿用了 中自顶向下和自定向下的多尺度融合方式并且引入了 结构然后将特征信息传入到检测层中 一共有 、和 等 个不同尺度的检测层用于预测大中小目标的类别和位置预测 然后通过非极大值抑制算法等后处理操作输出置信度分数最高物体的类别信息 模型改进.融合全局上下文注意力机制在目标检测领域中一般通过深度卷积神经网络去提取图像的特征信息 而深度卷积神经网络是基于其局部的像素点进行感知要想获得长距离的依赖关系一般通过多次堆叠卷积层来获取 然而直接重复堆叠卷积层使得模型计算效率低下且在长距离间会导致信息传递困难难以优化图 网络结构示意图.模块由 和 个模块组廖 欢等:融合全局上下文注意力的遥感图像检测方法成其结构示意图如图 所示 图 中 和 分别表示特征图的高度和宽 表示特征图的通道数 输入图像首先通过 中 的卷积和 操作计算出注意力权重特征图然后和输入进来的 进行矩阵相乘且将每一个通道的特征层内所有值相加得到 的全局关系 然后通过 结构中 个 的卷积降低参数量此外还采用了 来减少模型优化的难题最后通过广播机制将 和 的全局信息按元素信息进行相加得到强化图像全局重要信息的输出结果为了解决长距离信息依赖问题提出一种融合全局上下文注意力机制的 模块命名为 图 即为 模块的结构示意图图 网络结构示意图.损失函数遥感图像目标检测较难的一个问题是图像中目标类别和背景类别极端不平衡其中检测目标仅仅占很少的图像区域 这会导致网络模型对检测目标的学习效率降低过多地去关注背景类的特征信息 损失函数可以解决目标类与背景类数据不平衡的问题定义为()()()()()()式()中:是模型预测为目标的概率取值在 和 之间的取值为 或者 分别代表背景和或者目标 为可调节平衡因子()为目标类调节因子 为背景类调节因子 种调节因子可以提高对难检测、误检的重视程度且减少简单样本对模型损失的贡献使得 能够解决模型训练时样本数据不均衡的问题 采用平等对待正负样本的方式而在实际的目标检测中正样本对模型的贡献更为重要 因此提出一种基于 的损失函数命名为 定义为:()()()()()()式()中:是 预测值表示预测为目标类的得分 表示分类的条件对于目标类来说将其设置为真实框和预测框之间的 阈值否则设置为 对于背景类来说 值为 如式()所示通过使用 的因子缩放损失 仅仅减少了负样本的损失贡献而不会对正样本进行比例的缩放 负样本损失贡献减少而正样本损失相对来说增大使模型能够更加关注于目标类的相关特征信息.归一化注意力机制注意力机制一般用于捕捉图像的特征信息不同的注意力机制是通过不同的关注机制获取图像不同特征维度上的信息 然而常见的注意力机制缺乏分辨捕捉特征的重要程度导致提取的特征效率低下 因此提出一种基于归一化的注意力模块()从空间和通道 个维度去关注图像的特征较常规注意力机制不同的是它通过控制比例缩放因子来判断空间或者通道的方差值以此来表示它们的重要程度 比例缩放因子越大证明所捕捉图像的空间或者通道特征更加重要使得网络会更加关注这些特征通道注意力机制模块如图 所示比例因子 的权重反应出各个通道变化的大小以及通道的重要程度由于深度神经网络模型一般随着深度的增加特征图的通道数会增大更多的信息存放在通道信息中 因此这里将 的通道注意力机制模块加入到 的检测头位置充分获取通道的特征信息图 通道注意力机制.多维动态卷积在深度神经网络领域常规卷积只有一个静态卷积且与输入样本没有建立联系导致卷积缺乏动态变化性提取特征效果差 近些年来动态卷积使用越来越广泛如 和 它们在卷积核上添加注意力机制使卷积核与输入的样本存在紧密关系赋予了卷积核的动态特性使模型的精度得到进一步的提高它们都忽略了输入通道、卷积核空间和输出通道维度的注意力关注 因此提出一种多维动态的卷积()沿着空间、输入通道、输出通道以及卷积核空间的核维度学习更丰富的注意力且采用更少的卷积核使其在取得更优性能的同时也能降低计算量 详细结构如图 所示兵 器 装 备 工 程 学 报:/./图 多维动态卷积.实验结果分析.实验环境配置实验环境如表 所示集成开发工具使用 表 实验环境配置 项目环境操作系统 内存 版本.数据集和评价指标实验 使 用 的 遥 感 数 据 集 是 是一个用于空间物体检测的 级地理遥感数据集由西北工业大学于 年发布拥有 张包含目标的图像和 张背景图像 数据集种类包括田径场、港口、桥梁、飞机、油罐、舰船、汽车、网球场、篮球场和棒球场 个类别目标检测领域中通常使用准确率()、召回率()和平均检测精度()来衡量模型的好坏 ()()()()()式()式()中:为正确检测出正样本的数量 为漏检的正样本数量 为误检的负样本数量 为单个类别的准确率 为平均检测精度 代表类别的个数.网络训练及参数设置由于实验数据集的数据量较少这里选择 作为实验基础模型且开启 数据增强实验使用 上的 的预训练权重进行迁移学习 选取数据集中 样本为训练集样本作为验证集样本作为测试集 实验采用随机梯度下降优化器()批处理大小()设置为 循环次数设置为 个 模型训练包括目标框、置信度和分类三大损失实验改进方法在验证集上的损失率曲线如图 所示图 损失率曲线.模型的损失随着迭代次数的增加而减少在迭代次数达到 次之后损失值趋于稳定且接近为 说明模型训练已达到最优效果.结果分析通过在 数据集的验证集上进行了消融实验来证明改进之后模型的有效性实验结果如表 所示表 消融实验 模型.本文方法.进一步对实验表格进行可视化展示如图 所示廖 欢等:融合全局上下文注意力的遥感图像检测方法图 横向对比.其中 代表在 模块中融合 全局上下文注意力机制 代表 代表的是归一化注意力机制 代表的是动态卷积实验提出改进方法的消融实验结果如表 所示提出的新模块、分别提升.、.、损失函数改进为、分别提升.、.、采用、分 别 提 升.、.、.利 用、分别提升、.下降.整体的、分别提升了.、.和.虽然本文中方法的 不是最高但从、和 综合来看是最优模型通过分析数据集图像提出的 模块让骨干网络捕捉到更多的浅层特征信息使用归一化通道注意力机制增强网络模型对深层次信息的关注与、等常规注意力机制相对比 提升更高如表 所示 这些操作都使得模型的平均检测精度更高改进的多维动态卷积在不同维度上提取特征图的信息提升了模型的检测精度即使召回率有些许下降但模型的计算量也随之下降如表 所示另外 通过突出正样本数据显著提高了模型的召回率表 注意力机制对比 算法 .表 模型计算量 算法.为了验证实验所改进算法的先进性同样采用验证集对算法进行对比实验将其与主流的目标检测算法进行对比 由表 可知改进的实验方法获得了最优的 值结果表 模型性能对照表 算法.本文方法.进一步对所改进方法在测试集的目标检测结果进行可视化展示图、图 和图 给出了 和所改进方法在几个典型遥感图像样本上的检测结果示例其中左图表示原 模型右图表示改进后的算法模型 从图 可以看出在高空拍摄下改进后的算法模型能够减少漏检小目标的问题从图 可以看出检测目标附近有各种不同的复杂背景信息通过对比改进算法在复杂背景下检测的置信度更高并且能够检测出由于遮挡而被漏检的目标从而在一定程度上提升了网络模型的检测效果 从图 可以看出改进后的算法模型能够提升多尺度目标的检测效果图 高空小目标检测效果.图 复杂背景下检测效果.兵 器 装 备 工 程 学 报:/./图 多尺度下检测效果.结论通过验证集实验数据表明本文中所改进的方法有效提升了遥感图像目标检测的准确率、召回率和平均检测精度同时降低了模型的计算量 此外当前 数据增强虽然能够增加数据样本的多样性但同时也让小目标的尺寸相对变的更小会导致模型检测精度、召回率难以有质的提升后续研究将在不改变目标相对尺寸的前提下尝试更多的数据增强方式参考文献:谢星星程塨姚艳清等.动态特征融合 的遥感图像目标检测.计算机学报():.():./.:./.:.:.():.:/.:./.:.:/.:.:/.:.:/:.:/.:/.:.:/.:.():.:/:.:/.:/./.科学编辑 朱福珍 博士(黑龙江大学 副教授)责任编辑 唐定国廖 欢等:融合全局上下文注意力的遥感图像检测方法