基于DCF-DeepLab网络的图像语义分割研究.pdf

第 卷 第 期 智 能 计 算 机 与 应 用 年 月 文章编号：（）中图分类号：文献标志码：基于 网络的图像语义分割研究蔡江海，黄成泉，杨贵燕，罗森艳，王顺霞，周丽华（贵州民族大学 数据科学与信息工程学院，贵阳；贵州民族大学 工程技术人才实践训练中心，贵阳）摘 要：针对 中存在的图像小目标信息易丢失、训练时效长、目标边界分割粗糙等问题，提出了一种基于双注意力交叉融合的 图像语义分割网络。该网络设计了基于注意力机制的特征融合模块，分别在、倍下采样特征图上使用该模块，融合浅层特征以弥补深层特征的不足；在主干特征提取网络部分引入轻量级网络，减少模型推理时间；在 模块嵌入多个注意力模块和串联结构，增强网络细节特征提取能力。通过在 数据集上的实验结果表明，该网络可有效提升图像语义分割性能，具有一定应用潜力。关键词：；特征融合；注意力机制；语义分割 ，（，；，）【】，（），【】；?哈尔滨工业大学主办学术研究与应用基金项目：国家自然科学基金（）；贵州省省级科技计划项目（黔科合基础一般）；贵州省研究生教育教学改革重点项目（黔教合）；贵州省教育厅自然科学研究项目（黔教技）。作者简介：蔡江海（），男，硕士研究生，主要研究方向：统计建模与模式识别；黄成泉（），男，博士，教授，硕士生导师，主要研究方向：计算机应用技术、图像处理；杨贵燕（），女，硕士研究生，主要研究方向：统计建模与模式识别；罗森艳（），女，硕士研究生，主要研究方向：统计建模与模式识别；王顺霞（），女，硕士研究生，主要研究方向：统计建模与模式识别；周丽华（），女，硕士，副教授，主要研究方向：图像处理、模式识别。收稿日期：引 言随着计算机视觉技术的飞速发展，图像语义分割已成为该领域研究的热点之一。基于深度学习的语义分割方法相较于传统图像处理方法，性能得到了极大的提升，被广泛应用于自动驾驶、医学图像处理、人脸识别等领域。等提出的全卷积网络（）是一种端到端的语义分割网络，可以有效应用于图像语义分割研究。然而，连续的池化和下采样操作容易引起浅层语义信息丢失，进而导致小目标信息丢失和边界分割模糊。等提出了 语义分割模型，该模型引入编码器解码器结构，利用上采样和下采样过程进行跳跃连接，实现了更高精确的分割。等提出了引入空间注意力和通道注意力的分割网络，有效提升了模型的性能。后续，相关研究者又陆续提出了更好的兼 顾 精 度 和 速 度 的 图 像 语 义 分 割 模 型，如、等。等在 基础上提出了，并引入 （）模块实现多尺度的特征提取。之 后 又 相 继 提 出 了 基 于 模 块 的 和采用编码器解码器结构的，实现了更好的图像语义分割。到目前为止，系列都是在降采样 倍尺度上进行预测的，边界分割效果不甚理 想。网络并没有包含过多的浅层特征，不仅在语义信息和位置信息的平衡上存在连续池化和下采样导致的小目标信息丢失的问题，并且由于该网络是通过多层卷积叠加而成的，存在训练时效长、目标边界分割粗糙等问题。为此，等通过注意力式可分离卷积的编码器解码器结构，在多尺度特征上有效均衡了训练效率和分割精度。等利用基于注意力机制的优势，较好地克服了因下采样导致的浅层细节信息丢失的问题，但模型参数量大，训练时效长，实用性较低。针对以上问题，本文提出了融合多模块的（）语义分割网络。首先，设计了基于双注意力交叉融合的 特 征 融 合 （）模块，以融合浅层特征弥补深层特征的不足，并将其应用于主干特征提取网络的、倍下采样的特征图上，充分提取小目标特征信息，实现特征图跨模块的融合；其次，在主干特征提取部分引入轻量级网络，加速整体网络的训练速率；最后，通过嵌入 模块、注意力模块和串联结构得到（）模块，实现多尺度信息编码，增强图像目标边缘的细节特征提取能力。语义分割网络从整体上精细了语义分割结果，提升了语义分割性能。网络 网络 网络主要由两部分组成：（）在编码端使用 残差网络模型作为基本特征提取的主干网络，得到有效特征图，再利用 模块（由 个 卷积、个全局池化层以及 个不同空洞率的空洞卷积共同组成）进一步提取特征得到多尺度特征图；（）在解码端将多尺度特征图进行拼接和 的卷积操作得到特征图（该特征图与基本特征提取主干网络下采样得到的特征图的通道数相同），最后通过上采样，将所得特征图还原回与原始图像大小相同的尺寸，得到语义分割的结果。整体结构如图 所示。A S P P 模块1?1 卷积3?3 卷积空洞率:63?3 卷积空洞率:1 23?3 卷积空洞率:1 8全局池化多尺度特征图1?1卷积上采样预测图像输入图像特征提取图 整体结构 网络为了使 网络高效地训练出预期的结果，提升网络训练参数的速度，解决因训练时间过长可能导致目标分割结果不佳的问题。本文采用具有高效且网络参数量、运算量小的 作为本文网络在编码端的主干特征提取网络。网络结构见表。表 网络结构 ，在 网络结构中，“”表示输入当前层特征矩阵的尺寸；“”表示输入特征矩阵在本层中进行的操作，主要由普通二维卷智 能 计 算 机 与 应 用 第 卷积操作、多个倒残差模块（）操作以及池化操作组成，其中“”表示不包含 层；“”表示利用 的卷积核扩展后的通道数；“”表示输出特征矩阵的通道数，其中 表示类别数量；“”表示通道注意力机制；“”表示激活函数，其中“”为 激活函数、“”为 激活函数；“”表示步距。注意力模块在计算机视觉领域，通道注意力机制被广泛应用于各类研究。（）模块针对不同语义信息的属性特征，在通道上实现了更好的信息获取和分割效果。模块结构如图 所示。全局平均池化空间特征压缩 通道注意力信息通道特征学习卷积激励操作图 模块结构 在全局平均池化中将全局空间信息转换成通道统计信息，并执行压缩操作得到空间特征压缩量。假设输入特征统计量 ，其中特征通道量 ，输出特征统计量经过全局平均池化得到，其中第 个元素值为（）（，）（）为了利用压缩操作中聚合的信息，完全捕获依赖通道的信息，执行激活操作。实现上，通过引入全连接层对输出特征统计量 进行通道依赖关系编码，学习通道之间的非线性交互作用，并结 合 函数进行通道赋权，获取通道注意力信息。最后，将得到的权重系数应用于输入特征中，得到通道注意力的输出 其计算关系为（）（）其中，（）为 激活函数，为全连接层参数。（）模块分别在通道和空间维度上进行注意力操作，以获得全面的注意力信息，引导模型进行权重分配和信息指引。模块结构如图 所示。图 模块结构 假设 表示输入的特征图，表示一维的通道注意力，表示二维的空间注意力。经过 模块依次推导出通道注意力和空间注意力的映射，计算过程如下：（）（）（）（）式（）中，将原始特征图 与其经过通道注意力模块操作后的结果进行元素相乘得到；式（）中，将输出 与经过空间注意力模块做特征提取后的结果进行元素相乘，得到最终的输出结果。为了提高通道注意力模块中网络的表征能力，首先，对输入的特征进行最大池化操作（）和平均池化操作（）聚合特征图的空间信息；其次，将池化后的特征信息输入到共享全连接层中以生成通道注意力图，其中共享全连接层由具有隐藏层的多层感知器（）组成，并将输出的特征进行相加融合；最后，利用 函数进行激活操作，得到输入特征层中每一个通道的权重值。通道注意力模块结构如图 所示。共享全连接层图 通道注意力模块结构 假设 表示输入的特征图，其经过通道注意力模块的计算过程为（）（）（）（）（）（）式中：（）表示 激活函数，表示全连接层，其中 为缩减比率，、分别表示最大池化特征和平均池化特征，权重、对于两个输入都是共享的。在空间注意力模块中，为了计算空间关注度并聚合空间特征信息，在通道轴上应用平均池化操作和最大池化操作，并将其连接起来生成有效的特第 期蔡江海，等：基于 网络的图像语义分割研究征描述，再利用通道数为 的卷积核进行降维，最后利用 函数进行激活操作，获得输入特征层的每一个特征点的权重值。空间注意力模块结构如图 所示。降维最大池化平均池化输出每个特征点权值图 空间注意力模块结构 空间注意力模块的计算过程为（）（）；（）（；）（）式中：（）表示 激活函数，表示滤波器的卷积运算，、分别表示最大池化特征和平均池化特征。模块 模块给每个特征通道上的信号都赋予了一定的权重，对特征通道上的背景信息和前景目标信息有了更明确的选择，强化了感兴趣的特征，增强了特征通道下特定语义的响应能力。模块在通道和空间维度上对不同位置元素间的关系进行建模，其兼顾通道注意力和空间注意力的优势，获得更可靠的权重信息，增强了模型的表征能力。计算机视觉领域常用的特征融合方式，是在同一张特征图上分别进行两种注意力机制操作，并进行结果的融合，其主要不同之处在于特征融合方式。考虑到语义分割任务中对图像分辨率的影响，通常情况下，分辨率低的深层特征图采取通道注意力操作，其关注点放在相关的特征通道上；分辨率高的浅层特征图采取空间注意力操作，提取特征图中关于空间位置的关键信息。因此，本文综合注意力机制对不同分辨率的深浅层特征图提取特征的优势，通过嵌入 和 模块，得到有效融合浅层空间细节信息和深层高级语义线索的 模块，如图 所示。假设：在 模块中，输入的低分辨率深层特征图为，尺寸大小为 ；高分辨率浅层特征图的输入为，尺寸大小为 。首先，根据公式（），将 进行上采样操作得到 使得尺寸大小与 相同，均为 。（）（）式中：（）表示采用双线性插值方法的上采样操作，其次，对 进行 注意力操作，得到。并根据公式（），对 通过 注意力操作得到权重，其计算公式为（，），（，），（，），（，）（）再将权重 与 相乘，即根据公式（），得到：（，），（，），（，），（）最后，将 与 相加，并进行 的卷积核降维操作，得到最终的输出特征图，即（）（）式中：表示 卷积操作。1?1卷积上采样图 模块结构 在 模块中，浅层特征图和深层特征图为 模块的输入，深层特征图经过上采样完成，并经过 注意力模块处理后，与经过 注意力模块处理后的浅层特征图进行像素级的相乘操作，最后经过相加以及 卷积降维操作，得到最终融合后的输出特征图。模块 网络中的 模块是由 个 卷积、个全局平均池化层和不同空洞率的空洞卷积简单拼接而成的，存在易失去图像中被忽略的小尺度目标信息的问题，进而降低特征提取能力，导致分割精度不高。因此，在空洞率不变的前提下，提取目标多尺度信息并获得足够大的感受野变得尤为重要。针对存在的问题，对 模块进行了一系列的改进。首先，受 网络结构的启发，将 个不同空洞率的空洞卷积由简单的堆叠变为密集连接的形式，即在原有 个空洞卷积并行的基础上增加了串联结构，将空洞率较小的空洞卷积输出和主干网络的输出级联，再依次送入空洞率较大的空洞卷积中。由逐级递增的并行操作，实现更密集智 能 计 算 机 与 应 用 第 卷化的像素级采样，增强提取细节特征的能力；其次，对于另外两个分支的卷积和全局平均池化操作，通过嵌入 模块以获取更多浅层特征的细节信息；最后，将融合 个分支后的特征信息输送到 模块中，加强对重要目标信息和细节信息的选择性注意，并结合 卷积操作，构成了具有强大特征提取能力的像素级 模块。模块结构如图 所示。全局池化C B A M模块D A F M模块3?3 卷积空洞率：1 83?3 卷积空洞率：1 23?3 卷积空洞率：6C B A M模块1?1卷积图 模块结构 模块中的 个空洞卷积分支以密集连接的方式组织，其中任意一层的空洞卷积层输出可表示为，（，）（）式中：表示卷积核的大小，表示第 层的空洞率，表示拼接操作，表示将所有前一层的输出拼接起来形成的输出。密集连接的方式不仅可以获得更密集的像素级采样，还可以提供更大的感受野，其计算过程如下：，（）（）式中：表示第 层感受野大小，表示第 层卷积核大小，表示前 层的总步长，表示当前层步长。由于所采取的空洞卷积步长为，因此 的值恒等于，有：（）在 网络的 模块中，采取空洞卷积 ，并联连接方式的最大感受野大小为 ，（）通过叠加空洞卷积，采取串联并行的连接方式，其所能获得的最大感受野大小为 （）（）因此，可以计算出 模块采取 ，的空洞卷积所对应的 大小为 （）（）通过计算，由式（）和式（）已知，模块中的 值明显大于 模块中的 值。模块通过逐层连接实现信息共享，不同空洞率的空洞卷积相互补充，使其细节信息更加丰富，并增大了感受野的范围，有利于增强特征提取能力。网络结构本文将主干特征提取网络 中、倍下采样获得的浅层特征图与 模块连接，并与后续通过多个模块获得的深层特征图进行融合。整体网络结构如图 所示。M o b i l e n e t V 3 _L a r g eD A-A S P P模块1?1 卷积1?1 卷积1?1 卷积输入图像2倍下采样4倍下采样8倍下采样1?1 卷积分割结果3?3 卷积上采样D A F M模块D A F M模块D A F M模块上采样上采样图 整体网络结构 实验 实验环境与数据集本文各项实验均在 上完成，软硬件环境配置说明见表。表 实验环境配置 实验环境配置 编程语言操作系统 深度学习框架第 期蔡江海，等：基于 网络的图像语义分割研究 本文在公开的 数据集上进行了一系列的实验，以验证 网络的有效性。数据集包括人物、动物、室内外场景、交通工具等 个具体前景类别，外加背景共 类。分别采用训练集上 张训练图像、验证集上 张验证图像以及测试集上 张图像进行网络的性能评估。为了加速实验结果的收敛性，在训练阶段采用了基于 数据集（数据集是提供 个目标类别、个材料类别的大型常用数据集）训练得到的预训练权重，且训练时只针对和 相同的类别进行训练。训练细节及参数设置本文采用了在 数据集上预先训练得到的预训练模型 和 的模型权重，分别对网络 和 进行初始化，以加速收敛。训练参数设置如下：图像预处理过程中随机水平翻转概率为，图像训练块大小为 像素，在验证阶段采取的大小为 像素；批量大小设置为，初始学习率为，动量设置为，权重衰减为，模型训练的迭代次数为 次。采用 学习率策略，其作为一种指数变换的策略，具体计算公式如下：（）（）式中：表示初始学习率，表示当前迭代步数，表示最大迭代步数，取。启用混合精度训练，以减少显存占用，加快网络训练速度。使用交叉熵损失函数计算主输出上的损失，并结合使用全卷积网络分割头辅助训练，得到的网络总输出损失为主输出和辅助分类器上的损失加权代数和，比率为 。消融实验为了验证 模块、模块和特征融合模块对网络性能的影响，设置了一系列相关的消融实验。所有实验均在 数据集上进行，以语义分割中常用的标准度量平均交并比（）作为衡量评估指标，定义为真实值和预测值的交集和并集之比，其计算公式如下：（）式中：表示前景目标类别个数，表示真实值 被预测为 的数量。模块为了验证本文所提出的 模块对网络性能的影响，通过与 模块和 模块基于 进行对比实验，实验结果见表。表 注意力机制对模型性能的影响 基准模型原始网络 从表 可看出，模块和 模块均可提升网络整体的分割性能，值较原始网络分别提高了 和。模块结合了两者的优势，分割性能效果最好，值达到。因此，本文考虑选取多个 模块作为网络解码部分的主体框架，以使网络达到更好的特征表达效果。模块实验采用 作为基准模型，对 模块、模块以及 模块进行组合实验，以验证 模块的有效性。实验结果见表。表 不同模块组合对模型性能的影响 基准模型 从表 可看出，对比 模块，模块和 模块均可提升网络整体的分割性能，值分别提高了 和。而将 模块和 模块同时组合进网络，融合浅层特征和深层特征，提取出了更多关键的目标特征信息，网络效果提升显著，值达到。因此，本文最终选择将 模块和 模块同时组合进网络。特征融合模块在编码端使用不同尺度采样所得的特征图对网络解码端 模块特征提取效果有不同程度的影响，本实验在 模块和 模块的基智 能 计 算 机 与 应 用 第 卷础上，对 模块结合主干特征提取网络不同下采样率所得特征图的网络整体组合效果进行实验。实验结果见表。表 不同尺度特征图对模型性能的影响 基准模型（，）（，）（，）注：（）表示使用的多尺度倍率（）从表 可看出，在 的基础上，对主干特征提取网络采取不同尺度的下采样，均可提升网络性能，其中使用（，）对 的分割效果最优，达到。在结合 模块和 模块的基础上，当对主干网络使用（，）下采样特征图进行组合时，值为；当使用（，）下采样特征图进行组合时，值为；当使用 （，）下采样特征图输入 模块时，网络的整体性能最佳，值达到。因此，本文还基于多尺度下采样倍率（，）结合 模块来改进原始网络，实现了更密集化的像素级采样，使得 网络具有更好的分割性能。实验结果分析 与 在 验证集上包括背景的 个类别的测试结果见表。从表中可看出，相比于基础语义分割网络 在 验证集上的测试结果，基于 模块的 在其中 个类别上的检测精度都有所提升，尤其在自行车、瓶子、沙发这 个类别上检测精度提高了 。总体上，值由 提高到，提升了。为了进一步验证本文提出的 网络的有效性，在 数据集上将 网络与其它经典语义分割网络的实验对比结果见表。从表 可看出，在融合多尺度语义信息的基础上，达到，优于其他以 和 为主干特征提取网络的语义分割模型。同时，在模型参数量和分割时间上取得了较好的平衡，其模型参数量大小为，每张分割时间为 ，明显优于对比网络。和 在 数据集上的部分可视化结果如图 所示。表 不同类别检测性能对比 类别 表 不同网络模型测试结果对比 模型骨干网络参数量每张分割时间 第 期蔡江海，等：基于 网络的图像语义分割研究（）原始图像（）（）（）标注图像图 部分可视化结果图 从图 可见，的分割性能整体上优于，尤其对精细的小目标进行分割时，其能够更好地捕捉小尺度细节语义特征，使目标边缘分割更加精细、光滑且完整。如：可视化结果中飞机的轮子和绵羊脚部位的轮廓分割等，较好地改善了 分割目标时存在的图像边界响应丢失及远距离小目标信息和目标边缘分割粗糙的问题。结束语本文针对 中存在的图像小目标信息易丢失等问题，提出了基于注意力机制的 模块，融合浅层特征弥补深层特征的不足，实现特征图跨模块的融合。同时，为了减少训练时长，在主干特征提取网络部分引入轻量级网络 。针对目标边界分割粗糙等问题，通过引入注意力模块和串联结构改进 模块，以增强局部特征提取的连贯性，进而从整体上提升语义分割性能。消融实验表明，模块和 模块对原始网络的语义分割性能有一定程度的提升；对比实验表明，网络在参数量大小和分割效率等方面都取得了一定成效，验证了本文设计网络的有效性。在后续的研究中考虑将网络的小目标分割特性拓展到其他领域（如：苗族服饰图像分割、医学图像分割、建筑物裂缝等工程问题），以提高网络的泛化性。参考文献 ，（）：，：，：，（）：，：，：，：，（）：，（）：，：，：，：，：，：（），：，（）：，（）：，（）：，：（下转第 页）智 能 计 算 机 与 应 用 第 卷果。使用机器学习进行训练学习的优势在于网络较简单，速度快，但对于诊断 图像良恶性准确率不高；训练集与测试集的差距超过，因此可能存在过拟合现象。深度学习对于图像的识别率很高，对于 期的 图像的 均可以达到 以上，但其不足在于网络模型较为复杂，训练时间长，对电脑配置要求较高。本文分别将胰腺癌患者的、期 图像导入深度学习和机器学习的网络模型训练，虽然不同网络在准确率上有较为明显的差距，但基于深度学习模型的良恶性分类诊断中，综合得分和识别率较高的是 和 时期；基于深度学习模型的良恶性分类诊断中，综合得分和识别率较高的是 和 时期。综上，不论使用深度学习还是机器学习的方法，良恶性特征较为明显的时期是，即动脉期。虽然本文的研究取得了一定成果，但依然存在一些不足。如：期的 图像数据虽然存在交集，但并不是完全重合的数据；由于深度学习网络模型耗时较长，只选取了经典的 导入数据训练等。后续可尝试、等其他网络模型进行进一步研究。参考文献 ，：，（）：，：，（）：，（）：何鹏飞 基于深度学习的多模态影像融合及应用研究 哈尔滨：哈尔滨工业大学，：，（）：，（）：，（）：，（）：，：，：，（）：侯向宁，徐草草，杨井荣 基于 的花卉图像分类研究计算机技术与发展，（）：，：，（）：，：，：（上接第 页），：，：，：智 能 计 算 机 与 应 用 第 卷