结合注意力机制的HRNet图像语义分割算法.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第10期总第338期文章编号：1006-2475（2023）10-0065-05收稿日期：2022-11-20；修回日期：2022-12-09基金项目：重庆市技术创新与应用发展重点项目（cstc2019jscx-mbdxX0061）作者简介：叶思佳（1998），女，重庆忠县人，硕士研究生，研究方向：图像语义分割，E-mail:；通信作者：魏延（1970），男，四川泸县人，教授，硕士生导师，研究方向：教育大数据，E-mail:；杜韩宇（1997），男，安徽宿州人，硕士研究生，研究方向：图像暗光增强，E-mail:；邓金枝（1995），女，四川南充人，硕士研究生，研究方向：文本生成图像，E-mail:。0引 言语义分割1-2是计算机视觉领域中常见的任务之一，让计算机理解图像的信息，根据图像的信息来为每一个像素点进行分类，不同类别信息的像素点用不同的颜色区分开，语义分割本质是一种像素级的空间密集型预测任务。语义分割在地理信息系统3-4、无人车驾驶5-6、医疗影像分析7-8等领域都有着广泛的应用。目前语义分割领域依旧面临许多挑战，如分割精度不够、小尺度目标丢失、分割不连续等问题。传统的语义分割方法通常是根据图像自身的低阶视觉信息来提取特征图，这种提取的方式特征图辨别性低从而影响分割精度。传统的语义分割算法主要包括阈值分割9、边缘分割10、聚类分割11-12等。目前语义分割领域中主流的是基于深度学习的方法。和传统方法相比，基于深度学习的图像语义分割能更好地提取图像的特征。基于深度学习的图像语义分割网络结构主要包括 3 种，即基于编解码的网络结构、基于空间金字塔的网络结构和基于多分支的网络结构。在编解码网络结构中，通过编码器取得低分辨率图像，得到图像的抽象的语义信息，通过解码器取得高分辨率图像，得到像素级预测结果。典型编码器-解码器结构的网络主要有全卷积神经网络FCN13、U型网络U-Net14以及SegNet15网络。空间金字塔网络结构就是在图片特征提取过程当中形成多个不同分辨率的特征图，再将不同分辨率的特征图进行融合，提高模型表征特征的能力。空间金字塔结构的实现目前主要分为2种：一种是通过改变各分支结合注意力机制的HRNet图像语义分割算法叶思佳，魏延，杜韩宇，邓金枝（重庆师范大学计算机与信息科学学院，重庆 401331）摘要：目前主流的语义分割算法中依然存在小尺寸目标丢失、分割不精确等问题，针对这些问题本文基于HRNet网络模型进行改进，融入注意力机制生成更有效的特征图，对于原模型中低分辨率图像直接向高分辨率图像融合而产生的特征图细节不足的问题，提出多级上采样机制，让不同分辨率图像之间的融合方式更平滑从而得到更好的融合效果，同时使用深度可分离卷积减少模型的参数。本文模型全程保持了图像较高的分辨率，保留了特征图的空间信息，提升了对小尺寸目标的分割效果。在PASCAL VOC2012增强版数据集上的mIoU值达到80.87%，和原模型相比，精度提升了1.54个百分点。关键词：图像语义分割；注意力机制；高分辨率；深度可分离卷积中图分类号：TP391文献标志码：ADOI:10.3969/j.issn.1006-2475.2023.10.010HRNet Image Semantic Segmentation Algorithm Combined with Attention MechanismYE Si-jia，WEI Yan，DU Han-yu，DENG Jin-zhi（College of Computer and Information Science，Chongqing Normal University，Chongqing 401331，China）Abstract:The current mainstream semantic segmentation algorithms still have problems such as loss of small-sized objects andinaccurate segmentation.In response to these problems，this paper improves the HRNet network model and integrates the attention mechanism to generate more effective feature maps.To address the problem of insufficient detail of the feature map caused bythe direct fusion of the low resolution images to the high-resolution images in the original model，a multi-level upsamplingmechanism is proposed to make the fusion between images of different resolutions smoother to achieve better fusion results，andthe depth separable convolution is used to reduce the parameters of the model.The model in this article maintains a high resolution of the image throughout the entire process.The spatial information of the feature map is improved，and the segmentation effect of small-sized objects is improved.The mIoU value on the PASCAL VOC2012 enhanced dataset reaches 80.87%，and theaccuracy is improved by 1.54 percentage points compared with the original model.Key words:image semantic segmentation；attention mechanism；high resolution；depthwise separable convolution计算机与现代化2023年第10期的输入分辨率来捕获多尺度语义信息，如PSPNet16、PANet17；另外一种是改变各分支卷积层的方式来提取多尺度语义信息，如DeepLab18-21系列。以上2种网络结构在进行特征提取时都会经过一系列的下采样过程，大量的下采样和池化操作会使特征图由原先的输入图像大小（H，W）慢慢变成（H/16，W/16）甚至更小，这就会丢失掉原有分辨率的空间位置信息，导致空间和细节信息丢失。这个问题对于图像语义分割这种基于像素点的分类任务来说影响很大，因为特征图难以单独学习到下采样过程中丢失了的像素信息。基于多分支的网络结构能缓解下采样过程中像素信息丢失这一问题。多分支网络结构是将输入图像分别送入多个分支，每个分支具有不同的输出分辨率，由于网络过程中全程保持了图片分辨率比较高的分支，即保留了图片的空间信息和细节信息。HRNet22是一个典型的多分支网络结构，网络全程保持了较高分辨率的特征图，这也让其在像素级分类领域中有着更好的效果。为了改善目前分割算法中小目标丢失、精度不够等问题，本文基于HRNet网络模型进行改进。首先，针对不同分辨率的特征图，本文引入不同的注意力机制23-25（Attention Mechanism），得到更多有效的图像特征信息。其次，本文通过使用深度可分离卷积26的方式减少参数、加速模型的训练。同时，本文提出用多级上采样机制替代原模型的上采样方式，得到更好的融合结果，提高了分割的准确度。1相关研究1.1HRNet网络模型HRNet是中科大和微软研究院提出的针对人体姿态检测的一个网络模型。不同于特征提取过程中常会用的下采样再上采样的方法，HRNet让网络在学习过程中全程保持了一个高分辨率，HRNet的结构如图1所示。从图1中可以看出HRNet网络的2个关键特点：1）高分辨率和低分辨率并行连接，同步推进；2）高低分辨率图之间不断地交换信息。高分辨率图的存在使得空间上更加精准，低分辨率图的存在使得语义上更充分。该网络由4个阶段组成，通过反复的交换平行流中的信息来进行多分辨率的融合。HRNet是在低分辨率的帮助下，多次融合高分辨率。图1HRNet模型结构1.2注意力机制2014年注意力机制提出后在深度学习中得到了广泛的使用。注意力机制其本身是符合人类的感知机制的，人们在观察一个新事物的时候，会自然地对该事物重要的区域给予更多的关注，再将其他区域的信息进行一个整合从而得到一个整体的印象。在深度学习中，模型的参数越多表示其存储的信息越丰富，通常来说模型的效果也就越好，但会占用更多的内存空间，可能会使得模型难以训练。所以本文引入注意力机制，这样模型会在大量的信息中找出对于当前这个任务更为关键的信息并且给予这些信息更高的权重，减少无关信息的权重，有利于提高处理任务的速度，加快模型的训练。普通模式的注意力机制总的可以分为2种，软性注意力和硬性注意力。由于硬性注意力机制选择信息的方式不能进行求导，无法在深度学习中利用反向传播来进行训练，所以在深度学习中为了能够训练模型一般使用软性注意力。软性注意力是像素级的，目的是找出对于当前任务重要的像素点并给其赋予更高的权重。1.3深度可分离卷积对于常规卷积来说，原始图像大小是1212，有3个通道，即 shape 为 12123，经过 55 卷积核，输入图像有3个通道，所以卷积核也应该有3个通道。每经过一个这样的卷积核会产生一个通道的特征图，假设最后需要三通道的特征图，则需要3个这样的卷积核，这时普通卷积的参数量是 5533=225，如图 2（a）所示。与常规卷积不同，深度可分离卷积分为2步，首先进行通道分离，然后再进行通道的上升。用3个551的卷积对3个通道分别做卷积使其图像的通道分离，再用113的卷积对3个通道再次进行卷积就得到了一个881的特征图，最后的特征图是三通道的，所以需要3个这样的卷积核，此时参数量是553+1133=84，如图2（b）所示。深度可分离卷积的使用减少了模型的参数量，缩短了模型训练的时间。（a）普通卷积（b）深度可分离卷积图2普通卷积和深度可分离卷积2结合注意力机制的图像语义分割算法2.1总体框架本文在 HRNet22网络模型的基础上，使用深度可分离卷积，减少模型的参数，提高训练的速度。其次对经过HRNet所产生的4个不同分辨率的特征图都让其经过了一个空间注意力机制（Spatial Attention mechanism，SA）。SA的使用让模型在进行特征提取时对图像空间尺度上重要的特征给予更多的关注。在上采样阶段，受多尺度认知机制的启发，本文提出一种多级上采样机制的方法，从最低分辨率特征55312312383812312383883883815115131662023年第10期图开始，两两进行融合，直到融合到最高分辨率特征图为止。并且在上采样过程当中，使用了BiCubic插值算法，该算法能生成边缘更平滑的特征图，有利于后续提高分割的精确度。本文将上采样后得到的特征图经过一个高效的通道注意力机制（EfficientChannel Attention，ECA）。ECA 的使用让模型在进行特征提取时对重要的通道信息赋予更高的权重。本文改进的网络模型如图3所示。图3本文改进的网络模型2.2结合注意力机制的HRNet算法2.2.1SA空间注意力在神经网络中，通常来说浅层网络的图像特征会存在图像的背景特征信息，若这时直接将图像特征进行上采样，会影响图像分割的效果。针对这一问题，本文采用空间注意力机制，空间注意力是在图像的空间尺度上关注哪里的特征是有意义的，对空间上重要的图像特征给予更高的权重。如图4所示，首先对特征图在通道上进行压缩，特征图的长度和宽度不变，通道数压缩为1，再让其分别经过最大池化和平均池化，将这2个池化结果拼接在一起后让其经过卷积层和激活函数。图4空间注意力机制Ms(F)=(f7 7(AvgPool(F);MaxPool(F)=(f7 7(Fsavg;Fsmax)（1）式中，Fsavg和Fsmax大小为1 H W，表示sigmoid函数，f77表示一个大小为77的卷积运算。最后将Ms与输入的特征F相乘，将该权重应用到原来的每个特征空间上，便得到经过空间注意力机制的新特征。2.2.2ECA通道注意力对于特征图来说，有2个方面的特征表示，一个是图像的空间尺度，另一个是图像的通道尺度。图像特征的每一个通道都代表着一个专门的检测器，通道注意力机制会对当前任务重要的通道分配更高的权重，简单并且有效。不同分辨率特征图融合之后，本文让其通过一个ECA通道注意力机制，其结构如图5所示。首先在空间尺度上进行特征压缩，平均池化后空间大小变成11，特征图的通道数不变，然后再让其经过一个自适应大小为55的卷积和一个激活函数，就可以得到通道维度上注意力的权重MC。图5通道注意力机制MC(F)=(f5 5(AvgPool(F)=(f5 5(Fsavg)（2）k=(C)=|log2(C)+b（3）式中，Fsavg大小为1 1 H，表示sigmoid函数，k代表计算出的自适应卷积核的大小，和b分别设为2和1，f55表示一个大小为55的卷积运算。最后将得到的权重MC与输入的特征图F相乘，便得到经过通道注意力机制的新特征。2.2.3多级上采样机制上采样是语义分割领域中一个重要的环节，原HRNet使用的是bilinear算法进行上采样，该算法会使特征图的高频分量受损，这会影响特征图像轮廓的清晰度，所以本文使用BiCubic双三次插值算法来进行上采样。原HRNet网络中不同分辨率的特征图进行融合的方式是将低分辨率的图像直接上采样到最高的分辨率，然后再进行融合。但这种简单、直接的融合方式会影响特征图的质量，所以本文提出一种多级上采样机制的方法，按照特征图分辨率从低到高的顺序，两两依次进行融合，如图6所示。这种更加平滑的上采样方式改善了融合结果，提高了特征图质量，并且可以产生更加清晰的特征图边缘，有利于提高分割精确度。图6多级上采样机制3实验结果与分析3.1数据集及实验参数配置本文实验采用的是PASCAL VOC2012增强版数据集，由 PASCAL VOC201227数据集和 SBD数据集合并而成，包括人、飞机、船、摩托车、沙发等20个类别，加上1个背景类别，总共21个类别，不同类别的像concatconcatconcatSA输入输出ECASASASAHRNet+DSConv?MaxPool,AvgPool?sigmoidconv layerSpatial AttentionWHCGAPAdaptive Selection of Kernel Size:=?11Csigmoidk=5M cconcatconcatconcatbicubicbicubicbicubic叶思佳，等：结合注意力机制的HRNet图像语义分割算法67计算机与现代化2023年第10期素点用不同的颜色区分开。该数据集数据量更多，是语义分割领域中常用的数据集之一，总共有13487张图片，用10582张图片进行模型的训练，1449张图片进行模型的验证。实验使用Pytorch深度学习框架，操 作 系 统 为 Windows 10，基 于 英 特 尔 i9-10920XCPU，NVIDIA GeForce RTX 3080Ti 12 GB 显卡。本文训练模型时将输入图片的大小设置为 480480，batchsize设置为12，epoch设置为300。3.2实验评价指标平均交并比（mean Intersection over Union，mIoU）是语义分割算法中最常用的一个评价指标，本文采用mIoU来评价模型分割效果的好坏。mIoU是计算分割结果图和输入图像标签图的重合程度，重合程度越高，mIoU的值就越趋近于1，表示模型的分割效果越准确。mIoU=1n+1i=0npiij=0npij+j=0npji-pii（4）式中，n指的是数据集中的类别数，Pii表示实际为i类预测为i类的像素数量，Pij表示实际为i类但预测为j类的像素数量，Pji表示实际为j类但预测为i类的像素数量。3.3实验结果分析为了验证本文改进后的模型的有效性，在相同的实验环境下对原HRNet模型和本文改进后的模型在验证集进行测试，其mIoU值对比如图7所示。图7中本文模型的mIoU值达到了80.87%，分割精度比原模型提升了1.54个百分点，说明本文所提出的改进是有效的。（a）HRNet原模型（b）本文改进后的模型图7HRNet原模型和本文模型的对比为了验证SA空间注意力、ECA通道注意力和多级上采样机制的有效性，本文设置了消融实验，其结果如表1所示。从表1中可以看出，用多级上采样机制这种更平滑的方式对不同分辨率的特征进行融合，可减少特征图质量的损失，mIoU值比原模型增加了0.43个百分点。通过使用SA、ECA，特征图在空间域和通道域获得了更有效的语义信息，降低了图像噪音对分割效果的影响，mIoU值比原模型增加了1.12个百分点。本文使用深度可分离卷积对HRNet的主干网络进行优化，减少了模型总参数量和总计算量，图像每秒传输帧数（Frame Per Second，FPS）也有了一定的提升。表2是模型性能的对比结果。表1不同模块性能结果多级上采样机制SAECAmIoU/%79.3379.7680.0779.8480.4580.87表2模型性能对比结果NetworkHRNet本文方法Total gflops/G32.24824.981Total params/M9.6847.854FPS/(frame/s)28.3935.47为了验证本文模型的先进性，所以除了和原模型相比，本文还将改进后的模型与目前主流的分割模型，如PSPNet16、DeepLab18-21系列进行了比较，其对比结果如表 3 所示。从表 3 中可以看出，PSPNet 的mIoU 值为 78.56%，DeepLabv3 的 mIoU 值为 77.21%，DeepLabv3+融入了编解码机制，mIoU达到了79.15%。本文方法全程保持了高分辨率的特征图，有效地保留了图像的空间信息，能更好地捕获小尺寸目标。引入注意力机制对图像空间域和通道域的重要信息进行了有效提取。使用多级上采样机制让4个不同分辨率的特征图得到了更好的融合。本文算法的分割精度比PSPNet网络模型的高了2.31个百分点，比DeepLabv3+网络模型高了1.72个百分点。表3不同网络模型的测试结果NetworkPSPNetDeepLabv3DeepLabv3+HRNet本文方法MIoU/%78.5677.2179.1579.3380.87本文改进的模型和原模型分割结果的对比如图8所示。图8（a）是模型的输入图像，图8（b）为输入图像对应的标签图，图8（c）是输入图像在HRNet网络上的分割结果，图8（d）为输入图像在本文改进后的模型上的分割结果。从图8中可以看出本文方法对人、自行车、瓶子等类别能够进行更加精准的分割，对于小尺寸目标能进行更加有效的识别。4结束语为了能够提取更有效的图像特征，本文在HRNet的基础上融入了注意力机制，在通道和空间维度上提取更加有效的特征图，使用了深度可分离卷积，在不影响分割精度的情况下减少了模型的参数，并且使用多级上采样机制减少了图像质量的损失。实验结果表明，本文方法在 PASCAL VOC2012增强版数据集上 mIoU 值达到了 80.87%。但网络全程保持了高分辨率使模型参数量和计算复杂度较高，所以如何进一步降低模型参数量并且保持算法的分割精度是后续研究的关键。682023年第10期参考文献：1 田萱，王亮，丁琪.基于深度学习的图像语义分割方法综述 J.软件学报，2019，30（2）:440-468.2 YU H S，YANG Z G，TAN L，et al.Methods and datasetson semantic segmentation:A review J.Neurocomputing，2018，304:82-103.3QIU C P，MOU L C，SCHMITT M，et al.Local climatezone-based urban land cover classification from multi-seasonal sentinel-2 images with a recurrent residual networkJ.ISPRS Journal of Photogrammetry and RemoteSensing，2019，154:151-162.4MODY P.Semantic segmentation:Wiki，applications andresources EB/OL.（2018-12-06）2020-05-24.https:/ SUN L，YANG K L，HU X X，et al.Real-time fusion network for RGB-D semantic segmentation incorporating unexpected obstacle detection for road-driving images J.IEEERobotics and Automation Letters，2020，5（4）:5558-5565.6 王龙飞，严春满.道路场景语义分割综述 J/OL.激光与光电子学进展:1-25（2020-10-15）2021-03-02.http:/ JIN Q G，MENG Z P，PHAM T D，et al.DUNet:A deformable network for retinal vessel segmentation J.Knowledge-Based Systems，2019，178:149-162.8 贾园园.基于深度学习和形变模型的乳腺癌全扫描切片图像语义分割 D.武汉:华中科技大学，2019.9 OTSU N.A threshold selection method from gray-level histograms J.IEEE Transactions on Systems，Man，and Cybernetics，1979，9（1）:62-66.10 YANG L，WU X Y，ZHAO D W，et al.An improved Prewitt algorithm for edge detection based on noised imageC/Proceedings of the 2011 4th International Congresson Image and Signal Processing.2011，3:1197-1200.11 COATES A，NG A Y.Learning feature representationswith K-means M/Neural Networks:Tricks of the Trade.Springer，2012:561-580.12 TANG M，GORELICK L，VEKSLER O，et al.GrabCut inone cutC/Proceedings of the 2013 IEEE InternationalConference on Computer Vision.2013:1769-1776.13 SHELHAMER E，LONG J，DARRELL T.Fully convolutional networks for semantic segmentation J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（4）:640-651.14 RONNEBERGER O，FISCHER P，BROX T.U-Net:Convolutional networks for biomedical image segmentationC/Proceedings of the 2015 International Conference onMedical Image Computing and Computer-Assisted Intervention.2015:234-241.15 BADRINARAYANAN V，KENDALL A，CIPOLLA R.SegNet:A deep convolutional encoder-decoder architecture for image segmentation J.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）:2481-2495.16 ZHAO H S，SHI J P，QI X J，et al.Pyramid scene parsingnetwork C/Proceedings of the 2017 IEEE Conference onComputer Vision and Pattern Recognition（CVPR）.2017:6230-6239.17 LI H C，XIONG P F，AN J，et al.Pyramid attention network for semantic segmentationJ.arXiv preprint arXiv:1805.10180，2018.18 YU F，KOLTUN V，FUNKHOUSER T.Dilated residualnetworksC/Proceedings of the 2017 IEEE Conferenceon Computer Vision and Pattern Recognition（CVPR）.2017:636-644.19 CHEN L C，PAPANDREOU G，SCHROFF F，et al.Rethinking atrous convolution for semantic image segmentation J.arXiv preprint arXiv:1706.05587，2017.20 CHEN L C，PAPANDREOU G，KOKKINOS I，et al.DeepLab:Semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFsJ.IEEE Transactions on Pattern Analysis and MachineIntelligence，2018，40（4）:834-848.21CHEN L C，ZHU Y K，PAPANDREOU G，et al.Encoder-decoder with atrous separable convolution for semantic image segmentationC/Proceedings of the 2018 EuropeanConference on Computer Vision（ECCV）.2018:833-851.22 SUN K，XIAO B，LIU D，et al.Deep high-resolution representation learning for human pose estimationC/Proceedings of the 2019 IEEE/CVF Conference on ComputerVision and Pattern Recognition（CVPR）.2019:5686-5696.23 WANG F，JIANG M Q，QIAN C，et al.Residual attentionnetwork for image classificationC/Proceedings of the2017 IEEE Conference on Computer Vision and PatternRecognition（CVPR）.2017:6450-6458.24 FU J，LIU J，TIAN H J，et al.Dual attention network forscene segmentationC/Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.2019:3141-3149.25 CAO J X，CHEN Q，GUO J，et al.Attention-guided context feature pyramid network for object detection J.arXivpreprint arXiv:2005.11475，2020.26CHOLLET F.Xception:Deep learning with depthwise separable convolutions C/Proceedings of the 2017 IEEE Conferenceon Computer Vision and Pattern Recognition（CVPR）.2017:1800-1807.27 EVERINGHAM M，ESLAMI S M A，VAN GOOL L，et al.The Pascal visual object classes challenge:A retrospectiveJ.International Journal of Computer Vision，2015，111（1）:98-136.（a）输入图像（b）对应标签图（c）在HRNet的（d）本文模型分割结果分割结果图8分割结果对比图叶思佳，等：结合注意力机制的HRNet图像语义分割算法69