结合通道交互空间组注意力与金字塔池化的高分影像语义分割网络.pdf

浙江大学学报（理学版）Journal of Zhejiang University（Science Edition）http：/ 51 卷第 2 期2024 年 3月Vol.51 No.2Mar.2024 结合通道交互空间组注意力与金字塔池化的高分影像语义分割网络汪超宇1，2，杜震洪1，2*，汪愿愿2，3（1.浙江大学 地球科学学院 地理信息科学研究所,浙江 杭州 310058；2.浙江大学 浙江省资源与环境信息系统重点实验室，浙江 杭州 310028；3.浙江大学 海洋研究院，浙江 舟山 316021）摘要：高空间分辨率（高分）遥感影像中存在海量信息，因此对高分影像的语义分割研究十分重要。传统机器学习方法的语义分割精度和效率均不高，近年来，深度学习方法迅速发展，逐渐成为影像语义分割领域的常用方法，已有研究将 SegNet、Deeplabv3+、U-Net等神经网络引入遥感影像语义分割，但效果有限。考虑高分影像的特性，对用于遥感影像语义分割的 U-Net网络进行了改进。首先，在 U-Net网络特征提取过程中使用通道交互空间组注意力模块（channel interaction and spatial group attention module，CISGAM），使得网络能够获取更多有效特征。其次，在编码过程中将普通卷积层变换为残差模块，并在 U-Net 的编码器和解码器之间用加入了CISGAM 的注意力金字塔池化模块（attention pyramid pooling module，APPM）连接，以加强网络对多尺度特征的提取。最后，在 0.3 m 分辨率的 UC Merced 数据集和 1 m 分辨率的 GID 数据集上进行实验，与 U-Net、Deeplabv3+等原始网络相比，在 UC Merced数据集上的平均交并比（mean intersection over union，MIoU）分别提升了 14.56%和 8.72%，平均像素准确率（mean pixel accuracy，MPA）分别提升了 12.71%和 8.24%。在 GID数据集的分割结果中，水体、建筑物等地物的综合分割精度大幅提升，在平均分割精度上，CISGAM 和 APPM较常用的 CBAM 和 PPM 有一定提升。实验结果表明，加入 CISGAM 和 APPM 的网络可行性与鲁棒性均较传统网络强，其较强的特征提取能力有利于提升高分辨率遥感影像语义分割的精度，为高分辨率遥感影像智能解译提供新方案。关键词：高分辨率遥感影像；深度学习；语义分割；注意力机制；金字塔池化中图分类号：P 208 文献标志码：A 文章编号：10089497（2024）0213112WANG Chaoyu1,2,DU Zhenhong1,2,WANG Yuanyuan2,3（1.Department of Geographic Information Science，Zhejiang University，Hangzhou 310058，China；2.Zhejiang Provincial Key Lab of Geographic Information Science，Zhejiang University，Hangzhou 310028，China；3.Ocean Academy，Zhejiang University，Zhoushan 316021，Zhejiang Province，China）High-resolution image semantic segmentation network combining channel interaction spatial group attention and pyramid pooling.Journal of Zhejiang University(Science Edition),2024,51(2):131142,152Abstract:High spatial resolution remote sensing images contain rich information,it is therefore very important to study their semantic segmentation.Traditional machine learning methods appear low accuracy and efficiency when used for segmenting high-resolution remote sensing images.In recent years,the deep learning method has developed rapidly and has become the mainstream method of image semantic segmentation.Some scholars have introduced SegNet,Deeplabv3+,U-Net and other neural networks into remote sensing image semantic segmentation,but these networks have only limited effect in remote sensing image semantic segmentation.This paper improves the U-Net network for semantic segmentation of remote sensing images.Firstly,an improved convolutional attention module channel DOI：10.3785/j.issn.1008-9497.2024.02.001收稿日期：20220921；修回日期：20230426；接受日期：20230510；出版日期：20240325.基金项目：高分综合交通遥感应用示范系统（二期）（07-Y30B30-9001-19/21）；浙江省重点研发计划项目（2021C01031）.作者简介：汪超宇（1998），ORCID：https：/orcid.org/0000-0002-4286-3379，男，硕士研究生，主要从事高分辨率遥感图像处理研究。*通信作者，ORCID：https：/orcid.org/0000-0001-9449-0415，E-mail：.浙 江 大 学 学 报（理学版）第 51 卷interaction and spatial group attention module(CISGAM)is embedded in the feature extraction stage of the U-Net network,so that the network can obtain more effective features;secondly,a residual module is used in the decoding layer to replace the ordinary convolutional layer to avoid the degradation of the model.In addition,we use an attention pyramid pooling module(APPM)with CISGAM to connect the encoder and decoder of U-Net to enhance the networks extraction of multi-scale features.Finally,experiments are carried out on the UC Merced dataset with 0.3m resolution and the GID dataset with 1m resolution.Compared with the original networks such as U-Net and Deeplabv3+,the mean intersection over union（MIoU)of our method on the UCM dataset has increased by 14.56%and 8.72%,and the mean pixel accuracy（MPA)has increased by 12.71%and 8.24%,respectively.In the classification results on the GID dataset,the classification accuracy of waters,buildings and other objects has also been greatly improved.Compared with the original CBAM and PPM,the CISGAM and APPM also achieve certain performance improvement.The experimental results show that the feasibility and robustness of the model is stronger than traditional networks,and it can improve the accuracy of semantic segmentation of high-resolution remote sensing images through stronger feature extraction capabilities,hence providing a new approach for intelligent interpretation of high-resolution remote sensing images.Key Words:high-resolution remote sensing images;deep learning;semantic segmentation;attention mechanism;pyramid pooling0引 言近年来，随着对地观测技术的不断发展，由遥感传感器拍摄的高空间分辨率（高分）遥感影像具有大量的几何特征、纹理特征及更复杂的地表信息1。并且，由于高分遥感影像蕴含如此巨大的信息量，被逐渐应用于各个领域，如国土资源、城市规划、农业、自然灾害和危机管理等部门均需要高分辨率遥感影像2。因此，结合遥感影像的解译方法对高分影像信息进行快速提取、分析尤为重要，而遥感影像的语义分割技术是影像解译的关键方法之一。传统的语义分割方法主要基于影像的低级特征，比如 RGB、纹理、边缘和形状等对影像进行分割，如随机森林或支持向量机等机器学习方法。张万福3用随机森林方法对街道场景进行语义分割；潘欣欣4通过马尔可夫随机场法生成无向图模型分割影像的像素；袁正午等5用支持向量机方法对视频中的单帧影像进行语义分割。然而，用传统机器学习算法进行高分辨率遥感影像语义分割精度和计算效率均较低。为解决传统机器学习方法在语义分割中精度和效率低等问题，引入了深度学习方案。LONG等6用卷积层替换 CNN 中最后的全连接层，提出了全卷积神经网络（fully convolution network，FCN），首次在语义分割中采用端到端输出流程，在一定程度上解决了语义分割精度低、效率不高的问题。然而，由于没有保留像素点间的上下文关系，也没有合理地进行上采样，在分割结果中易失去影像细节和空间关系。为解决此问题，RONNEBERGER 等7提出了 U-Net，用左右对称的编码-解码结构分别提取底层特征和上层特征，有别于FCN的逐元素加和，U-Net用跳跃连接的方式将编码层中获取的特征与解码层中获取的特征拼接，尽可能多地保留影像中的细节特征。但由于 U-Net的网络结构较简单，像素分类精度和准确度存在上限，因此，须通过改进网络结构提升 U-Net网络的性能。ZHOU 等8通过改进 U-Net的跳跃连接方式，提高了不同尺度对象的分割质量，使模型的训练速度更快，但性能略有损失。李传林等9将 U-Net中的卷积模块替换为残差模块，并在网络中添加注意力机制，实现了对建筑物的高分遥感影像的提取。王振庆等10以 U-Net为基础，通过替换其中的损失函数，降低了边缘特征不足对分割性能的影响，实现了对建筑物的有效提取。董子意等11用残差模块和卷积注意力机制模块（CBAM）改进U-Net，检测了海洋遥感影像中的尺度涡。李鑫伟等12将 U-Net与弱监督学习相结合，实现了高分辨率遥感影像的水体检测。QI等13用替换残差模块的 U-Net，提取咸水湖中卤虫的卵块分布。杨佳林等14在 U-Net网络结构中加入注意力机制模块和残差模块，并用空洞卷积模块获取像素邻域信息，成功实现了更高精度的道路提取。在众多研究中，基于改进网络结构的U-Net在高分辨率遥感影像语义分割中应用广泛，在不同场景中均取得了较好的效果，但在影像多类别语义分割的整体准确率上仍有很大的提升空间。综合考虑高分辨率遥感影像的特点及已有的研132汪超宇，等：结合通道交互空间组注意力与金字塔池化的高分影像语义分割网络第 2期究基础，本文基于 U-Net网络提出了一种高分影像语义分割网络。首先，在网络编码器中加入通道交互空间组注意力模块（channel interaction and spatial group attention module，CISGAM），相比于常用的卷 积 注 意 力 模 块（convolutional block attention module，CBAM），CISGAM 在通道交互能力和空间域分组能力上均有增强，使得网络能在通道域和空间域获取更多有效特征，并且减少了模型的参数量；同时，使用残差模块保证了深度网络的训练效果。此外，在网络的编码器与解码器之间，原始 U-Net用卷积层进行连接，而本文用加入了 CISGAM 的注意 力 金 字 塔 池 化 模 块（attention pyramid pooling module，APPM）进行连接，加强了模型对多尺度特征 的 感 知 能 力。结 合 了 CISGAM 和 APPM 的U-Net网络具有更强的特征提取能力，提升了高分辨率遥感影像语义分割的精度，为高分辨率遥感影像智能解译提供了新方案。1研究方法1.1结合 CISGAM 和 APPM 的 U-Net网络模型由于高分辨率遥感影像具有较高的空间分辨率，其中蕴含大量多尺度特征，而通道交互空间组注意力机制可有效增强网络在通道域和空间域中对此类特征的提取能力，防止冗余特征造成的网络计算量增加，影响分割结果。此外，为避免深度神经网络经常出现的退化现象，本文将网络解码层中的卷积模块替换为残差模块15。模型结构如图 1所示。本文设计的模型是一个以 U-Net 为基础的 U型网络，左半部分为编码器，其作用是提取图像特征信息、降低空间维度，即下采样；右半部分为解码器，其作用是逐步恢复图像的特征信息和空间维度，即上采样。在编码器中，每次下采样过程，特征图的高和宽减半，通道数翻倍；在解码器中，每次上采样过程，特征图的高和宽翻倍，通道数减半。特征图尺寸在编解码过程中发生的变化如图 1 所示。并且，位于同一层级的编码器和解码器之间会建立跳跃连接，使解码器更好地还原目标的细节信息，提升分割精度。另外，残差学习模块仅使用较小的参数量实现深层梯度在反向传播上以跳跃连接的方式传递到浅层，避免出现梯度消失现象，使在训练过程中能正常 收 敛16。最 后，网 络 中 还 添 加 了 Dropout 层。Dropout17是指在网络训练过程中以某一比例舍弃神经元，以避免出现过拟合现象。本文在网络编码层 的 第 4 和 第 5 层 后 均 加 入 了 比 率 为 50%的Dropout层。在网络底层，即在编码器和解码器之间，本文用改进的金字塔池化模块进行连接。金字塔池化模块是一种特殊的池化模型，通过由多到少的池化，有效增大感受野，增大全局信息的利用效率18。本文采用金字塔池化的原因：第 1，高分辨率遥感影像场景复杂且存在尺度效应。例如小型居民楼与大型写字楼都属于建筑物这一类别，如果物体尺度过大或过小，超出了网络的感受野，则无法发现目标，造成不连续分割，而金字塔池化模块可防止这一问题发生。第 2，改进了金字塔池化模块，在池化层之后加图 1模型结构示意Fig.1Model structure diagram133浙 江 大 学 学 报（理学版）第 51 卷入了注意力机制，在增大模型感受野的同时还能获取更细粒度的多尺度特征以及更合理的通道交互与像素空间关系。1.2CISGAM在 U-Net网络模型中，编码层的作用是提取特征19，由于大多数遥感影像的场景较为复杂，在提取特征时往往效果不佳，而注意力机制可帮助模型突出影像的重要特征，抑制不重要的特征，提升模型的特征提取能力，优化地物分割的结果。本文模型在U-Net跳跃连接和金字塔池化过程中加入了注意力机制，使得在编码层中用于拼接的特征层具有更多有效特征信息和上下文信息。卷积注意力20是一种常 用 的 注 意 力 模 块，由 通 道 注 意 力（channel attention）和空间注意力（spatial attention）2个子模块构成，分别关注特征图的通道间关系和空间关系。本 文 改 进 了 CBAM 的 这 2 个 子 模 块，建 立 了CISGAM 模块，在通道上以一维卷积获取跨通道交互信息，在空间上以分组的方式增强特征信息，能在参数量更少的情况下得到更好的特征提取效果。CBAM 的通道注意力模块如图 2 所示。首先，对输入特征图F分别用最大池化和平均池化生成 2组特征图Fcmax和Fcavg；然后，输入由 2 组全连接层和1 个 Sigmoid 激 活 函 数 组 成 的 共 享 多 层 感 知 机（MLP），生成通道的特征权重并降低特征的维度。已有研究表明，降低维度对模型性能有负面影响，并且全连接方式效率低下，会增加模型的复杂度，且不需要获取所有通道之间的交互关系信息21。考虑一维卷积层能在计算量较小的同时获得局部的跨通道信息，CISGAM 在 CBAM 通道注意力模块中将经最大池化和平均池化的通道特征层用大小为k的一维卷积层进行处理。卷积核的大小影响注意力机制在各权重计算中要考虑的通道数，即跨通道交互的覆盖率，而在 U-Net网络中，每层的通道大小是不一样的，且通道数一般为2的幂，因此不妨认为卷积核k和通道数C之间存在指数关系C=2kx+b。又因为卷积核一般为奇数，推导得到卷积核k的计算式为k=|log2(C)x+bxodd，（1）其中，系数x和b可分别设置为 2和 1，|i|odd代表取与i最接近的奇数。CISGAM 在通道域中的注意力提取过程如图 3所示，计算式为AC(F)=(Convk1D(Fcmax)+Convk1D（Fcavg）)，（2）其中，Convk1D表示卷积核为k的一维卷积操作，为Sigmoid激活函数。CBAM 的空间注意力模块如图 4 所示。首先，对大小为C H W的特征图FC分别使用最大池化和平均池化操作聚合通道维度信息，分别得到 2组特征图Fsmax和Fsavg。然后，拼接特征图，由于 2 个图 2CBAM 的通道注意力模块Fig.2Channel attention in CBAM图 3CISGAM 的通道注意力模块Fig.3Channel attention in CISGAM134汪超宇，等：结合通道交互空间组注意力与金字塔池化的高分影像语义分割网络第 2期特征图叠加时大小翻了一倍，需经二维卷积处理，使其恢复至C H W大小，突出有效特征、抑制冗余特征。然而，与通道注意力机制相同，在利用卷积提取特征时，卷积核的大小十分重要，在通道注意力中可通过通道数确定卷积核大小，但对于空间注意力，由于在高分辨率遥感影像中地物存在尺度效应，使用单一大小的卷积核进行卷积运算难以提取多尺度特征，还会产生不小的计算量。并且，空间注意力机制主要关注单个通道内的特征，因此，CISGAM先将大小为C H W的输入特征图按通道划分为n个不同的组 x1，x2，xn，每组中的特征图大小为(C/n)H W，然后，在各组内用组归一化（group normalization）方法22对每组特征进行处理，组归一化方法能减小特征间差异的绝对值，突出有效特征，并且能在批处理参数较小的情况下获得更好的归一化效果。随后，将每组特征均分为两部分，对 有 效 特 征 进 行 增 强 处 理，获 得 2 个 大 小 为(C/2n)H W的特征图。最后，将通过 Sigmoid激活函数输出的 2 个特征图合并，得到增强后的各组特征图 x1，x2，xn，再将其聚合得到大小为C H W的空间注意力输出图。CISGAM 在空间域中的注意力提取过程如图 5所示，计算式为AS(F)=Agg(（F1(GN(xk1)），（F2（GN（xk2）)），（3）其中，GN表示组归一化操作，F1(x)和F2(x)表示线性函数Wx+b，Agg的特征聚合操作。结合上述通道交互和空间分组方法，可形成如图 6 所示的 CISGAM。首先输入大小为C H W的特征图F，由式（2）和式（3）计算得到大小为C 1 1的通道注意力图AC和大小为C H W的空间注意力图AS，将 F中每个通道与AC中对应的通道权重相乘，得到大小为C H W的中间特征图FT，再将FT的每个像素与AS中对应的空域权值相乘，得到大小为C H W的 CISGAM 输出特征图FR，计算式为：图 4CBAM 的空间注意力模块Fig.4Spatial attention in CBAM图 5CISGAM 的空间注意力模块Fig.5Spatial attention in CISGAM135浙 江 大 学 学 报（理学版）第 51 卷FC H WT=AC(FC H W)FC H W，（4）FC H WR=AS(FC H WT)FC H WT，（5）其中，表示 2个特征图进行像素级相乘。1.3APPM模型的感受野在深度学习中是一个关键属性，其大小影响模型获取像素之间的相关关系，即上下文信息的能力，理论上网络越深，其感受野越大。然而，ZHOU 等23的研究证明，在卷积网络中真实感受野比理论计算得到的要小很多，在高阶特征层中此 现 象 更 明 显。由 前 文 介 绍 可 知，本 文 使 用 的U-Net 网络的编码器经过 4 次下采样过程，越位于底层的特征图，其实际感受野与理论计算值差距越大，因此，为获取合适的全局信息，本文在 U-Net的编码器与解码器之间加入了 CISGAM 的注意力金字塔池化模块（APPM），如图 7所示。HE等24发现，由不同子区域的上下文信息融合得到的全局上下文先验可以很好地帮助网络区分不同的种类。ZHAO等25为进一步降低像素空间信息的损失，将不同尺度和各子区域的像素间关系融合，提出了金字塔池化模块（pyramid pooling module，PPM）。PPM将特征图切分为N个子区域，然后在每个子区域内部进行池化，得到包含N个尺度的输出特征。为保持全局特征的权重，首先在每层中通过 1个11卷积层将通道数减至原始特征的1/N；然后对降维后的特征图进行上采样，通过双线性插值方法将特征图采样至与输入时相同的尺寸；最后拼接经各个池化层处理的特征图，得到PPM的输出特征图。为提取更细粒度的多尺度空间信息，同时建立更长距离的通道依赖关系，本文在 PPM 层中加入了CISGAM，进一步增强 PPM 提取的全局特征，输出得到多尺度注意力加权后的特征图F，其多尺度信息的表征能力更加丰富。将处理过的特征图与输入特征图F进行拼接，得到 APPM 输出图FAP，在网络解 码 层 中 对FAP上 采 样，输 出 预 测 图。此 外，在APPM 中，金字塔的层级数和每层级的池化核大小均可修改，其数值与输入 APPM 的特征尺寸有关，后文将对此进行讨论。2实验分析2.1实验数据集简介实 验 共 使 用 2 个 数 据 集，第 1 个 是 基 于 UC Merced 数据集制作的语义分割数据集，UC Merced数据集是从美国地质调查局国家地图城市地区影像集合中提取的美国多个城市地区的航摄影像，地面分辨率为 0.3 m，包含 21种不同场景，每个场景均有100 张影像，分辨率为 256256。将每幅影像进行精确的人工标注，得到适合语义分割的标签数据集，如图 8 所示，地物被分为 17 个类别。将数据集中的2 100张影像以 90，180和 270三个角度进行旋转增强，共得到 8 400 张影像，以 4 1 的比例划分训练集和测试集。第 2个是用于像素级分类的高分影像数据集（gaofen image dataset，GID），包含 150 幅中国图 6CISGAM 的操作过程Fig.6The operation process of CISGAM图 7APPMFig.7Attention pyramid pooling module136汪超宇，等：结合通道交互空间组注意力与金字塔池化的高分影像语义分割网络第 2期高分 2 号（GF-2）卫星采集的影像26。GID 数据集使用的是其中的 1 m 分辨率的全色影像，并通过人工标注分为建筑、农田、森林、草地、水体和背景 6个类别，如图 9所示。由于每张影像的大小为 6 8007 200，本文以 256256 的滑动窗口对每张影像进行不重叠切割，多余部分舍弃，最终得到 109 200 张影像，同样以 4 1的比例划分训练集和测试集。2.2实验环境使用的深度学习框架为 Pytorch，操作系统及硬件配置如表 1 所示，使用的软件版本信息如表 2所示。2.3参数设置为使模型训练效率、分割结果以及硬件计算能力三者平衡，用随机初始化策略初始化权重，选择BCELoss 作为损失函数，用 Adam 优化器优化损失函数。初始学习率设置为 0.000 5，权重衰减设置为0.000 5，神 经 网 络 训 练 时 的 batch-size 设 置 为 8，epoch 设置为 100，Dropout 层中舍弃神经元的比率为 0.5，金字塔池化模块池化层级为 4，池化窗口大小分别设为 11，22，33和 66。2.4评价标准模型的应用场景为多类别语义分割，因此选择表 1基础系统平台配置Table 1Basic system platform configuration项目配置系统Windosw11CPUIntel Core I7 10700内存32 GB硬盘2 TB显卡Nvidia RTX3070图 9GID数据集简介Fig.9Schematic of the GID dataset图 8UC Merced数据集简介Fig.8Schematic of the UC Merced dataset137浙 江 大 学 学 报（理学版）第 51 卷平均像素准确率（mean pixel accuracy，MPA）和平均交并比（mean intersection over union，MIoU）2 项指标进行评价。MPA为每个类别准确率的平均值：MPA=1n+1i=0npiij=0npij，（6）其中，n+1为类别总数，pii为预测正确的像素数，pij为影像中的像素数。交并比（IoU）为分割结果真实值和预测值 2 个集合的交集和并集之比，而 MIoU 为各类别的分割结果 IoU的平均值：MIoU=1n+1i=0npiij=0npij+j=0npji-pii，（7）其中，n+1为类别总数，pii为被正确分割的像素数，pij与pji均表示被错分的像素数。2.5结合CISGAM与APPM的语义分割网络结果分析为验证 CISGAM 和 APPM 的有效性，用同一训练集训练了主流的 U-Net，Deeplabv3+，PSPNet以及基于 U-Net改进的 ResUnet等一系列网络，并用同一测试集进行模型性能测试，得到各模型在UC Merced 数 据 集 和 GID 数 据 集 上 的 MPA 和MIoU 以及在 GID数据集上各类别的 IoU。如表 3 所示，在 UC Merced 数据集的分割结果中，精度指标为 MPA 和 MIoU。在分割结果中，本文方法的 MIoU 为 82.30%，MPA 为 80.87%，较原始 U-Net 网络分别提高了 14.56%和 12.71%。同时，本 文 的 MIoU 和 MPA 较 参 数 量 较 大 的Deeplabv3+分别提高了 8.24%和 8.72%。另外，通过 对 比 ResUnet+CBAM 与 ResUnet+CISGAM，ResUnet+CBAM+PPM 与 ResUnet+CISGAM+PPM，ResUnet+CBAM+APPM 与本文方法这几个组合，可知本文改进的 CISGAM 和 APPM 网络均不同程度地提高了模型的分割性能。相比于CBAM 和 PPM，CISGAM 和 APPM 的分割精度更高，地物的边缘部分也更平滑。观察图 10 发现，在本文方法的分割结果中，噪声更少、边缘更平滑，对图 10UC Merced数据集分割结果Fig.10Comparison of the results on UC Merced dataset表 2重要软件配置Table 2Important software configuration项目配置GPU-Driver512.15CUDA11.3Python3.9Pytorch1.0.11CUDNN8.3.2138汪超宇，等：结合通道交互空间组注意力与金字塔池化的高分影像语义分割网络第 2期水体、裸地等大范围平面区域的识别效果较好，对汽车、飞机、轮船等物体的识别精度也很高，但由于UC Merced数据集并不是正射影像，较高的地物，如建筑物和树存在阴影，这些阴影在真实标签中也被标记为地物，因此在这类地物的边缘存在错分和噪声现象。并且，UC Merced 数据集的地物分类多达17 种，部分地物的光谱特征较相近，如移动房屋和建筑物的屋顶十分相似，在分割时易混淆。在 GID 数 据 集 的 对 比 实 验 中，除 MPA 和MIoU 2 个指标外，还增加了各类别的 IoU。如表 4所示，在 GID 数据集的分割结果对比中，本文方法的 分 割 精 度 最 高，MIoU 分 别 比 PSPNet 和Deeplabv3+高 13.0%和 6.9%，比 U-Net 和ResUnet高 12.6%和 8.6%；MPA 分别比 PSPNet和Deeplabv3+高 9.6%和 7.5%，比 U-Net 和 ResUnet高 9.3%和 7.8%。并且，加入了 CISGAM 和 APPM的 MPA 也比相同条件下加入 CBAM 和 PPM 的模型分割性能更高。具体到类别，观察图 11 发现，水体类的综合分割精度最高，其次是建筑物，这两类地物的边界均能被较准确地识别，但由于草地和森林的形状不规则，边界比较模糊，容易与同样存在植被的农田混淆，也容易被错分为背景。比如，部分属于森林的像素被误判为农田，部分属于草地的像素被误判为背景。但总体看，与其他方法相比，本文方法对水体和建筑物的分割精度有显著提高，并且边缘部分更平滑、噪声更小；而对森林、农田和草地三类地 物 的 分 割 性 能 均 较 U-Net，Deeplabv3+和PSPNet等基准网络好。在 UC Merced 和 GID 数据集上的语义分割结果表明，加入了 CISGAM 和 APPM 的 U-Net 网络其 MPA 和 MIoU 指标均较其他方法有所提升，并且大多数地物类别的分割精度都更高，因此模型具有可行性和鲁棒性。2.6APPM 池化层级参数分析由于 APPM 使用的池化核尺寸不同，特征提取的 效 果 亦 不 同，因 此 本 文 也 设 计 了 实 验 以 探 究APPM 中最佳的池化窗口组合。将 UC Merced 作为实验数据集，按 4 1 的比例重新将其随机划分为训练集和测试集，只改变池化窗口组合，其余超参数设置不变，实验结果如图 12 所示，分割精度如表 5所示。从图 12 中可发现，当金字塔层级相同时，随着池化窗口的增大，模型的 MPA 和 MIoU 不断降低。在各类地物的分割细节上小窗口池化的组合效果更好，池化窗口较大的组合在对建筑物、裸地和路面等大面积地物进行分割时产生的噪声较多，并且边缘存在混淆现象，这是由于池化窗口过大，上采样所需插值的像素较高，导致精度下降。池化层级为 4 时效果最好，层级太小，特征没有被充分提取，而层级太大，不仅导致计算参数量增多，而且产生过量冗余特征，影响分割精度。当层级为 5 或 6 时，错分现象尤为严重，且模型参数量远高于其他层级，所需训练时间更长；而当层级为 3时，有很多地物没有出现在分割结果中，说明模型漏掉了一些重要特征。因此，表 3各模型在 UC Merced数据集上的分割性能对比Table 3Comparison of segmentation performance on UC Merced dataset模型PSPNetDeeplabv3+U-NetU-Net+CISGAMU-Net+CISGAM+PPMU-Net+CISGAM+APPMResUnetResUnet+CBAMResUnet+CISGAMResUnet+CBAM+PPMResUnet+CISGAM+PPMResUnet+CBAM+APPM本文方法MPA0.677 10.726 30.681 60.707 50.724 80.735 00.737 30.739 00.758 50.761 80.791 50.775 30.808 7MIoU0.693 70.735 80.677 40.697 00.734 80.746 70.686 90.713 60.767 20.779 10.805 70.781 80.823 0139浙 江 大 学 学 报（理学版）第 51 卷本文最终将金字塔池化层级设定为 4，将每个层级的尺寸设定为 11，22，33和 66。3结 论以加入残差学习模块的 U-Net为基础模型，提出 了 一 种 结 合 通 道 交 互 空 间 组 注 意 力 模 块（GISGAM）与金字塔池化的高分辨率遥感影像语义分割网络，在 0.3 m 分辨率的 UC Merced 数据集和 1 m 分辨率的 GID 数据集上的分割结果表明，相比 于 原 始 U-Net 以 及 主 流 的 Deeplabv3+和PSPNet 等网络，本文方法在 MPA 和 MIoU 上均有较大提升，并且对建筑、水体等地物的分割精度提升明显。同时，本文提出的 CISGAM 较传统的注意力模块 CBAM 更轻量化，且能在通道域和空间域有效突出对模型有用的特征，使得模型在较复杂的多类表 4各模型在 GID数据集上的分割性能对比Table 4Comparison of segmentation performance on GID模型PSPNetDeeplabv3+U-NetU-Net+CISGAMU-Net+CISGAM+PPMU-Net+CISGAM+APPMResUnetResUnet+CBAMResUnet+CISGAMResUnet+CBAM+PPMResUnet+CISGAM+PPMResUnet+CBAM+APPM本文方法MIoU0.6320.6910.6360.6470.6660.7150.6760.6890.7030.7240.7380.7320.762水体0.5950.7050.7140.7350.7720.8020.7560.7790.7970.8250.8290.8330.836建筑0.7240.7400.7590.7700.77