基于遥感图像道路提取的全局指导多特征融合网络.pdf
《基于遥感图像道路提取的全局指导多特征融合网络.pdf》由会员分享,可在线阅读,更多相关《基于遥感图像道路提取的全局指导多特征融合网络.pdf(12页珍藏版)》请在咨信网上搜索。
1、DOI:10.3785/j.issn.1008-973X.2024.04.005基于遥感图像道路提取的全局指导多特征融合网络宦海1,盛宇2,顾晨曦1(1.南京信息工程大学人工智能学院,江苏南京210044;2.南京邮电大学集成电路科学与工程学院,江苏南京210003)摘要:在遥感图像中,建筑与道路的类间相似度高,且存在阴影和遮挡,使得现有深度学习语义分割网络在分割道路时误分割率高,为此提出全局指导多特征融合网络(GGMNet)用于提取遥感图像中的道路.将特征图分为若干个局部特征,再将全局上下文信息与局部特征相乘,强化各类别特征的提取,以降低网络对道路周边相似地物的误判率.采用融合多阶段特征的方
2、法准确定位道路空间,降低将其余地物识别为道路的概率.设计自适应全局通道注意力模块,利用全局信息指导局部信息,丰富每个像素的上下文信息.在解码阶段,设计多特征融合模块,充分利用并融合骨干网络 4 个阶段的特征图中的位置信息与语义信息,发掘层与层之间的关联性以提升分割精度.使用 CITY-OSM 数据集、DeepGlobe 道路提取数据集和 CHN6-CUG 数据集对网络进行训练和测试.测试结果表明,GGMNet 具有优秀的道路分割性能,降低道路误分割率的能力比对比网络强.关键词:遥感图像;深度学习;道路提取;注意力机制;上下文信息中图分类号:TP751.1文献标志码:A文章编号:1008973X
3、(2024)04069612Global guidance multi-feature fusion network based onremote sensing image road extractionHUANHai1,SHENGYu2,GUChenxi1(1.School of Artificial Intelligence,Nanjing University of Information Science and Technology,Nanjing 210044,China;2.School ofIntegrated Circuit Science and Engineering,N
4、anjing University of Posts and Telecommunications,Nanjing 210003,China)Abstract:Duetothehighsimilaritybetweenbuildingsandroadsinremotesensingimages,aswellastheexistenceofshadowsandocclusion,theexistingdeeplearningsemanticsegmentationnetworkgenerallyhasahighfalsesegmentationratewhenitcomestoroadsegme
5、ntation.Aglobalguidemulti-featurefusionnetwork(GGMNet)wasproposedforroadextractioninremotesensingimages.Toreducethenetworksmisjudgmentrateofsimilarfeaturesaroundtheroad,thefeaturemapwasdividedintoseverallocalfeatures,andthenthefeaturesweremultipliedbytheglobalcontextinformationtostrengthentheextract
6、ionofvariousfeatures.Themethodofintegratingmulti-stagefeatureswasusedtoaccuratespatialpositioningofroadsandreducetheprobabilityofidentifyingothergroundobjectsasroads.Anadaptiveglobalchannelattentionmodulewasdesigned,andtheglobalinformationwasusedtoguidethelocalinformation,soastoenrichthecontextinfor
7、mationofeachpixel.Inthedecodingstage,amulti-featurefusionmodulewasdesignedtomakefulluseofthelocationinformationandthesemanticinformationinthefeaturemapofthefourstagesinthebackbonenetwork,andthecorrelationsbetweenlayerswereuncoveredtoimprovethesegmentationaccuracy.ThenetworkwastrainedandtestedusingCI
8、TY-OSMdataset,DeepGlobeRoadextraction dataset and CHN6-CUG dataset.Test results show that GGMNet has excellent road segmentationperformance,andtheabilitytoreducethefalsesegmentationrateofroadsegmentationisbetterthancomparingnetworks.Key words:remotesensingimage;deeplearning;roadextraction;attentionm
9、echanism;contextinformation收稿日期:20230320.网址: Gabor 滤波器3、Sobel 算子4、分水岭算法5等,还有较先进的机器学习方法,如支持向量机6(supportvectormachine,SVM)和随机森林7(randomforests,RF).这些方法通过提取遥感图像中的特征,如纹理、边缘、形状等,进行图像分割从而实现目标提取.在遥感图像中,道路表现为具有连通性的狭窄线条,有些线条覆盖整幅图像且多条道路可能存在交叉连通,待提取的特征复杂且丰富,干扰也较多,因此传统的图像分割方法很难用于道路提取.深度学习技术在计算机视觉研究领域发展迅速,该方法自动获
10、取图像的非线性和层次特征,可以更好地解决其他道路提取方法存在的问题.语义分割是深度学习在图像分割领域中的主要研究方向,它能较全面地利用卷积神经网络(convolutionalneuralnet-works,CNNs)8从输入图像中提取图像的浅层和深层特征,实现端到端的像素级图像分割,具有较高的分割精度和效率.学者针对高分辨率的道路图像提取提出的深度学习研究方法不少,但类间相似度高、噪声干扰多、狭窄道路难提取等难点仍有待克服9.Long等10提出不包含全连接层的全卷积网络(fullyconvolutionalnetworks,FCN).FCN 将 CNN 最后的全连接层替换为卷积层,称为反卷积,
11、利用反卷积对最后一个卷积层的特征图进行上采样,使最后一个卷积层恢复到输入图像相同的尺寸,在预测每个像素的同时保留空间信息.FCN 可以适应任意尺寸输入图像,并且通过不同层之间的跳跃连接同时确保了网络的鲁棒性和精确性,但是FCN 不能充分提取上下文信息,语义分割精度较差.基于 FCN 改进的 U-Net11采用编解码的网络结构,它可以充分利用像素的位置信息,在训练集样本较少时仍可保持一定的分割精度.残差神经网络(deepresidualnetworks,ResNet)12避免了因增加网络深度造成的模型过拟合、梯度消失和梯度爆炸问题,被广泛应用于特征提取网络中.Zhao 等13提出的金字塔场景解析
12、网络(pyramidsceneparsingnetwork,PSPNet)使用金字塔池化模块,Chen 等14提出的 DeepLabV3+网络使用空洞空间金字塔池化(atrousspatialpyramidpooling,ASPP)获取并引入解码模块恢复便捷信息,这2 个网络均提取多尺度的语义信息进行融合,提高了分割精度,但它们只关注宏观的空间位置信息,对细节方面的信息关注不足.注意力机制使神经网络具备专注于输入图像的某些重点部分的能力.Hu 等15提出挤压激励网络(squeeze-and-excitationnetworks,SE-Net),将通道注意力机制加入主干网,提升了特征提取的效率.
13、Woo 等16提出卷积块注意模块(convolu-tionalblockattentionmodule,CBAM),此模块将全局最大池化加入 SE 模块,同时引入空间注意力机制,有效地提取了特征图内的位置相关信息.Fu 等17提出的双重注意网络(dualattentionnet-work,DANet)使用 2 种类型的注意力模块,分别模拟空间维度和通道维度中的语义相互依赖性,通过对局部特征的上下文依赖关系进行建模,显著改善了分割结果.Zhang 等18提出上下文先验网络移动语义分割的令牌金字塔转换器,设计金字塔形式的视觉转换器,平衡了分割精度与速度,减少了数据量,完成了困难样本的较快速分割.在
14、分割道路时使用现有的语义分割网络的效果欠佳,为此本研究提出全局指导多特征融合网络(globalguidemulti-featurefusionnetwork,GGMNet),并应用于遥感图像的道路提取.GGMNet 包含自适应全局通道注意力模块(adaptiveglobechannelattentionmodule,AGCA)和多特征融合模块(multi-featurefusionmodule,MFM).1数据集采用 3 个数据集进行训练与测试,分别为CITY-OSM 数据集19、DeepGlobe 道路提取遥感地图数据集20和 CHN6-CUG 数据集21.CITY-OSM 数据集使用柏林和
15、巴黎的谷歌地图高分辨率 RGB 正射影像,共有 825 幅图像,每幅图像为26112453 像素.按照 41 的比例随机抽取,其中660 幅图像作为训练集,剩余 165 幅图像作为测试集.CITY-OSM 数据集有背景、建筑物和道路 3 个第4期宦海,等:基于遥感图像道路提取的全局指导多特征融合网络 J.浙江大学学报:工学版,2024,58(4):696707.697类别.DeepGlobe 道路提取遥感地图数据集共有6226 幅遥感图像,每幅图像为 15001500 像素,按照 41 的比例随机抽取,其中 4981 幅图像作为训练集,剩余 1245 幅图像作为测试集.该数据集的图像拍摄于泰国
16、、印度、印度尼西亚等地,图像场景包括城市、乡村、荒郊、海滨、热带雨林等,数据集有道路和背景 2 个类别.CHN6-CUG 数据集是中国代表性城市大尺度卫星影像数据集,遥感影像底图来自谷歌地球.在该数据集中,根据道路覆盖的程度,标记道路由覆盖道路和未覆盖道路组成;根据地理因素的物理角度,标示道路包括铁路、公路、城市道路和农村道路等.CHN6-CUG数据集共有 4511 幅遥感图像,每幅图像为 512512 像素,按照 41 的比例随机抽取,其中 3608 幅图像作为训练集,剩余 903 幅图像作为测试集.2全局指导多特征融合网络2.1 网络的整体结构F1、F2、F3、F4GGMNet 的整体结构
17、如图 1 所示.网络的主干部分采用 ResNet-50-C22来提取输入图像的特征.网络保留阶段 Res-1Res-4 的 4 个结果,并对 Res-2Res-4 的结果进行上采样,获得 3 个与 Res-1 结果的尺度相同的结果,分别为.将Res-4 的结果输入 ASPP,以提取深层特征图中的F1、F2、F3、F4MFF1、F2、F3、F4全局信息和多尺度信息.再将 ASPP 的输出作为AGCA 的输入,利用 AGCA 提取特征图的类别信息.对 AGCA 的结果进行上采样并与之前的 4 个结果进行融合,得到多层特征(multi-layerfeatures,MF).分别将与作为 MFM 的输入
18、,得到 4 个结果,分别为.融合这 4 个结果并进行上采样,得到最终的分割结果.2.2 自适应全局通道注意力模块影响道路分割精度的主要原因在于网络将与道路类似的类别错误识别为道路,降低了道路的交并比(intersectionoverunion,IoU).道路周边的像素对道路影响很大,充分提取道路及其周边的局部信息可以提高分割精度从而降低误分割率.本研究设计全局通道注意力模块,模块针对每个像素的上下文信息,从全局入手,指导局部信息的权重,在保证类别准确的同时,提高每条道路目标的位置准确率.XXcmXcmAGCA 的整体结构如图 2 所示.在上分支,对输入特征图进行全局平均池化,得到全局信息的特征
19、向量,第个数据的计算式为Xcm=Fa(X)=1HWHi=1Wj=1Xm(i,j).(1)FaXmmHWHW CX11HW s2X1X1HW s2AcXssCXss2CAsHW CAAHW CXaXXaZ式中:为平均池化,为第列的所有个数据.将此向量进行维度扩展,恢复成的尺寸,再与输入特征图相加.将此结果经过卷积进行通道维度的改变,并经过 Sigmoid 激活变为的尺寸,得到.再将转化成的二维矩阵.在下分支中,将输入特征进行自适应平均池化,得到尺寸为的特征图,再将此特征图转化为的矩阵.将2 个矩阵相乘得到尺寸为的矩阵,再将转换成尺寸为的,利用残差思想,将与相加,得到自适应全局通道注意力模块的输出
20、,此过程表示为Z=X+As Ac.(2)输入Res-1Res-2Res-3Res-4ResNet-50-CASPPAGCAConcatMFMMFMMFMMFM输出Concat上采样F1F2F3F4F1F2F3F4MF图 1 全局指导多特征融合网络的整体结构Fig.1Overallstructureofglobalguidemulti-featurefusionnetwork平均池化+11 Conv扩展AcX自适应平均池化重塑As重塑A重塑Xa+XcX1XsZHWCHWCHWCHWs2HWs211CssCs2C图 2 自适应全局通道注意力模块的整体结构Fig.2Overallstructureo
21、fadaptiveglobechannelattentionmodule698浙江大学学报(工学版)第58卷XssHWs2s2HWs2s上分支的全局平均池化提取特征图的全局信息,特别是通道中的类别信息;下分支通过自适应平均池化使图像划分为个区域,每个区域包含此区域的位置信息.上分支中的全局信息将个维的向量作为权重,指导下分支的局部信息,再通过训练可以提升网络对于道路的提取能力,最终预测语义标签.当道路的信息在图像的不同位置时,它周边的地物如建筑物、河流、轨道对其影响不同,导致全局的特征对其影响的权重不一致,为此将图像分为个部分进行分割,并且包含全局信息的个权重向量分别对这个区域进行指导,为可变
22、参数,在消融实验中进行讨论,以找到最适合道路提取的取值.2.3 多特征融合模块MFMFMF深层特征和浅层特征具有不同权重的信息,浅层特征的位置信息更加丰富,深层特征的类别信息更加丰富,往往利用注意力融合模块融合深层和浅层特征.GGMNet 采用 MFM 融合 4 个层的特征图.将 4 层的特征图以及被 AGCA 处理过的第 4 次特征图进行 Concat 操作得到多层特征,此操作的目的是收集并进一步提取多层特征图的信息,使这些信息的利用率达到最高,从而提高网络的分割精度.再将 4 层的特征图通过 MFM分别与进行融合,这个融合过程使 4 层特征图中的局部信息与全局的信息进一步合并,在训练过程中
23、全局信息可以给每张特征图中的信息进行指导.最后将 4 个与融合后的特征图进行Concat 操作,结果包含丰富的位置信息与类别信息,使网络的分割结果中位置更加准确,误分割率降低.MFiFiYYMFFi11如图 3 所示为 MFM 的整体结构.将和第层的结果进行 Concat 操作,经过卷积层和批量标准化(batchnormalization,BN)层,然后经过ReLU 层进行激活.再经过 Softmax 层得到特征图,以更好地进行像素分类.将与相乘后与进行 Concat 操作,再经过卷积降维,得到多特征融合模块的输出.3结果与分析3.1 实验环境及参数设置实验在 Centos7.8 系统的 Py
24、torch 框架下完成,实验平台硬件为 IntelI9-9900KFCPU、64-GB 内存和 2 张具有 11GB 显存的 NVIDIA2080Ti 显卡,使用 Mmsegmentation 语义分割开源工具箱.训练过程使用随机梯度下降优化算法作为优化器,学习衰减策略为 Poly 学习率衰减策略,初始学习率为0.01,最低学习率为 0.0004,损失函数为交叉熵,最大迭代次数为 120000.3.2 试验评价指标平均交并比(MIoU)是语义分割领域中衡量图像分割精度的重要通用指标,是对每一类交并比求和平均的结果.IoU 为预测结果和实际结果的交集和并集之比,即分类准确的正类像素数和分类准确的
25、正类像素数与被错分类为负类的正类像素数以及被错分类为正类的负类像素数之和的比值.评价指标的计算式分别为IoU=TPTP+FP+FN,(3)MIoU=ni=1IoUn.(4)n式中:TP 为预测正确的正样本,FP 为预测错误的负样本,FN 为预测错误的负样本,为类别数.3.3 结果与分析sss3.3.1超参数的取值对比超参数的大小影响局部特征的尺寸,也影响全局特征对局部特征的指导效果.在基准网络的 ASPP 模块之后添加取不同数值的自适应全局通道注意力模块,以测试不同取值的模块性能.考虑到随机误差的影响,所有消融实验都进行 5 次重复实验,文中表格所列数据为平均值.ss=1s=4s=2s=5基于
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 遥感 图像 道路 提取 全局 指导 特征 融合 网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。