基于改进Deeplabv3 的遥感图像语义分割算法.pdf
《基于改进Deeplabv3 的遥感图像语义分割算法.pdf》由会员分享,可在线阅读,更多相关《基于改进Deeplabv3 的遥感图像语义分割算法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第44卷第10 期2023年10 月宁夏师范学院学报Journal of Ningxia Normal UniversityVol.44 No.10Oct.2023基于改进Deeplabv3十的遥感图像语义分割算法凤磊,陆灏?,耿帅帅1,高昂1(1.安徽理工大学计算机科学与工程学院,安徽淮南2 32 0 0 1;2.安徽人防建筑设计研究院,安徽合肥2 30 0 0 1)摘要:针对遥感图像分割中目标尺度变化大小、目标及边缘分割困难等问题,提出一种基于DeepLabv3十网络改进的遥感图像分割算法.首先,对ASPP模块中膨胀卷积的空洞率进行调整以平衡对大小目标的敏感程度;其次,引入全局和局部注意力
2、机制,以保留分割目标的全局和局部语义信息,提升分割精度,此外,在解码器中设计一种多级特征上采样的方法,在恢复特征图时更完整地保留目标的位置和边界信息.最后,ISPRSPotsdam和Vaihingen数据集上进行实验,分别取得9 1.7 8%和9 3.17%的像素精度以及8 0.6 9%和8 1.2 4%的交并比。与SegNet、U-Ne t 十十、DeepLabv3十等主流语义分割模型对比,获得更好的分割效果,在遥感图像分割领域具有较好的应用前景。关键词:遥感图像;语义分割;Deeplabv3十;注意力机制;多尺度特征融合中图分类号:TP751收稿日期:2 0 2 3-0 7-0 2基金项目
3、:国家自然科学基金项目(512 7 40 11。作者简介:凤磊(1998 一),男,安徽六安人,硕士研究生,研究方向:图像处理.通信作者:陆灏(1991一),男,安徽淮南人,工程师,研究方向:计算机控制。文献标识码:A文章编号:16 7 4-1331(2 0 2 3)10-0 0 6 5-10随着卫星传感器的不断进步,遥感影像覆盖范围越来越广,分辩率也越来越高,高分辨率遥感图像提供了丰富的地物信息,包括空间结构和纹理特征,在环境监测、土地利用、城市规划、农业管理等领域得到广泛应用 1.语义分割作为遥感图像解析的关键技术之一,通过对图像中的每个像素进行分类,并使用不同颜色标记不同类别 2 1.高
4、分辨率遥感面临地物尺度变化大、背景复杂等问题,使得语义分割任务变得更加具有挑战性.传统的遥感图像分割方法主要是基于底层特征,如灰度、颜色、空间纹理和几何信息等 3,通过这些特征差异,将目标与背景分开.传统的方法具有算法简单和速度较快等优点,但分割效果具有较低的确定性且对其他的数据可能无法适用.深度学习的进步使得卷积神经网络(Convolutional Neural Network,CNN)在计算机视觉领域中得到普及,大量的遥感图像分割研究工作都开始采用基于CNN的深度学习方法,遥感图像的分割性能和效果也得到显著的提高和改善.全卷积神经网络模型(Fully convolutional netwo
5、rks,FCN)4是一种具有显著影响力的早期语义分割模型,对于语义分割技术起到重要的突破作用.FCN的独特之处在于66将全连接层替换为卷积层,以输出空间特征图,并通过上采样操作生成预测图.然而,FCN仅利用深层特征进行像素分类,忽视了图像的细节特征信息.因此,后续出现一系列其他的语义分割模型,如SegNet5、Deeplabv3+L6和U-Net十十 7 等网络,这些模型也被用于遥感图像的分割处理.王银宇等 8 针对(AtrousSpatial Pyramid Pooling,ASPP)模块中存在参数量过多和内存占用率高等问题,提出使用分组空洞空间金字塔池化模块以捕捉多尺度目标上下文信息.通过
6、采用分组化策略,成功消减网络参数规模,同时也保持了高精度的语义分割水平.BAHETI等 9提出降低ASPP(Atrous Spatial Pyramid Pooling,A SPP)的空洞卷积采用率,可提升小目标的特征提取能力.张鑫禄等 10 1 提出基于Deeplabv3的小波域算法以改善目标的边缘的分割效果.吴从中等 提出自适应滤波模块AFM(A d a p t i v e Fi l t e r i n g M o d u l e)和特征融合优化模块RFM(Residual FusionModule),A FM 模块自适应在不同空间和通道上学习滤波权重参数以保留细节信息,RFM模块设计了残
7、差模块,以减少解码阶段特征融合的语义差异.近年来,注意力机制成为提高模型精度的一种必要手段,在遥感图像分割算法中得到了广泛应用.Lil121设计了一种具有空间和通道注意力(SCAttNet)的语义解析网络,在远程感知图像的语义分割任务中也表现出准确的分割.LV等 13 设计了一种混合注意力语义分割网络(HAssNet).该网络利用空间注意力模块来捕捉不同区域之间的相互依赖性,并引入通道注意力模块以增强区域之间的相关性.两个模块相互协作,显著改善了分割结果.DING等 14 提出注意力机制与级联结构结合的方法,对无用的低频特征进行过滤,对高频特征中的重要特征进行提取.陈娜等 15 在Deepla
8、bv3十中增加类特征注意力模块增强类之间的相关性,以提取和处理不同类别的语义信息,虽然前述的一些研究在遥感图像分割方面有所发展,但仍面临目标边缘分割准确性不高和小目标漏检、分割效果欠佳等挑战.因此,本文提出一种改进的遥感图像分割算法,该算法基于Deeplabv3十进行优化.针对遥感图像中目标尺度大小不一致以及小目标容易被忽视等特点,对多尺度特征提取的ASPP模块进行改进,调整其膨胀卷积的膨胀率大小,以提高对小尺度目标的关注度;引人一种全局和局部注意力机制 16 ,以保留分割目标的全局位置和语义信息,并在模型解码器中使用,从而增强网络捕捉目标对象特征信息的能力;在编码阶段,为了有效地融合浅层空间
9、细节信息和深层语义信息,提出多级特征上采样方法,通过逐级自下向上地融合深浅层次特征,改善了遥感图像中目标物体的边缘分割效果.在ISPRS的Potsdam和Vaihingen两个城市数据集上进行实验评估,以验证本文提出方法的有效性.1砖研究方法1.1 DeepLabv3+网络DeepLabv3十是一个深度语义分割模型,它使用了编码器-解码器结构和空洞卷积金字塔池化模块,整体网络框架如图1所示:宁夏师范学院学报2023年10 月第10 期凤磊,等:基于改进Deeplabv3十的遥感图像语义分割算法67Encoder1x1conv3x3.convpredictionImagerate=633conv
10、Xeeptionrate=1233convrate=18ClobalpoolingDecoderUpsampleLow-Levelby4FeaturesI x1 convAUOOTXIUpsampleby4Contact33conv图1Deeplabv3+模型其中编码器部分主干网络采用Xception网络提取深层特征,然后将深层特征传入ASPP模块,获取不同尺度的特征进行融合.ASPP模块由1X1卷积、3个膨胀率不同的空洞卷积和全局平均池化组成,这5个分支并行构成.空洞卷积的对应膨胀率分别为6、12 和18,全局平均池化分支则用于捕捉全局上下文特征.将从这5个分支获得的特征图进行融合,然后将融
11、合后的特征图送人11卷积,输出的特征图作为编码器的输出.在解码阶段,编码器输出的特征图首先进行4倍上采样,并与主干网络提取相应大小的低级特征图在通道上进行融合,然后再对获得的特征图进行33卷积微调特征,最后进行4倍上采样恢复到图像大小,输出模型最终的预测结果。1.2改进的DeepLabv3+网络本研究对DeepLabv3十进行了改进,图2 为改进的算法模型图.ASPPInputMobileNetV2GALAGALAGALA图2 改进的Deeplabv3+模型GALAUpSample1xlconvby2UpSampleby 2UpSampleby23x3.convUpSampleby2Outpu
12、t68具体的实现流程如下:编码层按照1/2、1/4、1/8 和1/16 的比例生成不同尺寸的语义特征图.将捕获的深层特征(尺寸为原图的1/16)传递到优化的ASPP模块中进行处理,获取不同尺度的特征并融合,接着使用11卷积降维,得到的特征图作为编码层的输出.在解码部分,采用多级特征上采样的方法进行特征融合,即编码器生成的对应尺度大小的低级特征作为解码器的高级语义特征的补充.另外对不同尺度大小的低级特征添加全局和局部注意力机制(GALA),并与高级特征进行相加.经过2 次2 倍上采样操作,最终对获取的特征图进行33卷积和2 倍上采样,以恢复到原图尺寸并生成预测图像.1.3注意力机制一般来说,全局
13、池化通常与注意力机制一起实现,但是大多数的注意力机制很少会利用局部特征,为了能同时受益于全局和局部池化,本文提出一种全局和局部注意力(Globaland LocalwithAttention)机制,以保留目标的全局位置和语义信息.将全局二维空间池化和局部一维条带池化相结合,能够提高分割性能.GALA模块的结构如图3所示.Pooling.X宁夏师范学院学报Global.1xIXC2023年10 月1x1xCHWC首先对输入的特征图XE(C,H,W)使用全局平均池化操作进行空间降维,得到一个新的1X1XC特征图g。,其输出可以表示为(1)HXW1j-1其中,H、W 和C表示特征图的高、宽和通道数,
14、GAP表示全局平均池化操作,。和g分别表示第c个通道的输人和输出特征图,。(i,j)表示输人特征图在(i,j)位置的第c个通道的值.在经过激活函数和卷积变换处理后,其第c个通道的全局池化输出特征图可表示为其中,表示激活函数,表示Relu函数,Fi和F2分别表示通道重要性的非线性函数.其次,在水平和垂直方向上考虑通道之间的相关性,分别进行一维池化.如公式(3)和(4)所示:(3)0iKWg(w)=OjH其中,g。表示已经具有全局通道相关性的特征,g(w)和g(h)分别表示在水平和垂直方向的一维池化HWC图3全局和局部注意力机制H1Wg.=GAP(c)=g。=a.o(F,(Fi(g.),g(h):
15、Hx1xCWC(2)(4)第10 期输出.接下来,经过激活函数和卷积变换的处理最终得到特征图,即第个通道的最终输出特征可以表示为(5)其中F,和F表示两个1X1卷积变换.在特征融合的过程中加人全局和局部注意力机制,聚合跨通道维度的全局位置和语义上下文信息,提高了模型的分割精度.1.4空洞空间金字塔池化模块本文对原始的Deeplabv3十模型编码器中的ASPP模块进行改进.ASPP模块利用三组并行的空洞卷积,其中膨胀率分别为6、12 和18,以提取不同空间尺度的特征信息并扩大感受野范围,从而获取更广泛的信息.然而,研究表明,对于遥感图像这种具有复杂背景和不同目标尺寸的情况,ASPP模块中的18膨
16、胀率并不适用,因为过大的膨胀率提取的信息在远距离上是不相关的,从而影响了分类结果.因此,在遥感图像分割中,需要调整ASPP模块的空洞率.将膨胀率调整为3、6、9和12,这样既能优化大目标的分割效果,又能避免对小目标物体的漏分。1.5多级特征上采样模块为了解决解码上采样时进一步模糊化的问题,重新考虑对特征提取过程中中间特征的利用,本文提出一个多级特征上采样(Multi-levelfeatureup-samplingmodule,M LFM)模块.模块结构如图4所示.凤磊,等:基于改进Deeplabv3十的遥感图像语义分割算法y.(i,j)=g。Xo(Fr(g*(h)Xo(Fu(g a(w),69
17、ASPPX2Output-image图4多级特征上采样模块主干网络提取的特征被输人到ASPP模块,将ASPP模块与语义分割骨干网络输出的高级语义特征融合,获得深层的语义特征.经过ASPP模块处理的高级语义特征通过3次2 倍上采样进行恢复.每次上采样操作后,将语义特征与编码阶段中获得相同大小的特征图相加,通过连接求和操作,能够更全面地保留分割目标的位置和边界信息.多级特征上采样模块可以使用公式表示为(6)其中,Up代表上采样的操作,k为上采样倍数,ConUixi表示1X1卷积调整特征图的通道数操作.解码器中F;的特征层首先进行2 倍上采样,然后将其与编码器中同样大小的特征图E;进行特征融合.在特
18、征融Input-imageFruion=Up*(F,)+ConU1x1(E,),70合前,需对特征图E,进行1X1卷积调整通道数.在特征融合的过程中,将编码器中对应尺度大小的低级特征作为解码器的高级特征的补充进行融合.这种融合方式旨在补充目标的细节信息,以更好地保留分割目标部分位置和边界信息。2实验数据与结果分析2.1数据源与预处理实验数据来源于在ISPRS的Potsdam和Vaihingen两个城市数据集.Potsdam数据集由1l个不同地区的多源遥感影像组成,一共38 幅高分辨率遥感图像,每个图像的尺寸为6 0 0 0 6 0 0 0 像素,分为6 个类别:背景、不透明水表面、建筑物、低矮
19、植被、树木、车.Vaihingen数据集包含33张遥感图像,是通过航拍Vaihingen市而获得的,和Potsdam数据集里具有相同的类别,平均每张大小为2 494X2064像素.对数据集的预处理:将两个数据集中所有图像裁剪为6 0 0 X600像素大小.Potsdam数据集有540 0张训练图像、6 0 0 张验证图像、6 0 0 张测试图像.Vaihingen数据集有8 0 0 张用于训练的图像,2 0 0 张用于测试,2 0 0 张用于验证.为了提高模型健壮性,对有限的数据集进行数据增广,例如随机旋转和添加噪声等操作.此外,由于数据集中图像的像素值和亮度分布不均匀,需对其进行归一化处理再
20、输人网络训练,减少梯度消失问题,并加快网络的收敛速度.2.2实验设置和环境实验基于Windows10操作系统,计算机设备的CPU和GPU分别为i7-13900HX和RTX3090,使用的开发环境、学习框架、编程语言以及开发工具分别为Cudal1.0、Py t o r c h 1.7.0、Py t h o n 和Pycharm2020.在实验过程中,模型采用动量为0.9的随机梯度下降算法进行训练,损失函数使用交叉熵损失函数进行计算,设置初始学习率为0.0 0 1,训练总迭代次数为30 0 次,权重衰减参数设置为10-4,批处理大小为8.在开始实验训练前,先载人以MobileNetV2为主干网络的
21、预训练权重,用于加速模型收敛.2.3评价指标本文使用PA(Pixel Accuracy)像素精度、MIoU(Mean Intersection over Union)平均交并比等作为语义分割能力评估的重要指标.PA指被正确分类的像素数占总像素数的比例,公式如下:宁夏师范学院学报PA2023年10 月(7)MIoU是各个类别上的真实值的集合与预测值的集合之间的交集比它们的并集,之后再求各个类别上的平均值,公式如下:1MIoU=neni。n +Zo n -n a=0(8)第10 期其中,n。表示使用的数据集中分割类别的数量(含背景),ni表示目标类别i被预测成类别的像素的个数,ni表示预测正确的像
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于改进Deeplabv3 的遥感图像语义分割算法 基于 改进 Deeplabv3 遥感 图像 语义 分割 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。