基于反投影注意力网络的遥感影像超分辨率重建.pdf
《基于反投影注意力网络的遥感影像超分辨率重建.pdf》由会员分享,可在线阅读,更多相关《基于反投影注意力网络的遥感影像超分辨率重建.pdf(7页珍藏版)》请在咨信网上搜索。
1、基于反投影注意力网络的遥感影像超分辨率重建胡家玥,田鹏辉(西安工业大学计算机科学与工程学院,西安710021)通信作者:田鹏辉,E-mail:摘要:近年来,在诸如环境监测等一系列工作中,遥感影像得到了广泛应用.然而,目前卫星传感器观测到的影像往往分辨率较低,很难满足深入研究的需要.超分辨率(SR)目的是提高图像分辨率,同时提供更精细的空间细节,完美地弥补了卫星图像的弱点.因此,本文提出了一种反投影注意力网络(back-projectionattentionnetwork,BPAN)用于遥感图像的超分辨率重建,该网络由反投影网络和初始残差注意块两部分组成.在反投影网络中,通过迭代误差反馈机制计算
2、上下投影误差指导图像重建;在初始残差注意块中,引入初始模块融合局部多级特征为重建详细的纹理提供更丰富的信息,以注意模块自适应地学习不同空间区域的重要性,促进高频信息的恢复.为了评价该方法的有效性,在 AID 数据集上进行了大量的实验,结果表明,本文的网络模型提升了传统深度网络的重建性能,且在视觉效果和客观指标方面有明显提升.关键词:遥感影响;超分辨率重建;注意力;反投影网络引用格式:胡家玥,田鹏辉.基于反投影注意力网络的遥感影像超分辨率重建.计算机系统应用,2023,32(12):211217.http:/www.c-s- Resolution Reconstruction of Remote
3、 Sensing Images Based on Back-projectionAttention NetworkHUJia-Yue,TIANPeng-Hui(SchoolofComputerScienceandEngineering,XianTechnologicalUniversity,Xian710021,China)Abstract:Inrecentyears,remotesensingimageshavebeenwidelyemployedinaseriesofworksuchasenvironmentalmonitoring.However,theimagesobservedbys
4、atellitesensorsoftenhavelowresolution,whichisdifficulttomeetin-depthresearchneeds.Superresolution(SR)aimstoimproveimageresolutionandprovidesfinerspatialdetails,perfectlycompensatingfortheweaknessesofsatelliteimagery.Therefore,aback-projectionattentionnetwork(BPAN)isproposedforSRreconstructionofremot
5、esensingimages.TheBPANiscomposedoftheback-projectionnetworkandtheinitialresidualattentionblock.Inthebackprojectionnetwork,theiterativeerrorfeedbackmechanismisadoptedtocalculatetheupperandlowerprojectionerrorstoguideimagereconstruction.Intheinitialresidualattentionblock,theinitialmoduleisintroducedto
6、integratelocalmultilevelfeaturestoprovidemoreinformationforreconstructingdetailedtexturestofocusontheimportanceofthemoduletolearndifferentspatialregionsadaptivelyandpromotehigh-frequencyinformationrecovery.Toevaluatetheeffectivenessofthismethod,thisstudyconductsalargenumberofexperimentsonAIDdatasets
7、.Theresultsshowthattheproposednetworkmodelimprovesthereconstructionperformanceoftraditionaldeepnetworksandhassignificantimprovementsinvisualeffectsandobjectiveindicators.Key words:remotesensingeffect;superresolution(SR)reconstruction;attention;back-projectionnetwork计算机系统应用ISSN1003-3254,CODENCSAOBNE-
8、mail:ComputerSystems&Applications,2023,32(12):211217doi:10.15888/ki.csa.009317http:/www.c-s-中国科学院软件研究所版权所有.Tel:+86-10-62661041收稿时间:2023-05-17;修改时间:2023-06-26;采用时间:2023-07-07;csa 在线出版时间:2023-10-19CNKI 网络首发时间:2023-10-20SoftwareTechniqueAlgorithm软件技术算法211图像超分辨率(SR)是计算机视觉中的一个热点问题,其目的是从相应的低分辨率(LR)图像中恢复具有
9、丰富高频细节的高分辨率(HR)图像.在遥感领域,从卫星上观测到的图像可以在许多领域发挥重要作用并具有实用价值,例如环境监测、资源勘探和监测.然而,由于硬件和低成本成像传感器的限制,很难直接获得高分辨率(HR)图像.因此,低成本和高效的超分辨率重建技术(SR)应运而生,充分利用低分辨率图像的信息,重建出质量更好的高分辨率图像.1相关研究对于任何给定的低分辨率(LR)图像都存在多重解.为了解决这一问题,近年来提出了许多 SR 技术,这些技术主要分为基于插值的方法1、基于重建的方法2以及基于学习的方法3,4.基于学习的方法可进一步分为邻域嵌入方法5、稀疏编码方法6和基于卷积神经网络(CNN)的方法.
10、Dong 等人7首先提出了一种三层卷积神经网络SRCNN,其性能优于许多传统的 SR 方法.Liebel 等人8首次提出将 SRCNN 用于遥感图像超分辨率重建.Lei 等人9设计了一种“分支”结构的网络(local-globalcombinednetwork,LGCnet),来学习遥感图像的多尺度表示,利用 CNN 随着网络深度加深感受野也随之扩大的特性,将浅层和深层的特征映射进行级联从而实现局部与全局信息的结合.Haut 等人10将视觉注意力机制融入到基于残差的网络设计中(remotesensingresidualchannelattentionnetwork,RSRCAN),该机制能够引
11、导网络训练过程朝向信息量最大的特征.Ahn 等人11提出了级联残差网络(CARN),该网络使用级联连接来融合局部和全局表示.尽管这些基于 CNN 的方法在图像 SR 方面取得了重大进展,但它们平等地对待不同的通道,这在处理不同通道信息缺乏灵活性.为了解决这个问题,Hu 等人首先提出了 SENet(squeeze-and-excitationnetwork)12,该网络设计了一个通道注意模块来提高分类精度.受SENet 的启发,Zhang 等人提出了一种用于自然图像SR 的深度残差通道注意网络(RCAN)13,其中设计了一个通道注意(CA)模块,自适应地学习不同通道的重要性.目前基于注意力的方法
12、通常仅从单个级别提取特征.尽管一些文献也考虑了融合多级特征9,但它们忽略了不同通道和不同空间区域的不同重要性.在本文中,提出反投影注意力网络来克服这些问题.每个初始残差注意块包含初始模块和注意模块.初始模块用于通过使用 3 个卷积层提取局部多级特征,随后通过使用另一个特征融合层融合提取的特征.注意力模块结合通道注意力和空间注意力使网络更加关注高频信息的区域.2超分辨率重建方法考虑到遥感影像丰富的纹理信息和复杂的空间位置信息,本文提出了一种基于反投影注意力网络的超分辨率模型,其中使用了密集连接的上投影单元和下投影单元14,上投影单元的输出结果不仅作为下投影单元的输入还作为初始残差注意块(ince
13、ptionresidualattentionblocks,IRAB)15的输入,通过 IRAB 使网络更加关注高频信息的区域.2.1 网络结构考虑到遥感影像的特点,本文提出了反投影注意力网络,该网络采用迭代上采样策略,其整体结构如图 1 所示,该网络模型分为插值上采样分支和主网络分支.主网络分支又分为 4 个部分:特征提取部分、迭代投影部分、重构部分、IRAB.2.1.1插值上采样分支使用上采样分支使我们的网络学习全局残差.该算法如图 1 所示,可以用式(1)表示:Ibicubic=Hbicubic(ILR)(1)Hbicubic()Ibicubic其中,表示使用双三次插值的上采样算法,表示插
14、值后的图像.2.1.2主网络分支(1)特征提取部分:使用 Conv(3,n0)从输入构建初始 LR 特征映射 L0.然后使用 Conv(1,nR)将维数从n0 降至 nR,然后进入投影步骤,其中 n0 为初始 LR 特征提取中使用的卷积核个数,nR 为每个投影单元中使用的卷积核个数.(2)投影部分:初始特征提取之后是一系列投影单元,交替构建 LR 和 HR 特征映射,通过密集连接使每个投影单元都可以访问所有先前投影单元的输出.投影单元的结构如图 2 所示.(3)重构部分:使用 33 的卷积将拼接后的 HR 图像重构为 SR 图像,其中 fRec 使用 conv(3,3)作为重构,IRAB1,I
15、RAB2,IRABt是指在每个 IRAB 中产计 算 机 系 统 应 用http:/www.c-s-2023年第32卷第12期212软件技术算法SoftwareTechniqueAlgorithm生的特征图的拼接,称为深度拼接.2.1.3初始残差注意块(IRAB)IRAB 共分为两个模块,分别是 Inception 模块和Attention 模块,使得 IRAB 通过 Inception 模块捕获多层信息,通过 Attention 模块是网络更加关注携带高频信息的区域,其结构如图 3 所示.Interpolation upsampling branchConv 33Conv 33Conv 11
16、Up projectionUp projectionUp projectionIRABIRABIRABConcatDown projectionDown projection图 1网络结构Dense up-projection unitDense down-projection unitConv(11)Conv(11)DeconvDeconvDeconvConvConvConvL1,Lt1H 1,H tConcatConcatLt1H tH tLt1H0tL0tL0tH0tH0tH1tL1tL0tetleth+H tLt图 2投影单元FupConv 11Conv 33Conv 11Conv 3
17、3F1F3F2ConcatenationCASAInceptionmoduleAttentionElementwiseSumFReLUReLUmodule图 3初始残差注意块(1)Inception 模块在 Inception 模块中,首先使用了 3 个卷积层(即Conv(1,C),Conv(3,C),Conv(3,C)提取具有不同感知尺度的特征,随后,利用另一个卷积层对提取的特征进行融合.假设第 i 个 IRAB 的输入是 Fup,4 个卷积层可以表示为:2023年第32卷第12期http:/www.c-s-计 算 机 系 统 应 用SoftwareTechniqueAlgorithm软件技
18、术算法213F1=f1,1(Fup)F2=f2,2(ReLU(F1)F3=f3,3(ReLU(F2)FInception=f4,1(F1,F2,F3)(2)其中,f()表示卷积操作,k 是卷积核的大小,表示拼接操作,F1、F2和 F3表示不同感知尺度的特征图,FInception是 Inception 模块的最终输出,它将被用作注意力模块的输入.(2)Attention 模块LR 遥感场景图像包含丰富的低频和有价值的高频特征.低频特征似乎更平坦.高频特征通常是区域、充满了边缘、纹理和其他细节.在 SR 领域中,高频通道特征对 HR 重构更为重要.因此我们使用 Attention模块,该模块由通
19、道注意模块和空间注意模块两个子模块组成.通道注意模块用于提取不同通道的重要性,整个通道注意模块的过程如下:Fc=AchannelFInception(3)Fca=Fc+FInception(4)其中,Fc表示中间特征图,Achannel表示通道注意向量,Fca表示输出的特征图,表示逐元素相乘.考虑到不同的池化操作可能会收集到不同的重要特征,本文使用两种池化操作来压缩输入特征图的信息,之后得到两个通道向量,其中每个通道向量的大小为 R11C,随后将每个通道向量输入到具有一个隐藏层的共享全连接层(SFCL),使用 elementwise 求和后使用激活函数,可以得到通道注意向量 Achannel.
20、因此,计算通道细化特征图 Fca过程如下:Fc=(SFCL(MaxPool(FInception)+SFCL(AvgPool(FInception)FInception(5)SFCL(MaxPool(FInception)=(Wu(WdMaxPool(FInception)(6)SFCL(AvgPool(FInception)=(Wu(WdAvgPool(FInception)(7)其中,表示 ReLU 激活函数,表示 Sigmoid 函数,Wd和 Wu分别是两个 MLP 全连接层的前后权重集.空间注意模块使网络更加关注携带高频信息的区域,整个空间注意模块的过程如下:Fsa=AspatialF
21、ca(8)其中,Fsa表示输出的特征图,Aspatial表示空间注意向量,表示逐元素相乘.沿着 Fca的通道,利用平均池化和最大池化操作,对不同通道中每个位置的空间信息进行聚合,分别生成两个特征图,之后应用 Conv(5,2)得到融合后的特征图 Ffused,使用 Conv(1,1)将融合特征图压缩为一个通道,最后使用 Sigmoid函数得到空间特征权重 Aspatial,计算过程如下:Aspatial=(f(Ffused)(9)Ffused=(f(MaxPool(Fca),AvgPool(Fca)(10)其中,表示 ReLU 激活函数,表示 Sigmoid 函数,f()表示卷积操作.2.2
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 投影 注意力 网络 遥感 影像 分辨率 重建
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。