基于并联式卷积神经网络的遥感影像超分辨率重建.pdf

投稿网址:2023 年 第23 卷 第27 期2023,23(27):11513-09科 学 技 术 与 工 程Science Technology and EngineeringISSN 16711815CN 114688/T引用格式:李薇,杜东升,邓剑波,等.基于并联式卷积神经网络的遥感影像超分辨率重建J.科学技术与工程,2023,23(27):11513-11521.Li Wei,Du Dongsheng,Deng Jianbo,et al.Super-resolution reconstruction of remote sensing images based on parallel convolution neural net-workJ.Science Technology and Engineering,2023,23(27):11513-11521.基于并联式卷积神经网络的遥感影像超分辨率重建李薇1,2,杜东升1,2,邓剑波1,2,陈良宇3(1.湖南省气象科学研究所,长沙 410118;2.气象防灾减灾湖南省重点实验室,长沙 410118;3.武汉大学,测绘遥感信息工程国家重点实验室,武汉 430079)摘 要 遥感影像超分辨率重建有助于丰富地物细节,从而更全面地反映地物目标信息。为了解决目前基于深度学习的超分辨率重建方法难以同时兼顾影像高、低频信息的问题,提出了一种并联式遥感影像超分辨率重建方法。该方法并联了密集深层反投影网络和浅层多尺度网络,利用密集深层反投影网络精确预测遥感影像的高频内容;同时利用浅层多尺度网络来增加目标可分辨能力,并保留影像的低频部分来提升影像的质量。这个方法在 GF-1 和 GF-2 数据集上进行了实验,并在 Landsat8 和 ASTER 异源遥感影像数据集上进行了泛化验证。研究结果表明,相较于增强深度残差网络(enhanced deep residual net-works for single image super-resolution,EDSR)、深层和浅层端到端卷积网络(end-to-end image super resolution via deep and shallowconvolutional network,EEDS)和密集深层反投影网络(deep back-projection networks for super-resolution,DBPN),峰值信噪比(peak signal to noise ratio,PSNR)分别提升了 2.30、2.23、0.25 dB,结构相似度(structural similarity,SSIM)性能指标分别提升了0.131 6、0.108 5、0.009 6。本文方法有助于从数据端改善遥感影像目标识别、地物分类等应用的精度,进一步提高遥感数据在资源调查、环境监测、灾害预报等领域的应用效能。关键词 遥感影像;超分辨率重建;卷积神经网络;多尺度;并联式中图法分类号 P237;文献标志码 A收稿日期:2022-08-24;修订日期:2023-06-28基金项目:基于湖南省气象局 2022 年重点科研课题(XQKJ22A001)第一作者:李薇(1994),女,苗族,湖南龙山人,硕士,助理工程师。研究方向:遥感影像处理。E-mail:。通信作者:杜东升(1981),男,汉族,湖南益阳人,硕士,高级工程师。研究方向:生态遥感应用。E-mail:。Super-resolution Reconstruction of Remote Sensing Images Based onParallel Convolution Neural NetworkLI Wei1,2,DU Dong-sheng1,2,DENG Jian-bo1,2,CHEN Liang-yu3(1.Hunan Institute of Meteorological Sciences,Changsha 410118,China;2.Hunan Key Laboratory of Meteorological Disaster Prevention and Reduction,Changsha 410118,China;3.State Key Laboratory of Information Engineering in Surveying,Mapping and Remote Sensing,Wuhan University,Wuhan 430079,China)Abstract The super-resolution reconstruction of remote sensing images helps to enrich the details of ground objects,and reflect theinformation of ground targets more comprehensively.In order to solve the problem that the current super-resolution reconstruction me-thod based on deep learning is difficult to take into account the high-frequency and low-frequency information of the image,a new su-per-resolution reconstruction method based on parallel convolutional neural network was proposed.The method connected dense deepback projection network and shallow multi-scale network in parallel.The dense deep back projection network was used to accuratelypredict the high-frequency content of remote sensing images.On the other side,the shallow multi-scale network was used to increasetarget resolution and preserve low-frequency parts of the image to improve the quality of the reconstructed images.This method was test-ed on the GF-1 and GF-2 datasets and generalized validated on the Landsat 8 and ASTER datasets.Comparison of EDSR(enhanceddeep residual networks for single image super-resolution),EEDS(end-to-end image super resolution via deep and shallow convolutionalnetwork)and DBPN(deep back-projection networks for super-resolution)three common deep learning super resolution reconstructionnetworks,the method proposed achieved the best results,with PSNR improvements of 2.30 dB,2.23 dB,and 0.25 dB and SSIM im-provements of 0.131 6,0.108 5,and 0.009 6,respectively.The proposed method is helpful to improve the accuracy of remote sensingimage target recognition and land classification applications from a data perspective.Additionally,it can further enhance the applicationefficiency of remote sensing data in fields such as resource investigation,environmental monitoring,and disaste.Keywords super-resolution reconstruction;convolution neural network;multi-scale;parallel;remote sensing images投稿网址:11514科 学 技 术 与 工 程Science Technology and Engineering2023,23(27)遥感影像的空间分辨率不仅是评价影像质量的一项关键性技术指标,更是衡量一个国家卫星遥感技术水平的重要标志之一1-2。高分辨率影像(high-resolution,HR)3包含的像素更多,纹理信息更丰富,可以提供更多的细节内容。考虑到在卫星平台设计、核心元器件制造以及总体成本等方面存在的客观限制,使得通过改善硬件来提高影像空间分辨率这一思路受到的制约较大。从软件的角度基于信号处理的理论并结合一些算法也能实现图像空间分辨率的提升,这使得图像超分辨率重建(super-resolution,SR)4技术得到了广泛的研究和应用。在遥感成像领域,现有条件下得到的低分辨率影像进行超分辨率重建后,能够提供更多的地物分布及空间关联信息,有助于提升在目标识别、地物分类、特征提取等应用上的精度,对于地球资源调查与开发、全球自然环境监控、灾害预报和评估等都具有重要意义5。基于深度学习的影像超分辨率重建是指采用先进的网络模型在高、低分辨率影像间建立“端到端”的映射,通过在低分影像中提取的低级和高级特征,进而获取高分辨率影像。2012 年,Dong 等6首次将卷积神经网络(convolution neural network,CNN)应用到超分辨率重建中,提出了 SRCNN(su-per resolution convolutional neural network),针 对SRCNN 网络需要对小尺寸的图像进行尺寸插值到目标大小之后才能作为输入图像,又提出 FSRCNN(fast super resolution convolutional neural network)7模型。EDSR8去除 ResNet(residual network)9多余的模块,用节省出来的内存加深网络的深度进行更高级的特征提取。席志红等10利用残差网络选择合适的数据集和优化算法,对医学图像进行超分辨重建取得了较好的重建精度。EEDS(end-to-endimage super-resolution algorithm via deep and shallowconvolutional networks)11利用一个深层来增加高频信息的预测和一个浅层来提高收敛速度从而共同提高重建结果。考虑到任何两个卷积层间都存在着连接关系,DenseNet(densely connected convolu-tional network)12被提出并应用到 SR 中,该网络实现了特征的充分利用并保证了信息最大流动性。DBPN13网络基于密集连接基础,在每个上、下采样层模块提供一种错误反馈机制,使得每个模块特征连接起来并且作为最终重建结果的组成部分来提升重建结果。RDNSR(residual dense network for im-age super resolution)14通过残差密集块来充分利用各层特征图的所有分层特征。林琦等15将深度学习方法应用到视频数据的超分重建中,通过提取视频的多尺度特征并结合残差学习来恢复视频的高频信息。肖雅敏等16提出一种基于多窗口残差网络的优化模型,以解决网络结构过深导致高频信息丢失和模型体积较大的问题。陈行等17提出一种双路网络,通过两个支路网络分别实现分辨率提升和高频信息学习,实现了多角度遥感影像的超分重建。李现国等18提出一种结合局部和全局残差学习的方法,改善了提取影像细节不充分的问题。谌贵辉等19通过构建多尺度残差模块来提取影像的多尺度特征,同时引入一种通道注意力机制来提升影像更多的高频信息。仝卫国等20提出了基于多尺度特征融合的超分辨率重建算法,采用多特征模块获取更多浅层信息,并在网络中添加密集连接结构,有效地解决了提取特征单一问题,改善了图像质量。卢冰等21构建面向单帧低照度彩色图像的基于改进残差网络训练的超分辨率重建方法,提出的低照度图像超分辨率重建方法使得在低照度环境下的重建图像更为清晰明亮、细节更丰富。Liu 等22提出了一种通过聚合跨尺度相邻特征块来考虑遥感图像中的自相似块,并采用双学习策略通过约束损失函数中的映射过程来细化重建结果。针对现有的基于深度学习的超分重建方法,会存在遥感影像高、低频信息不能同时兼顾以至于重建影像的空间分辨率严重受限的问题。现在 DBPN网络的基础上增加了一个浅层多尺度网络,共同组成并联式卷积神经网络(deep back-projection andshallow multi-scale parallel convolutional neural net-works for super-resolution,DBSMN),利用这种并联式结构网络来实现在异源遥感影像之间,有效地保留主成分信息和预测高频信息来进行超分辨率重建,最终共同完成重建影像的质量提升。1 研究方法通过构建一个并联式卷积神经网络来实现遥感影像的超分辨率重建;采用密集深层反投影网络有效地提取影像细节,采用浅层多尺度网络保留影像的主成分信息,在帮助恢复低分影像高频细节的同时,更好地保留影像的主成分信息来增加目标的可分辨能力。技术流程如图 1 所示。1.1 浅层多尺度网络一般的浅层网络就是由简单的卷积层堆砌,实现端到端的训练,即输入一景低分辨率影像,可输出一景重构的高分辨率影像。端到端浅层网络11(end-to-end shallow network,EES)的结构如图 2所示。投稿网址:2023,23(27)李薇,等:基于并联式卷积神经网络的遥感影像超分辨率重建11515图 1 技术路线流程图Fig.1 Technology roadmap图 2 端到端浅层网络Fig.2 End-to-end shallow network这样的浅层卷积神经网络不仅能加速网络收敛速度,且能够较好地保留输入影像的主成分信息。但遥感影像地物复杂、纹理信息丰富,简单的浅层卷积神经网络在单次卷积之后,结果只能单独传输来预测最终的目标地物细节,遥感影像不同尺度的信息被唯一的卷积核处理会导致预测信息不够准确。针对端到端浅层网络对遥感影像超分重建存在预测信息不够准确的问题,采用多个不同尺度的卷积核学习遥感影像的自相关性及纹理特征,自主学习高分辨率影像与低分辨率影像内在的逻辑关联特性,对图像特征信息进行充分的提取,增加重建影像的准确性。本文设计的浅层多尺度网络(shallow multi-scale convolutional neural network,EESM)的总体框架如图 3 所示,浅层多尺度模型为端到端模型。输入数据为影像矩阵,由于其包含各种类型的特征信息,因此利用多尺度(3 3、5 5 和 7 7)卷积核进行特征提取;并将得到的 64 个特征映射为 16 个特征;最后把不同卷积核提取的特征图进行堆叠得到最终的重建结果。图 3 浅层多尺度网络Fig.3 Shallow multi-scale convolutional neural network1.2 密集深层反投影网络密集深层反投影网络 DBPN 是由输入的低分辨率影像(low-resolution,LR)至高分辨率影像(high-resolution,HR)的非线性映射过程,有效地解决了现有的超分重建网络前后卷积层结果之间信息连接缺陷,通过不断迭代地进行上采样和下采样机制,为每个学习阶段提供错误反馈。为了使得在上-下采样阶段的特征连接起来,构建了相互依赖的上-下采样模块,其核心模块结构13如图 4 所示。图 4 密集投影单元Fig.4 Dense projection unit密集深层反投影网络的向上反投影单元,主要包括操作具体如下。上采样:Ht0=(Lt-1pt)s;下采样:Lt0=(Ht0gt)s;残差计算:elt=Lt0-Lt-1;残差上采样:Ht1=(eltqt)s;输出特征图:Ht=Ht0+Ht1;密集深层反投影网络的向下反投影单元,主要包括操作具体如下。下采样:Lt0=(Htgt)s;上采样:Ht0=(Lt0pt)s;残差部分:eht=Ht0-Ht;残差下采样:Lt1=(ehtqt)s;输出特征图:Lt=Lt0+Lt1;其中:为空间卷积算子,s、s分别为上、下采样操作,pt、gt、qt为卷积层,L1,L2,Lt-1为上投影单元,H1,H2,Ht为下投影单位,上、下投影单元拥有连接作用并将特征映射作为所有后续单元的输入。投稿网址:11516科 学 技 术 与 工 程Science Technology and Engineering2023,23(27)在高分影像和低分影像之间,把一系列的卷积操作构成上、下投影单元,将这些单元连接起来并组成最终网络构成的部分;作为一种自校正过程,投影单元将投影误差予以反馈来迭代地优化网络。1.3 并联式卷积神经网络为了使重建结果在拥有高频信息的同时还能保证低频信息的主要传递,充分利用 DBPN 网络和浅层多尺度网络的优势,提出一种密集反投影深层和浅层多尺度并联式卷积神经网络(DBSMN),简称并联式卷积神经网络。密集深层反投影网络通过采用上下采样层提供反馈来优化采样结果。相互依赖的上下反复投影对模型的约束在防止过拟合上能够发挥更好的作用,可以很好地利用到低分辨率图像和高分辨率图像之间共有的关系,且保证每一个部分结果都能作为后续单元的输入,因此作为本文所提网络模型中的深层网络;考虑到高分影像的恢复可能同时依赖于不同范围的信息,根据尺度不变性原理,多尺度低分辨率影像的特征被映射到高分辨率影像特征空间,在重建过程中采用特征融合来提高特征利用率,增加预测的准确性,因此作为本文所提网络模型中的浅层网络。并联式卷积神经网络的结构框架如图 5 所示。2 实验设置2.1 数据集随着中国自主研发航天卫星的能力越来越强,国产高分系列卫星在各方面都扮演着不可或缺的角色,因此对高分系列卫星遥感数据展开研究也必不可少23-25。选用武汉市部分区域,同时相且无云状态下,覆盖同区域的高分一号(GF-1)和高分二号(GF-2)遥感数据。选择 GF-1 空间分辨率为 16 m的红、绿、蓝三个波段和对应 GF-2 空间分辨率为4 m 的红、绿、蓝三个波段的影像,建立以 GF-1 影像为输入样本,GF-2 影像为标签样本之间的映射关系。基于深度学习的超分辨重建网络在进行样本训练和测试前,需对样本影像进行包括辐射校正、几何校正、影像配准、裁剪等在内的一系列预处理操作,以消除卫星成像过程中出现的变形、噪声、模糊等问题。预处理流程如图 6 所示。以分辨率较高的 GF-2 影像为基础,采用扫描线法先将 GF-2 影像中的最大内接矩形裁剪出来,然后用 GF-2 的最大内接矩阵裁剪出 GF-1 的重叠区域进行实验。由于 GF-1 和 GF-2 的同一时间重叠区域影像存在色差,为了使两景影像具有相似的色调和像素范围,采用非线性拉伸方法对 GF-2 影像的灰度直方图中比较集中的一些区域进行处理。在计算机视觉领域中,多数的超分重建方法均图 6 数据集预处理流程图Fig.6 Data set preprocessing process图 5 并联式卷积神经网络Fig.5 Parallel convolution neural network投稿网址:2023,23(27)李薇,等:基于并联式卷积神经网络的遥感影像超分辨率重建11517是实现输入影像空间分辨率的两倍提升。因此,本文中遥感影像超分辨率重建实验对原始空间分辨率为 4 m 的 GF-2 影像进行降采样处理到 8 m,GF-1的样本尺寸为 64 像素 64 像素,GF-2 的样本尺寸为 128 像素 128 像素,然后通过超分重建网络建立映射关系,最终实现将输入的 GF-1 影像空间分辨率从 16 m 提升至 8 m。由于少许云层遮挡或其他外界因素导致有些对应的样本均值之间存在差异较大的情况。对于每一组匹配的 GF-1、GF-2 样本进行均值计算,以GF-1 的其中一个样本反射率均值为横坐标,相对应地 GF-2 每个样本反射率均值为纵坐标得到一个点,如图 7(a)所示。红色圈内的点代表样本之间均值差异过大,需要剔除掉所对应的影像才能促进网络的训练。删除劣质样本的原则是在保证数本数据足够的前提下使得偏差尽可能小(样本总数为 3 700个)。偏差公式为bias=Mean(GF-2)-Mean(GF-1)Mean(GF-1)(1)从计算结果中得出偏差小于 10%的样本数量有 3 413 个,拟合优度为 0.87,样本较好地满足了足数和拟合优度最佳的条件。因此,选取 10%偏差以内的样本作为最终的训练样本。筛选后的样本如图 7(b)所示。2.2 超分辨率重建的评价指标为了能够全面地对超分重建结果进行评价,采用峰值信噪比 PSNR26和结构相似度 SSIM27量化指标来进行评估。峰值信噪比用于表示信号最大可能功率与影响它表示精度的破坏性噪声功率的比值。PSNR 取值范围为 20 40。通过均方差的大小来评价影像的失真程度,值越高表示保真程度越高,其的定义为PSNR=10lgMAX2MSE()(2)式(2)中:MAX 表示重建影像信号的最大峰值;MSE表示重建影像的均方误差,其定义为MSE=1mnm-1i=0n-1j=0I(i,j)-K(i,j)2(3)式(3)中:m 和 n 分别为图像的长和宽的维度;i 表示像素横坐标值,j 表示像素纵坐标值;I(i,j)表示输入图像;K(i,j)分别表示重建结果。结构相似度(SSIM)可以反映原影像与预测影像间的结构相似程度,并且能够在客观上反映影像边缘和纹理的情况。其范围为0,1,SSIM 越大,说明两种影像在空间细节纹理上相似度就越高。在尺寸均为 m n 的两幅影像 x、y 上计算时,其定义为图 7 样本均值散点图Fig.7 Sample mean scatterSSIM=(x,y)=(2xy+c1)(2xy+c2)(2x+2y+c1)(2x2y+c2)(4)式(6)中:x 和 y 为不同的影像;x、y为两景影像的均值;x、y为两景影像的方差;xy为两景影像的协方差;c1、c2为常数。2.3 实验环境本文中所有实验都是基于表 1 中的实验环境。表 1 实验环境Table 1 Experimental environment内容配置系统版本Centos 7.2CPUE5-2650V4 2内存16G 8硬盘256G SSD、2T 机械硬盘显卡1080TI系统类型64 位3 实验结果为了验证本文实验方法的有效性,选取了目前几种较为流行的深度学习超分辨率重建方法EDSR、投稿网址:11518科 学 技 术 与 工 程Science Technology and Engineering2023,23(27)EEDS、DBPN 与 DBSMN 进行对比分析。3.1 模型训练实验中,选择 64 像素 64 像素的 GF-1(空间分辨率为 16 m)影像为输入数据,128 像素 128像素的 GF-2(空间分辨率为 8 m)为标签数据,分别对各种网络模型进行训练、验证和测试。训练集与验证集数量的比例为 7 3,测试集为单独的100 张影像。深度学习框架为 Keras28,优化器选择为 Adam29。在训练中,设置初始学习率为 0.001,若迭代 10次损失函数(loss)没有减小就把学习率减半,最小的学习率为 0.000 001,批处理参数设为 15,总共迭代运行 1 000 轮。根据每一次的网络训练来修正损失函数的大小,待模型训练结束后,用额外的 100 张小影像作为测试数据。最后通过测试得到尺寸为128 128 大小重建图像。EDSR、EEDS、DBPN 经过 2 000 次迭代完成网络的训练,为了更好地展示各个网络训练迭代过程的变化,由图 8 前 1 000 轮的迭代可知,在相同的循环迭代次数的前提下,DBSMN 相较于其他的网络具有最高的 PSNR 和最低的损失函数,并且当训练循环迭代进行到120 次时,DBSMN 开始收敛,在收敛之前较DBPN网络波动较小,稳定性明显好于DBPN。从 PSNR 和损失函数的对比结果得知DBSMN 模型较其他算法都有不同程度的提高,重建表现最优。图 8 不同网络模型训练过程中的 PSNR 和损失函数对比Fig.8 PSNR and loss in the training process of differentnetwork models3.2 浅层多尺度网络结果分析为了进一步分析浅层多尺度网络对主成分信息的保留作用,对 100 张测试数据分别进行 EES 和EESM 网络模型测试,计算均值如表 2 所示。把测试 EES 模型和 EESM 模型的结果与输入的低分辨率图像做比较,结果如图 9 所示。表 2 EES、EESM 网络模型的 PSNR、SSIM 比较Table 2 Comparison of PSNR and SSIM of EESand EESM network model网络模型PSNR/dBSSIMEES27.870.706 2EESM28.280.747 3图 9 EES、EESM 网络重建结果对比Fig.9 Comparison of EES and EESM reconstruction results 从表 2 可以看出,EESM 较 EES 网络在 PSNR和 SSIM 指标上分别有 0.41 dB 和 0.041 1 的提升。在增加多尺度模块后,模型的整体性能有明显的提高。根据图 9 的 EES 和 EESM 网络重建结果对比发现,多尺度模块有助于增强重建影像中地物的纹理细节,有助于保留影像边缘结构特征。通过多尺度卷积将低分辨率遥感影像特征映射到高分辨遥感影像的特征空间,利用特征融合来提高特征利用率,加强了对影像主成分特征的保留。3.3 密集深层反投影网络结果分析为了分析 DBSMN 与其他网络对高频信息的预测和低频信息传递的对比,对 100 张测试影像的PSNR 与 SSIM 进行均值计算得到表 3 所示结果。表 3 不同网络的 PSNR、SSIM 比较Table 3 Comparison of PSNR and SSIM in differentnetworks评价指标EDSREEDSDBPNDBSMNPSNR/dB28.6028.6730.6530.90SSIM0.700 90.724 00.822 90.832 5投稿网址:2023,23(27)李薇,等:基于并联式卷积神经网络的遥感影像超分辨率重建11519 通过表 3 得出,DBSMN 较 EDSR、EEDS、DBPN网络的 PSNR 指标分别有 2.3、2.23、0.25 dB 的提高,在 SSIM 性能指标上本文算法较 EDSR、EEDS、DBPN 三个网络分别有 0.131 6、0.108 5、0.009 6 的提高。对测试影像分别使用 EDSR、EEDS、DBPN、DB-SMN 进行重建,选取 25 张测试样本拼接,输出结果如图 10 所示。图 10 不同网络重建结果对比Fig.10 Comparison of different network reconstruction results图 10(b)图 10(e)为各个网络模型空间分辨率提升 2 倍的测试结果。取影像局部的某一处放大比较,可看出每种方法的重建结果对比输入影像来说,都有着不同程度的改善和提高,保留了不同程度的纹理信息,且重建结果都未出现锯齿效应。EDSR、EEDS 在清晰度和纹理丰富度上相比于其他网络有一定的改善,但细节纹理上不如 DBPN、DBSMN预测的细节更丰富;DBPN、DBSMN 重建的影像地物纹理突出、不同地物边界明显且影像边缘结构特征保留完整,更加接近图 10(f)的 GF-2 影像。通过对比,验证了本文方法在改善影像中目标的细微程度,和边缘结构信息都表现较好,能满足高频信息的预测和低频信息的传递。3.4 泛化实验结果分析为了验证本文网络模型的泛化能力,选择覆盖华北地区的 Landsat 8 影像和 ASTER 影像进行测试实验,具体使用了 8 景 Landsat 8 影像(空间分辨率为 30 m)和 8 景 ASTER 影像(空间分辨率为 15 m)的近红、红、绿三个波段的影像作为训练数据,另外的一景 Landsat 8 影像作为测试数据。由于只有DBPN 和 DBSMN 两种网络之间存在较小的差距,因此特地把两种网络的测试结果拿出来进行对比,对100 张测试图的 PSNR 与 SSIM 进行均值计算得到表 4,随机两组测试结果如图 11 所示。表 4 DBPN、DBSMN 网络泛化实验中 PSNR、SSIM 比较Table 4 Comparison of PSNR and SSIM in DBPN andDBSMN generalization experiment网络模型PSNR/dBSSIMDBPN29.927 40.805 6DBSMN30.336 10.848 8图 11 DBPN、DBSMN 网络泛化实验重建结果对比Fig.11 Comparison of results of DBPN and DBSMNgeneralization experiments 由影像的客观评价指标对比可看出,DBSMN 比DBPN 在 PSNR 和 SSIM 指标上分别提升0.408 7 dB和 0.043 2,这表明在 DBSMN 重建的影像中,信息量明显增加。从纹理丰富度对比,能够很明显地看到 DBSMN 对细节的重建要好于 DBPN;这反映出在改善影像局部细节方面,本文方法具有更明显的优势。DBSMN 网络在 Landsat 8 和 ASTER 这一组数据集上也有很好的表现;泛化实验结果表明,DBSMN能够适应不同特点的遥感影像,普适性更强。4 讨论本文提出的 DBSMN 算法适用性强,较 DBPN网络性能更加稳定,能够更好地获得高质量的高分辨率影像,尤其适用于缺少图像序列的遥感影像场景。但后续研究还可在以下两个方面进行扩展。(1)本文对所提出的方法只进行了 2 倍超分辨重建训练,虽然在各项实验中得到了较好的效果,但对于大倍数超分辨率重建实验并未过多开展,因此,在后续研究中可以调整网络结构和参数,进一步提升高倍数的重建效果。(2)由于数据来源的原因,只选取了一些匹配性较高的影像对进行实验,但不能完整反映本文方法对整体卫星影像的通用性,下一步的研究也将面向来自不同卫星传感器的影像,增强模型的泛化能投稿网址:11520科 学 技 术 与 工 程Science Technology and Engineering2023,23(27)力,实现一个模型满足多源遥感数据空间分辨率的提升。5 结论本文提出了一种新的遥感影像超分辨率重建方法,通过结合深层网络预测高频细节和浅层网络保留影像主成分信息的优势,实现遥感影像的超分辨率重建。综合 PSNR、SSIM 评价指标以及视觉对比分析,得出以下结论。(1)根据 DBSMN 的浅层 EESM 网络较 EES 网络评价指标的计算结果得知,在增加多尺度模块后,模型能更好地保留影像的主成分信息。(2)DBSMN 较 EEDS、EDSR、DBPN 模型重建结果的视觉和客观指标都有显著提高,重建结果纹理信息更丰富、更准确。解决了现有的超分辨率重建方法难以同时兼顾高、低频信息的预测和保留问题。(3)利用异源遥感数据对该网络进行泛化能力测试。DBSMN 比 DBPN 模型在 PSNR 和 SSIM 指标上分别提升0.408 7 dB 和0.043 2,并且在视觉上展现出对改善局部细节方面具有更大的潜力,表明本文方法能够适应不同遥感影像的数据特点,普适性更强。参考文献1 吴琼,田越,周春平.遥感图像超分辨率研究的现状和发展J.测绘科学,2008,156(6):66-69,15.Wu Qiong,Tian Yue,Zhou Chunping.Review of super-resolutionin remote-sensing imageJ.Science of Surveying and Mapping,2008,156(6):66-69,15.2 朱红,宋伟东,谭海,等.多尺度细节增强的遥感影像超分辨率重建J.测绘学报,2016,45(9):1081-1088.Zhu Hong,Song Weidong,Tan Hai,et al.Remote sensing imagessuper resolution reconstruction based on multi-scale detail enhance-mentJ.Acta Geodaetica et Cartographica Sinica,2016,45(9):1081-1088.3 Harris J L.Diffraction and resolving powerJ.Journal of the Opti-cal Society of America,1964,54(7):931-933.4 Wen Z J,Guan J W,Zeng T Y,et al.Residual network with detailperception loss for single image super-resolutionJ.Computer Vi-sion and Image Understanding,2020,199:103007.5 廖秀秀.基于学习的超分辨率重建算法研究D.广州:华南理工大学,2013.Liao Xiuxiu.Research on learning-based image super-resolution re-construction algorithmsD.Guangzhou:South China University ofTechnology,2013.6 Dong C,Loy C C,He K,et al.Learning a deep convolutional net-work for image super-resolution C/European Conference onComputer Vision.Zurich:Springer,2014.184-199.7 Dong C,Loy C C,Tang X.Accelerating the super-resolution conv-olutional neural networkC/European Conference on ComputerVision.Berlin:Springer International Publishing,2016:391-407.8 Lim B,Son S,Kim H,et al.Enhanced deep residual networks forsingle image super-resolutionC/Proceedings of