基于WAResNet和GS%2BATPRK的多光谱和全色影像融合.pdf
《基于WAResNet和GS%2BATPRK的多光谱和全色影像融合.pdf》由会员分享,可在线阅读,更多相关《基于WAResNet和GS%2BATPRK的多光谱和全色影像融合.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 43 卷 第 2 期2023 年 6 月桂 林 理 工 大 学 学 报Journal of Guilin University of TechnologyVol.43 No.2June2023文章编号:1674-9057(2023)02-0326-07 doi:10.3969/j.issn.1674-9057.2023.02.020基于 WAResNet 和 GS+ATPRK 的多光谱和全色影像融合文 刚1,马 仪1,周仿荣1,金伟士2,牟 范2,郑泽忠2,蒋 玲2,罗继强3,刘 靖3,4(1.电力遥感技术联合实验室(云南电网有限责任公司 电力科学研究院),昆明 650217;2.电子科技
2、大学 资源与环境学院,成都 611731;3.北京空间飞行器总体设计部,北京 100094;4.华南理工大学 计算机学院,广州 510006)摘 要:针对传统的全色波段融合算法会改变原始影像的光谱特征问题,提出两种新的几乎不改变原始影像的多光谱影像全色波段融合方法 基于 WAResNet 和 Gram-Schmidt(GS)+area-to-point regression kriging(ATPRK)算法。以高景 1 号卫星影像进行实验,选取亮度值均方根误差、亮度值相关性分析、结构相似性、平均清晰度梯度、峰值信噪比、计算时间作为评价指标,并与传统的全色波段融合算法进行比较。实验结果表明,两种
3、新算法具有最佳的光谱保真性,且 WAResNet 算法融合影像的平均清晰度、峰值信噪比和运算速度与传统算法接近。关键词:全色波段融合;多光谱影像;WAResNet;GS;ATPRK中图分类号:P407.8;TP75 文献标志码:A0 引 言全色波段融合(pansharpening)算法是提高遥感图像质量的基本方法之一,目的是融合来自卫星的全色和多光谱图像,生成具有高空间分辨率和光谱分辨率的图像。由于同时获取具有高空间分辨率和高光谱分辨率的卫星图像较为困难,卫星上的传感器被设计为同步获取同一区域的低空间分辨率的多光谱(multi spectral,MS)图像和高空间分辨率的全色(panchrom
4、atic,PAN)图像。因此,Pan-sharpening 被设计成生成与 PAN 图像保持相同空间分辨率的泛锐化 MS 图像。全色波段融合是遥感领域一个基础和活跃的研究课题,有近 40 年的发展历史1。由于不同传感器的遥感影像在光谱分辨率、空间分辨率上存在差异,以及影像融合算法存在差异,对遥感影像的全色波段融合仍是目前的一大挑战。近年来,随着卫星影像质量的提高,卫星获取的遥感影像的分辨率也大大提高,我国对高分辨率影像后期处理质量的需求也越来越多,针对遥感影像的全色波段融合算法的研究成为目前的一大重点2-4。传统的全色波段融合算法主要分为:基于成分替换的方法,如 Brovey 算法5、强度色度
5、饱和度(intensity-hue-saturation,IHS)融合算法6和主成分分析(principal component analysis,PCA)融合算法等7;基于多分辨率分析的方法,如基于小波变换(wavelet transform)的融合算法8-10、基于拉普拉斯金字塔分解的融合算法11、Gram-Schmidt(GS)收稿日期:2021-07-23 基金项目:云南省科技重大专项(202202AD080004)作者简介:文 刚(1992),男,硕士,工程师,研究方向:输变电设备智能运维与防灾减灾,1192381484 。通讯作者:郑泽忠,博士,副教授,zezhongzheng 。
6、引文格式:文刚,马仪,周仿荣,等.基于 WAResNet 和 GS+ATPRK 的多光谱和全色影像融合J.桂林理工大学学报,2023,43(2):326-332.Wen G,Ma Y,Zhou F Y,et al.Pansharpening methods for multispectral images based on WAResNet and GS+ATPRKJ.Journal of Guilin University of Technology,2023,43(2):326-332.融合算法12-14和最近邻漫反射(nearest-neighbor dif-fuse,NNDiffuse
7、)算法2等;基于融合策略结合的方法,如 IHS 结合小波变换的融合算法和 IHS 结合非下采样轮廓小波变换(non-subsampled contourlet transform,NSCT)的融合算法等15-16;基于模型的方法,如基于深度卷积网络的融合算法17;基于独立分量分析(independent component analysis,ICA)的方法18;基于稀疏成分分析(sparse component analysis,SCA)的方法19。上述算法虽然可以进行多波段融合,但多数算法共同的缺点是融合后的影像相较于原始的多光谱影像,地物的光谱特性改变较大,而 ICA 必须满足严格的独立和
8、非高斯约束条件,SCA 也受制于稀疏度的信息,因此限制了融合后影像的使用。寻找能保持地物光谱特性的全色波段融合算法仍是当前的一个挑战性课题。近年来,得益于深度学习的快速发展,越来越多的学者从深度学习的方向展开图像融合的研究:Vivone 等提出一种反卷积的方法降低传递函数在 PAN 图像提取空间细节所造成的误差20;Wei 等为了克服传统方法的不足,提出了一种适用于多光谱图像泛化的深度卷积网络21;Scarpa 等提出了一种自适应目标的轻量级卷积神经网络,对多种卫星传感器具有良好的融合效果22。本文针对目前的遥感影像全色波段融合算法光谱保真性较差的问题,提出一种基于 GS和 ATPRK 算法(
9、GS+ATPRK)结合的全色波段融合算法;考虑到 GS+ATPRK 算法运算速度较慢的问题,又提出了一种基于深度学习的 WAResNet 网络,该算法可以同时兼顾图像的融合速度和融合效果,以期获得快速且高保真的图像融合结果。1 基于 GS+ATPRK 算法的全色波段融合算法1.1 GS 融合算法GS 融合算法的基本原理是基于 GS 正交变换。首先,将多光谱影像插值放大到全色波段影像的大小;其次,通过对 RGB 通道求均值等方法模拟出伪全色波段,以模拟出的伪全色波段为第一分量,对多光谱影像进行 GS 正交分解;再次,使用直方图规定化后的全色波段影像代替第一分量;最后,对影像进行 GS 逆变换,生
10、成具有高空间分辨率和光谱分辨率的全色波段融合图像12-14。GS 融合的优点为具有较平衡的光谱保真性和锐化特征。1.2 ATPRK 融合算法ATPRK 融合算法是一种运用于不同传感器的多源数据之间的融合算法,其主要思想为:首先,选取地物反射特性相近的、分辨率不同的、来自不同传感器的同一地区遥感影像;其次,将高分辨率影像下采样到低分辨率影像的尺度,再通过线性回归算法将下采样后的高分辨率影像拟合为低分辨率影像;再次,计算拟合的影像和原始低分辨率影像之间的残差;最后,将残差利用 Kriging 插值到原始的高分辨率影像尺度,将高分辨率影像代入线性回归函数,再加上残差,得到保持低分辨率影像光谱特性但有
11、高分辨率的融合影像23。该算法的主要缺点为运算速度缓慢,对于每一个低分辨率波段都要进行一次 ATPRK 融合。1.3 GS+ATPRK 全色波段融合算法考虑到 ATPRK 算法需要融合的两波段地物反射特性大体相似,而多光谱波段影像和全色波段影像间地物反射特性往往差距较大,为方便进行线性回归,提出一种基于 GS 和 ATPRK 的全色波段融合方法 GS+ATPRK,具体为:利用 GS 融合影像光谱保真性较好的特点,先对多光谱影像以及全色波段影像进行一次 GS 融合,再以 GS 融合后的每个通道影像作为高分辨率影像,通过原始低分辨率影像结合 ATPRK 算法对其光谱特性进行纠正。GS+ATPRK
12、原理如图 1 所示。2 基于 WAResBlock 的 Pansharpening网络2.1 WAResBlock 模块结构WAResBlock 是由 Fan 等于2018 年提出的一种残差模块,基于该模块搭建了一个拓宽激活深度残差超分辨率网络(wide active deep residual super-res-olution network,WADRSN),用于基于深度学习的图像超分辨率研究,该算法取得了 2019 年 NTIRE(new trends in image restoration and enhancement)大赛超分辨率组的冠军24-27。相较于 2018 年的超分辨率
13、冠军网络,该网络的主要变化就是 WARes-Block 模块,其与一般超分辨率残差模块的区别如图 2 所示。该模块在一般残差块的基础上,拓宽了残差块激活层之前的输出通道数,降低了最终残差块输出端的通道数,使得模块可以在不增加计算量的前提下学习更多特征。此外,考虑到超分辨率任723第 2 期 文 刚等:基于 WAResNet 和 GS+ATPRK 的多光谱和全色影像融合图 1 GS+ATPRK 原理图Fig.1 Principle of GS+ATPRK fusion图 2 WAResBlock 残差模块结构图Fig.2 Residual structures of WAResBlock务需要保
14、持输入输出的灰度一致性,因而不能加入batch normalization(BN)层,降低了收敛速度。因此,WAResBlock 加入了一个 weight normalization(WN)层来代替 BN 层,从而达到加速收敛的目的,使得网络具有良好的学习能力和收敛速度28-29。2.2 基于 WAResBlock 的 WAResNet 网络考虑到 Pansharpening 与超分辨率任务类似,需要保持前后影像光谱特性不变,因此搭建了一种类似 WADRSN 的网络结构来进行影像的 Pansharpen-ing 模型训练。首先,参考 Shao 等基于超分辨率网络 super-resolutio
15、n convolutional neural network(SRC-NN)搭建的多源影像融合的思想,将网络的输入通道设置为 5(多光谱波段加全色波段),最终输出通道设置为 4(Pansharpening 后的多光谱波段)30。对于WAResBlock 通道数,设置为激活层前 192 个,激活层后 32 个,共设置 22 个 WAResBlock,并设置一个跳跃连接来加速收敛。最终的网络 WAResNet 结构如图3 所示,其中 k 为核的大小,n 为输出的通道数,s 为步长。图 3 WAResNet 网络结构图Fig.3 Network structure of WAResNet823桂 林
16、 理 工 大 学 学 报 2023 年3 实验结果及分析3.1 数据及预处理实验影像为高景 1 号(SuperView-1,SV1)卫星影像数据,全色影像分辨率 0.5 m,多光谱影像分辨率 2 m,是国内首个具备 0.5 m 分辨率的商业卫星31。本文采用昆明地区的两景不同时相的影像,中心坐标为北纬 223320.22,东经 1023354.63,成像时间分别为 2018 年 1 月 16 日和 2018 年 11 月14 日,将后者 11 月 14 成像的影像作为训练数据,前者 1 月 16 日成像的影像作为测试数据进行实验。实验前对影像多光谱波段与全色波段进行了配准处理,并将影像灰度级从
17、 16 位转化为 8 位。3.2 实验过程及结果3.2.1 实验过程对于训练部分,采用滑动窗口法,以 120 像素为步长对多光谱波段影像进行裁剪,以 480 像素为步长对全色波段影像进行裁剪,得到了 9 718 对训练数据和 100 对验证数据。对于输入端部分,采用最邻近插值法将多光谱波段影像放大 4 倍,与全色波段影像合并,作为网络输入端。采用前面描述的 GS+ATPRK 算法,制作融合数据,作为训练的真值;训练损失函数设置成算子为 1 范数,批尺寸为 16,初始学习率为 210-4,在50 000、100 000、140 000、180 000 个循环下降为原来的一半,共训练 200 00
18、0 个循环。之后,对测试用的多光谱影像裁剪出 1 2001 200 的部分(全色波段为 4 8004 800)进行测试,并与传统的融合算法进行比较。3.2.2评 价 指 标 采 用 亮 度 值 均 方 根 误 差(RMSE)32、亮度值相关性分析(CC)33、结构相似性(structural similarity index,SSIM)34、平均清晰度梯度(average gradient,AG)35、峰值信噪比(peak signal-to-noise ratio,PSNR)34和运行时间进行对比。亮度值均方根误差(RMSE)常用于衡量观测值与真实值之间的偏差,值越小越好,其表达式为RMSE
19、(X,h)=1mmi=1(h(xi)-yi),(1)其中:h(xi)为融合后的影像亮度值;yi是多光谱真值影像亮度值。亮度值相关性分析采用相关性系数(CC)衡量融合后影像和多光谱影像之间的相似性,值越大越好,其表达式为 CC=cov(X,Y)D(X)D(Y),(2)其中:cov(X,Y)为融合后影像和多光谱真值影像的协方差;D(X)和 D(Y)分别为融合后影像和多光谱真值影像的方差。结构相似性(SSIM)是从多角度评价图像之间相关性,评价准则值越大,表示影像相关性越大,反之,相关性越小,表达式为 SSIM=(2uxuy+c1)(2xy+c2)(u2x+u2y+c1)(2x+2y+c2),(3)
20、其中:ux、uy分别是融合后影像、真值影像灰度的均值;x、y分别是融合后影像、真值影像灰度的方差;xy为融合后影像与真值影像的协方差;c1和 c2是常数,其作用为避免分母接近于 0 后造成SSIM 不稳定性。平均清晰度梯度(AG)常用于衡量融合后影像的清晰程度,清晰度评价准则值越大表示影像越清晰,反之,影像越模糊,表达式为 AG=MmNn(S(m,n)-S),(4)其中:S(m,n)为融合后影像某点的梯度;S 代表多光谱真值影像的平均梯度大小。峰值信噪比(PSNR)是评价影像质量的客观标准,通过均方差(MSE)进行定义,评价准则值越大表示影像失真度越小,反之,失真度越大,表达式为 MSE=1m
21、nm-1i=0n-1j=0I(i,j)-K(i,j)2,(5)PSNR=10 lgImax2MSE(),(6)其中:I(i,j)表示融合后影像像素值;K(i,j)表示真值影像像素值;Imax表示影像中最大像素值。3.2.3 实验结果采用融合影像的 RGB 波段亮度图进行评价,各种算法全色波段融合结果见表1,融合结果见图 4。同时,在评价峰值信噪比和结构相似性时,采用GS+ATPRK的影像作为参考基表 1 各算法融合结果数值评价分析Table 1 Comparison of pansharpening methods算法RMSECCSSIMAGPSNR运行时间/s Brovery38.610.5
22、10.573.6324.1513.18IHS53.660.600.5822.1315.6511.10PCA11.960.700.885.7530.3340.47NNDiffuse22.020.610.6811.3821.2715.35GS12.250.690.915.9531.4825.75GS+ATPRK10.180.83/6.05/27 942.15WAResNet8.530.880.9114.3131.3031.27923第 2 期 文 刚等:基于 WAResNet 和 GS+ATPRK 的多光谱和全色影像融合图 4 各算法全色波段融合结果对比Fig.4 Comparison of pa
23、nsharpening methods准值,因此该算法不参与计算结构相似性、峰值信噪比两个指标。3.3 讨论从表 1 的亮度值均方根误差、亮度值相关性分析中发现,GS+ATPRK 算法与 WAResNet 算法较优,分别取得了排名第二和第一的结果。实验结果验证了提出的方法能与原始多光谱影像保持良好的光谱特征一致性。在结构相似性和峰值信噪比方面,光谱保真度差的 IHS 分别获得了第二差和第一差的结果;PCA、GS 以及 WAResNet,三者评价指标相似;WAResNet 算法在保证影像光谱特征高保真度的同时也保持了高的结构相似性。在平均清晰度梯度计算方面,光谱保真性较差的 IHS 清晰度最高,
24、但 IHS 算法有明显的色彩误差;NNDiffuse 算法融合结果存在大量错误图斑。而相较 于 二 者 以 外 的 其 他 算 法,本 文 提 出 的WAResNet 算法,其清晰度具有良好的竞争力。在运算速度方面,GS+ATPRK 算法非常缓慢,需要近 7.8 h 的计算时间,相较而言,WAResNet算法运算时间为 30 s 左右,与其他算法相比,其运算时间同样具有竞争力。4 结 论针对目前传统遥感影像全色波段融合算法光谱保真性较差的特点,提出了 WAResNet 和 GS+ATPRK 两种全色波段融合算法。研究结果表明,提出的两种新算法在亮度值均方根误差、亮度值相关性分析、结构相似性均更
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 WAResNet GS BATPRK 光谱 全色 影像 融合
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。