基于多分辨率特征融合的任意尺度图像超分辨率重建.pdf

第 49卷 第 9期2023年 9月Computer Engineering 计算机工程基于多分辨率特征融合的任意尺度图像超分辨率重建范文卓1，2，吴涛1，2，许俊平2，李庆庆2，张建林2，李美惠2，魏宇星2（1.中国科学院大学 电子电气与通信工程学院，北京 101408；2.中国科学院光电技术研究所 光束控制重点实验室，成都 610207）摘要：传统深度学习的图像超分辨率重建网络仅在固定分辨率上提取特征，存在无法综合高级语义信息、只能以特定尺度因子重建图像、泛化能力较弱、网络参数量较大等问题。提出一种基于多分辨率特征融合的任意尺度图像超分辨率重建算法 MFSR。在多分辨率特征融合编码阶段设计多分辨率特征提取模块以提取不同分辨率特征,通过构建双重注意力模块增强网络特征提取能力，使不同分辨率特征之间进行充分交互,以获取信息丰富的融合特征图。在图像重建阶段利用多层感知机对融合特征图进行解码，实现任意尺度的图像超分辨率重建。实验结果表明，在 Set5 数据集上分别以尺度因子 2、3、4、6、8 进行测试，所提算法的峰值信噪比分别为 38.62、34.70、32.41、28.96、26.62 dB，模型参数量为 0.72106，在大幅减少参数量的同时能保持重建质量，可以实现任意尺度的图像超分辨率重建，性能优于 SRCNN、VDSR、EDSR等主流算法。关键词：多分辨率特征融合；超分辨率重建；任意尺度；双重注意力；特征交互开放科学（资源服务）标志码（OSID）：源代码链接：https：/ J.计算机工程，2023，49（9）：217-225.英文引用格式：FAN W Z，WU T，XU J P，et al.Super-resolution reconstruction of arbitrary scale images based on multi-resolution feature fusion J.Computer Engineering，2023，49（9）：217-225.Super-Resolution Reconstruction of Arbitrary Scale Images Based on Multi-Resolution Feature FusionFAN Wenzhuo1，2，WU Tao1，2，XU Junping2，LI Qingqing2，ZHANG Jianlin2，LI Meihui2，WEI Yuxing2（1.School of Electronic，Electrical and Communication Engineering，University of Chinese Academy of Sciences，Beijing 101408，China；2.Key Laboratory of Beam Control，Institute of Optics and Electronics，Chinese Academy of Sciences，Chengdu 610207，China）【Abstract】Traditional deep learning image super-resolution reconstruction network only extracts features at a fixed resolution and cannot integrate advanced semantic information.The challenges include difficulties integrating advanced semantic information，reconstructing images with specific scale factors，limited generalization capability，and managing an excessive number of network parameters.An arbitrary scale image super-resolution reconstruction algorithm based on multi-resolution feature fusion is proposed，termed as MFSR.In the phase of multi-resolution feature fusion encoding，a multi-resolution feature extraction module is designed to extract different resolution features.A dual attention module is constructed to enhance the network feature extraction ability.The information-rich fused feature map is obtained by fully interacting with different resolution features.In the phase of image reconstruction，the fused feature map is decoded by a multi-layer perception machine to realize a super-resolution image at any scale.The experimental results indicate that tests were conducted on the Set5 data set with scaling factors of 2，3，4，6，8，and the Peak Signal-to-Noise Ratios（PSNR）of the proposed algorithm were 38.62，34.70，32.41，28.96，and 26.62 dB，respectively.The model parameters correspond to 0.72106，which significantly reduce the number of parameters，maintain the reconstruction quality，and realize super-resolution image reconstruction at any scale.Furthermore，the model can realize better performance than mainstream algorithms，such as SRCNN，VDSR，and EDSR.【Key words】multi-resolution feature fusion；Super-Resolution Reconstruction（SRR）；arbitrary scale；double attention；基金项目：国家自然科学基金青年基金（62101529）。作者简介：范文卓（1995），男，硕士研究生，主研方向为图像超分辨率重建；吴 涛，硕士研究生；许俊平（通信作者），副研究员、博士；李庆庆，助理研究员、博士；张建林，研究员、博士；李美惠，博士；魏宇星，副研究员。收稿日期：2022-09-05 修回日期：2022-10-20 Email：junping_图形图像处理文章编号：1000-3428（2023）09-0217-09 文献标志码：A 中图分类号：TP391.412023年 9月 15日Computer Engineering 计算机工程feature interactionDOI：10.19678/j.issn.1000-3428.0065689 0概述 图像分辨率是评价图像质量的重要指标之一。图像超分辨率重建（Super-Resolution Reconstruction，SRR）是指对低分辨率（Low-Resolution，LR）图像重建得到高分辨率（High-Resolution，HR）图像的过程，是计算机视觉领域内的研究热点，被广泛应用于医学诊断、遥感图像处理、目标检测、目标识别等领域。例如，文献 1-2 已经证实图像超分辨率重建算法对小目标检测有用；LI 等3将图像超分辨率重建应用在高光谱图像分析上，实现了高光谱图像的异常检测和更低的虚警率。图像超分辨率重建的方法主要分为基于插值的方法、基于重建的方法和基于学习的方法这 3 类。基于插值的方法比较简单，但重建效果有待提高。基于重建的方法有较为稳定的或者唯一的图像解，但该方法需要足够的先验知识，且重建速度慢。基于学习的方法主要是学习低分辨率图像到高分辨率图像的映射关系，该方法重建效果好且计算速度快，其中基于深度学习的图像超分辨率重建方法已经成为目前的研究热点，并涌现出许多经典的算法。YOON 等4提出一个用于单幅图像超分辨率重建的卷积神经网络（Convolutional Neural Network，CNN）模型 SRCNN，该网络模型的重建效果比插值方法重建得到的图像效果好，但 SRCNN 只能进行低倍率的超分辨率重建，且训练速度慢。DONG 等5对 SRCNN 网络训练速度慢的问题进行了改进，提出FSRCNN，改进之处包括 3点：直接从 LR图像中进行学习，不需要预处理，采用反卷积层代替双三次插值，减少计算复杂度；改变卷积核的大小；改变输入的特征维数。这些改进使 FSRCNN 网络在保证与SRCNN 网络精度不变的情况下，提高了网络的训练速度。SHI 等6提出一种基于亚像素重排的高效的亚 像 素 卷 积 神 经 网 络（Efficient Sub-Pixel Convolutional Neural Network，ESPCN），该网络虽然可以通过灵活调整特征通道的数目快速实现不同尺度的放大，但只能进行整数倍放大，灵活性较差。KIM 等7提出超深度卷积网络（VDSR）模型，将残差模型用于图像超分辨率重建网络。LIM 等8提出面向单图像超分辨率的增强深度残差网络（EDSR），通过去除批处理归一化（Batch Normalization，BN）层提 高 网 络 性 能。ZHANG 等9提 出 稠 密 残 差 网 络（Residual Dense Network，RDN），该网络模型采用稠密残差连接的方法来提升网络性能，使重建效果得到提升。通过搭建生成对抗网络来完成图像超分辨率图像重建也是研究热点之一。斯捷等10以离焦图像为切入点，采用生成对抗网络进行图像超分辨率重建。姜玉宁等11则针对传统算法训练困难以及生成图像存在伪影的问题，采用生成对抗网络来生成高质量图像。CHEN 等12提出一个全新的编解码框架，即 局 部 隐 式 图 像 函 数（Local Implicit Image Function，LIIF）框架，基于隐式神经表示对图像进行超分辨率重建，能够进行任意倍数放大。KONG等13将分类与超分组合到统一框架中，提出一种将图像复杂度分类与图像超分辨率相结合的图像处理方案，在不降低超分性能的情况下，该方案最高可以节省 50%的计算量。柳聪等14采用深度可分离卷积的方法提取图像特征，该方法可以减少网络参数量，使网络轻量化。虽然上述基于 CNN 的图像超分辨率重建算法已经取得了良好的效果，但是依然存在 3个问题：仅在一个固定的分辨率尺度上对输入图像进行特征提取；通过残差连接增加网络深度以提高模型的性能，导致网络训练难度增大；网络泛化性能低，网络只能对训练过的尺度因子进行重建，无法采用其他未训练过的尺度因子进行重建。受 LIIF框架能够对图像进行任意尺度的超分辨率重建以及压缩与激励网络（Squeeze-and-Excitation Network，SENet）15中通道注意力机制的启发，本文提出一种基于多分辨率特征融合网络的图像超分辨率重建网络结构。通过并行多个分辨率的分支，在保持高分辨率特征图的网络上不断与其他分辨率分支进行信息交互，使网络具有强语义信息和精准的位置信息。使用压缩激励模块和注意力机制搭建一个双重注意力模块，使网络可以学习使用全局信息来选择性地强调重要特征。利用 LIIF 基本框架，使算法具有对图像进行连续放大的能力。在公开数据集上对本文算法进行大量实验，通过对比实验证明所提算法的有效性和先进性。1相关工作 1.1基于隐式神经网络的编解码结构隐式神经表示（Implicit Neural Representations，INR）函数是一种对信号进行参数化的新方法。传统的信号表示通常是离散的，例如，音频信号是离散的幅度样本，图像是离散的像素网格，3D 形状通常被参数化为体素、点云或网格。相反，隐式神经表示将信号参数化为连续函数，它将信号的域，例如图像218第 49卷 第 9期范文卓，吴涛，许俊平，等：基于多分辨率特征融合的任意尺度图像超分辨率重建的像素坐标映射到该坐标对应的特征，如图像的RGB 值16-17。这些函数通常在分析上并不易于处理，因为不可能将自然图像参数化为具体的数学函数。因此，本文考虑用连续函数表示这些信号，将其输入到网格坐标并返回相应的特征。以图像为例，定义一个函数：f：R2 R3f(xy)=(RGB)（1）该函数的作用是将二维映射到三维，即将输入图像的二维坐标（x，y）进行映射，得到 RGB 值。因此，隐式神经表示函数通过神经网络拟合或学习图像函数的表达，得到该函数的近似函数。值得注意的是，该表示函数与信号分辨率无关，是实现任意尺度超分辨率重建的关键。基于隐式神经网络的编解码结构将图像表示为一个连续函数，以图像坐标和坐标周围的二维深度特征作为输入，预测给定坐标的 RGB 值并作为输出。由于坐标是连续的，该网络可以以任意尺度进行超分辨率重建。该网络结构并不是为每个对象单独设置一个解码函数，而是基于编码器的方法来预测不同对象的潜在编码，同时将潜在编码作为坐标的附加输入，然后所有对象共享一个解码函数。其中解码函数 f（为参数）被参数化为多层感知器，其形式如下：S=f(z*x)（2）其中：S为预测的信号，如图像的 RGB 值；z*为 LR 特征图中的特征向量，且 z*CHW；x为预测的 RGB 值在图像域中对应的坐标。1.2任意尺度超分辨率重建ESPCN、EDSR、RDN 等方法是在网络末端对特征图进行上采样，这些方法必须针对每个尺度因子设计一个特定的上采样模块，并且储存相应的权重。超分辨率重建算法训练时采用的尺度通常是 2、3、4，但这 3 个尺度并不能完全满足实际需要，且并不能往外拓展到其他尺度。这些缺点限制了单张图像超分辨率方法在现实中的使用。而任意尺度的超分辨率重建算法在实用性和便捷性上都优于现在的单幅图像超分辨重建算法。MetaSR18是基于 CNN 的任意尺度超分辨率算法，不再需要为每一个尺度因子存储相应的特征权重。其中 Meta-Upscale模块使用最近邻规则将 SR像素映射到 LR域。在训练过程中，所有映射值都乘以基于比例和坐标的动态学习权重。然后，通过带有一些额外卷积层的Meta-Upscale模块生成输出图像。LIIF为一种基于隐式神经表示的图像超分辨率重建算法，该算法首先采用一般的特征提取网络对图像进行特征提取，然后对特征图进行编码，解码器由多层感知器构成，使用坐标、单元大小和 LR 特征作为输入来计算 RGB 值。该算法最主要的作用是提供一种重建效果好，且能对图像进行连续放大的图像超分辨率网络框架。1.3注意力机制注意力机制的基本思想是让网络能够学会关注重点信息，忽略无关信息。注意力机制最先应用在递归神经网络，主要作用是对输入语句进行编码。在卷积神经网络中，注意力机制能获取特征图中的重要信息。SENet通过学习 Feature map 中每个通道的权重，并根据学习到的权重更新原始数据，使网络能 提 取 到 高 质 量 的 特 征 图。卷 积 块 注 意 力 模 块（Convolutional Block Attention Module，CBAM）19认为特征图不仅在通道域中含有丰富的注意力信息，在空间域上也含有大量的注意力信息，所以 CBAM通过串行空间和通道两个模块来获取更为准确的注意 力 信 息。双 重 注 意 力 网 络（Dual Attention Network，DANet）20与 CBAM 的基本思想一致，但是DANet通过并行空间和通道两个模块来获取注意力信息。卷积神经网络建立在卷积运算的基础上，通过在局部感受野中将空间和通道信息融合来提取信息特征，而卷积运算没有考虑全局信息，只注重局部信息。为提高网络的表示能力，HU等15提出压缩和激励（Squeeze-and-Excitation，SE）模块，使用全局信息显式建模通道之间的相互依赖性，自适应地重新校准通道特征响应，增强网络的表示能力。SE 模块的结构如图 1所示，其主要由压缩和激励两部分构成。压 缩 主 要 是 通 过 全 局 平 均 池 化（Global Average Pooling，GAP）获得特征映射的每个通道的全局信息嵌入，使得到的特征向量具有全局性。激励是通过具有全局性的特征向量学习每个通道中特征向量的权重。文献 15 已证明 SE 模块足够简单、灵活，能快速有效地学习到重要特征。2任意尺度图像超分辨率重建算法 本文提出基于多分辨率特征融合的任意尺度图像超分辨率重建（MFSR）算法，MFSR算法的整体框架如图2所示，主要包含两部分，即图像特征提取阶段（编码图 1SE模块Fig.1SE module2192023年 9月 15日Computer Engineering 计算机工程阶段）和图像重建阶段（解码阶段）。在编码阶段，将LR图像输入到由多分辨率特征融合模块构成的编码器并进行特征提取，得到与之相应的特征图Yo。在解码阶段，解码器由多层感知机构成，包含4层隐藏层，将特征向量z*、z*在图像域中对应的坐标v*以及HR图像中的坐标x输入到f，对其进行解码，得到坐标x对应的RGB值，输出重建图像，如式（3）所示：S=f(z*v*-x)（3）损失函数采用 L1 Loss，网络的损失值可由 SR图像和 HR图像得到。2.1多分辨率特征融合模块本文采用多分辨率特征融合模块（Multi-Resolution Feature Fusion Module，MRFM）作为编码器的主要结构。多分辨率特征融合模块的结构如图 3 所示，其中：y 方向对应特征图的分辨率，主要包括 3 个并行处理不同分辨率特征的子网络，每个子网络的参数设置除输入的特征图尺度外其他都一样；x方向对应网络的深度；子网络主要由多个残差模块（RBG）和双重注意力模块组成。其中 RBG 模块由 4个残差模块构成。如图 3所示，MRFM 主要由 3个子网络组成。输入图像经过一层卷积后得到特征图 X2，为浅层特征，此卷积的目的是对特征进行粗提取并改变输入图像的维度。将 X2上采样到原分辨率的 2倍，即 X1，并输入到第 1个子网络，提取高分辨率的深层特征；将 X2输入到第 2个子网络，提取原分辨率的深层特征；将X2下采样 2倍，得到 X3，并输入到第 3个子网络，提取低分辨率的深层特征。每个子网络可以分为 4个阶段，每个子网络的每个阶段输出的特征图通过上采样或者下采样得到与其他子网络相同的分辨率，然后将其相加后作为双重注意力模块（Double Attention Block，DAB）的输入。DAB 模块对输入特征图计算图 2MFSR算法结构Fig.2Structure of MFSR algorithm图 3多分辨率特征融合模块Fig.3Multi-resolution feature fusion module220第 49卷 第 9期范文卓，吴涛，许俊平，等：基于多分辨率特征融合的任意尺度图像超分辨率重建各通道权重并完成自注意力计算，输出最终的特征图。例如在第 1个子网络的第 2阶段（stage 2），将第1 个子网络的输出及第 2 个子网络的输出进行上采样 2倍，将第 3个子网络的输出进行上采样 4倍并将以上输出相加作为第 1个子网络的第 3阶段（stage 3）的输入。表达式如下：Yi1=M(Xi)（4）Yij=M()D()i=13Yij-12 j 4（5）其中：D表示DAB模块；M表示RBG模块；Yij表示在尺度i（i=1，2，3）下第j（j=2，3，4）阶段的输出。最后将3个子网络输出的特征图相加得编码器输出Yo，表达式如下：Yo=i=13Yi4（6）由图 3 可知，多分辨特征融合模块在进行重复的多分辨率特征融合，每个从高到低的分辨率表示均需要重复与其他并行的子网络进行信息交互与融合，从而得到信息丰富的特征图。该模块不仅使用多尺度特征融合，而且利用 DAB 模块对融合后的特征图进行信息筛选，突出重要特征。2.2双重注意力模块卷积神经网络能很好地提取到图像的低频信息，而高频信息的提取则相对困难，但是高频信息包含了图像丰富的细节信息。本文利用 SE 模块和注意力机制搭建一个新的模块，即双重注意力模块，如图4所示。使用SE模块对输入的特征向量Fi进行第1次计算，将得到的特征向量 Fs作为软掩膜并与输入的特征向量相乘得到 Fa，突出特征向量中的重要特征，抑制不重要特征。最后将 Fa与 Fi通过跳连连接，构成残差结构。该模型可以表示为：Fs=Excitation(Squeeze(Fi)（7）Fa=Fi Fs(Fi)（8）Fo=Fi+Fa（9）其中：Fi和 Fo分别表示输入和输出的特征图。2.3多分辨率特征交互在多分辨率特征融合模块中使用上采样和下采样完成多分辨率特征交互（Multi-resolution Feature Interaction，MFI），如图 3 所示。通过使不同分辨率特征图在每一个阶段进行特征提取并与其他分辨率的特征图进行特征融合，使输入到下一阶段的特征图含有更丰富的特征信息。3实验结果与分析 3.1实验设置本文实验的软件环境为Ubuntu20.04、PyTorch1.7.1、Python3.8.8，硬件配置为Intel XeonTM Platinum 8163 CPU和 GeForce RTX 3090 GPU。训练数据集选择由 DIV2K21和 Flick2K22组合而成的 DF2K，该数据集包含 2 450张高分辨率图像，验证数据集为 DIV2K 数据集中的 100张高分辨率图像，基 准 测 试 数 据 集 为 Set523、Set1424、B10025、Urban10026。本文利用双三次插值对训练数据集的图像进行下采样，生成尺度因子为 2、3、4的 LR 图像，对 LR 图像随机裁剪出 4848 个图像块，将图像块输入到编码器中进行编码。解码器为5层多层感知器，激活函数为ReLU，隐藏层维数为256；训练轮数为1 000 epoch；初始学习率为 110-4，每 200 个 epoch 后学习率衰减1/2；优化器采用 Adam，batch size 为 32，损失函数是L1 Loss。消融实验的训练参数设置与预训练时的参数设置保持一致。评 价 指 标 采 用 峰 值 信 噪 比（Peak Signal-to-Noise Ratio，PSNR），用于衡量重建后的 SR图像（ISR）和 HR 图像（IHR）之间的差异，差异越小，PSNR 值越大，SR 图像越接近 HR 图像，重建效果越好。PSNR值的表达式如式（10）所示：PPSNR=10 lg()11H WISR-IHR22（10）为验证本文算法的优越性，将其与其他经典算法进行对比。对比算法包括 SRCNN4、VDSR7、EDSR8、RDN9、RCAN-mini27和 EDSR-liif12。3.2定量评价如表 1 所示，每个测试数据集的尺度包括训练时已见尺度因子为 2、3、4，未见尺度因子为 6、8，已见尺度因子指在训练过程中已经参与过训练的尺度因子，未见尺度因子指在训练过程中未参与过训练的尺度因子。结果如表 1 所示，表中加粗数字表示该组数据最大值，“”表示相应算法未对该尺度因子进行测试。可以看出，本文 MFSR 算法在已见尺度因子及未见尺度因子上均取得了优异的性能表现。以测试集 Urban100为例，当尺度因子分别为 2、图 4双重注意力模块Fig.4Double attention block2212023年 9月 15日Computer Engineering 计算机工程3、6、8时，与对比算法中的最高值相比，本文算法分别高 0.24、0.09、0.34、0.13 dB。当尺度因子为 4时，本文算法比对比算法中的最高值低 0.25 dB。在其他测试集上，本文算法整体上比对比算法性能更好。不同算法的参数量及 PSNR 值对比如图 5所示，其中 PSNR 值是在 Set5 数据集，尺度因子为2 下测得的结果。可以看出，本文算法的参数量相比其他主流算法更具优势，本文算法的参数量仅为0.72106，相比 EDSR算法，参数量相差了 60倍。此外，本文算法的重建效果比其他算法均要好，且参数量较少，意味着网络容易达到轻量化。3.3定性评价除了在基准数据集上进行量化指标的测试与对比之外，本文还对重建后的图像进行定性分析。本文 选 取 Set5 中 的 3 张 高 分 辨 率 图 像 baby、bird 和butterfly。对尺度因子为 2 的 baby 进行不同算法的重建效果对比，效果如图 6 所示（彩色效果见 计算机工程 官网 HTML版，图 7、图 8同）。可以看出，本文算法不模糊，睫毛边缘清楚，且由于尺度因子较小，主观感受的差距并不是很大。对尺度因子为 3的 bird进行不同算法的重建效果对比，效果如图 7所示。由图 7可知，本文算法的重建图像清晰，无结构失真，无颜色失真。对尺度因子为 4的 butterfly进行不同算法的重建效果对比，效果如图 8所示，可以看出，在该尺度因子下，不同算法的重建图像质量差距很大，本文算法的图像纹理清晰，无伪影。通过以上对比发现，本文算法能很好地对输入的低分辨率图像进行重建，且不产生伪影，轮廓边缘清楚。表 1不同算法的 PSNR值对比 Table 1Comparison of PSNR values of different algorithms单位：dB数据集Set5Set14B100Urban100尺度因子23468234682346823468SRCNN算法36.6632.7530.4832.4529.3027.5031.3628.4126.9029.5026.2424.52VDSR算法37.5333.6631.3533.0529.7728.0231.9028.8327.2930.7727.1425.81EDSR算法38.1134.6532.4633.9230.5228.8033.3229.2527.7132.9328.8026.64RDN算法38.2434.7132.4734.0130.5728.8132.3429.2627.7232.8928.8026.61RCAN-mini算法37.8934.2532.0333.4130.2728.4932.1029.0427.5131.8127.9925.88EDSR-liif算法37.9934.4032.2428.9626.9833.6630.3428.6226.4524.9432.1729.1027.6025.8424.7932.1528.2226.1523.7922.45MFSR算法38.6234.7032.4128.9626.6234.3030.7328.7226.5824.9533.2329.6428.0726.0725.0233.1728.8926.3924.1322.58图 5不同算法的 PSNR值及参数量对比Fig.5PSNR values and parameters comparison among different algorithms222第 49卷 第 9期范文卓，吴涛，许俊平，等：基于多分辨率特征融合的任意尺度图像超分辨率重建3.4消融实验编码器利用 DAB 模块和 MFI 模块来获取高质量的特征图。为验证 DAB 模块及 MFI 模块的有效性，本文进行了 3次消融实验，分别是有关 DAB模块作用的消融实验 MFSR（-DAB，+MFI），有关 MFI 模块的消融实验 MFSR（+DAB，-MFI），以及 DAB 和MFI 模块两者共同作用的消融实验 MFSR（-DAB，-MFI），其中“-”表示无该模块，“+”表示有该模块。消融实验模型的性能与原模型的性能对比结果如表2所示。其中：括号内的数据代表与未做消融实验的模型的差距，目的是研究去除模块后模型是否受到影响；是消融实验重建图像的 PSNR 值（Pa）与原模型 重 建 图 像 的 PSNR 值（Ps）的 差 值，其 表 达 式 如式（11）所 示；测 试 数 据 集 为 Set5、Set14、B100、Urban100；测试时的尺度因子分为两类，一类是训练时已见尺度因子 2、3、4，另一类是训练时未见尺度因子 6、8。=Pa-Ps（11）图 6尺度因子为 2时各算法的重建结果对比Fig.6Comparison of the reconstruction results of different algorithms with a scaling factor of 2图 7尺度因子为 3时各算法的重建结果对比Fig.7Comparison of the reconstruction results of different algorithms with a scaling factor of 3图 8尺度因子为 4时各算法的重建结果对比Fig.8Comparison of the reconstruction results of different algorithms with a scaling factor of 42232023年 9月 15日Computer Engineering 计算机工程由表 2可得到如下结论：1）DAB 模 块 对 网 络 性 能 的 影 响，即 MFSR（-DAB，+MFI）。通过消融实验可发现，在训练时已见尺度因子上，测试结果均有小幅度的下降，最大值为 0.12 dB，但 是 在 训 练 时 未 见 尺 度 因 子 上，在Set524进行测试时 PSNR 值没有下降，反而在 6上有0.04 dB 的提升，但是在其他更复杂的测试数据集上进行测试时的 PSNR值均有下降。这说明 DAB模块对网络整体性能有一定程度上的影响。2）MFI 模 块 对 网 络 性 能 的 影 响，即 MFSR（+DAB，-MFI）。通过消融实验可以发现，无论是在训练时已见尺度因子上，还是在未见尺度因子上，测试结果均有所下降，下降的最大值为 0.11 dB，但一些数据集的 PSNR 值没有变化，可见多分辨率信息交互有一定作用。MFI模块使网络不同分辨率的特征信息能够进行交流，使每一个子网络的特征信息更加丰富，以满足后续重建高质量图像的需求。3）DAB 模块和 MFI 模块对网络性能的共同影响，即 MFSR（-DAB，-MFI）。为进一步探讨 DAB 模块和多分辨率之间信息交互的作用，去除原网络中的 DAB 模块以及不同分辨率之间信息交互，仅保留多 分 辨 率 子 网 络。从 表 2 中 可 以 发 现，MFSR（-DAB，-MFI）与 MFSR 在各个尺度因子上的测试结果相比均有所下降，且比 MFSR（-DAB，+MFI）和MFSR（+DAB，-MFI）下降更多，为 0.18 dB。由结果可知，DAB 模块和 MFI 模块是相辅相成的，能够提取到富含语义信息的特征，同时也提取更重要的特征，使网络能重建出高质量图像。为进一步分析 MFSR 网络中各结构的作用，将DAB 模块、MF 模块以及多分辨率网络去除，仅保留其中一条原分辨率的子网络，MFSR 网络将退化成EDSR-liif，测试结果如表 1 所示。此时在标准数据集上的测试结果将大幅下降，最大值为 1.06 dB。这说明具有 DAB 模块、MFI模块以及多个分辨率子网络的 MFSN 特征提取网络能够很好地提取输入图像的特征，为后面的图像重建打下坚实的基础，使其能够重建出高质量的图像4结束语 本文基于多分辨率特征融合提出一种用于图像超分辨率重建的算法。该算法不仅保留了原算法可以对图像进行任意尺度超分重建的优点，而且通过搭建一个多分辨率特征交互的特征提取网络，增加特征提取能力，解决了原有算法重建时高频信息缺失的问题。在特征提取网络中增加双重注意力模块，对不同分辨率的特征图进行融合，提取出图像的重要特征，提高模型对高频特征的捕捉能力。实验结果表明，该算法在大幅减少模型参数量的同时能保证重建质量，可实现任意尺度的图像超分辨率重建。但本文算法在对图像进行重建时实时性有待提高，因此下一步需要在保证重建图像质量的前提下，通过进一步压缩模型大小，采用更加高效的注意力模块等方法优化算法，使图像超分辨率重建算法能达到实时重建的目的。参考文献 1 MOSTOFA M，FERDOUS S N，RIGGAN B S，et al.Joint-SRVDNet：joint super resolution and vehicle detection network J.IEEE Access，2020，8：82306-82319.2 NOH J，BAE W，LEE W，et al.Better to follow，follow to be better：towards precise supervision of feature super-resolution for small object detection C/Proceedings of IEEE/CVF International Conference on Computer Vision.表 2不同尺度因子下的消融实验结果（PSNR值）Table 2Results of ablation experiments under different scale factors（PSNR value）单位：dB网络MFSR(-DAB,+FI)MFSR(+DAB,-FI)MFSR(-DAB,-FI)MFSR(+DAB,+FI)MFSR(-DAB,+FI)MFSR(+DAB,-FI)MFSR(-DAB,-FI)MFSR(+DAB,+FI)MFSR(-DAB,+FI)MFSR(+DAB,-FI)MFSR(-DAB,-FI)MFSR(+DAB,+FI)MFSR(-DAB,+FI)MFSR(+DAB,-FI)MFSR(-DAB,-FI)MFSR(+DAB,+FI)数据集Set5Set14B100Urban100238.55(-0.07)38.59(-0.03)38.53(-0.09)38.6234.25(-0.05)34.29(-0.01)34.24(-0.06)34.3033.21(-0.02)33.22(-0.01)33.18(-0.05)33.2333.08(-0.09)33.14(-0.03)32.99(-0.18)33.17334.70(-0.01)34.71(-0.01)34.64(-0.07)34.7130.69(-0.04)30.72(-0.01)30.60(-0.13)30.7329.62(-0.02)29.64(0.00)29.61(-0.03)29.6428.80(-0.09)28.87(-0.02)28.72(-0.17)28.89432.36(-0.05)32.39(-0.02)32.20(-0.21)32.4128.70(-0.12)28.71(-0.11)28.57(-0.25)28.8228.04(-0.03)28.07(0.00)28.02(-0.05)28.0726.31(-0.08)26.36(-0.0