多分支残差注意力机制融合的图像超分辨率重建.pdf

第44卷第3期2023年6 月文章编号：16 7 3-9 59 0(2 0 2 3)0 3-0 10 3-0 7大连交通大学学报JOURNAL OF DALIAN JIAOTONG UNIVERSITYVol.44No.3Jun.2023多分支残差注意力机制融合的图像超分辨率重建时维国，王佳依（大连交通大学自动化与电气工程学院，辽宁大连116 0 2 8）摘要：针对图像超分辨率重建时存在特征映射不完全，以及映射特征易丢失而导致的重建效果不佳的问题，提出了一种多分支残差注意力机制融合的图像超分辨率重建算法。该算法在深层特征映射部分引入多分支架构，增加了网络宽度；并在每个分支中引入包括融合注意力机制的残差结构，对不同的特征信息进行侧重学习，提高了模型提取特征的能力；然后在非线性映射输出层对多个分支映射的信息进行叠加，进一步使特征信息融合，促进参数传递。试验结果表明，该算法在客观评价指标上和主观图像效果上均优于其他算法，有效提高了重建图像的细节清晰度。关键词：图像超分辨率重建；残差网络；注意力机制；多分支架构文献标识码：ADOI:10.13291/ki.djdxac.2023.03.018图像超分辨率重建（SuperResolution,SR）即根据一幅模糊的已退化图像（LowResolution,LR）构造出其对应细节高分辨率图像（HighResolu-tion,HR）。几十年来,SR技术在诸多领域被广泛应用,如医学影像 2、社会安全 3等。SR技术大体上分为插值 4、重构 5和学习 6。基于插值的算法和基于重构的算法重建执行效率低且存在振铃效应和边缘平滑等现象。基于学习的算法指的是基于机器学习的方法,采用 ML技术对输出图像的HR细节进行局部估计。传统的基于学习的算法有邻域嵌入、基于稀疏表示 7 和基于回归 8 等,这些算法在一定程度上解决了插值和重构算法执行效率低的问题,但因存在自身局限性，重建图像的效果仍没有得到很大提升。基于深度学习的算法作为机器学习的一个分支,既提高了算法的执行效率又有效地提升了重建图像的效果，被广泛应用于SR领域。基于深度学习的 SR算法通过卷积神经网络（Convolu-tional-Neural Network,CNN)学习 LR 与 HR 之间的映射关系 ,从而建立对应重建模型。深度卷积网络（Super-Resolution Convolutional NeuralNetwork,SRCNN）10 1为第一个基于深度学习的SR网络模型,其构建了一个简单的浅层 CNN,与之前SR重建方法相比效果明显提升。接着如ESPCN、FSR CNN12 等具有更好性能的深度学习SR网络模型相继被提出。但是,这些网络模型的缺点也非常明显，需要对输入图像进行插值运算放大，且卷积核较大，导致该网络增加深度，反而引起SR重建效果的降低。为了解决这一问题，一些学者研究出了残差网络模型。Kim等 13提出了深层卷积网络（VeryDeep Convolutional Network,VDSR）模型,该模型首次将残差网络与超分辨率重建结合，使重建效果大大提升；Mao等 14提出了RED30模型，通过引人残差网络将网络深度加深到30 层，提高了模型提取特征的能力；Tai 等 15提出了深度递归残差网络(Deep Recursive Residual Network,DRRN)模型，使网络深度提高到了52 层，在不增加模型参数量的同时进一步提高模型性能;Lim等 16 提出了增强型的深度残差网络（Enhanced Deep Super-Resolution,EDSR)模型,该模型提出一种新策略以提升重建效果并节约了内存和计算时间。试验证明，收稿日期:2 0 2 2-0 3-2 8基金项目：辽宁省教育厅科学研究计划资助项目（JDL2019011）；人工智能四川省重点实验室开放基金资助项目(2020RYJ04)第一作者：时维国（197 3一）,男，教授。E-mail:通信作者：王佳依（1998），女，硕士研究生。E-mail:104大连交通大学学报第44卷残差网络模型由于结构较为简单,SR重建质量较好并且可以解决一些网络退化问题,性能较好。但是，以上残差网络模型在加深网络的过程中会提高模型的复杂度,降低网络深度又会出现特征信息映射不完全、易丢失的问题。为了解决这一问题,本文提出了一种多分支残差注意力机制融合的网络模型（Multichannel Residual Combi-native Attention Network，M R CA N）,对重建过程中的深层特征映射部分进行优化，引人多分支结构，通过并行分支对特征同时进行多通道映射，可以有效避免单一分支映射特征的局限性；并在每个分支中引人残差结构，保证每个分支的网络深度，RAMRAM避免网络退化和梯度爆炸；在每个残差块中引人融合注意力机制，使模型对重要特征进行侧重学习,提高了模型提取特征的能力，从而获取更丰富的深层特征信息。1网络模型设计1.1模型结构本文提出的基于多分支残差注意力机制融合的网络模型主要包括底层特征提取部分、引人多分支架构的残差注意力机制融合的深层特征映射部分和图像重建部分。网络模型结构见图1。长跳连接RAM残差模块亚像素卷积层卷积RAM-RAMRAMRAMRAM只用一个卷积层从输人图像提取浅层特征：U=H;(Y)(1)式中：H（）为卷积核大小为33的卷积层,理论上，卷积核大于1才具备感受野，偶数大小的卷积核不能保证输出特征图的尺寸大小不变，而较大的卷积核会带来较大参数量和计算量，因此，本文选择尺寸为33大小的小卷积核提取特征；Y为输入的低分辨率图像；U为提取到的浅层特征信息。随后将U作为深层特征映射分支的输人。深层特征映射部分的公式为：U,=H,(U)式中：H（）为整个深层特征映射模块。深层特征映射模块由3个分支架构组成，每个分支由多个残差注意力模块（ResidualAttentionModel，RAM)组成,通过多个残差注意力结构的级联构成了深度为12 层的映射分支，然后将经过3个分支深层特征映射后的高维特征在输出端进行叠加,并引人长跳连接，将底层特征与提取到的深层特征进行融合，即：U,=fiOf2?f?U式中：fi2V，为3个映射分支的输出；?为特征RAMRAM图1网络结构模型融合；U,为提取到的深层特征。接下来对U,进行上采样及重建操作，本文模型采用亚像素卷积对图像进行上采样，得到尺度放大的特征信息，上采样后的特征为：U,=Hs(U,)式中：Hs）为上采样操作；Us为上采样后的输出特征。上采样后将特征U，通过一个简单的卷积层重建为高分辨率图像，并在输出层引人全局特征融合，进一步保证特征的充分性和全面性，以获得最佳的效果。最后重建得到超分辨率图像：(2)IsR=Hsr(U,)+Y式中：HsR（）表示重建操作；IsR表示重建后的高分辨率图像。1.2融合注意力模块本文提出的算法在深度特征映射模块中引人通道注意力机制（PathAttention Mechanism，PAM）和空间注意力机制（SpaceAttention Mecha-nism，SA M）融合的融合注意力机制（CombinativeAttention Mechanism，C A M），从特征通道和特征(3)空间点两个维度上学习不同特征的重要程度,对所含有效信息多的特征给予较高的权重，对不同特征融谷元素相加(4)(5)第3期信息进行侧重学习，从而提高深度残差网络的特征学习能力。PAM通过网络学习的方式获得每个特征通道的重要程度，并为每个特征通道赋予学习到的不同权重系数。首先利用一个卷积层F对输入特征U进行特征提取得到C维的特征图X；然后对特征图X进行全局平均池化（GAP），即：Zc=Fsg(Xc)=WxH式中：C表示特征通道数；Xc（i,j）为输入特征X中第C个通道中位置（i,i）的像素值；H和W分别表示图像的高度和宽度；Fs。表示挤压操作,该操作将特征X的尺寸由HWC压缩到11C,得到了C个大小为11的特征向量Zcc其次将挤压模块的输出特征Zc通过两个全连接层W、W，将特征信息进行非线性整合，可更好地拟合通道间复杂的依赖性，然后将整合好的特征通过sigmoid函数进行输出：(7)Sc=W,8(W,Zc)式中：S指Relu激活函数；Wi、W是两个全连接层；Zc是前面全局平均池化后的结果；是sig-moid 函数。最后将每个通道的不同权重 S1,1,C作用于特征图UH,W,C，即每个通道乘以各自的权重：Uc=Fseale(Xc,Sc)=Sc Xc(8)可以理解为，当通道的权重大时，该通道特征图的数值相应增大，对最终输出的影响也会变大；当权重小时，该通道特征图的数值就会更小，对最终输出的影响也会变小。SAM是通过网络学习每个特征点的重要程度，为每个特征点赋予学习到不同权重系数。提取特征信息后，SAM模型需沿通道轴分别对特征图进行GAP及最大池化（GMP），即：(9)Yij=Fmax(Xi,)(10)经过池化后,原本尺寸为HWC的特征被池化成两个尺寸为HW1的特征图,将两个特征向量进行级联,得到HW2的特征图,之后通过一个较大的卷积层F（）对两个特征图进行特征融合,将特征图维度从HW2变为HW1,时维国，等：多分支残差注意力机制融合的图像超分辨率重建1HWC105HW1的大小代表了特征图上的每个点的重要程度,数值越大,其特征点的重要程度越高。之后同样通过全连接层对特征信息进行整合，将得到的空间权重 H,W,1与原特征图 H,W,C相乘,则特征图 H,W上的每一个点都赋予了不同的权重。最后通过sigmoid函数将得到的SAM特征图进行输出，即：Si,j=/W,oW(F(Zij,Yi,)PAM和SAM的结构见图2。AvgAvgPoolingPooling工ConvReluConvSigmoidHxWxC1x1xC(a)PAM结构图2 PAM和SAM结构本文算法将PAM与SAM结合，得到CAM模块，即同时对输入特征进行通道注意力和空间注意力操作，合并两个输出得到各个特征通道及特征点的权重,再通过乘法逐一加权到原来的特征上即：U=(Sc?Sij)U式中：Sc、Si，分别为PAM和SAM提取的通道权重值和特征点权重值；U为CAM的输人特征图；为将通道的权重值叠加到每个空间位置，以获得与U同维度的特征映射,最后将输入特征与对应通道对应位置权重信息相乘，得到经过CAM处理的加权特征图U，实现将计算资源最大限度地分配到重要程度高的特征上。1.3残差注意力模块本文提出算法主要在深层特征映射部分进行改进，将其结构分为三个映射分支，每个分支所包含的多个残差注意力模块（RAM)为实现深层特征映射的主要结构。每个RAM模块包含两个卷积层、一个ReLU激活层和一个CAM,其结构见图3。1(11)MaxPoolingConv工ReluConvSigmoidHxWxCHxWx1(b)SAM结构(12)106输入特征在经过残差学习后通过融合注意力机制为映射的不同特征赋予不同权重，然后经过一个融合节点将加权后的特征与映射特征进行相乘融合，作为下一个RAM块的输人。残差块通过跳跃连接将浅层特征直接传到深层网络，可以保证深层网络输出端的特征信息一定多于浅层网络，防止了网络退化。引人融合注意力机制，让网络把学习的重点放在所含信息量大的特征上，利用有限资源提取更多有用特征，抑制无用特征，从而使重建图像特征更加丰富。每个分支中的第n+1个RAM模块的输人为第n个RAM模块的输出，可表示为：U,=Fre(Un-1)+Un-1式中：Un、U n-1为第n个和第n-1个RAM模块的输出特征；Frse（）为对Un-1进行的进一步特征映射操作。为了减小模型训练所需的内存资源，本文算法的残差结构去除了BN归一化层，只通过两个卷积层对特征进行映射,后将映射的特征与通过融合注意力机制加权后的特征相乘,即：Fre(Un-1)=Fr,(Un-1)FcamFr.(Un-1)式中：Fr（）为残差块中的映射操作；FcAm（）为融合注意力操作。为了保证在前向传播过程中前层RAM映射的特征信息不丢失，在经过m个RAM块后的输出层引人多个跳跃连接，将每个RAM块的输出与最终的深层映射特征进行融合，并通过一个卷积层对融合特征进行降维压缩，即：f=P(U,U2,.,Un,.,Um)式中：P（）为降维压缩操作;f为单一特征映射分支的输出。为了进一步促进特征融合，保证信息的完整性，在输出端引入一个长跳连接将输入的底层特征U与各分支输出进行叠加。大连交通大学学报1.4亚像素卷积SAM上采样即为图像放大，对图像进行卷积操作会使图像尺寸减小，为了使输出的高分辨率图像PAM与输人的低分辨率图像大小相等，需要对图像进行上采样操作，一般的图像超分辨率重建算法在输入图像之前要对图像进行双三次插值来放大输人的低分辨率图像。本文选择在输出层引人亚像素卷积对图像进行放大，这样不用对输入的原始图3RAM 结构低分辨率图像做任何处理,就可以缩短计算时间，大大提高模型训练速度。图像进行非线性映射后的输出为亚像素卷积层的输人，令r为上采样因子，即缩放倍数，则亚像素卷积层的输入为特征通道数为T2的特征映射，令每一个像素原子所含有的r2个通道都重新排列成为一个rr的特征区域,从而和高分辨率图像中的每一个大小为rr的特征图像块相互对应,因此大小为HWC的特征图像就可以被重新排列成为大小rHrWC的高分辨率图像。其中：H为图像的高度；W为图像的宽度;C为图像的颜色通道数。(13)2试验结果与分析2.1网络训练环境网络训练平台为pycharm；编程框架为Py-torch;处理器为Intel（R）C o r e（T M）i5-10 35G 1CPU 1.00 GHz 1.19 GHz;显卡为 NVIDIA Ge-Force MX350;内存为 8 GB。训练数据集选择DIV2K17数据集。先利用数据集中8 0 0 幅训练图像进行模型训练，再利用Set518 Set14 19 和 Urban100 数据集对其进行测试。(14)2.2图像质量评价指标本文通过主观视觉效果和客观评价指标分析来评价重建图像的质量,进而对模型的性能进行评估。主观视觉效果方面，不同人打出分数不同，在评分员足够多的情况下，才比较可信，因此该方法较为浪费人力，使用较少。客观评价指标包括结构相似度(Structural Similarity Index，SSIM)2 0 和峰值信噪比(15)(Peak Signal to Noise Ratio,PSNR)21。其中,结构相似性指标SSIM越接近1,两张图像的差别就越小，PSNR值越高表示重建质量越高。2.3重建性能测试为了说明本文方法的有效性,试验选用Bicu-bic、SR CNN、VD SR、ED SR 4种不同算法，在Set5、第44卷第3期Set14和Urban1003个不同数据集上，分别使用3种不同尺度对图像进行超分辨率重建，记录并比较各个重建结果的PSNR和SSIM数值,与本文DatasetScale2Set5342Set14x34x2Urban100 x34时维国，等：多分支残差注意力机制融合的图像超分辨率重建表1不同算法在不同数据集上的PSNR/SSIM数值对比BicubicSRCNN33.74/0.938 635.28/0.963 230.52/0.865 5 32.71/0.907 328.59/0.810 431.35/0.862 030.34/0.863 532.86/0.902 727.81/0.773 929.96/0.819 226.55/0.701 827.60/0.736 330.16/0.841 532.42/0.868 428.70/0.735 329.97/0.760 126.23/0.666 528.99/0.700 6107的MRCAN算法进行比较，数值比较见表1。重建效果见图4,可知本文算法性能最优。VDSREDSR37.21/0.977 137.86/0.982 134.85/0.913 935.190.920 633.08/0.979 533.370.883 134.11/0.914 634.62/0.919 831.24/0.825 031.63/0.930 629.18/0.742 129.83/0.747 533.69/0.889 534.35/0.891 231.05/0.776 931.44/0.779 429.36/0.721 829.47/0.728 3MRCAN(Ours)38.09/0.986 835.37/0.924.233.52/0.885 234.84/0.922 931.78/0.832 529.95/0.749 134.53/0.893 431.57/0.781 029.55/0.729 2HRBicubicSRCNNVDSR图4在Urban100数据集上不同算法重建效果对比从表1可以看出，无论是在放大尺度相同、数据集不同的情况下，还是在数据集相同、放大尺度不同的情况下，,本文提出的MRCAN算法的PSNR和 SSIM评测指标都优于其他算法。在 Set5数据集中，本文的算法在放大尺度为2、3、4的情况下，PSNR值比效果最好的EDSR算法分别高出0.23、0.18、0.15d B,SSI M 分别高出0.0 0 47、0.0036、0.0 0 2 1。在Set14数据集中,本算法在放大尺度为2、3、4的情况下,PSNR比EDSR算法分别高出0.2 2、0.15、0.12 dB,SSIM分别高出0.003 1、0.0 0 1 9,0.0 0 1 6 d B。在 Urban100 数据集中,本算法在放大尺度为2、3、4的情况下,PSNR比EDSR算法分别高出0.18、0.13、0.0 6 dB,SSIM分别高出0.0 0 2 2、0.0 0 16,0.0 0 0 9 dB。从图4可以看出,Bicubic算法的重建效果最为模糊,看不清边缘轮廓;SRCNN算法的效果较Bicubic算法有了较大提升，孔洞呈现出边缘，但还是较为模糊；VDSR算法比SRCNN算法的效果提升明显，可以分辨出空洞之间的界限，边缘更加清晰;EDSR算法将天花板孔洞颜色边界重建得EDSR十分清楚，且无平滑现象，但形状失真，接近矩形；本文的MRCAN算法重建出的效果接近原始HR图像，重建细节最为清晰，这说明了本文算法使网络的性能得到有效提升。3结论本文针对现有算法模型重建出的图像存在特征不完全、细节不清晰等问题，提出了一种多分支残差注意力融合的图像超分辨率重建算法，该算法的优越性如下：（1）将深层特征映射部分设置为多分支架构，通过3个分支对图像的高维特征进行映射，提高了网络的宽度，保证了特征的丰富性。（2)引人残差学习结构，避免了底层信息丢失，有效解决了网络退化和梯度消失等问题，保证深层网络学习到的特征信息比浅层网络多。（3）在残差块中引入融合注意力机制，通过学习不同特征的通道和空间点的重要程度，赋予它们不同的权重，从而让网络侧重于学习有用特征,抑制无用特征，提高图像的重建效果，利用有MRCAN(本文)108限资源实现网络性能的最大化。试验结果表明本文所提出的算法在客观评价指标数值和主管图像效果上都明显优于其他算法，可以实现复杂场景下的图像超分辨率重建。参考文献：1张宁,王永成，张欣,等.基于深度学习的单幅图片超分辨率重构研究进展 J.自动化学报，2 0 2 0,46（12)：2479-2499.2ZHANG L P,ZHANG H Y,SHEN H F,et al.A super-resolution reconstruction algorithm for surpveillance imagesJ.Signal Processing,2010,90(3):848-859.3PELED S,YESHURUN Y.Superresolution in MRI:Appli-cation to human white matterfiber tract visualization by diffu-sion tensor imagingJ.Magnetic Resonance in Medicine,2001,45(1):29-35.4ZWART C M,FRAKES D H.Segment adaptive gradientangle interpolation J.IEEE Transactions on Image Pro-cessing,2013,22(8):2960-2969.5唐艳秋,潘泓，朱亚平，等.图像超分辨率重建研究综述 J.电子学报,2 0 2 0,48（7）：140 7-142 0.6HA V K,REN J C,XU X Y,et al.Deep learing basedsingle image super-resolution:A survey J.Internation-al Journal of Automation and Computing,2019,16(4):413-426.7ZHAO J W,HU H P,CAO F L.Image super-resolutionvia adaptive sparse representation and self-learning J.IET Computer Vision,2017,124:23-33.8OGAWA T,HASEVAMA M.Adaptive single image su-perresolution approach using support vector data descrip-tion.J.EURASIP Journal on Advances in Signal Pro-cessing,2011(1):1-13.9LIUY C,ZHANG C S,LI W R,et al.An adaptivemultiscale anisotropic diffusion regularized image recon-struction method for digital breast tomosynthesis J.Australasian Physical&Engineering Sciences in Medi-cine,2018,41(4):993-1008.10DONG C,LOY C,HE K M,et al.Image super-reso-lution using deep convolutional networks J.IEEETransactions on Pattern Analysis&Machine Intelli-gence,2016,38(2):295-307.11SHI W Z,CABALLERO J,HUSZAR F,et al.Real-time single image and video super-resolution using anefficient sub-pixel convolutional neural network EB/OL.(2015-09-23)2022-03-28.https:/arxiv.大连交通大学学报0rg/abs/1609.05158.12LIU Z S,SIU W C,HUANG J J.Image super-resolu-tion via weighted random forest C/2017 IEEE Inter-national Conference on Industrial Technology(ICIT).Toronto,0ON,Canada:IEEE,2017:1019-1023.13 KIM J,LEE J K,LEE K M.Accurate image super-reso-lution using very deep convolutional networks CJ/2016IEEE Conference on Computer Vision and Pattern Recog-nition(CVPR).Las Vegas,NV,USA:IEEE,2016:1637-1654.14MAO X J,SHEN C H,YANG Y B.Image restoration u-sing very deep convolutional encoder-decoder networkswith symmetric skip connections C/Proceedings of the3Oth International Conference on Neural Information Pro-cessing Systems.Red Hook,NY,United States:CurranAssociates Inc,2016:2810-2818.15TAI Y,YANG J,LIU X M.Image super-resolution viadeep recursive residual network C/2017 IEEE Confer-ence on Computer Vision and Pattern Recognition(CVPR).Honolulu,HI,USA:IEEE,2017:3147-3155.16JLIM B,SON S,KIM H,et al.Enhanced deep residualnetworks for single image super-resolution C/2017IEEE Conference on Computer Vision and Pattern Recogni-tion Workshops.USA:Honolulu,HI:IEEE,2017:1132-1140.17 AGUSTSSON E,TIMOFTE R.NTIRE 2017 challenge onsingle image super-resolution:dataset and study C/2017 IEEE Conference on Computer Vision and PatternRecognition Workshops(CVPRW).Honolulu,HI,USA:IEEE,2017:1122-1131.18DONG C,LOY C C,HE K M,et al.Image super-resolu-tion using deep convolutional networks J.IEEE Transac-tions on Pattern Analysis and Machine Intelligence,2016,38(2):295-307.19ZEYDE R,ELAE M,PROTTER M.On single imagescale-up using sparse-representations C /InternationalConference on Curves and Surfaces.USA:Springer,2010:711-730.20WANG Z,BOVIK A C,SHEIKHH R,et al.Imagequality assessment:from error visibility to structuralsimilarity J.IEEE Transactions on Image Processing,2004,13(4):600-612.21丰明坤，赵生妹，邢超一种基于视觉特性的PSNR图像评价方法J南京邮电大学学报（自然科学版),2 0 15,35(4)：33-38.(下转第112 页)第44卷112J.东北师大学报（自然科学版），2 0 15,47(2)：45-52.5 AKRIVIS G D.Finite difference discretization of theKuramoto-Sivashinsky equation J.Numerische Math-ematik,1992,63(1):1-11.6 CHOO S.Finite element schemes for generalized Cahn-Hilliard and Kuramoto-Sivashinsky equations J.J.Appl.Math.Comput.,2006,21:531-538.7CUETO F L,PERAIRE J.A time-adaptive finite volumemethod for the Cahn-Hilliard and Kuramoto-SivashinskyequationsJ.Journal of Computational Physics,2008,227(24):9985-10017.大连交通大学学报8JUDDIN M,HAQ S,ISLAM S.A mesh-free numericalmethod for solution of the family of Kuramoto-Sivashin-sky equations J.Applide Mathematics and Computa-tion,2009,212(2):458-469.9MICKENS R E,CUMEL A B.Construction and anlaysisof a non-standard finite differences scheme for the Bur-gers-Fisher equation J.Journal of Sound and Vibra-tion,2002,257(4):791-797.10 张艳敏.非标准有限差分法求解一类Burgers-Fisher方程 J.沈阳大学学报（自然科学版），2 0 19,31(6):525-528.第44卷A Nonstandard Finite Difference Method for Solving Kuramoto-Sivashinsky EquationZHANG Jihong,LI Yongfei,LUAN Shuhan,WANG Jiexin(School of Science,Dalian Jiaotong University,Dalian 116028,China)Abstract:A nonstandard finite difference scheme for nonlinear fourth-order Kuramoto-Sivashinsky(KS)e-quation is presented,and the stability of the nonstandard diference scheme of KS equation is proved.Numeri-cal experiments are carried out to compare the absolute errors between the numerical solution and the real solu-tion,which verifies the effectiveness of the method.Keywords:Kuramoto-Sivashinsky equation;fourth order nonlinear partial differential equation;nonstandardfinite difference method;stability(上接第10 8 页）Image Super-Resolution Reconstruction Based on Multi-Branch andResidual Attention CombinationSHI Weiguo,WANG Jiayi(School of Automation and Electrical Engineering,Dalian Jiaotong University,Dalian 116028 China)Abstract:Aiming at the problems of incomplete feature mapping and easy loss of mapped features in image su-per-resolution reconstruction,an image super-resolution reconstruction algorithm is proposed based on multibranch residual attention mechanism fusion.The algorithm introduces multi branch architecture in the deepfeature mapping part to increase the network width.The residual structure including attention fusion mecha-nism is introduced into each branch to focus on learning different feature information,which improves the abil-ity of feature extraction.Then,the information of multiple branch mappings is superimposed in the nonlinearmapping output layer to fuse the feature information further and promote the transmission of parameters.Theexperiment results show that the algorithm is superior to other ones in objective evaluation index and subjectiveimage effect with effective improvements of the detail definition of the reconstructed image.Keywords:image super-resolution reconstruction;residual network;attention mechanism;multi branch ar-chitecture