基于完全残差的双分支去雨网络.pdf

收稿日期:2022-12-06摇 摇 摇 摇 摇 摇 修回日期:2023-04-07基金项目:国家自然科学基金资助项目(61373109)作者简介:宋摇 浩(1998-),男,硕士研究生,通信作者,研究方向为机器学习、深度学习、图像处理;张摇 鸿(1979-),女,教授,博导,博士,CCF会员(47374M),研究方向为跨模态检索、机器学习、数据挖掘。基于完全残差的双分支去雨网络宋摇 浩1,2*,张摇 鸿1,2(1.武汉科技大学 计算机科学与技术学院,湖北 武汉 430065;2.智能信息处理与实时工业系统湖北省重点实验室(武汉科技大学),湖北 武汉 430065)摘摇 要:针对使用深度学习的单幅图像去雨算法会导致细节信息丢失的问题,提出了一个双分支去雨网络,包括雨痕提取分支和细节恢复分支,通过补全细节使去雨图像更接近真实图像。雨痕提取分支的目的是完全提取出雨纹,通过构造特征金字塔来多尺度地学习雨纹信息,并在其中引入执行了全部身份映射的完全残差块来加强特征的重用和传播。为充分利用上下文信息,采用可变形卷积在动态扩大感受野的同时避免了网格伪影的产生,最后输入雨图去除雨痕便得到了初步去雨图。细节恢复分支需要产生细节特征图反馈给初步去雨图像来找回丢失的细节,使用轻量级的完全残差块捕捉特征信息,并用跳跃连接来连接完全残差块提供长距离的信息补偿。实验结果表明,该网络在合成数据集 Rain100H 中比较RESCAN、SPANet 和 JDNet 等主流去雨方法,在 PSNR 和 SSIM 指标上分别至少提高了 0.09 dB 和 0.02,在真实数据集和自制数据集中的去雨效果和细节保留程度均优于对比方法。关键词:卷积神经网络;单幅图像去雨;多尺度学习;完全残差;可变形卷积中图分类号:TP391.41摇 摇 摇 摇 摇 文献标识码:A摇 摇摇摇 摇 摇 文章编号:1673-629X(2023)11-0057-07doi:10.3969/j.issn.1673-629X.2023.11.009A Dual-branch De-raining Network Based on Fully ResidualSONG Hao1,2*,ZHANG Hong1,2(1.School of Computer Science and Technology,Wuhan University of Science and Technology,Wuhan 430065,China;2.Hubei Province Key Laboratory of Intelligent Information Processing and Real-time Industrial System(Wuhan University of Science and Technology),Wuhan 430065,China)Abstract:Aiming at the problem that the single image de-raining algorithm using deep learning will lead to the loss of detailedinformation,a dual-branch de-raining network was proposed,including a rain streaks extraction branch and a detail recovery branch,which makes the de-raining image closer to the real image by completing the details.The purpose of the rain streaks extraction branch isto completely extract the rain streaks.A feature pyramid was constructed to learn the rain streaks information at multi-scale,andintroduce a fully residual block that performs all identity mapping in it to enhance feature re-usage and propagation.In order to take fulladvantage of context information,deformable convolution was used to dynamically expand the receptive field while avoiding thegeneration of grid artifacts,at the end input rain image take out rain streaks to obtain a preliminary de-raining image.The detail recoverybranch needs to generate a detail feature map to feed back to the preliminary de-raining image to retrieve the lost details,so a lightweightfully residual block was used to capture feature information,and a skip connections was used to connect the fully residual blocks toprovide long-distance information compensation.The experimental results show that the network improves the PSNR and SSIMindicators at least 0.09 dB and 0.02 respectively compared with the populous de-raining methods such as RESCAN,SPANet and JDNetin the synthetic dataset Rain100H,and the de-raining effect and the degree of detail retention are better than the comparison methods inboth the real dataset and the self-made dataset.Key words:convolutional neural network;single image de-raining;multi-scale learning;fully residual;deformable convolution0摇 引摇 言计算机视觉技术已经渗透到了人类的日常生活和工业生产中,以户外图像为基础的视觉系统已经在无人机勘察、无人汽车自动驾驶、智能安防目标检测等诸多领域得到了实际的应用,而现有的视觉处理算法都是建立在输入图像是清晰可靠的基础上的,如果图片第 33 卷摇 第 11 期2023 年 11 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.11Nov.摇 2023的分辨率或者可见度较低,对后续目标检测1、语义分割2和图像分类3任务的判定结果和准确度会产生较大影响。雨天图像会导致图像内容模糊不清,因此,去雨常被一些后续的视觉处理任务1-3当作必要的预处理步骤。去雨任务的对象有视频和图像两种类型。对于视频去雨,利用视频的时序特性,使用帧间冗余信息能较为容易地识别和去除雨纹4-5,故而该文的重点是对更具有挑战性的单幅图像进行雨纹移除。单幅图像去雨方法分为传统的基于先验信息的去雨方法和近来的基于深度学习思想的去雨方法。由于缺乏序列信息,在早期单幅图像。通常使用一些先验因素通过建模和分解来去除雨水。Li 等人6提出了层间先验(LP),利用雨纹的低秩属性将雨图分为降雨层和背景层,并通过高斯混合模型对两层建模,该先验对于去除多方向多尺度的雨纹有很好的效果。Luo 等人7为了不混淆雨线层和背景层,提出了一个可以分离两者的判别稀疏编码框架(DSC),最终得到的去雨图像保留了清晰的纹理细节。Kang 等人8提出一个图像的分解方法,采用双向滤波器将降雨图像分解为高频层和低频层,利用字典学习去除高频层中的雨条纹。肖进胜等人9提出了基于景深和稀疏编码的图像去雨算法来解决图像分解算法中低频部分存在的雨痕残留和边缘丢失,以及高频部分的背景误判问题。基于先验知识的去雨方法虽然在一定程度上提升了户外图像去雨方法的效果,但针对大而密集的雨图往往表现的不尽人意,且测试的时间较长,无法满足实时检测任务的需求。最近使用深度学习的图像去雨方法取得了阶段性的进步。Fu 等人10首先将深度学习用于图像去雨领域,把降雨图像分解为高频和低频部分来提取出雨条纹。Yang 等人11提出了一个递归的雨痕检测和清除网络用于联合检测和去除雨条纹。Li等人12设计了一种上下文聚合网络来多阶段地去除雨水。Zhang 等人13构建了一个基于条件生成对抗网络的去雨方法,通过在生成器和鉴别器中引入一个新的精炼损失函数和改进架构来得到更高的视觉质量。张焱等人14提出了一种基于通道注意力和门控循环单元的图像去雨算法(RMUN)来去除雨线。Wang 等人15提出将循环尺度引导网络用于单幅图像去雨,为了探索不同尺度之间的相关性,开发了两种类型的尺度引导块来实现大小尺度之间的相互转换。杨浩等人16提出了一个基于多阶段双残差网络的图像去雨模型,使用多阶段网络逐步去除雨线。刘文进等人17提出了一个端到端的融合残差与注意力机制的去雨网络,将通道注意力与像素注意力串联后再与多尺度融合的空间注意力并行,构成了多注意力模块,然后将多注意力模块以残差块18的方式联合卷积层构成注意力残差块。基于 CNN 的去雨方法主要是设计各类深度网络将输入的雨图转换为雨痕图,然后在原始雨图中抽离出雨痕就可以得到去雨图像,但由于原始雨图中背景图层的细节与雨痕的纹理、方向和大小存在不少相似之处,去雨过程中容易将背景识别为雨痕去除而导致图像的退化,如图像细节损失、光晕伪影、颜色失真等。因此,该文提出了一种基于完全残差的双分支去雨网络来解决该难题。该网络有两条分支分别用于生成雨痕和恢复细节,雨痕提取分支采用了完全残差多尺度聚合块联合可变形卷积块19生成雨痕。细节恢复分支间使用了完全残差块生成细节特征图,然后用特征图结合初步去雨图以生成最终的去雨图像。概括地来说,主要工作包括 3 个方面:(1)提出了一个双分支去雨网络模型,相比于大部分去雨模型仅关注雨痕信息的提取,该文添加了一条细节恢复分支用于恢复去雨后的图像细节信息,弥补由于雨痕提取带来的细节丢失。(2)提出了一种残差块的改进结构完全残差块来用于两条分支,通过执行更多路径的特征映射来加强特征的重用,在雨痕提取分支中,完全残差块以特征金字塔的方式引入组合成完全残差多尺度聚合块,重点关注深度网络中不同尺寸下对雨纹的语义特征提取和特征重用。(3)针对使用固定卷积核会限制感受野大小的问题,在雨痕提取分支中引入了可变形卷积块使网络动态地扩充感受野,以融合更多的空间结构化信息。1摇 基于完全残差的双分支去雨网络本节首先引入完全残差块的结构,然后详细介绍双分支去雨网络的整体框架及各模块的构成。双分支去雨网络的整体框架结构如图 1 所示。图 1摇 双分支去雨网络整体框架结构1.1摇 完全残差块近年来学者们提出了不同形式的网络来对卷积进行优化,相比于图 2(a)的直接网络,图 2(b)的残差块18通过执行身份映射来重新利用特征,解决了随深85摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷度的增加产生的网格退化问题和梯度消失问题,并成功应用在了图像恢复领域20。为了进一步减少去雨过程中特征信息在传递过程中造成的损失,该文尝试通过执行更多路径的特征映射来加强特征的重用,如图 2(c)所示,相比于残差块在两个或者三个卷积块间使用一条直接映射进行信息传递,该文在每个卷积间都执行特征映射,在延续残差块优点的基础上,进一步加强了特征的重用。图 2摇 完全残差与其他卷积方式的比较1.2摇 雨痕提取分支由于雨痕比背景简单,通常用提取雨痕的方式来对图像去雨。雨痕提取分支可以根据输入的雨图提取出相应的雨痕信息,由提取出的雨痕信息结合原始雨图便能得到背景图像,这一过程可公式化为:B=O-R(1)其中,O 为输入的雨天图像,R 为雨痕图像,B 为去雨后的背景图像。为了充分利用不同层次的特征,该文采用密集连接21来连接由完全残差多尺度聚合块和可变形卷积块组合成的单元块,以级联的方法组合单元块,这样做可以加强单元块之间特征的传递,同时减少了参数量,使网络易于训练。1.2.1摇 完全残差多尺度聚合块多尺度信息有利于提升图像去雨能力22,通过自顶向下的路径将神经网络的低分辨率和高分辨率分别构建成特征金字塔是利用多尺度信息的一个重要手段。Fu 等23采用一组并行子网络分别估计特定金字塔尺度空间中的雨信息,但是它忽略了金字塔层间的相关信息。Zheng 等24使用高层特征来帮助表示相邻的金字塔层,通过迭代去除雨纹,然而,这也丢失了一部分有用的底层信息和尺度特征。与上述两种方法不同,如图 3 所示,该文提出的完全残差多尺度聚合块使用完全残差块充分学习每个尺度的特征,最后将不同的特征融合后输出,形成了连续多尺度的深度学习网络。首先,使用不同卷积核和步长的池化操作来对输入特征进行下采样:Dk=Poolingk(F)(2)其中,k=1,2,K,F 为完全残差多尺度聚合块的输入特征,Poolingk表示卷积核为2k-1伊2k-1、步长为2k-1伊2k-1的最大池化操作,Dk表示在特征金字塔第 k层中经下采样后的尺度特征图。经过池化后的特征图随后输入到完全残差块中来充分学习雨痕信息,由图2(c)中完全残差块的结构可得:图 3摇 完全残差多尺度聚合块FRk=Dk+LR(Conv1(Dk)+LR(Conv2(Dk+LR(Conv1(Dk)(3)其中,FRk为特征金字塔第 k 层中完全残差块的输出,LR 为非线性激活函数 LeakyRelu,Conv1 和 Conv2 为具有 C 通道的 3 3 卷积。完全残差多尺度聚合块的最终输出为各层的输出经上采样后合并然后通过一个1伊1 卷积将通道数置为 C:FRMA=Conv1伊1(ConcatU1(FR1),U2(FR2),Uk(FRk)(4)其中,FRMA 为完全残差多尺度聚合块的输出特征,Uk表示用双线性插值法对 FRk实施2k-1伊 的上采样操作,Concat 指的是对上采样后的特征进行串联。1.2.2摇 可变形卷积块卷积神经网络由于其结构固定,对几何变换进行建模时会受到一些限制,如卷积核只能以固定顺序对特征图采样、池化层只能按固定比率降低分辨率,这些限制会导致感受野大小固定、池化后信息丢失等问题25,虽然可以引入扩张卷积(dilated convolution)来扩大感受野,但这可能会导致网络伪影破坏图像的纹理。动态地扩大感受野能充分利用特征空间的结构化信息,由此引入了可变形卷积来扩展具有自适应形状的感受野,并提高了模型的转换能力,以便更好地进行图像去雨。在普通卷积过程中,卷积核在输入特征图 x 上采样,将采样值和对应权重 w 相乘再求和。对输出特征图 y 上的每个位置 p0有:y(p0)=移pn沂Rw(pn)誗x(p0+pn)(5)其中,R=(-1,-1),(-1,0),(0,1),(1,1)表示一个卷积核为 3伊3,扩张(dilation)为 1 的网格的感受野,pn列举了在网格 R 中的位置。在可变形卷积过程中,网格 R 增加了偏移量 驻pn|n=1,2,N,N=|R|,即在卷积的基础上对每一个采样点增加一个偏移量,公式(5)变为:95摇 第 11 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 宋摇 浩等:基于完全残差的双分支去雨网络y(p0)=移pn沂Rw(pn)誗x(p0+pn+驻pn)(6)图 4 给出了可变形卷积块的原理示意图。可以看到,可变形卷积块会对卷积前的图片像素重新整合,变相地实现了卷积核的扩张,使卷积位置聚集在雨痕的周围。其中偏移量感受野是通过一个额外卷积层学习到的,对于一张输入特征图,每个点都需要一个偏移量(可分为 x 轴和 y 轴上的偏移量),所以偏移量感受野的长宽与输入的特征图的长宽相同,但通道数是输入特征图的两倍(存在 x,y 两个方向的偏置量)。图 4摇 可变形卷积原理1.3摇 细节恢复分支雨纹和图像细节有着相似的结构,且缺乏一个语义信息来区别二者,这导致使用深度模型去雨时会因为将图像细节识别为雨纹去除而造成细节的丢失,恢复图像的细节对于提升去雨的质量至关重要,细节恢复分支旨在通过一个附加的网络将去雨后丢失的细节返回到图像当中。对细节的提取重点是要求网络对输入特征充分的利用和参数是轻量级的,完全残差块在延续残差块优点的基础上加强了对特征的重用,且其花费的参数代价极少,十分适用于细节恢复。由雨痕提取分支提取出的雨痕图像 R 根据公式(1)得到初步去雨图像 B,将原始雨图 O 联合初步去雨图像 B 输入到细节恢复分支中,通过一个 3伊3 卷积将输入图像转化为特征图,经过 L 个完全残差块提取特征后,用两个 3伊3 卷积从特征图中恢复 RGB 通道,中间使用跳跃连接(skip connection)来提供长距离的信息补偿并实现完全残差学习24,最后将细节特征图联合初步去雨图像生成最终去雨图像。1.4摇 损失函数在图像去雨中,损失函数的选择十分重要,损失函数选取的标准一般是收敛速度快和损失值小。混合损失中的(MSE+SSIM)26或(MAE+SSIM)23被广泛用于训练网络,但是相对于使用单独的 MSE 损失或负SSIM 损失,混合损失函数的参数量过于庞大,不利于有时间要求的去雨任务27-30。该文采用 MSE 损失作为损失函数,其相对于负 SSIM 损失函数能在相近参数量的情况下更快收敛。对于雨痕提取分支,损失函数为:Lossr=移n沂D椰f(On)-Rn椰2(7)其中,f()表示输入图像经过雨痕提取分支,On表示训练数据集 D 中输入的第 n 张雨天图像,Rn表示 D 中第 n 张雨图的真实雨纹图。对于细节恢复分支,损失函数为:Lossd=移n沂D椰Bn+g(Bn+On)-In椰2(8)其中,g()表示输入图像经过细节恢复分支,Bn表示训练数据集 D 中第 n 张雨图经过雨痕提取分支得到的初步去雨图像,On表示 D 中输入的第 n 张雨天图像,In表示 D 中第 n 张真实地面无雨图。由此,该文提出的双分支去雨网络的损失函数可表示为两条分支损失函数的带权和:Losstotal=姿1移n沂D椰f(On)-Rn椰2+摇姿2移n沂D椰Bn+g(Bn+On)-In椰2(9)其中,姿1、姿2是用来平衡两条分支损失函数的参数,在实验中分别设置为 0.1 和 1。2摇 实验与分析2.1摇 实验设置2.1.1摇 数据集该文 在 三 个 公 开 的 合 成 数 据 集 Rain80013、Rain100L11和 Rain100H11中对文中方法进行训练和测试。Zhang 等人使用 Photoshop 合成了一个含有800对图像的室外数据集 Rain800,将其中 700 对图像用于训练,100 对图像用于测试。Yang 等人收集并合成了重雨数据集 Rain100H 和轻雨数据集 Rain100L,都包含有 1 800 对训练集和 200 对测试集,其中 Rain100H由五个方向的雨纹合成,去除雨水有一定的难度,更加考验模型的去雨能力。为了验证文中方法对复杂的真实雨天图像的适用性,在公开真实数据集 Real-world11,13对文中方法进行视觉效果分析。其中 Real-world 数据集中共有 784张真实雨天图像,这些图像在雨痕的强度和方向上具有多样性,挑选其中的 100 张图像来做测试数据集。考虑到从真实世界中获得大量的有雨/无雨图像对相对困难,真实数据集都是在 Rain100H 的训练模型中进行测试的。2.1.2摇 评估指标峰 值 信 噪 比(PeakSignaltoNoiseRatio,PSNR)29和结构相似度(Structure Similarity Index,SSIM)30被广泛用于图像恢复后的质量评估,二者的值越高表示去雨后的图像越接近地面真实图像,模型的去雨效果越好,其中 SSIM 的峰值为 1。由于真实世06摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷界的雨天图像没有对应的无雨图像,无法用以上两个指标来评估去雨效果,所以对真实世界数据集只进行视觉评估。2.1.3摇 训练细节该文采用 Pytorch 框架来训练和测试双分支去雨网络。合成数据集中训练和测试的输入图像是有雨图像和无雨图像联合的成对图像,真实数据集中测试的输入图像是单幅雨天图像。每张输入样本被随机裁剪为 64伊64 像素,然后通过对图像随机旋转和随机水平翻转进行图像增强。在训练过程中,采用 Adam 优化器29进行梯度下降,epoch 设置为 200,初始学习率设置为 5e-4,在训练到第120 个 epoch 和第160 个 epoch时学习率以 0.1 倍率递减,batchsize 设置为 5,共训练72 000 步。整个网络的通道数均为 32,实验在一台NVIDIA GeForce GTX 1080 的主机上完成。2.2摇 测试结果与分析表 1 列出了所提方法与基于先验的经典方法(DSC7)和目前主流的深度学习方法(RESCAN12、SPANet27、JDNet28)在三个广泛使用的数据集上的PSNR 和 SSIM 指标值比较,并标记出了各数据集中最优指标。将合成数据集 Rain100H 和 Rain100L 的 200对测试图像对和 Rain800 的 100 对测试图像对输入到训练好的网络做测试,记录平均的 PSNR 和 SSIM 指标值。结果表明,基于先验方法的方法表现相对较差,且在重雨数据集中更显劣势,而基于深度学习的方法取得了 不 错 的 结 果。对 于 最 具 难 度 的 重 雨 数 据 集Rain100H,文 中 方 法 在 PSNR 上 相 对 于 RESCAN、SPANet 和 JDNet 分别提高了 3.18 dB、2.44 dB 和0郾 09 dB,在 SSIM 上分别提高了 0.08、0.05 和 0.02,在比较的各方法中取得了最优结果。在图 5 和图 6 中分别给出了各比较方法在 Rain100H 数据集和 Real-world 数据集的可视化分析,可以看到,文中方法相对于其他方法在去除雨纹的同时对图像细节的保留程度最高。表 1摇 不同方法的 PSNR 和 SSIM 对比结果数据集评价指标DSC7RESCAN12SPANet27JDNet28文中方法Rain100HPSNR/dB15.8426.2326.9729.3229.41SSIM0.470.830.860.890.91Rain100LPSNR/dB23.1535.9434.3935.8236.15SSIM0.840.980.970.980.98Rain800PSNR/dB20.9733.3832.5632.8533.42SSIM0.780.940.910.940.95图 5摇 Rain100H 数据集中去雨效果对比2.3摇 消融学习为了验证在模块中添加的每个组件的有效性,在Rain100H 测试集上针对每个组件的不同组合进行了结构分析,并标记出取得了最优指标的模块结构,如表2 所示。M1 为基础模块,在完全残差多尺度聚合块中用残差块替代完全残差,且不含可变形卷积块和细节恢复分支;M2 仅使用完全残差多尺度聚合块作单元块且不含细节恢复分支;M3 使用了完全残差多尺度聚合块联合经典卷积作为单元块且不包含细节恢复分支;M4 在文中方法的结构中去掉了可变形卷积块。16摇 第 11 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 宋摇 浩等:基于完全残差的双分支去雨网络结果表明网络中的每个组件都在一定程度上改善了最终结果,通过消融实验,验证了所提方法中各个组件的有效性。图 6摇 Real-world 数据集中去雨效果对比摇 摇 验证了各组件的有效性后,需要探究尺度层数K、单元块数量 L 对去雨结果的影响,其中 K 为完全残差多尺度聚合块中的下采样的次数,L 为雨痕提取分支中通过密集连接的单元块的数量。表 3 给出了对尺度层数 K 和单元块数量 L 的消融分析结果,通过固定L 为32 改变 K 值和固定 K 为4 改变 L 值,在 Rain100H测试集上通过指标 PSNR 和 SSIM 分析得知 K=4、L=32 时,文中方法的去雨效果最好。表 2摇 消融实验结果展示模块完全残差可变形卷积细节恢复PSNRSSIMM127.970.87M2姨28.380.88M3姨姨29.270.91M4姨姨28.630.90文中方法姨姨姨29.410.91表 3摇 尺度层数和单元块数量分析对象数量PSNRSSIM尺度层数 KK=329.320.91K=429.410.91K=529.280.91K=629.070.91单元块数量 LL=2029.040.91L=3229.410.91L=4029.380.913摇 结束语该文提出了一种基于完全残差的双分支去雨网络。在雨痕提取分支中通过在特征金字塔中使用完全残差,专注于各层特征的深度提取,并引入可变形卷积动态扩大感受野来避免产生网格伪影。在细节恢复分支中利用完全残差的轻量性和对特征的重利用,以较少参数的代价恢复出了图像的细节特征图。在合成/真实数据集进行训练和测试,跟比较方法相比该方法在指标值和视觉效果上都取得领先地位。对模块的结构、数量取值做了对比分析,验证了该方法的有效性。该网络还存在几点局限性,一是真实世界的雨纹因为大气光照会产生类似于雾的“面纱冶效应,而该文所使用的训练集中的雨图是由不同方向和大小的雨条纹叠加组成,不能充分模拟真实雨图,这使该方法对真实图像的去雨不够彻底,如何制作一个能模拟真实雨图的数据集是未来需要探究的问题;二是考虑到该方法的实际应用价值,例如将该方法用于自动驾驶,这需要系统在极短的时间去除雨痕,因此在未来需要对网络进行轻量化研究。参考文献:1摇 张凯悦,张摇 鸿.基于注意力机制网络的航运监控图像识别模型J.计算机应用,2021,41(10):3010-3016.2摇 LONG J,SHELHAMER E,DARRELL T.Fully convolution鄄al networks for semantic segmentationC/IEEE confer鄄ence on computer vision and pattern recognition.Boston:IEEE,2015:3431-3440.3摇 KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Imagenetclassification with deep convolutional neural networksJ.Advances in Neural Information Processing Systems,2012,25(2):1106-1114.4摇 KIM J H,SIM J Y,KIM C S.Video deraining and desnow鄄ing using temporal correlation and low-rank matrix comple鄄tionJ.IEEE Transactions on Image Processing,2015,24(9):2658-2670.5摇 YOU S,TAN R T,KAWAKAMI R,et al.Adherent raindropmodeling,detectionand removal in videoJ.IEEE Transac鄄tions on Pattern Analysis and Machine Intelligence,2015,38(9):1721-1733.26摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷6摇LI Y,TAN R T,GUO X,et al.Rain streak removal usinglayer priorsC/IEEE conference on computer vision andpattern recognition.Las Vegas:IEEE,2016:2736-2744.7摇 LUO Y,XU Y,JI H.Removing rain from a single image viadiscriminative sparse codingC/IEEE international confer鄄ence on computer vision.Santiago:IEEE,2015:3397-3405.8摇 KANG L W,LIN C W,FU Y H.Automatic single-image-based rain streaks removal via image decomposition J.IEEE Transactions on Image Processing,2011,21(4):1742-1755.9摇 肖进胜,王摇文,邹文涛,等.基于景深和稀疏编码的图像去雨算法J.计算机学报,2019,42(9):2024-2034.10 FU X,HUANG J,ZENG D,et al.Removing rain from singleimages via a deep detail networkC/IEEE conference oncomputer vision and pattern recognition.Honolulu:IEEE,2017:3855-3863.11 YANG W,TAN R T,FENG J,et al.Deep joint rain detectionand removal from a single imageC/IEEE conference oncomputer vision and pattern recognition.Honolulu:IEEE,2017:1357-1366.12 LI X,WU J,LIN Z,et al.Recurrent squeeze-and-excitationcontext aggregation net for single image derainingC/Eu鄄ropean conference on computer vision.Munich:Springer,2018:254-269.13 ZHANG H,SINDAGI V,PATEL V M.Image de-raining u鄄sing a conditional generative adversarial networkJ.IEEETransactions on Circuits and Systems for Video Technology,2019,30(11):3943-3956.14 张摇 焱,张摇 娟,方志军.基于通道注意力和门控循环单元的图像去雨算法J.计算机应用研究,2021,38(8):2505-2509.15 WANG C,ZHU H,FAN W,et al.Single image rain removalusing recurrent scale-guide networksJ.Neurocomputing,2022,467:242-255.16 杨摇 浩,周冬明,赵摇倩,等.基于多阶段双残差网络的图像去雨模型J.无线电工程,2022,52(11):1933-1943.17 刘文进,王摇 鑫,林摇森,等.基于融合残差与注意力机制的图像去雨网络J.云南大学学报:自然科学版,2022,44(5):940-948.18 HE K,ZHANG X,REN S,et al.Deep residual learning forimage recognitionC/IEEE conference on computer visionand pattern recognition.Las Vegas:IEEE,2016:770-778.19 DAI J,QI H,XIONG Y,et al.Deformable convolutional net鄄worksC/IEEE international conference on computer vi鄄sion.Venice:IEEE,2017:764-773.20 ZHANG K,ZUO W,CHEN Y,et al.Beyond a gaussian de鄄noiser:residual learning of deep cnn for image denoisingJ.IEEE Transactions on Image Processing,2017,26(7):3142-3155.21 HUANG G,LIU Z,VAN DER MAATEN L,et al.Denselyconnected convolutional networksC/IEEE conference oncomputer vision and pattern recognition.Honolulu:IEEE,2017:4700-4708.22 JIANG K,WANG Z,YI P,et al.Multi-scale progressive fu鄄sion network for single image derainingC/IEEE/CVFconference on computer vision and pattern recognition.Seat鄄tle:IEEE,2020:8346-8355.23 FU X,LIANG B,HUANG Y,et al.Lightweight pyramid net鄄works for image derainingJ.IEEE Transactions on NeuralNetworks and Learning Systems,2019,31(6):1794-1807.24 ZHENG Y,YU X,LIU M,et al.Residual multiscale basedsingle image derainingC/British machine vision confer鄄ence.Cardiff:BMVA,2019:147.25 SZEGEDY C,REED S,ERHAN D,et al.Scalable,high-quality object detectionJ.arXiv:1412.1441,2014.26 FAN Z,WU H,FU X,et al.Residual-guide feature fusionnetwork for single i