基于注意力机制的多尺度特征融合图像去雨方法.pdf
《基于注意力机制的多尺度特征融合图像去雨方法.pdf》由会员分享,可在线阅读,更多相关《基于注意力机制的多尺度特征融合图像去雨方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、D0I:10.13878/ki.jnuist.20220718001刘忠洋周杰陆加新缪则林!邵根富3江凯强高伟1基于注意力机制的多尺度特征融合图像去雨方法摘要雨纹分布和形状具有多样性,现有去雨算法在去雨的同时会产生图像背景模糊、泛化性能差等问题.因此,本文提出一种基于注意力机制的多尺度特征融合图像去雨方法.特征提取阶段由多个包含两个多尺度注意力残差块的残差组构成,多尺度注意力残差块利用多尺度特征提取模块提取及聚合不同尺度的特征信息,并通过坐标注意力进一步提高网络的特征提取能力.在组内进行局部特征融合,组间利用全局特征融合注意力模块更好地融合不同层次的特征,通过像素注意力使网络重点关注于雨纹区域
2、.在仿真和真实雨像数据集上与其他现有图像去雨算法相比,本文方法的定量指标有着明显提高,去雨后的图像视觉效果较好且具有良好的泛化性.关键词图像去雨;多尺度;特征融合;残差网络;坐标注意力中图分类号TP391.4文献标志码A收稿日期2 0 2 2-0 7-18资助项目国家自然科学基金(6 197 116 7,6 2 101275,62101274);江苏省信息与通信工程优势学科建设项目作者简介刘忠洋,男,硕士生,研究方向为图像处理、计算机视觉.2 0 2 0 12 49 541 周杰(通信作者),男,博士,教授,研究方向无线通信理论、移动通信理论1南京信息工程大学人工智能学院(未来技术学院),南京
3、,2 10 0 442南京信息工程大学电子与信息工程学院,南京,2 10 0 443杭州电子科技大学自动化学院,杭州,310 0 180引言雨纹会严重影响图像拍摄质量,含有雨纹的图像往往存在图像模糊、图像对比度和能见度降低、目标遮挡等问题,严重阻碍诸如目标检测、目标跟踪和图像识别等计算机视觉任务的执行.因此,图像雨纹的去除研究近年来在计算机视觉领域引起了极大的关注.现有的图像去雨算法包括视频去雨算法和单幅图像去雨算法.视频去雨算法可通过连续图像帧进行雨纹的检测与去除,而单幅图像去雨算法缺乏时序信息,所以单幅图像去雨更具有挑战性.现有的基于单幅图像的去雨算法可以分为基于图像先验的算法和基于深度学
4、习的算法.Kang等 利用双边滤波将图像分解为高频部分和低频部分并在高频部分中应用字典学习去除雨纹.Li等2 使用高斯混合模型作为先验,将雨纹层从背景图像中分离出来.由于雨纹分布密度不均、形状大小不一,所以基于图像先验的算法无法有效捕捉并去除雨纹.近年来,由于卷积神经网络在计算机视觉领域取得成功,研究人员提出许多基于CNN的图像去雨方法.Fu等3 提出一种DerainNet网络,利用滤波器将图像分解成高频层与低频层并将高频层送入网络进行训练,随后对网络输出和低频层进行图像增强并将其融合得到最终的去雨图像.Ren等4 提出一种渐进式去雨网络PReNet,每阶段由残差网络与循环层构成,阶段的结果与
5、原始雨图的拼接作为下一阶段的输入.Fu等5 设计出一种基于轻量级金字塔去雨网络LPNet,该网络引人拉普拉斯金字塔结合递归残差结构实现图像去雨.Wang等 提出一种基于深度跨尺度融合结构的单幅图像去雨网络DCSFN,通过跨尺度方式融合不同的子网并使用内尺度连接方式实现雨纹去除.Yi等7 提出一种使用残差通道先验引导的去雨网络SPDNet,并通过迭代制导的方式直接生成清晰的无雨图像.虽然基于深度学习方法的去雨性能方面有了显著改进,但部分网络通过增加深度或者利用多分支结构来增强网络性能,使得结构过于复杂并导致网络难以训练.现有方法并未充分利用多尺度信息,对像素以及通道信息也没有有效利用,去雨后的图
6、像存在局部细节模糊现象且不能很好地保留图像的纹理结构.有鉴于此,本文利用全局特征融合结构可以有效融合不同层次特征的特点,提出一种基于注意力机制的多尺度特征融合图像去雨网络(Multi-scale FeatureFusion AttentionNetwork,MFFAN).本文的主要工作如下:刘忠洋,等.基于注意力机制的多尺度特征融合图像去雨方法,506LIU Zhongyang,et al.Image rain removal via multi-scale feature fusion based on attention mechanism.1)提出一种端到端的结合注意力机制的多尺度等I
7、提出一种车道线检测方法LaneSegNet,使用一特征融合去雨网络,通过双层特征融合结构加强网种混合注意力网络,将空间与通道注意力相结合来络各层间的信息流动与特征复用,在有效避免浅层获取丰富的车道线特征,增强网络的性能.张凯等12 特征丢失的同时为去雨图像提供更多的细节信息提出一种用于射频指纹识别的注意力残差卷积神经全局特征融合注意力模块进一步提高了去雨图像质网络,通过注意力机制,提高网络对于指纹图像中有量,且整体网络易于训练.效信息的关注.2)为了充分利用多尺度信息,设计出多尺度注2本文方法意力残差模块(Multi-scale Attention Residual Block,MARB).首
8、先利用不同扩张卷积提取不同尺度的特征信息,再通过通道分离一卷积一拼接的方式增强网络的特征提取能力,最后坐标注意力(CoordinateAttention,CA)【8 通过位置信息对通道关系和长期依赖性进行编码,提高网络对于重点特征的关注。3)使用均方误差以及结构相似度作为联合损失函数约束网络.在仿真和真实雨像数据集上进行评估,所提算法有着较好的去雨纹效果且保留较多的图像细节信息,1相关工作1.1残差网络卷积神经网络在计算机视觉领域已经取得巨大成功,学者们提出许多经典的卷积神经网络如LeNet、A le x Ne t、V G G Ne t 等.通过增加网络的宽度和深度可以提高网络的性能,但是一味
9、地增加深度会导致梯度弥散/爆炸以及网络退化问题.因此,He等9 提出一种残差网络,并在 ImageNet比赛中获得分类和识别任务的冠军.残差网络由多个残差块堆叠而成,在残差块中使用一种跳跃连接,有效缓解了深度神经网络中增加深度所带来的问题.H(x)=h(x)+F(x),其中,为残差块输人,F()为恒等映射输出,F()为残差映射.前向传播时,输人信号可以从任意低层直接传播到高层,有效解决网络退化问题;反向传播时,信号可以不经过中间权重层直接到达低层,有效缓解梯度弥散的问题.1.2注意力机制人类可以高效地在复杂场景中找到重要区域受此启发,注意力机制被引人到计算机视觉中,目的是模仿人类视觉系统.注意
10、力机制在图像分类、目标检测、语义分割等视觉任务中进一步提升了网络的性能.康健等10 设计出PFA-LinkNet,利用通道注意力机制对编码阶段的特征图各通道间的相互关系进行建模来增强网络提取水体特征的能力.胡序洋2.1冈网络结构本文算法MFFAN的网络结构如图1所示,网络的整体架构包括5个部分:浅层特征提取模块(Sh a l l o w Fe a t u r e Ex t r a c t i o n Bl o c k,SFEB)、多个串联的多尺度注意力残差组模块(Multi-scaleAttentionResidualGroupBock,M A R G B)、局部特征融合模块(Lo c a l
11、 Fe a t u r e Fu s i o n Bl o c k,LFFB)、全局特征融合注意力模块(Global Feature Fusion Attention Block,GFFAB)和图像重建模块(ImageReconstructionBlock,IRB).其中每个多尺度注意力残差组由2 个多尺度注意力残差模块和局部特征融合模块组成,定义输人图像为ximput浅层特征提取模块(SFEB)由一层卷积核大小为3的卷积层构成,对输入图像进行浅层特征提取.S=ConV3x3(ximput),(2)其中,ConVixi表示卷积核大小为i的卷积,S代表浅层提取模块的输出.多个多尺度注意力残差组模
12、块(MARGB)可表示为M=f.(M),i=1,n,其中,f表示第i个MARGB,M 表示第i个MARGB(1)的输人和第i1个MARGB的输出.全局特征融合模块(GFFAB)可表示为G=f.(M,M2,Ms,M,J),其中,f,表示GFFAB,表示通道拼接操作,G表示特征融合注意力模块的输出.局部特征融合模块(LFFB)仅使用通道拼接以及11卷积进行融合.最后使用卷积大小为3的卷积核进行图像重建,网络的最终输出可表示为Y=X-ConV3x3(G),其中,Y表示网络的最终输出图像.2.2多尺度注意力残差模块在图像去雨任务中,空间上下文信息对捕捉和去除雨纹十分重要.雨纹的形状和密度都是多样的,使
13、用普通的残差块无法很好地提取到整个图像的雨(3)(4)(5)南京信息工经大学学报(自然科学版),2 0 2 3,15(5):50 5-513Journal of Nanjing University of Information Science&Technology(Natural Science Edition),2023,15(5):505-513507MARBSFEBIRB三Conv卷积CA坐标注意力GFFAB全局特征融合注意力模块图1MFFAN网络框架Fig.1 Network framework of the proposed MFFANMARGB多尺度注意力残差组模块MARB多尺度
14、注意力残差模块MFEB多尺度特征提取模块LFFB局部特征融合模块元素相减元素相加纹特征.因此,本文使用多尺度注意力残差模块提取雨纹特征,利用多尺度特征提取模块(Multi-scaleFeature ExtractionBlock,M FEB)代替残差块中串联的2 个33卷积,并使用坐标注意力进一步细化提取特征,具体结构如图2 所示.对于模块输人n首先使用2 个大小为3,扩张因子分别为1、2 的扩张卷积来提取感受野尺度为33和55的特征信息,并使用LeakyReLu激活函数.随后将不同尺度的特征进行拼接,使用11的卷积进行通道降维.k=ConV1x1(ConV3x3,i(n),(Conv3x3,
15、2(n),(6)其中,ConVixi,表示卷积核大小为i,扩张系数为i的扩张卷积.为了实现在细粒度层面提取雨纹的多尺度特征,在通道维度使用多级分割卷积拼接方式对雨纹特征k进行提取.首先将k分割成4个具有同等的通道数的特征ki,k,ks,k4.第1组特征图ki经过卷积核大小为3的卷积,输出特征为0 1.将o1在通道维度对半分割成0 1,1和0 1,2,并将0 1,2 与下一组特征k2进行通道拼接后送人卷积核大小为3的卷积中.这样操作重复3次,使得拼接后的特征得到充分复用.在前面分组中的特征所经历卷积次数较少,其感受野也较小,这能够帮助网络有效关注细节信息.相反,后面分组中含有的特征经历的卷积次数
16、较多,其感受野也就较大,能够帮助网络关注全局信息.rConv3x3(hk,),i=1,0=Conv3x3(k;,0i-1,2),1 i 4,最终,将输出特征图0 1,1,0 2,1,,0 4沿通道维度进行拼接,再使用11卷积降低通道维度:y=ConV1x1(01,1,02,1,04).接着使用坐标注意力进一步加强网络性能.坐标注意力首先使用尺寸为(H,1)和(1,W)的池化核沿着输入特征图的水平坐标及垂直坐标对每个通道使用全局平均池化.因此,高度为h的第c个通道的输出以及宽度为w的第c个通道的输出可以表示为z(h))=Zy.(h,i),WoRWz(w)HZ.y.(jw),HoH其中:y(h,i
17、),y。j,w)分别表示输人特征图y中坐标为(h,i),(j,w)、通道维度为c的分量;z(h)表示高度为h的第c个通道的输出分量;z(h)表示宽度为w的第c个通道的输出分量.之后将2 与”在通道维度上进行拼接,并使用一个共享的11卷积进行通道降维,紧接着对其使用H-swish非线性激活函数,得到中间特征t:t=S(ConV1x1(z,z).(7)(8)(9)(10)(11)1刘忠洋,等.基于注意力机制的多尺度特征融合图像去雨方法.508LIU Zhongyang,et al.Image rain removal via multi-scale feature fusion based on
18、attention mechanism.FeatureMapCxHxWDilated ConvDilated ConvLeakyReLuLeakyReLuConcat+ConvSplitFeatureMapFeatureMapConvConcat+ConvSplitSplit1Concat+ConvFeatureMap1111111多尺度特征提取模块11111FeatureMapFeatureMapConcat+ConvConcat+ConvSplitCxHxWCxHx1XAvg PoolingConcat+ConvNon-LinearSplitCxHx1ConvCxHx1SigmoidFea
19、tureMap(C/4)xHxWYAvg PoolingConvSigmoid坐标注意力CxHXW1Cx1xW11(Clr)x1x(W+H)1(Clr)1x(W+H)Cx1xWCx1xW11111FeatureMapNon-Linear特征图非线性激活X/YAvg Pooling图2 多尺度注意力残差模块Fig.2 Multi-scale attention residual blockLeakyReLuLeakyReLu激活函数X/Y轴平均池化SigmoidSigmoid激活函数Concat通道拼接Dilated Conv扩张卷积将t沿着空间分割成2 个独立分量t和t,并使用2个11的卷积将
20、2 个独立分量转换到与输入特征y具有相同的通道数的分量,再使用Sigmoid激活函数,可表示为mt=o(ConVixi(t),m=g(ConVixi(t),m和m”分别表示2 个坐标轴上坐标的注意力权重,表示Sigmoid激活函数.坐标注意力的输出可以表示为u.(i,j)=ye(ij)m(i)xma(i),u(i,j)表示输出特征图中坐标为(i,i)、通道维度为c的分量.最终,整体模块的输出M可表示为M=n+u.2.3全局特征融合注意力模块(12)简单相加或拼接操作无法很好地融合不同层次(13)的特征.为了加强特征融合的效果,本文使用一种像素注意力为图像中的每个像素赋予不同的权重,使得网络对于
21、雨纹区域的关注度更高.像素注意力13应用于图像去雾领域用以解决雾特征在不同像素区(14)域分布不均的问题.首先对不同层次的特征进行通道拼接,并使用一个1x1的卷积进行通道降维,最后(15)南京信息工经大学学报(自然科学版),2 0 2 3,15(5):50 5-513Journal of Nanjing University of Information Science&Technology(Natural Science Edition),2023,15(5):505-513送人到像素注意力中,模块整体结构如图3所示.3实验与结果Concat+ConvReLuReLu激活函数元素相乘图3全局
22、特征融合注意力模块Fig.3Global feature fusion attention block全局特征融合注意力模块(GFFAB)可表示为g=ConVixiM,M2,M,(16)Pa=(ConVixi(ConVixi(g),(17)G=PA Cg,(18)其中,g表示聚合的全局特征,表示ReLu激活函数,PA表示像素注意力模块输出,G表示整体模块输出.2.4损失函数均方误差(Mean Square Error,MSE)作为损失函数被广泛用于图像去雨任务,但会造成重建图像中的高频纹理过度平滑甚至模糊.结构相似度(St r u c t u r a l Si m i l a r i t y,
23、SSIM)损失作为衡量2 幅图像之间结构相似性的重要指标,可以使去雨后的图像更符合人类的视觉感官.为了更好地训练网络,将SSIM损失和MSE损失结合形成一种混合损失函数.(19)LssIm=1-SSIM(h(x),I),(20)其中,是网络输人图像,h()是网络输出图像,I是无雨标签图像.通过组合LMsE 和LssSM,最终的混合损失函数可以表示为L=LMsE+rLssIM,509其中,r作为平衡MSE损失与SSIM损失之间的超参数.实验时,将输入图像首先进行归一化处理再送人MARGB网络,使得MSE损失与 SSIM 损失的范围均在O,1之间.根据文献14,将r设置为0.2,在图像保持像素级相
24、似性的同时保持全局结构,获得与原图更接MARGB近的去雨图像.3.1楼数据集与训练配置Conv利用Rain100L、R a in 10 0 H 以及Rain12数据集来对MFFAN进行训练和测试.Rain100L是小雨数据ReLu集,由一种类型的雨带的合成图像构成,包含2 0 0 对训练图像和10 0 对测试图像.Rain100H是大雨数据Conv集,含有5种雨纹方向,包括18 0 0 对训练图像以及100对测试图像.Rain12数据集由于数量较少被作为Sigmod测试集,将Rain100L作为训练集进行训练.真实世界的雨图可以有效评估算法的泛化性能.实验时,将每张图像随机裁成大小10 0 1
25、0 0 的图像块进行训练.使用Adam优化器进行模型参数的优化,初始学习率为0.0 0 1,训练迭代次数设置为100,在第30、50、8 0 次迭代时,学习率乘以0.2 进行衰减,一个批次大小设置为16,卷积核通道数设置为32.实验在一台装有Linux系统,显卡型号为NVIDIATesla T4,Python3.7版本,pytorch1.2.0版本的服务器上完成。3.2仿真雨像实验与分析将所提算法在仿真数据集上与JORDER15DRN 16 PReNet4、R e H EN17 LPNe t 5 和 BRN 18进行对比.图4为本文方法与其他现有方法的去雨图像.表1为各方法在仿真数据集上测试的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 注意力 机制 尺度 特征 融合 图像 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。