基于多级联递进卷积结构的图像去雨算法.pdf
《基于多级联递进卷积结构的图像去雨算法.pdf》由会员分享,可在线阅读,更多相关《基于多级联递进卷积结构的图像去雨算法.pdf(14页珍藏版)》请在咨信网上搜索。
1、第 38 卷 第 10 期2023 年 10 月Vol.38 No.10Oct.2023液晶与显示Chinese Journal of Liquid Crystals and Displays基于多级联递进卷积结构的图像去雨算法张勇1,2,郭杰龙2*,汪帆1,2,兰海2,俞辉2,魏宪2(1.福州大学 电气工程与自动化学院,福建 福州 350108;2.中国科学院 福建物质结构研究所,福建 福州 350108)摘要:雨天图像会影响计算机视觉任务的效果与精度。雨天图像常常包含来自不同方向、大小、形状的雨点或雨痕,在对这些雨点、雨痕进行去除时,现有的方法往往没有考虑到雨天图像不同精细尺度下的特征信息
2、,仅采用单一尺度进行图像去雨存在很大缺陷,无法恢复出足够清晰的视觉任务图像。受益于卷积神经网络架构的强大特征提取能力,本文提出了一种端到端的多级联递进卷积结构算子,该算子包含 4层卷积层,通过阶梯化连接构成一个整体模块,该模块可以针对多尺度场景下的雨天进行特征提取并整合。将该算子模块嵌入到渐进循环网络结构中,利用循环结构多次去除雨纹,最终有效还原出接近真实图像的无雨图像。该方法在现有的人工合成雨图数据集 Rain100H、Rain100L、Rain800与自动驾驶领域合成雨图数据集 BDD1000 上进行了对比实验。实验结果表明,该算法在 4 个数据集上的 PSNR 值达到了30.70,37.
3、91,27.63,35.74 dB,SSIM 值达到了 0.914,0.980,0.894,0.977。通过真实雨图数据集去雨结果的可视化展示,充分验证了本文方法在去雨任务上的有效性。关键词:图像去雨;多级联递进卷积结构;卷积神经网络;深度学习;多尺度特征;残差结构中图分类号:TP391.4 文献标识码:A doi:10.37188/CJLCD.2022-0383Image rain removal algorithm based on multi-cascade progressive convolution structureZHANG Yong1,2,GUO Jie-long2*,WAN
4、G Fan1,2,LAN Hai2,YU Hui2,WEI Xian2(1.College of Electrical Engineering and Automation,Fuzhou University,Fuzhou 350108,China;2.Fujian Institute of Research on the Structure of Matter,Chinese Academy of Sciences,Fuzhou 350108,China)Abstract:Rainy images can affect the performance and accuracy of comp
5、uter vision tasks.Rainy images often contain raindrops or rain marks from different directions,sizes,and shapes.When removing these raindrops and rain marks,the existing methods often do not take into account the feature information of rainy images at different fine scales,and only use a single scal
6、e.There is a big defect in image deraining,and it is impossible to restore a clear enough image for visual tasks.Therefore,benefiting from the powerful feature extraction capability of the convolutional neural network architecture,an end-to-end multi-cascade progressive convolution structure operato
7、r is proposed,which consists of four convolutional layers connected through a ladder to 文章编号:1007-2780(2023)10-1409-14收稿日期:2022-11-16;修订日期:2022-12-28.基金项目:福建省科技计划(No.2021T3003);泉州市科技计划(No.2021C065L)Supported by Fujian Science and Technology Plan(No.2021T3003);Quanzhou Science and Technology Plan(No.
8、2021C065L)*通信联系人,E-mail:第 38 卷液晶与显示form an overall module.This module can extract and integrate rainy weather features in multi-scale scenes.The operator module is embedded into the progressive recurrent network structure,the recurrent structure is used to remove rain streaks many times,and finally
9、the rain-free image close to the real image is effectively restored.The method is compared with the existing artificially synthesized rain image datasets Rain100H,Rain100L,Rain800 and the synthetic rain image dataset BDD1000 in the field of automatic driving.The experiment results shows that the PSN
10、R values of the algorithm on the four datasets reach 30.70,37.91,27.63,35.74 dB,and the SSIM values reach 0.914,0.980,0.894,0.977.Through the visual display of the rain removal results of the real rain map dataset,the effectiveness of the method in this paper on the rain removal task is fully verifi
11、ed.Key words:image rain removal;multi-cascade progressive convolution structure;convolutional neural network;deep learning;multi-scale feature;residual structure1 引言随着人工智能与深度学习的研究与发展,计算机视觉技术1已被广泛应用于自动驾驶、全息投影2、计算光学成像3等各个领域,对于图像的处理技术也提出了更高的要求。室外采集的雨天图像会对计算机视觉任务造成不可控的恶劣影响,如准确率降低、精度下降、网络无法收敛等。因此,将采集到的雨天
12、图像进行恢复,去除雨痕得到干净的无雨图像是相当有意义的。现有的去雨方法往往只考虑到浅层单一尺度的雨图特征,并未深入挖掘全局特征图所包含的多尺度与精细化特征。本文提出了一种多级联递进卷积结构,可以将原有卷积核提取到的特征图进行多层次分块特征提取后联合重组,分阶段多次地提取特征信息,将原有特征进行深层分离再提取后送入激活层。相比于普通卷积,该卷积结构能够在少量增加参数量的情况下有效地扩大卷积层的感受野,提升对图像细节特征提取能力与全局特征分析能力。具体体现在雨图中,则能够更细致地捕捉到不同大小形状的雨痕或雨纹,对其进行剔除且能有效地保留原无雨图片的背景细节。此外,该结构可以通过合理地调整通道数达到
13、降低网络参数量的目的,缩短了学习时间与学习成本,使网络更加轻量化,可以便携搭载到各种车载图像处理设备中,有广泛的应用前景。本文构建的去雨网络模型在常用的主流雨天数据集与实验室自建的自动驾驶雨天数据集中进行定量和定性的评估,实验结果表明,本文算法的性能均优于现有方法。2 研究现状2.1单幅图像去雨在 2017年以前,去雨网络的研究主要集中在基于模型分析的方法4,这些方法主要是在雨图模型上进行的数学解析与重构,区分出雨纹图和无雨背景,达到去雨目的。在该领域研究中,最早由 Kang等人5提出了一种图像分解的方法,通过对雨图低频/高频分量的分解来去除雨痕。随后,文献 6 构造了基于稀疏编码的方法,通过
14、用稀疏编码判别式将雨层和无雨层分离。Li等人7提出了基于先验的高斯混合模型,通过结合先验知识更加有效地去除雨条纹。但基于模型分析的传统去雨方法取得的去雨效果普遍较差,因此在2017年后,基于数据驱动(深度学习)的单幅图像去雨的研究4受到了更多的关注。典型的方法包括深度卷积网络、生成对抗网络及半监督/无监督的方法。在深度卷积网络方法中,文献 8 搭建了一种多任务卷积网络架构学习得到二进制的雨图和干净的背景来去除雨纹。Li等人9提出了一种采用扩张卷积神经的循环神经网络,将去雨分为多个阶段达到逐渐去除雨痕的效果。Ren等人10采用反复循环展开浅层 Resnet 网络及阶段性逐步处理输入和输出结果来取
15、得良好的去雨效果。Wang等人11提出了一种内建多尺度连接块,将其跳跃连接,以此增强网络的特征提取能力来增强去雨能力。在生成对抗网络的方法中,文献 12 提出了通过多尺度的鉴别器应用于对抗生成网络来降低去雨天图像与真实无雨图像1410第 10 期张勇,等:基于多级联递进卷积结构的图像去雨算法间的差异。在自监督/无监督的去雨方法中,Wei等人13最早用半监督学习范式将输入雨天图像与预期无雨图像之间的差异转化为特定的参数化雨条纹,再将其去除达到去雨目的。Jin等人14率先提出了一种无监督去雨网络,从未配对的雨天和干净图像中引入自监督约束项来取得去雨效果。2.2雨图构成雨图的解构方法主要包括线性叠加
16、模型7与复合雨图模型两大类。复合雨图模型包括非线性复合雨纹模型6、大雨天气模型8、周遭环境融合雨图模型15、景深雨图模型16等。复合雨图模型虽可以对复杂情境下的雨图进行建模,但存在分析困难、参数复杂的缺点,故不常运用在去雨任务中。本文采用简单有效的线性叠加模型,该模型可以表示为:O=B+S.(1)其中:O为雨图,B为干净的无雨背景图,S为雨痕图。该建模假设图像的雨痕条纹只是简单叠加于干净的无雨背景图上,忽略较大的雨痕、雨滴在背景图上形成的雨雾积累效应。2.3多尺度空间同一图像不同的分辨率大小、不同的图像细节层次、不同的尺度缩放、不同卷积层级下的特征图都属于多尺度空间的范畴。在多尺度空间下提取的
17、特征包含更加丰富的视觉信息,所能获取到的信息量更多。现今,多尺度特征提取研究方法包含 3 类,一种是基于网络整体结构的层间特征信息整合方法,相关的研究文献 17-20基于此方法,通过不同类型的卷积层间连接方式来增加网络特征提取层的多尺度信息提取与整合能力。另一种是基于卷积结构上的创新与改进方法,文献 21-25 通过构建出一个新颖的卷积核模块,扩展原本普通特征提取层的卷积感受野,来取得一定的多尺度信息提取效果。文献26-27 则是综合了上述两种方法,同时对提取层结构与网络层间连接方式进行改进,取得了一定的效果。3 多级联递进卷积结构的去雨网络3.1多级联递进卷积结构算子为了有效提取并利用特征图
18、中的多尺度信息,本文提出了一种多级联递进卷积结构,即通过一种将通道分离后再进行阶梯化卷积并拼接的操作,利用该操作来优化原本的全通道卷积运算,挖掘出特征图的深层次特征信息并在不同的通道中构筑信息联系。相比于普通的单层卷积方式,该结构有效地扩大了感受野范围,增加了多尺度特征信息的提取能力。另外,我们还进一步提出了模型的轻量化改进方法,可以在保证去雨能力的同时,有效解决多尺度研究中存在的参数冗余与模型过大的缺点。针对具体去雨任务,雨点、雨线所体现出的形态特征通常是离散分布于图片的多个区域且形状大小均不一致的状态,此类分布状态就是一种多尺度的特征分布场景。普通的卷积层对于此种特征的捕捉能力相当有限,一
19、般的去雨网络对该雨纹、雨痕的特征学习能力较差。因此,本 文 在 去 雨 网 络 中 引 入 多 级 联 递 进 卷 积结构,如图 1 所示。它可以深入挖掘特征图的细节信息,将多尺度空间所包含的特征信息通过多分支结构分离提取再重组,从而细化每一分支提取细节特征的能力并加强通道间的特征信息融合能力,最后输出完备的多尺度全局特征。正是通过多层次多尺度的细粒度特征提取,使我们能更为有效地捕捉到复杂雨痕特征,再将不同尺度下的雨纹特征融合提取,送入网络中学习训练,最终训练得到了强泛化能力的去雨网络。在实际的特征提取过程中,定义输入的图片为X,首层升维卷积计算操作记为fupgrad。先通过图 1多级联递进卷
20、积结构Fig.1Multi-cascade progressive convolution structure1411第 38 卷液晶与显示一层1 1卷积将通道数由C扩张成2C,进行特征图的维度增广。该过程不改变原有特征图的宽与高,仅对特征图进行升维操作。通过升维计算可以得到升维后的全局特征图X1。之后通过四层阶梯型卷积结构,每层大小均为3 3的卷积核,通道数依次减半,逐层递减,由上至下卷积计算记为fi,(i=1,2,3,4),输入为Xi,输出为Yi,可以得到Yi=fi(Xi)。随后将得到的Yi进行concat拼接操作,再通过一层1 1卷积进行特征信息整合,输出深层次细粒度特征提取后的特征图
21、Y,最终得到这一次特征提取的综合结果。公式如式(2)所示:X1=fupgrad(X)Xi=fi-1(Xi-1)i 2,4 Yi=fi(Xi)i 1,4 Y=fout(concat(Yi)i 1,4 .(2)在去雨网络中,仅使用单个多级联递进卷积结构算子的特征分析能力较为有限,需要多层级串联后,嵌入去雨骨干网络当中,达到提升去雨效果的目的,同时为了减轻网络加深带来的网络退化效果,该算子在实际应用时,需要引入残差连接来减轻网络退化带来的性能减弱。此外,该算子的第一层1 1卷积核为通道数升维操作,是为了扩大基础特征图所包含的可学习特征信息,以便能更好地进行特征融合提取。若不进行升维操作,会略微降低原
22、有网络效果,但却能大幅减少原网络中可学习的参数量,实现网络轻量化的目的,方便搭载于各种简易智能平台。轻量化结构改进示意图如图 2所示。3.2渐进循环网络结构一般的网络结构的搭建常采用多模块堆叠构成。本文采用的网络结构不同于普通堆叠,而是一个主体多次循环的层次化递进循环网络结构。该网络结构由 4 部分构成:首先该网络的输入由雨图X与阶段性去雨结果Y的张量化拼接构成,第一层网络为输入层fin,包含一层卷积核大小为3 3的卷积层与一层 ReLU 激活层;第二层网络为长短期记忆(Long short-term memory,LSTM)28网络层fre,该层用于解决网络多次循环带来的长时依赖问题,能够有
23、效地记忆输入层fin获取到的特征图信息;第三层网络为多级联递进卷积结构模块fm,该模块包括 5 个串行连接的多级联递进卷积结构算子,结构内通过残差跳跃连接的方式来减少网络加深带来的退化效果;最后一层为输出层fout,包含一层卷积核大小为3 3的卷积层,用于最后的图片还原输出,得到去雨后的图像。我们将第t次循环阶段记为St,则第t次循环可以表示为:Xt=fin(Yt-1,Xin)St=fre(St-1,Xt)Yt=fout(fm(St).(3)该网络由如图 3所示的主体网络结构共循环6 次得到,循环次数可以适当增加或减少。本文将在 5.4 节中给出相应的实验与测试,以此证明在循环次数达到 6 次
24、时,去雨网络性能最优。基于多级联递进卷积结构的去雨网络最终全局示意图如图 4所示。图 3渐进循环图像去雨网络结构示意图Fig.3Schematic diagram of progressive cycle image deraining network structure图 2参数轻量化的多级联递进卷积结构Fig.2Multi-cascade progressive convolution structure with lightweight parameters1412第 10 期张勇,等:基于多级联递进卷积结构的图像去雨算法4 实验工作4.1实验环境及数据集为保证实验效果,所进行的实验均为
25、统一的实验环境,实验硬件环境与软件环境如表 1 与表 2所示。实验的网络参数配置为:学习率初始预置为 0.000 5;训练迭代次数为 100;学习率分别在30、50、80次迭代时衰减学习率,衰减率=0.2。网络优化工具为适应性矩阵估计算法(Adaptive moment estimation,Adam)。在数据处理方法上,我们将完整图片裁剪为若干个 100100 的补丁块再送入网络中进行运算,以提高网络训练效率。4.2评价指标与网络损失函数本文评价指标是图像去噪领域常采用的结构相似度(Structural similarity,SSIM)29与峰值信噪比(Peak signal-to-nois
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 多级 递进 卷积 结构 图像 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。