一种基于条件约束注意力生成对抗网络的水下图像增强模型.pdf
《一种基于条件约束注意力生成对抗网络的水下图像增强模型.pdf》由会员分享,可在线阅读,更多相关《一种基于条件约束注意力生成对抗网络的水下图像增强模型.pdf(7页珍藏版)》请在咨信网上搜索。
1、摘要:针对由水下复杂环境导致的水下图像颜色失真、对比度和清晰度低等问题,提出了一种基于条件约束注意力生成对抗网络的水下图像增强模型.首先,该模型包括生成网络模块和判别网络模块,在模型训练过程中,两模块进行相互对抗学习,使得该模型具备较好的特征提取能力;其次,生成网络模块中设计了空间注意力模块,加强或减弱空间位置的特征,提高了水下图像的清晰度和对比度;采用跳跃连接改善了梯度消失现象,同时有助于梯度的反向传播;最后,损失函数中采用了组合损失函数进行迭代训练,增加了模型训练时的条件约束,提高了模型训练的稳定性.实验结果表明:所提模型增强后的图像清晰度和颜色校正情况优于其他对比算法;该模型的评价指标值
2、较对比算法指标值均有所提高.该模型获得了更好的主观视觉评价和客观量化评价,有效提高了图像质量,且耗时更短.关键词:水下图像增强;生成对抗网络;空间注意力;条件约束;组合损失中图分类号:TP391.41文献标志码:A文章编号:2095-719X(2023)04-0274-07Underwater Image Enhancement Using a Conditional ConstrainedAttention Generative Adversarial NetworkYANG Zhenjian,LI Can,WANG Jiao,CHEN Zihui(School of Computer an
3、d Information Engineering,TCU,Tianjin 300384,China)Abstract:Aiming at the problem of color distortion and low contrast in underwater images,this paper proposes underwaterimage enhancement based on conditional constrained attention generative adversarial network.First,the module includesgenerative ne
4、twork module and discriminative network module.During module training,the generative network module andthe discriminative network module compete with each other thus rendering better feature extraction capability;Next,the spaceattention module designed in the generative network module enhances or we
5、akens spatial position and improves clarity andcontrast of underwater images;The gradient disappearance is improved and the gradient back propagation is enhanced byusing jump connection;Finally,designing and combinatorial loss function iterative training adversarial networks improve thestability of
6、network training and obtain enhanced underwater images.In term of view evaluation,the image sharpness andcolor correctness of the proposed algorithm is better.Underwater image quality evaluations are all improved compared with thevalue of the comparison algorithm.The experimental results show that t
7、he algorithm can obtain better subjective visualevaluation and objective quantitative evaluation,and effectively improve the quality of image generation by shorter time.Key words:underwater image enhancement;generative adversarial network;spatial attention;conditional constraint;combinatorial lossDO
8、I:10.19479/j.2095-719x.2304274天津城建大学学报允燥怎则灶葬造 o枣 栽蚤葬灶躁蚤灶 Chengjian 哉灶蚤增藻则泽蚤贼赠第 29 卷第 4 期圆园23 年 8 月Vol.29No.4Aug.2023收稿日期:2021-11-19;修订日期:2021-12-14基金项目:天津市教委科研计划项目(2017KJ059)作者简介:杨振舰(1975),男,天津人,天津城建大学教授.一种基于条件约束注意力生成对抗网络的水下图像增强模型杨振舰,李灿,王娇,陈子辉(天津城建大学 计算机与信息工程学院,天津 300384)水下图像在深海勘探中有着重要应用,其图像质量直接关系到人
9、们对水下环境认知程度的深浅,但由于水下的复杂环境,采集到的水下图像存在颜色失真、清晰度低等问题,所以如何有效地改善水下图像质量,使其满足水下应用需求已成为人们关注的热点问题.水下图像增强算法分为传统算法和基于深度学习算法1.传统算法的水下图像增强算法2-5通过获得水下图像的先验信息实现增强,但特征提取与表达能力有限,所以导致该类算法的自适应能力和鲁棒性不2023 年 8 月强.近年来,具有较强特征学习和表达能力的深度学习算法引起人们的广泛关注,国内外诸多研究学者尝试利用深度学习算法进行水下图像增强,以弥补基于传统水下图像增强算法的不足.根据采用的模型类别,基于深度学习的算法可分为判别式模型和生
10、成式模型6.判别式模型7-9一般由卷积层简单堆叠组成模型来完成图像特征的提取,然后利用学习到的特征完成水下图像增强.Li 等10基于融合的水下图像增强方法提出了一种门控融合 CNN 模型(a gated fusion CNNtrained by the constructed dataset for underwater imageenhancement,water-Net),将输入与预测的置信度图融合以实现增强的结果.Sun 等11提出了一种基于编码-解码器的 pixel-to-pixel 网络模型进行水下图像增强.Li 等人12提出了一种水下图像合成算法(underwaterscene p
11、rior inspired deep underwater image and videoenhancement,简称 UWCNN),模拟多种退化的水下图像,使水下图像达到增强的效果.虽然判别式模型的算法在一定程度上解决了传统算法的不足,但生成图像在细节和色彩方面仍有所欠缺.采用生成式模型的算法通过生成网络和判别网络两者进行对抗学习来获得输出模型,具有更强的表达能力和特征学习能力.Goodfellow 等13首次利用对抗学习生成式模型,提出了生成对抗网络(generative adversarial networks,简称GAN)算法,提高了生成图像的质量.Fabbri 等14提出了一种循环一
12、致性对抗网络来改善水下视觉场景质量(enhancingunderwaterimageusinggenerativeadver-sarialnetworks,简称 UGAN)的算法.Mirza 等15提出了用条件生成对抗网络(convolutional generative adver-sarialnetworks,简称 CGAN)来解决原始GAN 网络在训练过程中学习到的特征变化问题以及模型学习的不确定性问题.CGAN 通过在生成网络和判别网络中增加额外条件来监督 GAN 模型训练,有效约束了生成网络的训练.Guo 等16利用颜色判别对图像的颜色信息进行学习,提出了一种基于条件生成对抗网络的水
13、下图像增强算法.Liu 等17提出了一种基于条件生成对抗网络的多尺度特征融合网络,用于水下图像色彩校正.CGAN 算法可以提高处理不同退化类型的水下图像的能力,提升了模型学习的稳定性,但在增强过程中还存在颜色偏差、清晰度不高等问题.近年来,自然语言处理领域见证了注意力机制18的发展,但注意力机制在水下图像增强应用上鲜有研究.为了解决上述问题,本文提出一种基于条件约束注意力生成对抗网络的水下图像增强模型(underwaterimage enhancement using a conditional constrained atten-tiongenerative adversarial netw
14、ork,简称 AGAN),AGAN模型能够校正水下图像颜色偏差并增强图像细节信息.主要创新点如下:淤设计条件约束注意力生成对抗网络模型,利用生成网络和判别网络两模块之间相互对抗学习的方式,使模型学习水下图像与目标图像之间的特征映射,获得了较好的特征提取能力,有效的进行了颜色校正;于设计了空间注意力模块,通过所有空间位置的特征加权总和选择性地聚集空间位置的特征,突出重点区域和融入显著特征,以有效弥补图像特征的缺失,有效地提取水下图像信息,提高了水下图像清晰度和对比度;盂由组合损失函数协同约束模型的反向梯度传播,提高了模型训练的稳定性并加快了网络的收敛速度.1本文模型本文提出的网络模型是以 Une
15、t(convolutional net原works for biomedical image segmentation,简称 Unet)网络结构为基础网络,采用了卷积层与反卷积层并引入了空间注意力机制,AGAN 模型主要由生成网络模块和判别网络模块组成.首先利用生成网络模块对输入的水下图像进行特征提取,得到生成图像;然后将生成图像和目标图像同时输入到判别网络模块,对两者进行真假判断,并将判断结果反馈给生成网络模块;同时,在模型的迭代训练过程中,设计了组合损失函数,通过梯度的反向传播进行条件约束,以迭代更新两个模块的学习参数,提高判别网络模块的判别能力,达到两模块之间的平衡,使生成网络模块得到的
16、生成图像更接近于目标图像,通过生成网络模块与判别网络模块之间的相互对抗,有效的进行了颜色校正,提高了水下图像增强的质量.AGAN 模型结构如图 1 所示.1.1生成网络模型在提取特征过程中只使用卷积层会存在细节特图 1基于条件约束注意力生成对抗网络的水下图像增强网络模型判别网络模块生成图像X軒水下图像 X生成网络模块反馈目标图像 X忆杨振舰等:一种基于条件约束注意力生成对抗网络的水下图像增强模型275天津城建大学学报第 29 卷第 4 期征丢失的问题,因此本文在生成网络模块中设计了卷积层和反卷积层相结合的模式.其中,卷积模块主要对特征图进行压缩并获取高频细节特征,反卷积模块用来逐步提取图像边缘
17、和纹理等细节信息并对图像进行复原.卷积模块和反卷积模块对应层之间采用跳跃连接方式,实现了靠前部分卷积层提取的特征与靠后部分提取的特征相互融合,缓解了梯度消失或激增现象.同时采用空间注意力模块加强或减弱空间位置的图像特征,以捕获更多的细节信息.卷积模块由 5 层卷积层组成,反卷积模块由 4 层反卷积层和 1 层上采样层组成,每层后都添加批量归一化层(batch normalization,简称 BN)和激活函数层,卷积核与反卷积核大小均为4 伊 4.在卷积模块中,对水下图像进行特征提取获得特征 Fai,如计算公式 1、2 所示,即Fa1=Conv(X)(1)Fai=Conv(Fai-1)(i=2
18、,3,4,5)(2)式中:i 为第 i 个卷积层.反卷积模块对输入特征进行多级上采样,得到的特征如计算公式 3、4、5 所示,即Fb1=Deconv(Fa4+Fa5)(3)Fbi=Deconv(Fbi-1+Fai-1)(i=4,3,2;j=2,3,4)(4)Fb=Tanh(Conv(unsample(Fb4)(5)式中:j 为第 j 层反卷积;unsample()为最近邻的上采样操作;Tanh()为激活函数.水下图像高频区域的细节信息促进图像增强,因此图像高频区域的细节信息需要增强的同时也需要抑制低频区域的权重.基于此,设计空间注意力模块以获取显著性特征,从而增强水下图像的高频细节信息,提高水
19、下图像的清晰度和对比度.首先对输入特征进行平均池化和最大池化操作,为每个空间位置生成有效的特征描述符,并将两种池化操作得到的特征描述符进行拼接;拼接后的特征描述符通过卷积层生成空间注意力图;再用 sigmoid 函数将空间注意力特征映射到(0,1)范围,记为 Fe;最后将 Fe与特征图对应的空间位置进行相乘得到空间注意力模块的输出 Fatt,以进行图像各成分权重的重新分配,突出重点区域和融入显著特征.空间注意力特征 Fe及模块输出 Fatt的计算公式如下Fe=sigmoid(Conv(Cat(AvgPool(Fd),MaxPool(Fd)(6)Fatt=Fe茚 Fd(7)式中:Cat 为拼接操
20、作;AvgPool()为平均池化操作;MaxPool()为最大池化操作.生成网络模型结构如图 2 所示,空间注意力模块结构如图 3 所示.对于输入的水下图像 X,经过卷积模块、反卷积模图 2生成网络模块FdFeFatt乘法操作sigmoid 函数平均池化最大池化加法操作空间注力模块激活函数上采样反卷积层卷积层卷积模块反卷积模块生成图像X軒FdFattFa1Fb1Fa2Fa3Fa4Fa5Fb2Fb3Fb4水下图像 X图 3空间注意力模块块、空间注意力模块操作之后,最终通过生成网络模块 G 生成图像X軒,X軒的计算公式为X軒=G(X)=Fatt+Fd(8)1.2判别网络模型判别网络模块包含 5 个
21、卷积层,每层卷积后添加了激活函数层和 BN 层,最后一层卷积层用于改变特征图尺寸大小和降维.首先将输入判别网络模块的目2762023 年 8 月图 4判别网络真假FmLCGAN生成图像X軒目录图像 X忆杨振舰等:一种基于条件约束注意力生成对抗网络的水下图像增强模型标图像和生成图像经过卷积操作提取特征.然后使用条件对抗损失函数 LCGAN根据目标图像与 Fm之间特征差异进行真假判断,特征差异较小的区域对应输出特征图像素点值接近于 1,反之接近 0,并将判别结果反馈给生成网络模块,同时优化器会对判别网络模块的参数进行调整.判别网络结构如图 4 所示,特征图 Fm提取过程如下式,即Fm=Conv(C
22、onv(Conv(Conv(Conv(Cat(X+X忆)(9)1.3损失函数模型的训练过程是利用损失函数的反向梯度传播对模型中的参数进行迭代优化.单个损失函数虽然能够达到一定优化效果,但结果较为平缓,使生成图像质量整体视觉欠佳.因此,本文算法的损失函数利用条件对抗损失函数 LCGAN达到生成图像质量的视觉效果,结合均方误差损失函数(mean-square error,简称MSE)、损失函数和内容损失函数协同对模型训练进行约束,如式 10 所示.其中条件对抗损失函数 LCGAN在训练过程中,不断调整生成网络模块与判别网络模块的参数,促使模型最终达到模块间的动态平衡,获得质量较好的生成图像,如式
23、11 所示.MSE 损失函数用来衡量增强后图像与目标图像之间的像素差值,公式如12 所示.L1损失函数用于保证生成图像与目标图像之间的相似度,如式 13 所示.内容损失函数 LCON主要用于促进网络 G 生成与目标图像相似的结果.本文将函数 椎 定义为由预训练 VGG-19 网络的 block5-conv2层提取特征的过程,如式 14 所示.本文损失函数计算公式如式 10-14 所示,即U=LCGAN(G,D)+姿1L1+姿2LCON(10)LCGAN(D,G)=Elog D(X忆)+Elog(1-D(X忆,(G,D)(11)LMSE=1NNi=1移椰X軒-X忆椰(12)L1=Ni=1移|Xi
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 基于 条件 约束 注意力 生成 对抗 网络 水下 图像 增强 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。