改进生成对抗网络水下图像增强方法.pdf
《改进生成对抗网络水下图像增强方法.pdf》由会员分享,可在线阅读,更多相关《改进生成对抗网络水下图像增强方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、引用格式:引用格式:陈海秀,陆康,何珊珊,等.改进生成对抗网络水下图像增强方法J.中国测试,2024,50(1):54-61.CHENHaixiu,LUKang,HEShanshan,etal.UnderwaterimageenhancementbasedonimprovedgenerativeadversarialnetworkJ.ChinaMeasurement&Test,2024,50(1):54-61.DOI:10.11857/j.issn.1674-5124.2022110023改进生成对抗网络水下图像增强方法陈海秀1,2,陆康1,何珊珊1,房威志1,黄仔洁1(1.南京信息工程大学自
2、动化学院,江苏南京210044;2.南京信息工程大学江苏省大气环境与装备技术协同创新中心,江苏南京210044)摘要:针对水下图像颜色失真和细节模糊的问题,提出一种基于改进生成对抗网络的水下图像增强方法。该方法将生成对抗网络作为基础架构,生成网络采用编码解码结构,并引入 RGB 颜色空间块、HSV 颜色空间块和注意力机制;RGB 块可以更好地去噪和去除偏色,HSV 颜色空间可以调整水下图像的亮度、颜色和饱和度,最后生成网络通过分配权重来生成图像。判别网络采用类似马尔科夫判别器的结构。此外,通过构建全局相似和内容感知多项损失函数,使生成的图像在色彩、内容、结构上和参考图像保持一致。实验表明,所提
3、出的方法在主观比较和客观指标上都有很好的表现。其中结构相似度、峰值信噪比、水下彩色质量评估和水下图像质量度量在合成水下图像测试集的平均值分别为 0.7746、19.2758、0.4889 和 3.3124。在真实水下图像测试集的平均值分别为 0.9000、24.2636、0.4499和 3.1619。在主观评价和客观评价指标上,综合比较,该文算法实验结果均优于对比算法。关键词:水下图像;生成对抗网络;颜色空间;注意力机制中图分类号:TP391.4文献标志码:A文章编号:16745124(2024)01005408Underwater image enhancement based on imp
4、roved generative adversarial networkCHENHaixiu1,2,LUKang1,HEShanshan1,FANGWeizhi1,HUANGZijie1(1.SchoolofAutomation,NanjingUniversityofInformationScience&Technology,Nanjing210044,China;2.JiangsuCollaborativeInnovationCenterofAtmosphericEnvironmentandEquipmentTechnology(CICAEET),NanjingUniversityofInf
5、ormationScience&Technology,Nanjing210044,China)Abstract:Aimingattheproblemsofcolordistortionandblurreddetailsofunderwaterimages,anunderwaterimageenhancementalgorithmbasedonimprovedgenerativeadversarialnetworkisproposed.Themethodusesthe generative adversarial network as the basic structure,the genera
6、tive network adopts the coding anddecodingstructure,andintroducestheRGBcolorspaceblock,theHSVcolorspaceblockandtheattentionmechanism;theRGBblockcanbetterdenoiseandremovethecolorcast,andtheHSVcolorspacecanadjustthebrightness,colorandsaturationoftheunderwaterimage,andfinallythegenerativenetworkgenerat
7、estheimagebyassigningweights.ThediscriminantnetworkadoptsastructuresimilartotheMarkovdiscriminator.Furthermore,byconstructingglobalsimilarityandcontent-awaremultinomiallossfunctions,thegeneratedimagesaremadeconsistentwithreferenceimagesintermsofcolor,contentandstructure.Experimentsshow收稿日期:2022-11-0
8、4;收到修改稿日期:2023-02-07基金项目:国家自然科学基金(61302189);江苏省研究生科研与实践创新计划项目(SJCX23_0383)作者简介:陈海秀(1977-),女,河南南阳市人,副教授,博士,研究方向为图像处理与分析、光电检测。第50卷第1期中国测试Vol.50No.12024年1月CHINAMEASUREMENT&TESTJanuary,2024thattheproposedmethodperformswellonbothsubjectivecomparisonsandobjectivemetrics.Amongthem,theaveragevaluesofstructu
9、ralsimilarity,peaksignal-to-noiseratio,underwatercolorqualityassessmentandunderwaterimagequalitymetricsinthesyntheticunderwaterimagetestsetare0.7746,19.2758,0.4889and3.3124.Theaveragevaluesonthetestsetofrealunderwaterimagesare0.9000,24.2636,0.4499and3.1619.Intermsofsubjectiveevaluationandobjectiveev
10、aluationindicators,generallyspeaking,theexperimentalresultsofthealgorithminthispaperarebetterthanthoseofthecomparisonalgorithm.Keywords:underwaterimages;generativeadversarialnetworks;colorspace;attentionmechanism0 引言近年来,国家在积极发展海洋战略,清晰的水下图像在获取海洋信息方面有着巨大的作用。但是水对不同波长光的衰减度不同,其中对红色光衰减最严重,所以水下图像会出现偏绿或偏蓝的色
11、差1。因此,获得清晰的水下图像对海洋探索起到关键作用。目前,水下图像增强方法一般分为基于物理模型的方法、基于非物理模型的方法和基于数据驱动的方法等。基于物理模型方法对水下图像退化过程进行建模,根据模型参数进行估计,这类方法有最小信息先验2等。基于物理模型的方法依赖于成像模型,对不同场景的水下图像泛化能力较差,有一定的局限性。基于非物理模型的方法不依赖具体的成像模型,通过调整像素值来改变视觉效果,如:小波变换3等基于非物理模型的方法,可以在一定程度上改变视觉效果,但未考虑水下图像的特性,容易引入色差和伪影。随着深度学习的快速发展,一些学者将数据驱动的方法应用于水下图像增强领域。Chen 等4利用
12、水下成像模型,将模糊的水下图像转换为清晰的图像,然后用该成对的数据集来训练网络。但是合成的图像分布和真实的水下图像分布存在差异。Guo 等5提出一种多尺度稠密生成对抗网络,该方法在生成器中引入残差多尺度密集块,判别器通过计算光谱归一化的方法来稳定训练。Fabbri 等6使用生成对抗网络的方法,但处理后的图像相对参考图像比较模糊。上述方法虽然在一定程度上能恢复图像的颜色,但是在效果方面依然存在色偏、对比度较低、欠饱和以及特征提取不全面等问题。针对上述问题,本文提出一种新型的基于改进生成对抗网络的水下图像增强方法,在生成网络中引入 RGB 颜色空间块、HSV 颜色空间块、注意力机制。RGB 空间颜
13、色块,用来去除图像的色偏,提高对比度。HSV 空间颜色块,用来细化水下图像的属性如亮度和饱和度,并且极大地保留了水下图像的细节信息;加入注意力机制,使网络更加关注图像的偏色区域。实验表明,本文所提方法在图像细节、亮度、饱和度和颜色恢复等方面取得了良好效果。1 网络设计1.1 RGB 颜色空间块和 HSV 颜色空间块为了更好地去除水下图像的偏色,提高图像的亮度和饱和度,受文献 7 启发,本文采用 RGB 颜色空间块和 HSV 颜色空间块,结构分别如图 1 和图 2 所示。RGB 颜色空间块由 8 个 33 卷积组成,步长为 1,再经过批量归一化,除了最后一层使用Sigmoid 激活函数,其余层使
14、用 LeakyRule 激活函数。RGB 颜色空间块可以实现简单的消除颜色投影和去噪。RGB 颜色空间块的输出经过 RGB-HSV 变换为 HSV 颜色空间,并作为 HSV 颜色空间块的输入。HSV 颜色空间块由 5 个 33 卷积组成,步长为 1,都使用 LeakyRule 激活函数,前四层最后使用最大池化。然后经过一个全局平均池化来处理特征映射,接着是一个全连接层来回归分段线性节点。全连接层的输出通过公式(1)缩放像素来调整和细化预测图像的饱和度、亮度、色彩,公式如下:(x)=0,x 1S(Ijli)=k0+M1m=0(km+1km)(MIjlim)(1)M式中:预测节点的个数;Ijlii
15、lj第 个图像的第 个颜色通道的第 个像素值;kmm 节点的值。第50卷第1期陈海秀,等:改进生成对抗网络水下图像增强方法55然后通过与 HSV 颜色空间块的输入 HSV 图像相乘,最后经 HSV-RGB 转换回 RGB 空间。1.2 注意力机制为了更好处理水下图像偏色问题,受文献 8启发,本文采用通道注意力机制和像素注意力机制,结构如图 3 所示。该模块可以更灵活地处理处理不同的信息,更加关注偏色严重的区域和重要的通道信息。在通道注意力中,首先对输入的特征图进行最大池化和和平均池化,将通道方向的空间信息转换为通道描述符。然后,分别经过卷积、ReLU 激活函数、卷积,再将两通道相加,接着经过
16、Sigmoid 函数的映射处理,得到“通道注意力值”。考虑到水下图像的模糊是不均匀的,为了使网络更加注意到由于光线衰减而模糊的区域,以及高频区域,因此又加入像素注意力机制。ConvReLUConvSigmoid通道注意力像素注意力相加AvgPoolConvReLUConvReLU相乘MaxPoolConvConvSigmoid图 3 注意力机制1.3 网络流程本文提出了一种基于改进生成对抗网络的水下图像增强方法,该算法的具体流程如图 4 所示。首先将 3203206 大小的原始水下图像输入到生成器中得到生成图像;然后,将生成图像和参考图像一起输入到判别器中,得到 20201 大小的输出并LGA
17、NLconL1获得对抗损失();然后利用 VGG-19 计算参考图像和生成图像差的绝对值之和,得到感知损失(),计算参考图像和生成图像的平均绝对误差得到损失;最后,通过这三种损失函数对生成器和判别器进行交替迭代训练,优化网络模型参数,得到清晰图像。1.4 生成器的设计本文的生成器采用 U-Net 作为基础框架,结构如图 5 所示。该网络主要包含 RGB 颜色空间块、HSV 颜色空间块、编码块、跳跃连接、解码块和注意力。为了防止浅层发生梯度消失和细节丢失的问题,将编码块的输出跳跃连接到解码块。在编码块和解码块中引入实例归一化和 LeakyRelu 激活函数。实例归一化旨在提高模型的精度和泛化能力
18、,防止过拟合;LeakyRelu 则可以加速模型收敛。输入为9 通道的图像数据,分别为原始水下图像、原始水下图像经过 RGB 颜色空间的输出、原始水下图像经过 RGB 颜色空间再经过 HSV 颜色空间的输出。ConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNSigmoid图 1 RGB 颜色空间块ConvBNLeakyReLuRGB-HSVMaxPoolConvBNLeakyReLuMaxPoolConvBNLeakyReL
19、uMaxPoolConvBNLeakyReLuMaxPoolConvBNLeakyReLuGlobalAvgPool HSV-RGBFullyConnected图 2 HSV 颜色空间块水下图像生成网络生成图像判别网络生成图像和参考图像的损失LGANL1+Lcon参考图像图 4 网络流程56中国测试2024年1月输入经过编码块、跳跃连接、解码块和注意力,生成一个通道数为 6 的张量,前三个通道和 RGB 颜色空间块的输出相乘所得的结果,与后三个通道和HSV 颜色空间的输出相乘所得结果,进行相加调整权重融合成增强的水下图像。注意力RGB 颜色空间块HSV 颜色空间块128322562562565
20、125122566432CConv+IN+LeakyReLu跳跃连接DeConv+IN+LeakyReLuUpsample+Conv+SigmoidC 拼接图 5 生成器1.5 判别器的设计为了对生成器生成的增强图像和真实图像进行判断,本文使用马尔科夫判别网络(PatchGAN)9,该网络根据补丁级别信息进行区分,可以根据局部区域来进行判别,同时更有效地捕捉局部纹理和感知边缘细节部分。所提出的判别模型如图 6 所示,该网络先将生成图像与参考图像进行拼接,得到3203206 大小的图像进行输入,输入经过一系列卷积、批量归一化、激活函数 LeakyRelu,最终得到20201 大小补丁块的输出,若
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 生成 对抗 网络 水下 图像 增强 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。