基于多尺度残差注意力网络的水下图像增强.pdf
《基于多尺度残差注意力网络的水下图像增强.pdf》由会员分享,可在线阅读,更多相关《基于多尺度残差注意力网络的水下图像增强.pdf(10页珍藏版)》请在咨信网上搜索。
1、文章编号:1002-2082(2024)01-0089-10基于多尺度残差注意力网络的水下图像增强陈清江,王炫钧,邵菲(西安建筑科技大学理学院,陕西西安710055)摘摘 要:要:针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的 UNet3+-Avg 结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由 Charbonnier 损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到
2、 23.63dB、结构相似度(SSIM)达到 0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。关键词:关键词:图像处理;水下图像增强;多尺度特征提取;密集连接;注意力机制中图分类号:TP391文献标志码:ADOI:10.5768/JAO202445.0102003Underwater image enhancement based on multiscale residual attention networksCHENQingjiang,WANGXuanjun,SHAOFei(SchoolofScience,XianUnive
3、rsityofArchitectureandTechnology,Xian710055,China)Abstract:Anunderwaterimageenhancementalgorithmbasedonmulti-scaleresidualattentionnetworkwasproposedfortheproblemsofcolorshift,colorfadingandinformationlossofunderwaterimagescausedbywaterscatteringandabsorption.AnimprovedUNet3+-Avgstructureandattentio
4、nmechanismwasintroducedbythenetwork,andthemulti-scaledensefeatureextractionmoduleaswellastheresidualattentionrecoverymoduleweredesigned.Inaddition,ajointlossfunctioncombiningCharbonnierlossandedgelossenabledthenetworktolearnrichfeaturesatmultiplescales,improvingtheimagecolorwhileretainingalargeamoun
5、tofobject edge information.The average peak signal-to-noise ratio(PSNR)of the enhanced images reaches23.63dBandthestructuralsimilarityratio(SSIM)reaches0.93.Experimentalresultswithotherunderwaterimageenhancementnetworksshowthattheimagesenhancedbythisnetworkachievesignificantresultsinbothsubjectivepe
6、rceptionandobjectiveevaluation.Key words:image processing;underwater image enhancement;multi-scale feature extraction;denseconnectivity;attentionmechanism引言随着陆地资源的枯竭与科技的不断发展,寻找、勘探、开发海底资源,已然成为各个国家关注的重点。通过水下机器人获取水下光学图片是进行海洋研究重要环节,但因为光在水下传播的过程中会受到水介质的吸收和散射1,以及水下成像环境的影响,使得传回的水下图像不可避免地出现模糊、色偏、对比度低的情况,这样退
7、化严重的水下图像不仅影响了视觉美感,而且严重降低了海底地质研究2、海洋生物检测3、水下考古4等一系列海洋研究的准确性。为了获取高质量的水下图像,众多学者们提出收稿日期:2023-02-24;修回日期:2023-07-11基金项目:国家自然科学基金青年项目(12202332);陕西省自然科学基础研究计划(2021JQ-495)作者简介:陈清江(1966),男,博士,教授,主要从事小波分析、图像处理与信号处理研究。E-mail:通信作者:王炫钧(1998),男,硕士研究生,主要从事小波分析、图像处理与信号处理研究。E-mail:第45卷第1期应用光学Vol.45No.12024年1月Journal
8、ofAppliedOpticsJan.2024了诸多水下图像增强方法,根据图像增强方式的不同可分为两类:传统方法和基于深度学习的方法。传统方法:如ZUIDERVELDK 等人5于1994 年提出的限制对比度自适应图像增强算法(contrastlimitedadaptivehistogramequalization,CLAHE),该方法将图片分为多个子模块,在每个子模块中进行直方图均衡操作,降低了增强图像的噪声;IQB-ALK 等人6于 2010 提出的无监督色彩校正(unsu-pervisedcolorcorrectionmethod,UCM)法,在增加了图片颜色饱和度的同时有效地消除了蓝色色
9、偏和绿色色偏;DREWSPLJ 等人7提出的水下暗通道先验法(UnderwaterDarkChannelPrior,UDCP),在传统的暗通道先验的基础上进行改进,将其与波长相关算法结合,增强了在水下图像增强任务中的鲁棒性;PENGYT 等人8提出图像模糊和光吸收算法(imageblurrinessandlightabsorption,IBLA),该方法利用图像的模糊性和光吸收来估计背景光、场景深度和透射图,从而达到增强图像的目的。基于深度学习的方法:SUNX 等人9提出了用于水下图像增强的深度像素到像素网络模型(pixeltopixel),该模型采用编码解码框架,并在模型中引入了跳跃连接,对
10、退化图像进行增强;LIC 等人10提出了 UWCNN(underwaterimageenhancementfullyconvolutionalneuralnetwork)模型,该模型利用端到端自动数据驱动训练机制,直接重建清晰的水下图像。上述增强方法虽然在一定程度上增强了图像质量,但增强过后的图片还是存在些许颜色失真、对比度不强、细节信息丢失等问题,为了解决上述问题,本文提出了基于多尺度残差注意力的水下图像增强网络。本文的主要贡献如下:1)提出了一个端到端的多尺度残差注意力水下图像增强网络,通过编码器-解码器结构、密集连接、注意力机制的结合,避免了单个尺度下的网络特征提取不充分问题;2)提出了
11、多尺度稠密特征提取模块(multi-scaledensefeatureextractionmodule,MDFE)与残差注意力恢复模块(residualattentionrecoverymodule,RAR),可在多个尺度上获取丰富的空间信息与位置信息,在增强图片的同时很好地避免了颜色失真问题,并保留了丰富的细节信息;3)本文建立了由 Charbonnierloss 和边缘损失(edgeloss)构成的联合损失函数,在恢复色彩的同时也使边缘信息得以保留,避免了边缘模糊;4)实验结果表明,本文方法在峰值信噪比和结构相似度的指标上均超过其他对比方法,增强过后的水下原始图片拥有了令人愉悦的色彩和较高
12、的对比度。1 基本原理1.1 卷积运算卷积运算11通过具有一定间隔的滑动滤波器,将各个位置上的滤波器元素与输入数据对应的元素进行乘积累加运算,并将运算结果保存到相同位置,以得到卷积运算输出。计算过程如式(1)所示:S(i,j)=X(i,j)K(i,j)=hnx(i+h,j+n)k(h,n)(1)S(i,j)ijX(i,j)K(i,j)x(i+h,j+n)i+hj+nk(h,n)hn式中:是第 行第 列元素卷积运算结果;为输入二维图像;为卷积运算;为二维卷积核;为输入二维图像中第行列的元素;为第 行 列的二维卷积核元素。卷积运算过程如图 1 所示。k1k2k3k4k5k6k7k8k9图 1 卷积
13、运算Fig.1 Convolution operation1.2 池化操作池化操作一般设置在卷积运算之后,池化操作通过缩小长、高方向上的空间运算以达到对特征进行降维的目的,对于卷积层在特征提取过程中的特征维数过高的问题有一定的缓解作用。池化层具有以下特点:没有学习的参数、通道数不发生变化、对微小的数据偏差具有鲁棒性。池化层一般分为两种,分别是平均池化、最大池化,其含义分别是计算目标区域的平均值和最大值。池化操作过程如图 2 所示。1.3 残差结构在神经网络设计过程中,随着网络层数的加深,往往会出现网络准确性达到饱和后迅速下降的问题,这并不是由于过拟合导致的,这种情况称之为退化。为了解决网络退化
14、问题,HEK 等人12提出了残差网络。残差网络是由一系列的残差模块组成,残差模块如图 3 所示。90应用光学第45卷第1期F(x)F(x)+xF(x)+xx该模块是在两个基本模块之后增加了一个恒等映射,将原本的输出变为,其中通过快捷连接和按元素添加来执行,使得输出结果增加了一项,这样该层网络在反向传播对 求偏导时,增加了一个常数项,避免了梯度消失和梯度爆炸的问题,这样的结构可以使卷积神经网络向更深层发展。2 多尺度残差注意力网络本文所提出的多尺度残差注意力网络由多尺度稠密特征提取模块(multi-scaledensefeatureextr-actionmodule,MDFE)和残差注意力恢复模
15、块(resid-ualattentionrecoverymodule,RAR)组成,总网络结构如图 4 所示。其中多尺度稠密特征提取模块用于提取图片的高级语义特征与低级详细特征,结合稠密连接,使网络可学习到丰富的语义信息,并且避免产生过多的参数,之后将特征图传入残差注意力恢复模块,进一步恢复图像细节与颜色。残差注意力恢复模块将注意力机制与残差结构巧妙结合,使得网络得以更加关注有价值的特征信息,同时也避免了在网络学习过程中由于网络层数的加深,导致丢失原始图像信息的问题。Conv+BN+LeakyReluResidual attentionrecovery moduleMulti-scale de
16、nsefeature extractionmoduleCC图 4 多尺度残差注意力网络结构Fig.4 Structure diagram of multi-scale residual attention network2.1 多尺度密集特征提取模块水下图像由于受光在水下传输介质的影响,往往存在不同程度的色偏色弱问题,并且因为水下人工光源的照明范围有限,使得处于不同场景深度的物体所保留的信息均不相同,因此需要在多个尺度上对图片进行特征提取,使得网络尽可能多地学习到图片的特征信息。多尺度密集特征提取模块(MDFE)将改进的 UNet3+-Avg 网络结构与密集连接块相结合,使网络得以在多尺度上提
17、取不同的特征信息,并且密集块的加入增加了特征信息在网络中的传播,避免了特征丢失。该网络模块结构如图 5 所示。UNet3+网络13最有特点的是它所提出的全量程跳跃连接与全尺度深度监督,该网络中每个解码器层都合并了编码器中的小尺度和同尺度的特征映射,以及解码器中的大尺度特征映射,有效解决了 UNet 网络14的平面连接和 UNet+15嵌套密集连接所存在的全尺度信息探索不全面的问题。根据水下图像增强任务的需要,在设计本文网络时去除了 UNet3+网络中的全量程深度监督模块,MaxPoolingAvgPooling1243124543图 2 最大池化与平均池化操作Fig.2 Maximum poo
18、ling and average pooling operationsxIdentityWeight layerWeight layerReluReluF(x)+xF(x)图 3 残差结构Fig.3 Structure diagram of residual module应用光学2024,45(1)陈清江,等:基于多尺度残差注意力网络的水下图像增强9133并且将网络中的最大池化操作变为平均池化操作,使其更适合于图像颜色的恢复任务。该网络的编码部分共有 5 层,分别进行了 4 次下采样,得到 5 种尺寸的特征图,每一层都通过核数为 64 的Conv 及 Relu 激活函数,再通过平均池化(Avg
19、-Pooling)对特征图进行 2 倍下采样后送入下一层。解码部分与编码部分层数相同,进行了 4 次上采样,使得图像恢复为原始尺寸,并通过全量程跳跃连接,使得每层解码器都可获得前层的特征图,这种结构可将全尺度特征映射的低级细节与高级语义结合起来,同时也拥有更少的参数。UNet3+-Avg模块结构如图 6 所示。UNet3+-AvgLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky re
20、luBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvCDense block图 5 多尺度密集特征提取模块Fig.5 Multi-scale dense feature extraction moduleX1EnX1DeX 2EnX 2DeX 3EnX 3DeX 4EnX 4DeX 5En16326412825680808080UpsampleAvgPooling图 6 UNe
21、t3+-Avg 模块Fig.6 UNet3+-Avg module33在 UNet3+-Avg 之后加入了 3 层并行连接的密集连接模块16(denseblock),每个密集连接模块由5 个基本卷积块构成,基本卷积块结构由核数为64 的Conv、批量归一化(BN)、LeakyRelu 激活函数组成。每个块之间进行密集连接,使每一层的输出都可作为输入传入到后面的卷积层,并将前面所有层获得的特征与本层特征按通道相连接一同传递到下一层,这样的结构缓解了特征图在卷积层间传递时产生的梯度消失。由于密集连接模块模块的加入,提高了整个网络的信息流和梯度的传递,从而使得网络在学习图片特征的同时增加了可训性。X
22、3DeX3De为了详细说明 UNet3+-Avg 提取特征的过程,以特征图为例说明该网络构造特征图的方式,构造如图 7 所示。X3De特征图的全称尺寸连接来自于 3 个部分:X3DeX1EnX2EnX1EnX2En1)特征图尺寸大于的编码器、,、,分别通过平均池化(AvgPooling)进行 4 倍、2 倍下采样,以统一特征图尺寸,接着通过核数为92应用光学第45卷第1期3364 的Conv、批量归一化(BN)、Relu 激活函数;332)同尺度的编码器,将该层编码器得到的特征图直接通过核数为 64 的Conv、批量归一化(BN)、Relu 激活函数;X3DeX4DeX5De3)特征图尺寸小于
23、的解码器、,将X4DeX5De33、通过双线性差值进行 2 倍和 4 倍的上采样,之后通过 64 通道的Conv。X3DeX3De将这 3 部分得到的特征图进行拼接,得到了通道数为 80 的等尺度特征图。特征图的计算过程见式(2)。X1EnX 2EnX 3EnX 3DeX 4EnX 4DeX 5EnAvgPoolingUpsample16,33Conv,BN,ReluUpsample16,33Conv,BN,ReluAvgPooling16,33Conv,BN,ReluAvgPooling16,33Conv,BN,Relu16,33Conv,BN,Relu80,33Conv,BNReluX3D
24、e图 7 第 3 层解码器特征图构造过程X3DeFig.7 Construction process of layer-3 decoder feature map X3De=X3EnHConv(AvgPool(XkEn)2k=1,Conv(X3En)|z Scales:1th3th,Conv(U(XkDe)Nk=4|z Scales:(4)th5th,i=1,4(2)X3EnConvAvgPoolUH式中:为第 3 层编码层得到的特征图;为卷积操作;为平均池化操作;为上采样;为特征聚合机制。2.2 残差注意力恢复模块3333网络在通过多尺度稠密特征提取模块之后学习到了丰富的特征信息,为了使网络
25、可以学习到更具有价值的信息,本文提出了注意力残差恢复模块(RAR)。该模块首先通过一个核数为 64 的Conv,LeakyRelu 对传入特征图进行初始化,接着将传入特征图与之进行残差连接后传入注意力模块(convolutionalblockattentionmodule,CBAM)当中,以捕捉特征图中有价值的信息。为了减少梯度消失的问题,在 CBAM 模块之后也与传入特征图进行残差连接,最后通过核数为 64 的Conv、批量归一化(BN)及 LeakyRelu 得到输出。该模块结构如图 8 所示。其中 CBAM 模块由通道注意力模块(channelattentionmodel)与空间注意力模
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 尺度 注意力 网络 水下 图像 增强
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。