基于生成对抗网络的渐进式夜视图像彩色化算法.pdf
《基于生成对抗网络的渐进式夜视图像彩色化算法.pdf》由会员分享,可在线阅读,更多相关《基于生成对抗网络的渐进式夜视图像彩色化算法.pdf(9页珍藏版)》请在咨信网上搜索。
1、受限于夜景光照不足等影响,夜视成像中的部分内容极易缺失或模糊,导致这部分的彩色化效果不佳.为此,本文提出了一种基于生成对抗网络的夜视图像彩色化算法,通过对纹理细节的修复来提升图像模糊区域的彩色化效果.首先,在模糊区域修复中,利用下采样操作减少模糊图像块的比例,并用梯度调节预测器对模糊图像块周围的像素值进行预测,以此来不断增强和修复模糊的纹理细节.其次,在彩色化过程中,依托于生成的超分辨率图像和已有的先进对抗网络着色模型,通过最小化亮度和纹理等失真,来生成较为清晰的彩色图像.实验结果表明,经过模糊区域恢复和增强之后,灰度图像的PSNR平均提升0.33 dB.相比之前的夜视图像彩色化方法,本文方法
2、可以赋予灰度夜视图像更丰富、自然的色调,更清楚地表达图像的细节,从而提高目标探测和识别效率.关键词:夜视图像彩色化;纹理细节预测;生成对抗网络;模糊区域修复中图分类号:TP391 文献标志码:A Progressive Colorization Algorithm of Night Vision Images Based on Generative Adversarial NetworkOU Bo,LIU Xiaoqian,LIN Yitong,HU Yupeng(College of Computer Science and Electronic Engineering,Hunan Univ
3、ersity,Changsha 410082,China)Abstract:Affected by insufficient nighttime illumination,some content in night vision imaging is prone to missing or blurring,resulting in poor colorization.To address this issue,this paper proposes a colorization algorithm of night vision images based on generative adve
4、rsarial network,where the image colorization in the blurred area is improved through texture detail prediction.Firstly,in the blurred area restoration,down-sampling is used to gradually reduce the proportion of the blurred image patches.What s more,gradient adjustment predictor is used to predict th
5、e pixel values around the blurred image patches so as to continuously enhance and remedy the blurred texture details.Then,in the colorization process,we use the super-resolution imaging and the advanced adversarial network colouring model to obtain a clearer color image through minimizing the bright
6、ness and texture distortions.Experimental results show that,the PSNR of gray image increases by 0.33 dB on average after the distortion and enhancement in the blurred area.Compared with the previous advanced colorization methods,the proposed method can give the grayscale night vision image richer an
7、d more natural colors,and express the details of the image more 收稿日期:2022-10-19基金项目:国家自然科学基金资助项目(92067104,61872128),National Natural Science Foundation of China(92067104,61872128);长沙市科技计划项目(kq2004004),Science and Technology Planning Project of Changsha(kq2004004)作者简介:欧博(1985),男,湖南株洲人,湖南大学副教授,博士 通信联系
8、人,E-mail:文章编号:1674-2974(2023)08-0023-09DOI:10.16339/ki.hdxbzkb.2023288湖南大学学报(自然科学版)2023 年clearly.It helps to improve the efficiency of target detection and recognition.Key words:night vision image colorization;texture prediction;generative adversarial network;blurred area restoration夜视图像彩色化是为了赋予夜视成像
9、仪生成的图像以合理的色度值,使其具有自然感的色彩,从而帮助观察者发现目标和理解场景.夜视成像技术在各种军用及民用领域1,如战场监控、情报传送、刑事侦察、安全检查、交通管制、夜间导航、文物保护等方面有着重要应用.但夜视图像大多是非彩色的,色调简单,接近于灰度图像.而研究表明,人眼能分辨的颜色数量要远多于能分辨的灰度级2,即人眼可以分辨几千种颜色,但只能分辨100多级灰度.因此通过增加夜视图像的颜色可以充分利用人类视觉响应特性,改善观测性能.这种性能改善在低照度、低对比度情况下表现尤为明显.这也是彩色化技术开始被应用于夜视图像的原因之一.通过将夜视图像彩色化处理,可以获取更丰富的场景信息,减少观察
10、者的反应时间,达到提高目标探测和识别效率的目的3-4,26.由于夜晚可见光不足,目标信息往往无法完全呈现在夜视图像中,其目标轮廓可见性差、细节缺失等问题5直接影响了图像的着色效果.这是因为图像彩色化的原理大多是基于“相同纹理则颜色相近”这一朴素思路设计实现,较为依赖应用图像的纹理清晰度,即图像越清晰,越有利于后期颜色传递和特征匹配着色.因而,对于夜视图像而言,直接应用传统彩色化算法进行处理并不合适.夜视模糊区域在常规的彩色化处理后依然可能是模糊的,甚至由于不合适的着色、颜色分配错误导致目标更加难以辨别、干扰目标检测.为了解决这些缺陷,研究者提出了夜视图像彩色化技术来提高特征对比度,以更好地表达
11、图像内容.与传统的彩色化方法相比,夜视图像的彩色化更加强调对边缘清晰度、着色的连续性和准确性的提高.本文提出的夜视图像彩色化算法正是基于增强夜视图像质量的目的来进行设计的.1 夜视图像彩色化方法的发展夜视图像彩色化的发展主要经历了三个阶段:伪彩色融合、颜色迁移和使用神经网络着色.第一阶段是伪彩色融合阶段6-8,即将得到的多个光谱的图像直接映射到彩色波段融合成彩色图像,利用这种方法得到的彩色夜视图像不能准确反映图像中的真实彩色信息,只是为了方便观看而进行的彩色变换;第二阶段是通过颜色迁移为灰度夜视图像着色9-15,将不同条件下拍摄得到的彩色图像的颜色传递到灰度夜视图像上,使其获得与参考图像类似的
12、具有自然感的颜色;第三阶段是应用神经网络为灰度夜视图像进行着色16-26,先使用训练集训练出一个着色模型,之后直接使用该模型便可以实现自动化着色.在伪彩色融合方法中,美国海军研究室提出从红色查找表中提取红外图像的灰度值,从绿色查找表中提取微光图像的灰度值.Toet等人6提出了一种基于像素的彩色映射算法,该算法对两幅灰度夜视图像进行融合伪彩色渲染,从而得到一幅伪彩色融合图像.Hamam等人7 提出一种基于纹理的夜视图像彩色化方法.该方法使用纹理匹配算法选择彩色参考图像,基于纹理将图像划分成片段,接着利用全局和局部特征为每个夜视图像片段找到最佳匹配的颜色片段.薛模根等人8利用非线性扩散和迭代阈值分
13、割方法提取出图像中的热目标,然后利用热目标和灰度融合图像对初步彩色融合图像进行调整,能够有效定位图像中的目标.在颜色迁移阶段中,Toet9计算了伪彩色图像和参考图像各通道的平均值和标准差,使得伪彩色图像的颜色分布修改与参考图像相似.Zheng等人10提出了一种利用直方图匹配和图像融合来渲染夜视图像的局部着色方法.Toet11将颜色传递方法引入夜视图像的自然彩色化,基本思想是将多波段夜视图像进行融合形成伪彩色图像,在lab颜色空间计算伪彩色图像与参考图像各通道的均值和方差,对伪彩色图像的三通道数值进行修正使得输入图像具有和参考图像相似的色彩感.Gupta等人12从图像中提取超像素的图像特征,并利
14、用这些特征来指导着色过程.超像素加快了着色过程,使彩色化效果表现出更高的空间一致性.他们采用快速级联特征匹配方案,自动查找参考图像与目标图像的超像素之间的对应关系.Qu等人13提出了一种基于场景分类和融合质量24第 8 期欧博等:基于生成对抗网络的渐进式夜视图像彩色化算法测量的颜色融合方法.他们利用颜色转移法获得了高质量的彩色融合图像.该颜色转移方法可以使彩色图像具有自然的外观.田建勇等人14提出了一种基于局部线性嵌入与模糊C-均值聚类的夜视图像彩色化算法.朱进等人15提出了一种基于YUV空间的夜视图像彩色化方法,他们对图像的亮度通道进行自适应亮度拉伸,并在色度通道进行参考图像的色彩传递.以往
15、的夜视图像彩色化方法主要是基于传统的和易于使用的图像处理技术实现的.在最新的方法中,采用神经网络等人工智能技术来实现彩色化23-24则是主流.Surez等人16提出了利用生成对抗网络(generative adversarial network,GAN)模型17对近红外图像进行着色的方法.首先,它利用判别器学习对给定的输入进行着色,从而生成 RGB 图像.然后,使用判别模型来估计生成的图像为真实数据的概率.经过生成器和判别器不断的博弈,最终生成彩色夜视图像.Limmer等人18提出了一种利用深度多尺度卷积神经网络将RGB彩色光谱传输到近红外图像的方法.他们构建归一化图像金字塔对图像进行预处理,
16、输入图像金字塔的每一层都被输入各自的卷积神经网络(convolutional neural network,CNN)分支中进行传输,最后将得到的输出值在全连接层实现融合.Surez等人19还提出了一种利用深度卷积生成式对抗网络结构对近红外图像进行着色的方法.该方法使用三重模型,以更均匀的方式独立地学习每个颜色通道.然而,现在夜视彩色化算法在不断更新和进步的同时,仍有一些不足,亟待改善.一方面,现有的方法尚未对夜视图像的纹理缺失、边缘模糊等问题直接设计网络做出改善和增强,后续性能改进方向不明确、提升空间受限;另一方面,传统的夜视图像彩色化方法生成的图像色调较为单一,无法产生多种着色方案,可重新着
17、色空间小,因而可复用性、可推广性还不强.针对夜视灰度图像由于光照条件差导致的像素丢失问题,本文提出一种超分夜视图像彩色化算法,来提升夜视图像模糊区域的彩色化效果.为了实现这一目的,本文对夜视图像缺失的纹理细节进行增强和修补,然后使用超分辨率生成对抗网络SRGAN(super-resolution generative adversarial network)进行训练,并根据所设计的模糊区域恢复策略来调整网络结构与参数,使得输入夜视图像能够在保持其真实性的同时进行着色优化,以此提升彩色夜视图像的色彩丰富度和准确度.本文的主要贡献总结如下:1)考虑夜视灰度图像的特点,对其模糊区域进行处理,通过迭代
18、渐进的方式来修复模糊区域纹理细节,以此得到更高质量的夜视灰度图像.2)在模糊区域修复阶段对SRGAN网络损失函数进行调整,提升夜视图像的着色连续性和自然性.2 夜视图像彩色化方法设计灰度夜视图像由于夜晚可见光不足而导致图像边缘和纹理较为模糊,因此本文首先使用一个生成式对抗网络20来对夜视图像中的模糊部分进行增强和改善,接着利用着色网络对修复后的图像进行彩色化,如图1所示.图1 夜视图像彩色化方法整体框架Fig.1 The framework of proposed night vision image colorization algorithm25湖南大学学报(自然科学版)2023 年在对灰
19、度夜视图像进行着色之前,先利用一个生成式对抗网络来增加低分辨率夜视图像 ILR的细节,以此来修复图像的缺失纹理和模糊边缘.首先利用离散余弦变换(discrete cosine transform,DCT)来判断夜视图像中每个图像块的模糊度,对模糊图像块进行下采样,减少图像中模糊图像块的比例;然后利用传统梯度调节预测器(gradient adjusted prediction,GAP)对原图中因下采样导致的空白区域进行像素值的预测;接着将修补完成的图像输入SRGAN生成超分辨率的图像,进一步获得纹理增强的夜视图像ISR;最后利用着色网络对增强的夜视图像进行彩色化即可获得最终的彩色夜视图像.2.1
20、 模糊区域修复与增强2.1.1 数据预处理将灰度夜视图像分割为88大小的图像块,然后利用DCT计算每个图像块的模糊度,将大于模糊度阈值的图像块认定为模糊图像块,进行修复,整体流程如图2所示.在图像块模糊度计算中,首先将灰度夜视图像分成88的图像块,并定义一个全0的 矩阵,再对图像中的88大小的图像块进行DCT变换,如公式(1)所示.F(u,v)=c(u)c(v)(i=0K-1j=0K-1f(i,j)cos(i+0.5)Nu cos(j+0.5)Nv)(1)式中:F(u,v)是DCT变换后的系数,c(u)和c(v)是补偿系数,K为原始信号的点数,f(i,j)为原始的信号.DCT 系数矩阵与补偿系
21、数矩阵相乘后转为正交矩阵.接着本文根据图像块大小设定的阈值将DCT变换得到的矩阵进行二值化处理为0或1,并将该二值化结果与 相加结果保存在,根据 0 0 的结果设置二值化阈值t,如公式(2)所示.t=0.1 00(2)对得到的新矩阵利用t进行二值化处理,将二值化结果与设定好的权重矩阵相乘得出结果矩阵;最后将的各个元素求和并与权重矩阵各元素之和做比,得到图像模糊度结果r,如公式(3)所示.r=m=0M-1n=0U-1(m,n)m=0M-1n=0U-1(m,n)(3)式中:M和U分别表示矩阵的长和宽,图像模糊度r的数值越大表示图像块越模糊.在上述基于DCT的图像块模糊度计算方法中,模糊度最大的图像
22、块的r值约为 0.976.因此,本文着重改善这一部分图像块的清晰度并恢复其中的纹理细节,将模糊度大于0.976的图像块视为模糊图像块,然后将模糊图像块下采样为原来的1/2大小,其他残缺的部分的像素值利用传统GAP预测器模板进行预测.传统GAP预测器首先根据预测上下文模板计算垂直和水平方向的梯度dv和dh,dv的计算如公式(4)所示.dv=|PW-PNW|+|PN-PNN|+|PNE-PNNE|(4)假设X为要预测的像素值,如图2所示,则PW表示X左侧像素点的像素值,PNW表示X左上角像素点的像素值,PN、PNN、PNE、PNNE分别为X上方像素点的像素值、PN上方像素点的像素值、PN右侧像素点
23、的像素值和PN右上角像素点的像素值.此外,dh的计算如公式(5)所示.dh=|PW-PWW|+|PN-PNW|+|PN-PNE|(5)在图2中,PWW表示PW左侧像素点的像素值,从而得到两个方向梯度的差值D,如公式(6)所示.D=dv-dh(6)然后依据一些经验阈值来判断水平或者垂直边沿的出现,最后根据水平或垂直边沿的变化程度适当选取相邻像素的权重计算出预测的像素值X.2.1.2 超分辨图像生成图像进行预处理后,将模糊区域得到初步修复图2 模糊区域修复流程Fig.2 The flow of blurred regions restoration26第 8 期欧博等:基于生成对抗网络的渐进式夜视
24、图像彩色化算法的夜视图像输入超分辨率生成式对抗网络进行训练.在超分辨率生成式对抗网络中,训练目标是学习从源数据集低分辨率图像ILR到目标数据集高分辨率图像IHR的映射.生成网络由残差结构组成,如图1中生成器所示.残差结构由两个卷积层(33内核和64个特征映射)、批量归一化层和 ParametricReLU 组成.批量归一化层可以解决在训练过程中中间层数据分布发生改变的问题,以防止梯度消失或爆炸并加快训练速度.生成器由六个具有相同布局的残差块组成.为了区分真实的高分辨率图像IHR和生成的超分辨率样本ISR,本文训练了一个判别器网络,它包含 7个渐进层,其中 33滤波器内核的数量逐渐增加,从 VG
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 生成 对抗 网络 渐进 视图 彩色 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。