基于预检机制的偏振图像去烟研究_阎庆.pdf
《基于预检机制的偏振图像去烟研究_阎庆.pdf》由会员分享,可在线阅读,更多相关《基于预检机制的偏振图像去烟研究_阎庆.pdf(11页珍藏版)》请在咨信网上搜索。
1、第 18 卷 第 2 期2023 年 3 月大 气 与 环 境 光 学 学 报JOURNAL OF ATMOSPHERIC AND ENVIRONMENTAL OPTICSVol.18 No.2Mar.2023基于预检机制的偏振图像去烟研究基于预检机制的偏振图像去烟研究阎 庆 1,叶孟孟 1,2*,张晶晶 1,2,3,刘 晓 3,年福东 1,4,李 腾 1,2(1 计算智能与信号处理教育部重点实验室(安徽大学),安徽 合肥 230601;2 偏振光成像探测技术安徽省重点实验室,安徽 合肥 230031;3 中国科学院通用光学定标与表征技术重点实验室,安徽 合肥 230031;4 合肥学院先进制
2、造工程学院,安徽 合肥 230031)摘要:烟的存在会导致图像目标信息的损减或丢失。针对烟在场景中具有局域性,提出了基于目标检测Yolov3算法的去烟预检机制,即在去烟流程中增加预检机制实现对烟图定向去烟,提升去烟效率和避免对无烟区的影响。不同于现有针对可见光图像的基于深度学习去雾方法,该方法将四幅偏振态图像作为网络输入,并利用多尺度注意力对抗网络提取烟区目标的偏振态特征信息,从而缓解失真现象以及丰富去烟后目标的结构和细节信息。在真实数据集上的定性与定量实验结果表明,本文提出的算法有效提升了偏振图像的去烟效果和去烟效率。关 键 词:图像除烟;卷积网络;偏振态图像;多尺度;注意力机制;对抗网络中
3、 图 分 类 号:TP391.4;O436.3 文 献 标 识 码:A 文章编号:1673-6141(2023)02-108-011Polarization image smoke removal based on precheck mechanismYAN Qing 1,YE Mengmeng 1,2*,ZHANG Jingjing 1,2,3,LIU Xiao 3,NIAN Fudong 1,4,LI Teng 1,2(1 Key Laboratory of Computational Intelligence and Signal Processing(Anhui University)
4、,Ministry of Education,Hefei,Anhui 230601,China;2 Anhui Key Laboratory of Polarized Light Imaging Detection Technology,Hefei 230031,China;3 Key Laboratory of Optical Calibration and Characterization,Chinese Academy of Sciences,Hefei 230031,China;4 School of Advanced Manufacturing Engineering,Hefei U
5、niversity,Hefei 230031,China)AbstracAbstract t:The presence of smoke can cause the damage or loss of image target information.In view of the local nature of smoke in the scene,a smoke removal precheck mechanism based on the target detection Yolov3 algorithm is proposed in this work,that is,a prechec
6、k mechanism is added in the smoke removal process to realize the directional removal of smoke on the smoke image,improve the efficiency of smoke removal and avoid the impact of smoke on the non-smoking area.Different from the existing deep learning-based defogging methods for visible images,this met
7、hod takes four polarization images as network input,DOI:10.3969/j.issn.1673-6141.2023.02.003基金项目:中国科学院通用光学定标与表征技术重点实验室开放研究基金,偏振光成像探测技术安徽省重点实验室开放基金,国家自然科学基金青年科学基金(61902104),安徽省自然科学基金(2008085QF295),安徽高校自然科学研究项目(KJ2020A0651)作者简介:阎 庆(1978-),女,安徽合肥人,博士,副教授,硕士生导师,主要研究方向为模式识别、图像处理和深度学习。E-mail:rubby_收稿日期:20
8、21-06-25;修改日期:2021-09-09*通信作者。第 2 期阎 庆,等:基于预检机制的偏振图像去烟研究and uses multi-scale attention adversarial network to extract the polarization information of the target in the smoke area,so as to alleviate distortion and enrich the structure and detail information of the target after smoke removal.Qualitati
9、ve and quantitative experimental results on real data sets show that the proposed algorithm can effectively improve the smoke removal effectiveness and efficiency of polarized images.K Keyey wordswords:image smoke removal;convolutional network;polarization image;multi-scale;attention mechanism;adver
10、sarial network0 引 言大气中悬浮粒子的存在,导致图像对比度下降、视觉效果变差以及目标特征信息丢失等一系列问题。随着计算机视觉在军事、交通监控等领域的发展及应用,图像去雾已成为计算机视觉领域的重要研究方向。研究人员为此提出了一系列算法,经典算法包括He等1提出的暗通道先验、Jiang等2提出的自适应双通道先验等去雾算法,但在实际应用中,这些基于先验的方法鲁棒性较差,具有一定局限性。基于偏振特性的去雾算法中,赵录建等3提出基于最大最小光强的偏振去雾算法,首先获取最大和最小光强下的正交偏振图像,并利用偏振滤波和亮通道先验方法分别估算大气光偏振度和无穷远处大气光强值,最终重构出无雾图像
11、。高隽等4提出利用偏振信息进行全局最优重构去雾算法,该算法考虑图像中不同位置大气杂散光参数的不一致性,对图像每一区域的重构参数分别运算,从而获得全局最优的重构参数图像。以上算法估计参数过程繁琐,容易产生累计误差。基于深度学习的方法主要是利用神经网络数据分布的学习能力。最新的深度学习去雾方法中,Chen等5采用端到端门控上下文聚合网络(GCANet)来直接恢复最终的无雾图像,Qin等6设计出特征融合注意网络(FFANet),利用一种新颖的特征注意模块将通道注意与像素注意机制结合在一起,不平等地对待不同的通道和像素,从而扩展了卷积网络的拟合能力,在去雾指标上提升到了新的高度。但GCANet和FFA
12、Net仅采用L1或L2范数损失函数,易产生过拟合现象,且面对浓雾场景情况下,去雾结果图中目标结构以及细节信息恢复效果较差。目前图像去雾算法对于烟和雾并不区分,传统及深度学习算法都是利用雾图数据集开展实验和研究,细分到图像去烟的研究可参考文献很少。通常烟图主要区别于雾图的地方在于:烟在场景中具有局域性且烟局域性浓度较高,由于光线散射作用,烟的存在导致普通可见光成像设备采集图像存在目标信息严重丢失问题,这给图像去烟带来更大挑战性,套用去雾算法效果并不理想。综上所述,针对烟在场景中局域性存在,在去烟预处理步骤中增加预检机制,以提高去烟效率并避免对图像无烟区的影响。针对普通可见光烟图目标信息损减严重导
13、致去烟效果差问题,采集可见光偏振态7烟图数据集用于探索去烟效果,并据此提出多尺度注意力对抗网络。该网络模型的主要构件包括:多尺度结构8、注意力机制9和对抗网络10,能够有效地提取图像目标偏振态特征信息以提升去烟效果。最后,在弹坑烟图数据集上的实验证明了该方法的优越性。1 研究方法1.1 预检机制在弹坑烟图数据集中,烟局部存在于弹坑烟源周围,图像所有像素数据作为去烟网络输入时,图像无烟109大 气 与 环 境 光 学 学 报18 卷区域会占用计算资源从而降低去烟效率。另一方面烟区像素信息特征常常出现与其他区域(如:阳光照射区、白色墙面等一些高像素值区)相似的情形,去烟网络提取图像语义特征时易出现
14、过拟合现象,导致测试集中去烟图像无烟区特征失真现象。为提升去烟效率以及减少对无烟区影响,在去烟前增加基于目标检测网络Yolov311的预检机制。目标检测是计算机视觉领域的基本任务之一,目标检测网络Yolov3在版本Yolov112和Yolov213基础上进行改进,有着检测快速和预测精度相对较高的优势。Yolov3系列算法是one-stage检测算法:首先将输入图片分成S S个网格,待烟区中心落入某个网格时,由该网格负责预测出B个边界框。每个边框输出的向量大小为1+5,其中1代表仅有烟这一类待检测物体,5表示类似C=(xywhS)的五元组,(xy)表示烟区中心的横纵坐标,(w,h)表示烟区的宽高
15、,S表示预测框的置信度得分,其计算公式为S=PoPcIou,(1)式中Po表示预测框是否存在烟雾,Pc表示预测框中物体属于烟的得分概率,Iou代表预测框与真实框的交并比。在获得每个预测框的置信度得分后设置阈值,采用非极大性抑制算法(NMS)过滤,置信度得分小于或等于阈值的置 0,得分大于阈值的预测框设置为检测框。1.2 整体结构去烟整体流程图如图1所示。使用可见光偏振相机采集偏振角为0o、45o、90o和 135o的线偏振光强图像,分别用I(0o)、I(45o)、I(90o)和I(135o)表示。光的偏振信息由斯托克斯(Stokes)矢量7(I,Q,U)和偏振度P表示,计算公式为 I=I(0o
16、)+I(90o)Q=I(0o)-I(90o)U=I(45o)-I(135o)P=Q2+U2I,(2)式中I 表示光的总强度,Q表示0o与90o线偏振光分量之差,U表示45o与135o线偏振光分量之差,P表示光的偏振度。Yolov3检测网络的数据输入为普通可见光图像,因此把光学性质类似于普通可见光图像的I 图像作为Yolov3输入,得到烟区的定位二维坐标。根据坐标得到四幅I、Q、U、P偏振态图像的烟区,以四通道形式作为去烟网络输入,丰富去烟图像目标的结构细节特征信息,以提升去烟效果。图像融合采用简单的图像拼接方法:把局部去烟图根据二维坐标替换I 图像的烟区,达到最终的局部去烟目的。1.3 去烟网
17、络1.3.1去烟网络模型多尺度注意力对抗去烟网络的结构如图2所示。生成器部分采用端到端的方式:三层卷积作为浅层特征提取部分。采用9个残差块的残差模块(Res18)作为编码器,以增加网络的深度与表现力,每个残差块包含两个标准卷积层(C+B+R)。选用三组相同的Res18模块为多尺度结构的每个尺度建立一个专属的通道,让每个尺度更加有效地提取偏振态图像高频和低频信息。接下来是多尺度结构与注意力模块的结合,为多尺度输出选择权重聚集更多的烟区目标偏振特征信息。同样使用三个卷积层将特征图转换到图像空间恢复最终的去烟图。特别增加了一个判别器部分,利用对抗损失进一步丰富图像的结构和细节信息。110第 2 期阎
18、 庆,等:基于预检机制的偏振图像去烟研究1.3.2多尺度注意力模块在数字图像领域,高频信号一般包含丰富的细节信息,而低频信号一般包含整体的结构信息。卷积层的输出特征图可被看作是混合了不同频域的信息,低分辨率特征图能够更加关注低频信号,减少空间冗余,高分辨率特征图更加关注高频信号,丰富空间细节信息,因此在深度学习图像处理领域多尺度模型架构被广泛采用1417。在去烟网络输入中,Q、U偏振态图像更加侧重低频分量,I、P通道偏振态图像更加侧重高频分量。为了有效融合偏振态图像目标的结构信息和细节信息,将多尺度结构与GCANet的门控融合子网注意力机制相结合,生成可训练的权重图用于融合不同尺度的特征图,如
19、图2中虚框所示。使用卷积层代替池化层进图 1 局部去烟流程图Fig.1 Flow chart of local smoke removal图 2 多尺度注意力对抗网络Fig.2 Multi-scale attentional adversarial network111大 气 与 环 境 光 学 学 报18 卷行降维,三组分别降维到输入尺度的1/4、1/2、1/1,再上采样到输入尺度大小,加入残差结构以预防模型退化。对三组多尺度输出的特征图Fl、Fm、Fh在通道方向合并(Concatenate),把合并后的整体输入到卷积(Conv)加激活函数(Sigmoid)层,形状从C H W变为3 H W
20、,生成三通道权重图Ml、Mm、Mh,将多尺度输出Fl、Fm、Fh结合权重图线性回归,计算公式为|MlMmMh|=convconcat(Fl Fm Fh),(3)Fz=FlMl+FmMm+FhMh,(4)式中表示Sigmoid激活函数。多尺度角度有效融合I、Q、U、P偏振态图像的结构信息和细节信息,同时考虑了实际情况中烟在图像像素上分布不均匀,权重图能够从像素注意力角度使网络更加关注烟区的背景目标偏振特征信息。1.3.3辩别器辨别器(Discriminator)结构如图2所示。对抗网络在去雾领域应用广泛1820,主要基于生成器和辨别器之间梯度交互更新实现相互博弈,学习有雾和无雾图像之间的映射关系
21、。由于对训练数据集中的烟图和与之匹配的无烟图使用了不固定大小的随机剪裁方法(具体参考2.1节训练方法),因此在判别器中加入全局池化层(Global pooling)以适应不同尺寸的图像输入。对抗损失目标函数的表达式为V(GD)=ExylgD(xIQUPyIQUP)+Exlg1-DG(xIQUP),(5)式中D表示判别器,G表示生成器(去烟网络),xIQUP代表生成器网络输入的四通道偏振态烟图,yIQUP代表与xIQUP对应的真实无烟图的偏振态图像。在训练时,产生器试图最小化目标V(GD),而鉴别器试图最大化目标V(GD)。为有效学习浓烟场景下目标的偏振态特征信息,令生成器网络也输出四通道I、Q
22、、U、P图像,同时计算对应的真实场景的I、Q、U、P图像,给出目标的参考偏振态特征信息,通过对抗损失对生成器网络参数调优,使生成器输出图像接近无烟参考图像的数据分布,以丰富去烟结果图目标的结构和细节信息。1.3.4损失函数多尺度注意力对抗网络参数总的损失函数Lall为Lall=mLm+gLg,(6)式中是经验性取值,Lm代表均方差损失,Lg表示针对生成器优化部分的对抗损失。对含有多个损失函数采用经验性权重配比各个损失函数(可参考文献 15,20)。经过实验测试,取m为1、g为0.1效果最好。均方误差是普通可见光图像去雾使用较广泛的损失函数,利用它来最小化目标I 图像与参考I 图像的误差,Lm的
23、计算公式为Lm=yI-G(xI)2,(7)式中yI表示真实场景I 图像,G为去烟网络,xI为输入的烟图I 图像。Lg的计算公式为Lgan=-lgDG(xIQUP).(8)112第 2 期阎 庆,等:基于预检机制的偏振图像去烟研究2 实验2.1 训练方法检测网络和去烟网络采用两阶段训练方式。Yolov3烟区检测训练:采用官网预训练权重Yolov3.weights对网络参数初始化,不必从头开始训练,通过微调网络模型适应单类别检测,得到预训练模型。由于预训练模型具有良好的泛化性能,在使用弹坑烟图数据集进行训练时直接使用类似的结构和权值,可缩短训练时长以及提高目标检测的准确性。设置批量大小(Bitch
24、 size)为 8,50个批次(Epoch)的训练,对烟区检测置信度S阈值设置为 0.6,当S 0.6时正确检测出弹坑烟区。去烟网络训练:需要适应经由检测网络得到的不同尺寸局部烟图,因此在训练集上采用随机剪裁进行预处理。基于对数据集的观察,图像弹坑烟区不小于128 128,因此设定随机剪裁的长宽最小值为128,而长宽最大值为原图像尺寸512。不固定剪裁尺寸的方法不仅提高了去烟网络对于不同尺寸输入的适应能力,同时可以提高模型的泛化性能。使用Adam优化器进行了200个Epoch的训练,批处理大小默认设置为4,学习率为0.0001,所有的训练实验在 GTX 1080Ti GPU上使用PyTorch
25、模型完成。测试处理图片平均运行时间是在Intel(R)Xeon(R)Silver 4114 CPU2.20GHz上完成。2.2 数据集选取多个场景并在每个场景中创建模拟弹坑产生烟,使用可见光偏振相机采集每个场景的烟从产生到消失的图像,采用烟消失后的真实无烟图的参量I、Q、U、P图像和烟图的参量I、Q、U、P图像配对,作为参考图像。每个场景中的烟从产生到消失一般在几分钟内完成,配对图像因外界因素(如光照)带来的误差可忽略不计。数据集共有1200对图像,1000对作为训练集,200对作为测试集,图像大小皆为512 512。I、Q、U、P图像如图3所示。2.3 评价指标采用峰值信噪比(PSNR,RP
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 预检 机制 偏振 图像 研究 阎庆
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。