基于特征稀疏化的粉尘图像深度预测.pdf
《基于特征稀疏化的粉尘图像深度预测.pdf》由会员分享,可在线阅读,更多相关《基于特征稀疏化的粉尘图像深度预测.pdf(8页珍藏版)》请在咨信网上搜索。
1、第5 4卷 第5期2 0 2 3年9月 太原理工大学学报J OUR NA L O F T A I YUAN UN I V E R S I T Y O F T E CHNO L OG Y V o l.5 4 N o.5 S e p.2 0 2 3 引文格式:贾慧敏,王园宇.基于特征稀疏化的粉尘图像深度预测J.太原理工大学学报,2 0 2 3,5 4(5):8 5 3-8 6 0.J I A H u i m i n,WAN G Y u a n y u.D u s t i m a g e d e p t h p r e d i c t i o n b a s e d o n f e a t u r
2、e s p a r s i t yJ.J o u r n a l o f T a i y u a n U n i-v e r s i t y o f T e c h n o l o g y,2 0 2 3,5 4(5):8 5 3-8 6 0.收稿日期:2 0 2 2-0 4-2 9;修回日期:2 0 2 2-0 6-0 1 基金项目:山西省自然科学基金资助项目(2 0 1 8 0 1 D 1 2 1 1 4 2);山西省回国留学人员科研资助项目(R e s e a r c h P r o j e c t S u p p o r t e d b y S h a n x i S c h o l
3、a r s h i p C o u n c i l o f C h i n a)第一作者:贾慧敏(1 9 9 7-),硕士生,主要从事计算机视觉的研究,(E-m a i l)j i a h m 0 2 0 6q q.c o m 通信作者:王园宇(1 9 7 3-),博士,副教授,主要从事计算机视觉、机器人技术、计算智能虚拟现实的研究,(E-m a i l)w_h 7 3 7 71 6 3.c o m基于特征稀疏化的粉尘图像深度预测贾慧敏,王园宇(太原理工大学 信息与计算机学院,山西 晋中 0 3 0 6 0 0)摘 要:【目的】针对粉尘环境中单幅图像深度预测精度低的问题,提出了一种基于输入特征
4、稀疏化的粉尘图像深度预测网络。【方法】使用粉尘图像的直接传输率与深度的关系设计预估计深度网络,利用图像颜色衰减先验原理进一步获取粉尘图像的稀疏深度特征。将该稀疏深度特征与粉尘图像一起作为深度预测网络的输入。深度预测网络以“编码器-解码器”为模型框架,编码器中使用残差网络(R e s N e t)对粉尘图像进行编码,设计融合通道注意力机制的稀疏卷积网络对稀疏深度特征进行编码。解码器中采用反卷积以及多尺度上采样的方法,以更好的重建稠密的深度信息。使用最小绝对值损失和结构相似性损失作为边缘保持损失函数。【结论】在NYU-D e p t h-v 2数据集上的实验结果表明该方法能够从粉尘图像中有效预测深
5、度信息,平均相对误差降低到0.0 5 4,均方根误差降低到0.6 1 0,在 1.2 5时准确率达到0.9 6 7.关键词:粉尘图像;稀疏深度样本;深度预测;颜色衰减先验;残差网络;稀疏卷积中图分类号:T P 3 9 1 文献标识码:AD O I:1 0.1 6 3 5 5/j.t y u t.1 0 0 7-9 4 3 2.2 0 2 3.0 5.0 1 3 文章编号:1 0 0 7-9 4 3 2(2 0 2 3)0 5-0 8 5 3-0 8D u s t I m a g e D e p t h P r e d i c t i o n B a s e d o n F e a t u r
6、e S p a r s i t yJ I A H u i m i n,WA N G Y u a n y u(C o l l e g e o f I n f o r m a t i o n a n d C o mp u t e r,T a i y u a n U n i v e r s i t y o f T e c h n o l o g y,J i n z h o n g 0 3 0 6 0 0,C h i n a)A b s t r a c t:【P u r p o s e s】A i m i n g a t t h e p r o b l e m o f l o w a c c u r
7、a c y o f s i n g l e i m a g e d e p t h p r e d i c t i o n i n d u s t y e n v i r o n m e n t,a d u s t i m a g e d e p t h p r e d i c t i o n n e t w o r k b a s e d o n s p a r s e i n p u t f e a t u r e s i s p r o p o s e d.【M e t h o d s】F i r s t,b y u s i n g t h e r e l a t i o n s h i
8、 p b e t w e e n t h e d i r e c t t r a n s m i s s i o n r a t e o f d u s t i m a g e a n d d e p t h i n f o r m a t i o n,a d e p t h p r e d i c t i o n n e t w o r k i s d e s i g n e d t o o b t a i n a d e p t h p r e d i c t i o n m a p.W i t h t h e p r i o r p r i n c i p l e o f i m a g
9、 e c o l o r a t t e n u a t i o n,t h e s p a r s e d e p t h f e a t u r e s o f t h e d u s t i m a g e a r e f u r t h e r o b t a i n e d f r o m t h e e s t i m a t e d d e p t h m a p.T h e n,t h e s p a r s e d e p t h f e a t u r e s a n d d u s t i m a g e s a r e u s e d a s t h e i n p u
10、 t o f t h e d e p t h p r e d i c t i o n n e t w o r k.T h e d e e p p r e d i c t i o n n e t w o r k u s e s a n“e n c o d e r-d e c o d e r”m o d e l f r a m e w o r k,a n d t h e t w o i n p u t s i n t h e e n c o d e r a r e e n c o d e d b y d i f f e r e n t n e t w o r k s.Am o n g t h e
11、m,t h e d u s t i m a g e i s e n c o d e d b y t h e r e s i d u a l n e t w o r k,w h i c h s o l v e s t h e p r o b l e m o f g r a d i e n t d i s p e r s i o n a n d a c c u r a c y d e g r a d a t i o n i n t h e d e e p n e t w o r k.T h i s p r e-d i c t i o n m e t h o d n o t o n l y e n
12、s u r e s t h e a c c u r a c y b u t a l s o c o n t r o l s t h e s p e e d.T h e s p a r s e d e p t h f e a-t u r e a d o p t s a s p a r s e c o n v o l u t i o n a l n e t w o r k w i t h a f u s i o n c h a n n e l a t t e n t i o n m e c h a n i s m.C o d i n g m a k e s e f f e c t i v e f
13、e a t u r e m a p s w e i g h t m o r e a n d i n v a l i d o r l e s s e f f e c t i v e f e a t u r e m a p s l e s s.【C o n c l u-s i o n s】T h e r e s u l t i n g o u t p u t i s t h e n c h a n n e l-f u s e d a n d f e d i n t o t h e d e c o d e r.T h e d e c o d e r u s e s d e-c o n v o l u
14、 t i o n a n d m u l t i-s c a l e u p s a m p l i n g t o d e s i g n a n u p s a m p l i n g m o d u l e,a n d u s e s b i c u b i c u p-s a m p l i n g t o b e t t e r r e c o n s t r u c t d e n s e d e p t h i n f o r m a t i o n.M i n i m u m a b s o l u t e v a l u e l o s s a n d s t r u c-t
15、 u r a l s i m i l a r i t y l o s s a r e a d o p t e d a s e d g e p r e s e r v i n g l o s s f u n c t i o n s.T h e e x p e r i m e n t a l r e s u l t s o n t h e NYU-D e p t h-v 2 d a t a s e t s h o w t h a t t h e m e t h o d c a n e f f e c t i v e l y p r e d i c t t h e d e p t h i n f o
16、 r m a t i o n o f d u s t i m a g e s,t h e a v e r a g e r e l a t i v e e r r o r i s r e d u c e d t o 0.0 5 4,t h e r o o t m e a n s q u a r e e r r o r i s r e d u c e d t o 0.6 1 0,a n d t h e a c c u r a c y o f 1.2 5 i s 0.9 6 7.K e y w o r d s:d u s t i m a g e;s p a r s e d e p t h s a m
17、 p l e;d e p t h p r e d i c t i o n;c o l o r a t t e n u a t i o n p r i o r;r e s i d-u a l n e t w o r k;s p a r s e c o n v o l u t i o n 图像的深度预测是计算机视觉研究领域中的重要内容,在三维重建1、无人驾驶车辆2、视频监控等领域都有广阔的应用前景。然而使用硬件设备以及传统的深度预测方法,如多视立体几何(MV S)算法3、运动中恢复结构(S FM)算法4等方式获取深度信息的成本高、采集密度低、速度慢,很难普及。目前,基于深度学习的方法以其强大的特征
18、拟合能力及高效性广受青睐,成为了该领域的研究热点。E I G E N e t a l5在2 0 1 4年提出了一种多尺度卷积网络,来估计从粗到细的深度。在2 0 1 5年,L I U e t a l6结合了深度卷积神经网络和连续条件随机场设计的模型,利用相邻像素之间的连续性得到深度估计的结果。L A I NA e t a l7在2 0 1 6年提出了基于残差网络的全卷积神经网络和上采样方式获得了比较高的精度。在2 0 1 6年,MAN C I N I e t a l8提出了一个C NN同时接收R G B图像和光流图像作为估计距离的输入。而为了获得更好的精确度,通过融合不同传感器得到的深度信息进
19、行深度预测的方法层出不穷。在2 0 1 7年,UHR I G e t a l9提出了一种稀疏不变的核神经网络来处理不同的输入深度稀疏性。在2 0 1 9年Q I U e t a l1 0提出了一种深度学习架构,有效地融合了密集的彩色图像和稀疏的激光雷达深度。在2 0 2 0年,L I N e t a l1 1探索了使用深度神经网络融合单目图像和激光雷达点来实现更精确深度估计。但是当上述方法考虑环境中粉尘等介质的影响时,表征场景深度结构的边缘和色彩等信息会发生退化,导致网络无法从图像中提取有效的特征信息,从而产生较大的深度预测误差。倘若对粉尘图像进行清晰化处理后进行深度预测,可能会造成可视效果衰
20、减1 2,并且图像去噪处理产生的退化误差会造成网络训练误差更大,使预测过程更加复杂。因此,考虑到R G B深度预测潜在的局限性以及粉尘环境的影响,为了克服在非均匀分布下粉尘环境对单幅图像深度预测的影响,本文提出了一种基于特征稀疏化的图像深度预测方法。本文的工作如下:1)提出基于颜色衰减先验的稀疏深度特征提取方式。从设计的预估计深度网络中,利用颜色衰减先验,提取稀疏深度特征,充分利用了粉尘图像中未被遮盖的区域的颜色等信息。相比于其他已有的方法成本低而且针对粉尘图像。2)设计融合注意力机制的稀疏卷积的网络结构。相比现有的网络结构,注意力模块的引入以及稀疏卷积的设计,对稀疏深度特征的处理更有效。解码
21、器部分设计使用了反卷积操作的上采样模块,反卷积和快速上卷积模块结合使用。3)设计边缘保持损失函数,将最小绝对值损失与结构相似性损失结合使用,显著提高了深度预测的精度,相较只使用一种损失函数的方法能更有利于保持边缘的清晰。1 图像深度预测图像深度预测的目的是利用相机采集到的图像的特征信息,获取图像中各像素点的深度,预测到的深度图中的各像素点为相机到三维场景某点的距离。一般会量化到02 5 5之间,使用灰度图或者伪彩色图来表示。为了能够展示更好的视觉效果,本文采用伪彩色图表示深度。2 稀疏深度特征获取由于粉尘图像为单散射且均匀分布,其对图像的影响与雾类似1 3,此时粉尘图像可与雾图像一样使用大气散
22、射模型理论。因此本文首先根据大气散射模型1 4中关于直接传输率图与深度信息的关系,得到粉尘图像的预估计深度图。其中直接传输率图使用D e h a z e N e t1 4网络中的特征提取、多尺度映射与局部极值、非线性回归3层提取。其次,由于粉尘图像中粉尘的实际分布不均匀,根据颜色衰减先验原理1 5预估计深度图中仅有少量点估计较为准确,458太 原 理 工 大 学 学 报 第5 4卷 即粉尘图像中饱和度较高并且亮度较低的点。因此,可以通过调整粉尘图像的饱和度和亮度差值的阈值,仅保留预估计深度图中的这些点作为准确的稀疏深度特征(选取的具体数量见4.4.1节)。3 深度预测网络模型设计网络整体采用了
23、端到端的“编码器-解码器”结构。深度预测网络模型如图1所示。首先分别对粉尘图像与从粉尘图像中提取的稀疏深度特征使用不同的网络进行编码,然后通道融合送入解码器。避免了因前期融合1 6产生的大量冗余数据导致在预测图像边界的附近产生伪影1 0。解码器对从编码器获取到的特征进行上采样,从而得到最终的深度预测图。稀疏深度特征提取残差网络粉尘图1082?048BN11?conv1081?0241081?0241082?048BN11?conv1081?0241081?0241081?024稀疏深度特征稀疏卷积网络注意力模块编码器表示通道 1?024,像素大小 810Upsamplemodule324025
24、6Upsamplemodule1281606412816033?convBicubicupsample预测深度图图1 深度预测网络模型结构F i g.1 D e p t h p r e d i c t i o n n e t w o r k m o d e l s t r u c t u r e3.1 编码器考虑到卷积神经网络随着层数的增加会出现梯度弥散问题,使得粉尘图像的深度预测图质量降低,图像中的三维结构和边缘信息等关键信息会在网络传播中丢失。因此本文对粉尘图像使用删除最后一个全连接层和池化层的残差网络1 7(r e s i d u a l n e t-w o r k,R e s N e
25、t)进行训练。网络中的跳跃连接可以有效避免深层网络中梯度弥散和精度下降的问题,既可以保证精度又可以控制速度。针对稀疏深度特征,本文发现普通的卷积神经网络在提取前一层特征时,当输入样本是变化的稀疏数据时,图像中只有很少一部分的像素携带有用信息,无法有效调整网络结构以捕获有用信息。于是本文使用稀疏卷积9对稀疏深度特征进行训练。标准的卷积层计算公式如下:bi,j=u,vai+u,j+v wu,v+c.(1)式中:a代表输入图片,b代表输出特征图,w是卷积核参数,a、b、w都是二维数组。i,j表示特征图中参加卷积计算像素的起始位置。u=(0,1,i-1),v=(0,1,j-1).c是偏置。稀疏卷积的计
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 特征 稀疏 粉尘 图像 深度 预测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。