一种密集多尺度特征引导代价聚合的改进立体匹配网络.pdf

西 安 工 程 大 学 学 报J o u r n a l o f X ia n P o l y t e c h n i c U n i v e r s i t y 第3 8卷第1期(总1 8 5期)2 0 2 4年2月V o l.3 8,N o.1(S u m.N o.1 8 5)引文格式:张博,张美灵,李雪,等.一种密集多尺度特征引导代价聚合的改进立体匹配网络J.西安工程大学学报,2 0 2 4,3 8(1):1 2 1-1 3 0.Z HAN G B o,Z HAN G M e i l i n g,L I X u e,e t a l.I m p r o v e d s t e r e o m a t c h i n g n e t w o r k b a s e d o n d e n s e m u l t i-s c a l e f e a-t u r e g u i d e d c o s t a g g r e g a t i o nJ.J o u r n a l o f X ia n P o l y t e c h n i c U n i v e r s i t y,2 0 2 4,3 8(1):1 2 1-1 3 0.收稿日期:2 0 2 3-0 7-1 0 修回日期:2 0 2 3-0 8-1 4 基金项目:国家自然科学基金(6 1 9 7 1 3 3 9);陕西省自然科学基础研究计划(2 0 1 9 J Q-3 6 1);陕西省教育厅科研计划项目自然科学专项(1 9 J K 0 3 6 1)通信作者:张博(1 9 8 5),男,讲师,博士,研究方向为信号检测与信息处理、三维重建等。E-m a i l:b o z h a n g x p u.e d u.c n一种密集多尺度特征引导代价聚合的改进立体匹配网络张 博,张美灵,李 雪,朱 磊(西安工程大学 电子信息学院,陕西 西安 7 1 0 0 4 8)摘要 针对目前立体匹配算法在重复纹理、无纹理、边缘等不适定性区域仍存在匹配不准确的问题,提出了一种基于P S MN e t的密集多尺度特征引导代价聚合的立体匹配算法D GN e t(D e n s e m u l t i-s c a l e f e a t u r e s G u i d e d a g g r e g a t i o n N e t w o r k)。首先,基于密集连接空洞空间金字塔池化结构设计了密集多尺度特征提取模块,该模块利用不同膨胀率的空洞卷积提取不同尺度的区域级特征,并通过密集连接方式有效整合不同尺度的图像特征,使网络捕获丰富的上下文关系;其次,在每个视差等级下将左右特征图串联形成初始代价体,再提出密集多尺度特征引导代价聚合结构,在聚合代价体的同时自适应融合代价体和密集多尺度特征,从而使后续的解码层在多尺度上下文信息的引导下解码出更加精确和高分辨率的几何信息;最后,将全局优化后的高分辨率代价体送入视差回归模块以获得视差图。实验结果表明:所提算法在K I T T I 2 0 1 5和K I T T I 2 0 1 2数据集上的误匹配率分别降至1.7 6%和1.2 4%,S c e n e F l o w数据集上的端点误差降至0.5 6 p x,与GWC N e t、C P O P-N e t等先进算法相比,所提算法在不适定区域有明显改善。关键词 双目视觉;立体匹配;密度多尺度特征;自适应融合开放科学(资源服务)标识码(O S I D)中图分类号:T P 3 9 1 文献标志码:AD O I:1 0.1 3 3 3 8/j.i s s n.1 6 7 4-6 4 9 x.2 0 2 4.0 1.0 1 6I m p r o v e d s t e r e o m a t c h i n g n e t w o r k b a s e d o n d e n s e m u l t i-s c a l e f e a t u r e g u i d e d c o s t a g g r e g a t i o nZHANG B o,ZHANG M e i l i n g,L I X u e,ZHU L e i(S c h o o l o f E l e c t r o n i c s a n d I n f o r m a t i o n,X ia n P o l y t e c h n i c U n i v e r s i t y,X ia n 7 1 0 0 4 8,C h i n a)A b s t r a c t T o f u r t h e r i m p r o v e t h e d i s p a r i t y p r e d i c t i o n a c c u r a c y o f s t e r e o m a t c h i n g a l g o r i t h m i n t h e i l l-p o s e d r e g i o n s s u c h a s r e p e a t i n g t e x t u r e s,n o t e x t u r e,a n d e d g e,a n i m p r o v e d d e n s e m u l t i-s c a l e f e a t u r e g u i d e d a g g r e g a t i o n n e t w o r k(D GN e t)b a s e d o n P S MN e t w a s p r o p o s e d.F i r s t l y,a d e n s e m u l t i-s c a l e f e a t u r e e x t r a c t i o n m o d u l e w a s d e s i g n e d b a s e d o n t h e d e n s e a t r o u s s p a t i a l p y r a-m i d p o o l i n g s t r u c t u r e.T h i s m o d u l e e x t r a c t e d r e g i o n-l e v e l f e a t u r e s o f d i f f e r e n t s c a l e s b y u s i n g a t-r o u s c o n v o l u t i o n o f d i f f e r e n t e x p a n s i o n r a t e s,a n d e f f e c t i v e l y f u s e d i m a g e f e a t u r e s o f d i f f e r e n t s c a l e s t h r o u g h d e n s e c o n n e c t i o n,s o t h a t t h e n e t w o r k c a n c a p t u r e c o n t e x t u a l i n f o r m a t i o n.S e c-o n d l y,t h e i n i t i a l c o s t v o l u m e w a s o b t a i n e d b y c o n c a t e n a t i n g l e f t f e a t u r e m a p s w i t h t h e i r c o r r e-s p o n d i n g r i g h t f e a t u r e m a p s a c r o s s e a c h d i s p a r i t y l e v e l.T h e n,a d e n s e m u l t i-s c a l e f e a t u r e g u i d e d c o s t a g g r e g a t i o n m o d u l e w a s p r o p o s e d,w h i c h a d a p t i v e l y f u s e d t h e c o s t v o l u m e a n d d e n s e m u l t i-s c a l e f e a t u r e s w h i l e a g g r e g a t i n g t h e c o s t v o l u m e,s o t h a t t h e s u b s e q u e n t d e c o d i n g l a y e r s c a n d e-c o d e m o r e a c c u r a t e a n d h i g h-r e s o l u t i o n g e o m e t r y i n f o r m a t i o n w i t h t h e g u i d a n c e o f m u l t i-s c a l e c o n t e x t i n f o r m a t i o n.F i n a l l y,t h e h i g h-r e s o l u t i o n c o s t v o l u m e w i t h g l o b a l o p t i m i z a t i o n w a s i n p u t i n t o t h e r e g r e s s i o n m o d u l e t o o b t a i n t h e d i s p a r i t y m a p.C o m p r e h e n s i v e e x p e r i m e n t a l r e s u l t s d e m-o n s t r a t e d t h a t t h e m i s m a t c h i n g r a t e o f t h e p r o p o s e d a l g o r i t h m o n K I T T I 2 0 1 5 a n d K I T T I 2 0 1 2 d a t a s e t s w a s r e s p e c t i v e l y r e d u c e d t o 1.7 6%a n d 1.2 4%,a n d t h e e n d p o i n t e r r o r o n S c e n e F l o w d a t a s e t w a s r e d u c e d t o 0.5 6 p x.C o m p a r e d w i t h e x i s t i n g s t e r e o m a t c h i n g a l g o r i t h m s s u c h a s GWC N e t a n d C P O P-N e t,t h e p r o p o s e d a l g o r i t h m p e r f o r m s w e l l i n t h e i l l-p o s e d r e g i o n s.K e y w o r d s b i n o c u l a r v i s i o n;s t e r e o m a t c h i n g;d e n s e m u l t i-s c a l e f e a t u r e s;a d a p t i v e f u s i o n0 引 言 双目立体视觉是计算机视觉领域的重要研究分支之一,该技术基于视差原理恢复物体三维几何信息,在三维重建、自动驾驶、工业检测等诸多领域具有广泛应用。立体匹配是实现双目感知的核心技术,旨在为一对左右视图查找同名像素点。立体匹配方法可分为传统立体匹配方法和基于深度学习的立体匹配方法1。传统立体配方法通常包含匹配代价计算、代价聚合、视差计算和视差优化4个步骤2。一般采用手工设计的特征比较同名点的差异性,缺乏上下文信息,且经验参数的设置存在一定局限性,导致其在无纹理、重复纹理、反射等复杂场景下的匹配效果不尽人意。基于深度学习的立体匹配方法根据是否直接端到端输出视差图被划分为非端到端方法和端到端方法,其中非端到端方法专注于将传统立体匹配方法4个步骤中的某个步骤或某几个步骤用深度神经网络替代,本质上仍旧使用传统方法的框架,未解决视差后处理、图像上下文信息缺乏等问题3。端到端方法以左右视图作为输入,利用深度神经网络的强大学习能力直接学习原始数据而后输出视差图,不需要任何后处理。该种方法在立体匹配任务中呈现出巨大的潜力,研究者们致力于从特征提取、代价聚合等不同角度提升网络性能以获得更加准确的视差估计。图像多 尺 度 特 征 已 被 广 泛 应 用 于 多 种 任 务中4-6。在立体匹配方面,特征提取网络获得的特征图质量直接决定了初始代价体的精度,而饱含丰富上下文信息的图像特征不仅可以驱动网络更好地学习目标对象与其子区域的隶属关系(如汽车与窗户、轮胎等子区域间的关系),还可以动态减小搜索范围,有利于匹配估计。为了捕获上下文信息,文献7 在特征提取阶段引入空间金字塔池化模块(s p a-t i a l p y r a m i d p o o l i n g,S P P)提取不同尺度和不同位置的区域级特征,探索对象和子区域的上下文关系。文献8 提出了一种浅层编码器-解码器结构融合网络不同层的输出,从而获得具有较大感受野和不同级别的多尺度特征,提高特征区分性。文献9 构建具有跳跃连接的类似于U-N e t的编码器-S P P-解码器金字塔特征提取架构,提取多尺度图像特征并合并不同层次的上下文信息,有效增强特征表示。利用左右特征图构建的4 D初始代价体通常缺乏全局信息,在遮挡、无纹理等区域误匹配率较高。为了解决此问题,文献1 0-1 3 提出不同的代价聚合网络对初始代价体进行全局优化。文献1 0 利用3 D编码器-解码器结构聚合代价体,以推理全局场景的几何信息,端到端输出预测视差。在此基础上,文献7,1 1 设计了新颖的堆叠式沙漏结构,学习更多的上下文信息以正则化代价体,展示了出色的匹配效果。文献1 2 基于可变形卷积构建了2种不同的自适应代价体聚合结构,有效利用了多尺度代价体之间的互补关系。为了提高模型性能,文献1 3 将特征提221 西安工程大学学报 第3 8卷取网络获取的图像特征与代价体共同输入至代价聚合网络,利用注意力机制计算初始图像特征的权重激励代价体通道,显著提高视差预测精度。文献7-9 在提取多尺度特征时使用S P P模块,但池化操作损失了空间分辨率,导致其在细节和边缘区域匹配效果不佳;文献7,1 1 在代价聚合时创新性地使用堆叠沙漏结构,虽使精度有一定的提升,但未考虑参考图像特征与代价体之间的交互性。文献1 3 已经意识到图像特征引导代价聚合的重要性,然而该方法通常为代价体与初始图像特征之间建立联系,忽略了多尺度上下文信息。为了充分挖掘图像多尺度特征,同时探索图像多尺度特征和代价体之间的相互作用性,本文提出一种基于P S-MN e t的改进立体匹配网络D GN e t。在特征提取阶段,构建密集多尺度特征提取(D e n s e M u l t i-s c a l e f e a t u r e E x t r a c t i o n,DME)模块捕获包含多尺度信息和语义信息的图像特征,改进用于立体匹配的特征表示;在代价聚合阶段,提出密集多尺度特征引导代价聚合(D e n s e m u l t i-s c a l e f e a t u r e s g u i d e d c o s t a g g r e g a t i o n,D G C A)结构,使代价体在多尺度图像特征的帮助下自适应聚合有效的上下文信息,有利于解码出更加准确的立体几何信息。1 D GN e t立体匹配网络结构D GN e t整体结构如图1所示。该网络主要包括密集多尺度特征提取、密集多尺度特征引导代价聚合以及视差回归3部分。基本流程如下:首先,将标准左右图像输入到具有共享权重的初始特征提取网络获得初始特征图;接着通过密集连接的空洞空间金字塔池化结构(D e n s e A t r o u s S p a t i a l P y r a m i d P o o l i n g,D e n s e A S P P),在扩大特征点感受野的同时获得像素采样密集的多尺度特征以增强特征显著性表示。其次,对含有多尺度信息的左右特征图以像素为单位逐个错位串联构成初始串联代价体,并在改进的代价聚合网络中融合串联代价体和密集多尺度上下文特征,获得高质量的代价体几何信息;最后,通过双线性插值和视差回归获得视差图。图 1 D GN e t结构F i g.1 T h e s t r u c t u r e o f D G N e t1.1 密集多尺度特征提取模块本文基于初始特征提取网络和D e n s e A S P P1 4构建DME模块,初始特征提取网络用于提取初始图像特征,D e n s e A S P P依赖于不同膨胀率的空洞卷积和密集连接方式提取,整合多尺度信息。1.1.1 初始特征提取首先将一对左右视图输入至权值共享的类似于R e s N e t的初始特征提取网络。不同的是,为了获得较大感受野,第一个卷积层使用3个33卷积代替77卷积获得浅层特征,随后经过包含3个残差321第1期 张博,等:一种密集多尺度特征引导代价聚合的改进立体匹配网络块、1 6个残差块、3个残差块、3个残差块的4个残差结构,输出大小为BH/4W/44C的初始特征图f,以此作为D e n s e A S P P结构的输入。其中B是批量大小,H、W分别是左右视图的高和宽,4C是特征通道数1 2 8。1.1.2 密集连接的空洞空间金字塔池化结构D e n s e A S P P结合A S P P1 5的多尺度生成方式与D e n s e N e t的密集连接方式获取密集多尺度特征。本文设计的D e n s e A S P P结构包含5个不同膨胀率(d2 4)的空洞卷积层,每层空洞卷积的输出为yl=Hk,d l(yl-1,yl-2,y0)(1)式中:yl表示第l层空洞卷积的输出,l1,2,3,4,5;Hk,d l表示膨胀率为dl,大小为KK的卷积核,其中膨胀率dl分别为d1=3,d2=6,d3=1 2,d4=1 8,d5=2 4;y0表示初始特征;表示特征在通道上进行拼接操作。将当前空洞卷积层提取到的特征传递到后续所有未访问的卷积层中,因此中间的每层空洞卷积均能编码不同尺度的图像特征,包含大量语义信息。每层空洞卷积设置相同的输出通道数w,具体步骤如下:将初始特征f输入至d1=3的第1层空洞卷积,紧接着将输出结果与输入特征图在通道维度上进行拼接作为第1层空洞卷积的输出特征,则第1层空洞卷积的输入特征通道数为1 2 8,输出特征通道数为1 2 8+w;d2=6的第2层空洞卷积的输入特征通道数为1 2 8+w,输出特征通道数为1 2 8+2w。以此类推,第l层空洞卷积层的输入特征通道数为1 2 8+(l-1)w,输出特征通道数为1 2 8+lw。经D e n s e A S P P模块获取的密集多尺度特征包含更密集的像素采样、更大的感受野。当并行式放置空洞卷积层时,膨胀率为6的空洞卷积只采样下层特征中的9个像素。因此,当采用更大膨胀率时其采样的像素点更为稀疏。如图2所示,在二维情况下,D e n s e A S P P中堆叠式放置空洞卷积层且膨胀率逐层增加,上层的卷积层可以对底层特征进行更加密集的采样,膨胀率为6的空洞卷积层可以采样4 9个像素,获得的信息连续性更强,有助于提升视差预测的准确性。在扩大感受野方面,每层空洞卷积的感受野Rk,d计算公式为Rk,d=(d-1)(K-1)+K(2)式中:d为膨胀率;K为卷积核大小。由此可知,膨胀率为2 4的空洞卷积层最大感受野为R3,2 4=4 9,本文中D e n s e A S P P最大的感受野计算公式为Rm a x=R3,3+R3,6+R3,1 2+R3,1 8+R3,2 4-4=1 2 8(3)图 2 像素采样二维示意图F i g.2 T w o-d i m e n s i o n a l d i a g r a m o f p i x e l s a m p l i n g小膨胀率的空洞卷积层和大膨胀率的空洞卷积层相互依赖,产生更大的感受野感知图像上下文信息,这有助于提高算法在无纹理、重复纹理等不适定区域的匹配精度。1.2 代价体构建文献1 6 通过计算左右特征图的互相关来构建相关代价体,该方法在视差通道下将特征向量转换为余弦相似度,具有较低内存使用率和较快运行时间的优点。然而,在每个视差下仅生成一个单通道相关图,会损失大量特征信息,导致模型性能较差。本文对D e n s e A S P P输出的密集多尺度特征,在每个视差等级下将左特征图与其对应的右特征图逐像素错位拼接,形成大小为BH/4W/4D/44C的初始串联代价体,使代价体保留更多的图像几何信息和上下文信息,其中D是最大视差,4C是通道数1 2 8。由特征图错位拼接形成初始代价体的过程如图3所示。其中红色长方形和蓝色长方形分别表示由多尺度特征提取模块获取的1/4左图像特征图和1/4右图像特征图,白色部分为不同的错位长度,即视差等级0D/4。图 3 初始代价体构建过程F i g.3 T h e c o n s t r u c t i o n p r o c e s s o f i n i t i a lc o s t v o l u m e421 西安工程大学学报 第3 8卷1.3 密集多尺度特征引导代价聚合结构本文提出的密集多尺度特征引导代价聚合结构主要由3个自上而下、自下而上的沙漏网络和6个代价体融合上下文特征(c o n t e x t a n d g e o m e t r y f u-s i o n,C G F)模块构成,旨在聚合代价体的同时自适应融合DME模块的多尺度上下文特征,输出全局优化后的代价体。1.3.1 3 D堆叠沙漏结构如图1所示,D G C A结构的2个输入是初始串联代价体和密集多尺度特征,3个相同的沙漏网络均包括编码器、2个C G F模块和解码器。首先利用预沙漏模块聚合上下文信息,增加特征感受野;接着依次使用2个下采样模块获得大小为BH/8W/8D/82C的代价体和BH/1 6W/1 6D/1 64C的代价体,每个下采样模块由一个步幅为2的333的3 D卷积和一个步幅为1的333的3 D卷积组成;然后交替使用C G F模块和步幅为2的333转置卷积,依次上采样出大小为BH/8W/8D/82C的代价体和BH/4W/4D/4C的高分辨率代价体。将上采样后的高分辨率代价体作为第2个沙漏结构的输入,其输出的代价体作为第3个沙漏结构的输入,捕获全局信息,获得最终的高质量代价体。此外,在每个沙漏网络中使用2个111的3 D卷积添加快捷连接(如图1中虚线所示),整合相同分辨率的代价体,在不显著增加计算成本的情况下提高性能。在预沙漏模块后增加一个输出模块构成4个输出和4个损失,额外的辅助损失使网络更好地学习较低层特征,有助于最终的视差预测。1.3.2 代价体融合上下文特征模块本文在代价聚合阶段融合代价体与密集多尺度特征以得到更精确的立体几何信息。需要说明的是,二者融合时需要保持相同的分辨率和通道数量,因此设计2个不同的下采样模块调整密集多尺度特征的分辨率及相应的通道数量。第一个下采样模块采用2个步幅为2的33卷积将密集多尺度特征下采样至BH/1 6W/1 64C。另外一个下采样模块采用一个步幅为2的33卷积和步幅为1的11卷积将其下采样至BH/8W/82C。将下 采 样 后 的 密 集 多 尺 度 上 下 文 特 征CRBC0H0W0和相同分辨率、相同通道数量的代价体GRBC0D0H0W0(C0:通道数,4C或2C;D0:视差,D/1 6或D/8;H0:高,H/1 6或H/8;W0:宽,W/1 6或W/8)共同输入至C G F模块。图4为代价体融合上下文特征模块。图 4 代价体融合上下文特征模块F i g.4 C o s t v o l u m f u s e d c o n t e x t f e a t u r e s t m o d e l 图4中先将C在视差维度扩展至BC0D0H0W0获得C,其次求和C 和G,接着将其输入到卷积核大小为155的3 D卷积层中,最后运用S i g m o i d函 数 生 成 空 间 注 意 力 掩 膜MSRBC0D0H0W0以自适应强调“重要”区域,抑制“不重要”区域,该过程可表示为MS=f5 5(G+C)(4)式中:为s i g m o i d函数,f5 5为卷积核大小为155的3 D卷积层。密集多尺度上下文特征和代价体的融合过程可表示为GC=f5 5(G+MSC)(5)式中:为H a d a m a r d乘积;GC为融合密集多尺度上下文特征后的代价体。1.4 视差回归和损失函数对于每个输出模块,首先使用2个3 D卷积生成1通道4 D代价体,接着使用双线性插值上采样至原始图像尺寸,然后使用S o f t m a x操作计算每个视差d的概率,最终的预测视差d计算公式为d=Dm a x-1k=0kPk(6)式中:k为视差等级;Pk为每个视差等级下的概率;Dm a x为最大视差。采用S m o o t hL1损失函数训练网络,因为相比于L2损失函数,它不易受异常值的影响,具有更好的鲁棒性1 5。损失函数计算公式为L(d,d)=1NNi=1s m o o t hL1(di-di)(7)式中:N为带标签像素的总数;di为真实视差;di为预测视差。4个输出模块均会生成预测视差图,其损失分别用L0、L1、L2、L3表示,最终的损失函数由L0、L1、L2、L3加权和构成,其计算公式为L=i=3i=0iLi(8)式中:i为Li的权重系数。521第1期 张博,等:一种密集多尺度特征引导代价聚合的改进立体匹配网络2 结果与分析2.1 实验环境与评价指标2.1.1 实验环境整 个 网 络 使 用P y t o r c h框 架 构 建,在2台NV I D I A R T X 3 0 6 0 G P U上对模型执行训练。所有实验,采用A d a m优化器(1=0.9,2=0.9 9 9)端到端训练,训练时将图像随机裁剪为H=2 5 6,W=5 1 2,最大视差Dm a x设置为1 9 2,4个输出模块的权重系数设置为0=0.5,1=0.5,2=0.7,3=1.0。所提算法在S c e n e F l o w、K I T T I 2 0 1 5和K I T-T I 2 0 1 2三大立体数据集上进行实验。对于S c e n e-F l o w,首先训练2 0个周期,然后对其微调2 0个周期,初始学习率为0.0 0 1,在第1 0、1 4、1 6、1 8周期学习率依次降低一半。对于K I T T I,在混合K I T T I 2 0 1 2和K I T T I 2 0 1 5的训练集上使用S c e n e F l o w的预训练模型微调6 0 0个周期,初始学习率为0.0 0 1,在第3 0 0个周期学习率调至0.0 0 0 1。2.1.2 评价指标对于K I T T I 2 0 1 5数据集,通常采用所有(A l l)像素与非遮挡(N o c)像素2种情况下的背景区域(D1-b g)、前景区域(D1-f g)以及所有区域(D1-a l l)的三像素 误 差 百 分 比 作 为 评 价 指 标。对 于K I T T I 2 0 1 2数据集,常采用非遮挡(x-N o c)和所有(x-A l l)像素中大于x像素的错误像素百分比以及非遮挡(E P E-N o c)和所有像素端点误差(E P E-A l l)作为评价指标。对于S c e n e F l o w数据集,常采用端点误差(E n d P o i n t E r r o r,E P E)以及视差异常值D1的百分比作为评价指标。2.2 消融实验为了验证DME模块与D G C A结构的有效性,在S c e n e F l o w数据集上进行4种情形的对比实验。采取D1、E P E评估各模块对网络模型性能的贡献,消融结果如表1所示。表 1 消融实验结果T a b.1 R e s u l t s o f a b l a t i o n e x p e r i m e n t实验DMED G C AE P E/p xD1/%10.8 83.4 120.8 13.1 530.6 02.0 340.5 61.8 9由表1可知,与实 验1相 比,实 验2中 使 用DME模块,可使E P E和D1分别下降至0.8 1 p x和3.1 5%;实验3使用D G C A结构效果更好,E P E和D1分别下降至0.6 0 p x和2.0 3%;由实验4可以发现,同时使用本文提出的两模块时效果最好,E P E最低至0.5 6 p x,相比于实验1下降了3 6.4%,实验指标均呈优化趋势。由此可见,2个模块均对模型有显著改进,DME模块有助于网络获得增强的特征表示和具有引导作用的密集多尺度特征,D G C A模块上采样出的高分辨率代价体在密集多尺度上下文信息的指导下使网络对立体几何特征产生更准确的理解,2个模块相辅相成,共同改善视差预测结果。2.3 对比实验2.3.1 K I T T I 2 0 1 5实验结果对于K I T T I 2 0 1 5数据集,将所提网络在测试集上的视差预测结果提交至K I T T I官网,与其他先进立体匹配网络的测试集定量比较,结果如表2所示(所有数据均取自K I T T I官方排行榜)。表 2 不同网络在K I T T I 2 0 1 5数据集上的对比结果T a b.2 C o m p a r i s o n o f d i f f e r e n t n e t w o r k s o n K I T T I 2 0 1 5 d a t a s e t方法A l lD1-b g/%D1-f g/%D1-a l l/%N o cD1-b g/%D1-f g/%D1-a l l/%时间/sP S MN e t71.8 64.6 22.3 21.7 14.3 12.1 40.4 1G w c N e t1 11.7 43.9 32.1 11.6 13.4 91.9 20.3 2D F L-C C A-N e t1 71.8 14.1 32.1 91.6 53.6 71.9 80.4 9C P O P-N e t1 81.4 73.8 01.8 61.3 43.3 81.6 80.9 5P G N e t1 91.6 43.6 01.9 61.4 33.2 11.7 20.7 0S G N e t2 01.6 33.7 61.9 91.4 63.4 01.7 80.6 0本文1.4 83.1 31.7 61.3 62.8 71.6 10.4 7 由表2可知,本文模型在精度指标中均取得了最优结果,值得注意的是,所有像素下的D1-a l l误差621 西安工程大学学报 第3 8卷百分比是官方排行榜的主要排名依据,本文模型在该项指标中取得了1.7 6的结果,相比P S MN e t、GWC N e t、C P O P-N e t分别提升了2 4.1%、1 6.6%、5.4%。然 而,本 文 模 型 预 测 一 组 图 像 的 时 间 为0.4 7 s,说明本文模型的规模更大,在提升精度的同时需要更多的计算资源。K I T T I 2 0 1 5部分测试集的可视化结果如图5所示。可以看出,本文模型产生了更稳健的结果。设计的DME模块避免使用池化操作从而保留了更多细节信息,因此在轮廓结构及物体边缘产生了更精细的视差结果,如视差图中白色方框标出区域。此外,D G C A模块使代价体在多尺度特征的引导下,将匹配信息正确聚合到反射、重复纹理等不适定性区域,从而提高了视差预测的准确性,如视差图中蓝色方框标出区域。误差图中红色像素表示错误估计像素。观察误差图可知,本文模型的错误估计像素明显减少。实验结果表明,在重复纹理和边缘等不适定区域,D GN e t的视差预测精度相较于其他算法有了明显的提升,表现出较优越的匹配性能。然而,第1组图像中车反光处与车边铁链处的匹配效果不理想。这是由于受反光和左右图透视变换的影响,其表观特性可能发生改变,导致卷积提取的特征无法有判别性地描述物体。在未来的研究中,考虑引入局部相似性模块2 1获取结构信息,对卷积提取到的表观特征进行补充以有效应对光照变化及透视变换的影响。图 5 K I T T I 2 0 1 5测试图像的视差可视化结果F i g.5 T h e r e s u l t o f d i s p a r i t y v i s u a l i z a t i o n o f K I T T I 2 0 1 5 t e s t i m a g e2.3.2 K I T T I 2 0 1 2实验结果对于K I T T I 2 0 1 2数据集,将所提网络在测试集上的视差预测结果提交至K I T T I网站,与其他立体匹配网络的测试集定量比较结果如表3所示。由表3可知,本文网络在K I T T I 2 0 1 2数据集上表现良好,在主要排行依据3 p x-N o c误匹配率低至1.2 4%,相比P S MN e t、C o e x、GWC N e t分别提升了1 6.8%、2 0.0%和6.1%。表 3 不同网络在K I T T I 2 0 1 2数据集上的对比结果T a b.3 C o m p a r i s o n o f d i f f e r e n t n e t w o r k s o n K I T T I 2 0 1 2 d a t a s e t方法2 p x/%N o cA l l3 p x/%N o cA l l5 p x/%N o cA l lE P EN o cA l lP S MN e t72.4 43.0 11.4 91.8 90.9 01.1 50.50.6G w c N e t1 12.1 62.7 11.3 21.7 00.8 01.0 30.50.5C o e x1 32.5 43.0 91.5 51.9 30.9 11.1 30.50.5D F L-C C A-N e t1 72.2 52.8 11.3 51.7 30.7 91.0 30.50.5P G N e t1 92.1 42.8 11.3 21.7 90.8 21.1 10.50.5H I T N e t2 22.0 02.6 51.4 11.8 90.9 61.2 90.40.5本文2.0 02.5 51.2 41.6 20.7 50.9 70.40.5721第1期 张博,等:一种密集多尺度特征引导代价聚合的改进立体匹配网络 图6为K I T T I 2 0 1 2测试图像的视差可视化结果。比较K I T T I 2 0 1 2部分测试集的可视化结果,所提网络预测的视差图整体更加清晰平滑,特别是目标边缘轮廓和遮挡区域,见图6中白色方框所示。此外,在代表重复纹理区域的栏杆、代表反射区域的玻璃窗上也获得了较稳健的结果,如图中黄色方框所示。误差图中红色像素表示遮挡区域的错误估计像素,白色像素表示非遮挡区域的错误估计像素。观察误差图可知,由本文模型得到的误差图中,红色区域和白色区域范围明显减小。说明D GN e t在挑战性区域可以提供更加精准的视差预测。图 6 K I T T I 2 0 1 2测试图像的视差可视化结果F i g.6 T h e r e s u l t o f d i s p a r i t y v i s u a l i z a t i o n o f K I T T