神经网络学习与灰度信息结合的跨视角影像线特征匹配算法.pdf

第 卷第期测绘学报V o l ,N o 年月A c t aG e o d a e t i c ae tC a r t o g r a p h i c aS i n i c aJ u n e,引文格式:宋佳璇,范大昭,董杨,等神经网络学习与灰度信息结合的跨视角影像线特征匹配算法J测绘学报,():D O I:/j A G C S S ON GJ i a x u a n,F AND a z h a o,D ON G Y n a g,e ta l L i n em a t c h i n ga l g o r i t h mf o rc r o s s v i e wi m a g e sc o m b i n i n gn e u r a ln e t w o r kl e a r n i n gw i t hg r a y s c a l e i n f o r m a t i o nJ A c t aG e o d a e t i c a e tC a r t o g r a p h i c aS i n i c a,():D O I:/j A G C S 神经网络学习与灰度信息结合的跨视角影像线特征匹配算法宋佳璇,范大昭,董杨,纪松,李东子信息工程大学地理空间信息学院,河南 郑州 LL ii nn ee mm aa tt cc hh ii nn gg aa ll gg oo rr ii tt hh mmff oo rrcc rr oo ss ss vv ii ee wwii mm aa gg ee sscc oo mm bb ii nn ii nn ggnn ee uu rr aa llnn ee tt ww oo rr kkll ee aa rr nn ii nn ggww ii tt hhgg rr aa yy ss cc aa ll ee ii nn ff oo rr mm aa tt ii oo nnSS OO NN GGJJ ii aa xx uu aa nn,FF AA NNDD aa zz hh aa oo,DD OO NN GGYY aa nn gg,JJ IISS oo nn gg,LL IIDD oo nn gg zz iiI n s t i t u t eo fG e o s p a t i a l I n f o r m a t i o n,I n f o r m a t i o nE n g i n e e r i n gU n i v e r s i t y,Z h e n g z h o u ,C h i n aAA bb ss tt rr aa cc tt:T h eg e o m e t r i cd e f o r m a t i o no fc r o s s v i e wi m a g e s i s l a r g e,a n dt h eu n i l a t e r a ln e i g h b o r h o o d so fc o r r e s p o n d i n g l i n e sa r ep r o n et os i g n i f i c a n td i f f e r e n c e s,m a k i n gi td i f f i c u l tf o rt r a d i t i o n a l l i n em a t c h i n ga l g o r i t h m s t oo b t a i nr e l i a b l el i n ep a i r s T os o l v et h i sp r o b l e m,al i n em a t c h i n ga l g o r i t h mf o rc r o s s v i e wi m a g e sc o m b i n i n gn e u r a ln e t w o r k l e a r n i n gw i t hg r a y s c a l ei n f o r m a t i o ni sp r o p o s e d F i r s t l y,t h ep i x e l l e v e ld i r e c t i o n a l g r a d i e n t h i s t o g r a mf e a t u r e so f t h e i m a g e sa r eo b t a i n e da n dan e u r a l n e t w o r k i sa p p l i e d t o f u s et h e s e f e a t u r e sa n d t h e i m a g eg r e y s c a l e i n f o r m a t i o nt of o r maf e a t u r ed e s c r i p t i o ng r i d T h e n,t h ed i s c r e t ep o i n t sa r ee x t r a c t e d f r o mt h e l i n e,a n d t h eo n e s i d e dd e s c r i p t i o n so f t h ep o i n t sa r ec a l c u l a t e da c c o r d i n g t ot h e i n f o r m a t i o no f t h ed i s c r e t ep o i n t s u n i l a t e r a l f e a t u r e sd e s c r i p t i o ng r i d T h eo n e s i d e dd e s c r i p t o r so f t h ep o i n t sa r ea g g r e g a t e db y t h ed e e p l e a r n i n gm e t h o dt of o r mt h eu n i l a t e r a la b s t r a c te x p r e s s i o no f t h e l i n e F i n a l l y,t h ek n o w nc o r r e s p o n d i n gp o i n t sa r eu s e d t oc o n s t r a i n t h em a t c h i n g r e g i o n f o r g r o u pm a t c h i n g,a n dt h em a t c h i n g r e s u l t sa r ev e r i f i e db yc o m p a r i n gt h et o p o l o g i c a lc o n s i s t e n c yo f t h el i n ep a i r st oo b t a i nt h ef i n a lm a t c h i n gl i n ep a i r s An u m b e ro fr e p r e s e n t a t i v eg r o u p so fp u b l i cc r o s s v i e wi m a g e sf r o md i f f e r e n ts o u r c e sa r es e l e c t e d f o r l i n em a t c h i n ge x p e r i m e n t sa n dt h e ya r ec o m p a r e dw i t hm a i n s t r e a ml i n em a t c h i n ga l g o r i t h m s f o ra n a l y s i s T h e r e s u l t s s h o wt h a t t h ep r o p o s e da l g o r i t h mi sa b l e t oo b t a i nu n i f o r m l yd i s t r i b u t e dl i n ep a i r sw i t hh i g hc o r r e c t r a t e s f o rc r o s s v i e wi m a g e s f r o md i f f e r e n ts o u r c e sw i t ho b v i o u sd i f f e r e n c e s i nc o n t e n t,a n d r e a l i z e r o b u s t l i n em a t c h i n go f c r o s s v i e wi m a g e s f r o md i f f e r e n t s o u r c e s KK ee yyww oo rr dd ss:l i n em a t c h i n g;c r o s s v i e wi m a g e s;n e u r a l n e t w o r k;g r a y s c a l e i n f o r m a t i o n;f e a t u r e f u s i o nFF oo uu nn dd aa tt ii oo nnss uu pp pp oo rr tt:T h eN a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a(N o );T h eS o n g s h a nL a b o r a t o r yP r o j e c t(i n c o r p o r a t e d i n t o t h em a n a g e m e n t s y s t e mo fm a j o r s c i e n c ea n dt e c h n o l o g yp r o j e c t s i nH e n a nP r o v i n c e)(N o );T h eH i g hR e s o l u t i o nR e m o t eS e n s i n g,S u r v e y i n ga n d M a p p i n gA p p l i c a t i o nD e m o n s t r a t i o nS y s t e m(P h a s e I I)(N o Y B /)摘要:跨视角影像几何形变大,同名线段单侧邻域易产生明显差异,传统线特征匹配算法难以获得可靠线对.为此,本文提出了一种针对跨视角影像的神经网络学习与灰度信息结合的线特征匹配算法.首先,获取影像的像素级方向梯度直方图特征,并结合神经网络融合影像灰度信息形成特征描述格网;然后,在线段上提取离散点,根据离散点单侧特征描述格网信息计算点的单侧描述,采用深度学习方法聚合点单侧描述符形成线的单侧抽象表达;最后,利用已知同名点约束匹配区域进行分组匹配,通过比较线对拓扑一致性进行匹配结果核验,得到最终匹配线对.选取多组具有代表性的异源跨视角影像公开数据进行线匹配试验,并与主流线匹配算法进行对比分析.结果表明,本文算法能够针对内容差异明显的异源跨视角影像,获取分布均匀且正确率较高的匹配线对,实现跨视角影像线特征的稳健匹配.第期宋佳璇,等:神经网络学习与灰度信息结合的跨视角影像线特征匹配算法关键词:线特征匹配;跨视角影像;神经网络;灰度信息;特征融合中图分类号:P 文献标识码:A文章编号:()基金项目:国家自然科学基金();嵩山实验室项目(纳入河南省重大科技专项管理体系)();高分遥感测绘应用示范系统(二期)项目(Y B /)近年来,随着对地观测技术及互联网的不断发展,摄影测量由单平台向空、天、地、网多平台跨视角协同处理的方式演变.寻找异源跨视角影像同名特征,进而重建目标立体结构精确获取地理空间信息已成为一种重要的影像处理方法.在常用于 匹 配 的 特 征 中,点 易 丢 失 场 景 结 构 信息 ,面特征匹配计算复杂,线特征介于两者之间,包含了适量的稳定中层信息,能够充分反映目标空间特性 .利用线特征进行匹配可以增强跨视角影像目标结构关系 ,为多平台跨视角的影像处理模式提供新思路.按照匹配基元,将现有线特征匹配方法分为类:基于线组匹配、基于点线匹配和基于单线段匹配.基于线组的匹配方法需按照一定规则将两条或多条线编组,利用组内仿射不变特征建立描述符进行整体匹配.文献 分别构建“线交点线”(L J L)结构和V形结构线组,连接线特征交点和强度极大值点形成局部仿射不变区域,在局部区域中计算S I F T描述完成匹配;文献 将邻域内仅有一条单线段的V形线组视为非结构化线组,利用同名线组空间结构一致性获取正确匹配.基于点线特征的线匹配方法利用支持域内点线位置关系构造几何不变量,通过点特征与几何不变量的匹配结果推算线匹配对;文献 构造“一线两点”的仿射不变量和“一线四点”的投影不变量,增强描述子性能;文献 基于特征数构造了共面线点投影不变量,降低了描述符对纹理信息的依赖,对视点变化导致的线特征邻域灰度差异表现出较好性能.基于单线段的匹配方法主要通过求解参考影像和待匹配影像中直线的重叠部分实现匹配 ;对于存在视点变化的影像,通常需要在此基础上附加先验知识或约束条件来弥补单线段信息的不稳定性;文献 通过P O S数据建立影像间变换关系,利用变换后的影像获取同名线对,消除了跨视角影像间的几何形变,匹配正确率较高;文献 利用视差信息建立几何约束以缩小搜索范围,根据线段单侧支持区域进行相似性度量,在立体像对中取得了较好的匹配效果.此外,随着深度学习的迅猛发展,卷积神经网络以强大的深层特征提取 能 力,被 广 泛 应 用 于 特 征 匹 配 领 域.S O L D 是首个利用深度学习实现线特征检测与描述的网络,拓展了影像线特征匹配方法.随着研究的深入,对几何变化显著的异源跨视角影像线特征匹配提出了更高的要求.为解决异源跨视角影像线特征非共面一侧影像内容突变及线特征端点不一致所带来的匹配难题,本文融合像素级方向梯度直方图特征,利用神经网络形成高维特征描述格网;根据格网信息计算线上离散点的左右侧描述,并采用“以点代线”的方式结合深度学习方法聚合左右侧点描述,有效提取线特征周围众多离散点特征的局部信息,生成左右侧线描述符;最后,结合同名点采用分组匹配与提纯策略,实现跨视角影像的稳健匹配.本文算法像素级H O G特征融合边缘线特征的强度能够通过影像梯度体现,梯度值越大,像素点变化越快,越可能是边缘.方向梯度直方图(h i s t o g r a m o fo r i e n t e dg r a d i e n t,HOG)特征 是一种在影像局部方块内统计梯度信息的描述符,具有较好的稳健性.因此,本文算法利用HOG特征表征线段.计算HOG特征需要根据相邻像素灰度值计算梯度大小 I(x,y)与方向(x,y)I(x,y)(I(x,y)I(x,y)(I(x,y)I(x,y)()(x,y)a r c t a n(I(x,y)I(x,y)/(I(x,y)I(x,y)/()式中,I(x,y)为像素点(x,y)的影像灰度值.然后,将 划分为a个方向区间,以滑动窗口的方式,将bb个单元组成块,以块为单位统计方向梯度直方图并使用L 范数归一化,得到bbaN维特征向量.在此基础上,减小滑动窗口的步幅至单像素,能够形成N维像素J u n e V o l N o A G C Sh t t p:x bc h i n a s m pc o m级HOG特征图,增强边缘结构信息表达能力.梯度直方图的计算过程会忽视部分细节特征,在处理微小边缘时效果欠佳,因此本文综合考虑空间结构和灰度信息的相关性,融合像素级HO G特征和灰度特征.近年来,神经网络在扩建特征结构信息上展现出了显著优势.因此,本文引入神经网络从特征信息量和维度两方面入手,对不同特征张量进行优化组合(图),具体过程如下.()特征图信息融合,保持原始影像维度不变,将N维像素级HOG特征图和灰度影像相同像素的灰度值进行累加运算,生成新的HOG特征融合图,增加影像信息量.()特征图维度重构,简单的累加过程缺乏深度信息交流,为此利用神经网络进一步挖掘特征的潜在关联.本文采用S u p e r p o i n t 网络进行特征维度重构.S u p e r p o i n t网络通过对大小为HW的单张影像进行多次卷积和池化操作获取了H/W/的 维特征格网,有效扩充了影像高维特征.因此,本文将HO G特征融合图作为该网络的基础输入,得到 维HO G特征描述格网征,在维度层面增强融合特征的语义识别能力,使得后续基于特征格网构建的描述符更具判别性.图特征融合F i g F e a t u r e f u s i o n单侧线描述符构建传统线特征描述方法通常利用线支持域内点线结构或灰度信息构造描述符,应用于异源跨视角影像时,会受到线段单侧影像内容突变及支持域噪声干扰.为此,本文采用“以点代线”的方式,利用线上离散点左右侧HO G特征描述格网构建左右侧点描述符,改善线段双侧影像内容差异的影响.然后采用神经网络聚合点描述符,获取最能反映众多点特征特性的一组向量,形成线的抽象表达,降低对线特征端点一致性的要求.具体步骤如下.()建立离散点集.如图(a)所示,将横坐标小的端点视为线段起点,起点Ps到终点Pe的方向视为线特征方向,构成线向量LPsPe,用于标记线段左右侧并确定离散点特征提取顺序.为了用尽可能少的点全面表述线特征,设置步长为像素.以起点为原点,沿LPsPe方向按照固定步长提取离散点,使得不同离散点分布于不同格网以表征线特征不同邻域的特性,进而得到有序离散点集Ps,P,P,P,Pe.()标记格网点.如图(a),设Gk(xG,yG)为离散点所在格网的角点,LPsGk为线段起点指向Gk的向量.判断LPsGk与线向量LPsPe外积在Z轴投影的大小Z LPsPeLPsGk(xexs)(yeys)(xGxs)(yGys)()式中,(xs,ys)和(xe,ye)分别表示线段的起点和终点坐标.若Z LPisPieLPisGk,说明LPsGk在线向量LPsPe的左侧,则格网点Gk在线特征的左侧,标记为GLk;否则,记为GRk.()点左右侧描述符构建.利用不同标记的格网点,分别计算离散点的左右侧描述.以P为例(图(b),其右侧只有格网点GR,故将每一层格网中GR 的特征值v 作为P的对应右侧描述值VR,形成右侧点描述符fR(P)V()R,V()R,V()Rv(),v(),v();在计算左侧描述符时,想要降低右侧特征的影响,故使用左侧映射点的描述值代替右侧格网点进行计算,增强左侧点描述符的稳健性.首先将右侧格网点GR 映射至线对侧,利用双线性内插计算映射点的特征值v ;然后根据式()计算点的左侧描述值第期宋佳璇,等:神经网络学习与灰度信息结合的跨视角影像线特征匹配算法VL,形成P的 维左侧描述 符fL(P)V()L,V()L,V()LVL xyxy v v v v ()式中,x、y代表P与所在格网左上角点的横纵坐标差;v、v、v 分别代表格网点GL、GL 和GL 的特征值.图单侧点描述符构建F i g O n e s i d e dp o i n td e s c r i p t o r c o n s t r u c t i o n()点描述符聚合.为了使聚合过程能够有效提取众多离散点的深层次特点,形成更具判别性的线特征,采用更具适应力的深度学习聚合算法.文献 在T r a n s f o r m e r模型的基础上扩充编码层数提出了一种深度学习特征聚合过程,获得多点特征的D维最佳集成向量.经过多次循环获取线特征的D维单侧描述.因此,本文将线上点特征的左、右侧描述符分别作为该网络的基础输入,凸显点特征的潜在特性D e sLfL(Ps),fL(P),fL(Pe)D e sLnF F N(MS A(D e sLn)n,D e sLN o r m a l i z e(D e s LL()x,x,xD()以左侧线描述符计算过程为例(式(),按照离散点集的顺序,排列左侧点描述符构建初始输入 值D e sL,通 过 层 多 头 自 注 意 力 机 制(M S A)和前馈神经网络(F F N)逐步提取点的深层次特性,得到D维左侧描述D e sLn.然后保留信息量最丰富的首维特征D e s LL()并进行归一化处理,获得众多离散点最显著的深层次特征作为左侧线描述符.相似地,利用离散点右侧描述作为初始输入能够获得线的右侧描述.基于同名点约束的分组匹配与核验本文采用了左右侧线描述符,导致算法的匹配量增加.为此,本文结合同名点缩小影像线特征搜索范围,实施分组匹配与提纯,提高匹配效率和准确度.()线特征分组匹配.如图(a)、(b)所示,以同名点m和m 为中心,分别在基准影像和待匹配影像中设置半径为R的圆形搜索窗口,以点线距离为度量,将窗口内的线特征归为一组.对同组线特征,根据式()计算两影像左侧线描述符距离,形成L L距离矩阵(图(c),矩阵的纵、横轴分别代表基准影像和待匹配影像线特征.其中线对(l,l)的描述符距离为所在行和列的最小值,则将(l,l)视为候选匹配线对.相似地,将同组线特征的单侧描述符按照“左右、右左、右右”的方式计算距离,形成L R、R L、R R距离矩阵,寻找每一个矩阵中的行列双最小值对应线对为候选匹配对.不同矩阵的候选匹配对会出现重复,此时保留单侧描述符距离最小的线对,剔除其余重复线对D e sLD e s L(xx)(xx)(xDx D)Di(xix i)()实际上,跨视角影像同名点对分布并不均匀,可能集中在纹理显著的小区域中,导致远离同名点的线特征难以匹配.因此,在分组匹配后,将未匹配的线特征视为补充组,进行剩余匹配,对匹配J u n e V o l N o A G C Sh t t p:x bc h i n a s m pc o m结果进行补充.图线特征分组匹配F i g G r o u pm a t c h i n go f l i n e s()匹配结果核验.距离相近的同名点邻域重叠度大,同一线段可能属于多个组,造成匹配结果出现“一对多”“多对多”现象,对此,本文按照描述符距离对非“一对一”匹配结果进行排序,保留距离最小的线对,有效去除冗余匹配.为增强匹配正确率,本文通过判断同名点分布情况,构建匹配线对的拓扑描述,计算描述符相似度对匹配结果进行核验.如图所示,以待核验匹配对(li,l k)为例,首先在基准影像中搜索li最邻近的n组同名点对(m,m),(m,m),(mn,m n);然后,分别判断m,m,mn 在li及m,m,m n 在l k左右两侧的分布关系,若点位于线左侧,则将对应元素记为L,右侧则记为R,形成正向拓扑描述i kL,R,L,L 和 i kL,L,R,R;最后,对比i k和 i k相同位置的元素,根据式()计算正向拓扑描述符相似度f(pi k,p i k)pi kp i kpi kp i ka v g s i mli,l knpf(pi k,p i k)()式中,pi k、p i k分别代表正向拓扑描述i k和 i k第p个元素.图拓扑描述核验F i g V e r i f i c a t i o na c c o r d i n gt ot o p o l o g yd e s c r i p t i o n由于同名点对存在匹配误差,同名线在不同影像的最邻近点也存在差异,为此加入反向拓扑描述符.如图(b)所示,在待匹配影像中,相较m n,同名点m o n距离线特征l k更近.故采用l k的最邻近同名点(m,m),(m,m),(mo n,m o n)计算反向拓扑描述符相似度a v g s i mO li,l k,计算过程与正向相同.最后,根据式()计算线对(li,l k)的相似度a v g s i mli,l k,保留相似度不小于n的线对a v g s i mli,l k(a v g s i mli,l ka v g s i mO li,l k)()算法整体流程本文首先结合神经网络融合像素级方向梯度直方图特征,扩建影像梯度信息,获取高维特征格网.然后,等间隔提取线上离散点,根据离散点的左右侧格网点信息计算左右侧点描述符,利用深度网络聚合点描述符获取线的最佳描述向量.最后,采用基于同名点约束的分组匹配策略计算描第期宋佳璇,等:神经网络学习与灰度信息结合的跨视角影像线特征匹配算法述符距离矩阵确定同名线对,统计同名点分布情况对匹配结果进行核验,增强影像线特征匹配的可靠性.综上,本文算法主要包含个步骤:像素级HOG特征融合;单侧线描述符构建;基于同名点约束的线特征分组匹配与核验.算法整体流程如图所示.图本文算法流程F i g T h e f l o w c h a r to f t h ep r o p o s e da l g o r i t h m试验及结果分析为验证本文算法的有效性,采用对跨视角影像进行试验(图),分别包含不同的视点变换情况,试验数据详细信息见表.影像对、为两组地面近景影像;影像对为一组德国地区的航空影像;影像对、均由航天影像和航空影像组成.表试验影像信息T a b I n f o r m a t i o no f e x p e r i m e n t a l i m a g e s试验影像数据来源影像特点影像对C a s t l e 视点远近变化,具有尺度差异,存在遮挡干扰情况影像对Z u r i c h C I P A 视点左右平移,纹理信息丰富,线特征相似度高影像对德国地区航空影像视点左右变化,具有旋转差异,场景深度差异小影像对 U n i v e r s i t y 异源影像,视角差异大,顶部结构复杂影像对U n i v e r s i t y 异源影像,具有尺度差异,场景范围差异大影像对U n i v e r s i t y 异源影像,建筑物数量多图试验影像F i g E x p e r i m e n t a l i m a g e s参数设置在本文试验中,采用文献 方法获取同名点,采用E D l i n e s算法 提取线特征,整理并去除长度小于 的线段,输入影像全部重采样至 像素.对于本文算法所涉及的相关参数设置为:计算像素级HOG特征图时,按照文献 推荐参数将方向区间数量a设置为,块大小为bb单元(每个单元由像素组成),生成的特征图维数为(Nbba);对于特征图维度重构采用的S u p e r p o i n t网络及点描述符聚合网络分别采用文献 的推荐参数及权重数据;线特征分组所用圆形搜索窗口半径为R像素;参与拓扑描述符计算的同名点数量n设置为.此外,本文全部对比算法的参数设置均以原文献为准.全部试验均在相同平台环境下完成,硬件环境为I n t e lC o r e i HGH z,试验平台为W i n d o w s 位系统.线特征匹配采用不同类型的线特征匹配算法与本文算法进行对比分析,对比算法包括基于线组的线匹配算法(l i n ej u n c t i o nl i n e,L J L)、基于点线特征的线匹配算法(l i n ep o i n t si n v a r i a n t,L P I)、基于单线段的线匹配算法(m e a n s t a n d a r dd e v i a t i o nl i n ed e s c r i p t o r,M S L D)和基于深度学习的线匹配算法(s u p e r v i s e do c c l u s i o n a w a r el i n ed e s c r i p t i o nJ u n e V o l N o A G C Sh t t p:x bc h i n a s m pc o ma n dd e t e c t i o n,S O L D).其中,S O L D 是一种联合线特征提取与匹配的端到端的深度学习算法,直接输出线特征匹配结果;其他对比算法及本文算法,均采用相同的线特征进行试验;L P I与本文算法所使用的同名点也相同.在线特征匹配性能评估方面,本文将从正确匹配数量、匹配正确率和可视化分析个方面进行评估.正确匹配线对数量通过目视判读进行统计;匹配正确率为正确匹配线对在总匹配线对中所占比例;可视化分析主要从线对分布情况、不同场景线匹配情况进行比较分析.种方法的线特征匹配结果对比如表、图和图所示.表为种算法在不同影像对的具体试验结果,加粗数据为每种影像对的最大正确匹配数和最高匹配正确率.表不同算法线特征匹配结果T a b L i n em a t c h i n gr e s u l t so fd i f f e r e n t a l g o r i t h m s试验影像同名点数量线特征数量/(左影像,右影像)L J LL P IM S L DS O L D 本文算法匹配总数正确匹配数匹配正确率/()匹配总数正确匹配数匹配正确率/()匹配总数正确匹配数匹配正确率/()匹配总数正确匹配数匹配正确率/()匹配总数正确匹配数匹配正确率/()影像对 (,)影像对 (,)影像对 (,)影像对 (,)影像对 (,)影像对 (,)图正确匹配线对数量对比F i g Q u a n t i t yc o m p a r i s o no f c o r r e c tm a t c h e d l i n e s图匹配正确率对比F i g C o m p a r i s o no fm a t c h i n ga c c u r a c y()正确匹配线对数量和正确率对比.由表和图可以发现,M S L D算法在组跨视角影像中只能获取极少的正确线对,这种算法属于基于单线段的匹配算法,主要通过基准影像和待匹配影像中直线重叠部分构造描述符,对于跨视角影像中遮挡、视差不连续等复杂场景,存在一定的局限性.S O L D 算法利用深度学习进行端到端的线特征提取与匹配,未专门针对视角变化等情况进行训练,因而未在试验影像中取得好的匹配效果.相比于M S L D算法,L J L和L P I算法采用多特征组合的方式构造新的线描述符,提高了算法的稳健性.其中,L J L算法将两线段组成“线交点线”,并以此为匹配基元,同时采用多阶段匹配策略,后一阶段利用前一阶段的匹配线对及交点进行匹配传播,增加线特征匹配数量,在视点变化不显著且存在大量共面的“线交点线”结构的影像对(影像对)中,L J L算法获得了最多的线匹配对.但是匹配传播过程受第一阶段匹配准确度影响较大,在纹理相似的非共面区域(如图(a)的窗户、图(d)的不同屋顶),L J L算法利用匹配基元局部邻域信息构建描述符进行初始匹配会产生许多误匹配,将误匹配的交点作为同名点计算基础矩阵进行极线约束,会滤除部分正确匹配,进一步增加匹配传播的错误率,导致最终匹配数量及正确率较低.L P I算法利用线特征支持域内多个不共线的同名点构造不变量,在同名点数量充足的平面区第期宋佳璇,等:神经网络学习与灰度信息结合的跨视角影像线特征匹配算法域能够获得更多的线匹配对.影像对、的相对同名点数量(影像对同名点数量与线特征总数之比)最多,线特征邻域同名点能够满足不变量构造要求,且视角变化相对平稳,因此取得了更好的效果.但L P I算法构造不变量的过程对参与计算的同名点提出了共面要求,在场景深度变化较大的跨视角影像对中效果欠佳.相比于上述算法,除了影像对、外,本文算法在正确匹配线对数量上均获得了一定提升.特别是在影像对上,影像之间具有明显视角差异,场景范围内的建筑边缘单侧邻域变化显著,本文算法的提取数量是L P I算法的 倍.这得益于本文算法中所使用的左、右单侧描述符,分别考虑了线特征两侧信息.对线上点的单侧深度描述符进行聚合,提取点描述符之间的潜在共性特征作为线的单侧描述符,从更高维度使单侧线描述符具有适应复杂变化的能力,有利于克服视角变化导致的线特征非共面一侧支持域影像差异,在应对具有显著场景深度变化的跨视角影像时取得了较好的效果.匹配正确率是评估线特征匹配算法性能的重要指标,对比表和图中不同算法的匹配正确率可以发现,在除了影像对、之外的其他影像中,L J L算法的匹配正确率高于其 他算法.当L J L算法第一阶段匹配能够获得一定数量的正确匹配交点用于计算基础矩阵以进行误匹配剔除时,具有较高的正确匹配率.但是在纹理相似的非共面区域,L J L算法难以通过初匹配获得准确的基础矩阵,反而会加大错误率.而本文算法在全部影像中均取得了较高的正确匹配率,这得益于本文算法采用小距离阈值进行点线距离约束,对线特征实施分组匹配,最大限度确保同组线特征共面,缩小线特征搜索范围,增加可靠线对数量.其次,本文算法利用同名点计算线特征拓扑描述,滤除错误匹配,进一步提高正确匹配率.()可视化分析.本文算法在组影像中的具体匹配结果如图所示,图中同名线特征及其中点连线颜色是随机的.由图可以看出本文算法能够获取足量分布均匀的匹配线对,实现较好的场景覆盖效果.图本文算法线特征匹配结果F i g L i n em a t c h i n gr e s u l t so f t h ep r o p o s e da l g o r i t h mJ u n e V o l N o A G C Sh t t p:x bc h i n a s m pc o m以影像对、中的典型场景为例,深入对比分析L P I、L J L和本文算法的匹配线对细节.如图(a)所示,对动态车辆目标遮挡,本文算法利用同名点分组匹配的策略能最大限度地规避车辆线特征干扰,提升匹配正确率.对存在较多单侧邻域信息变化的建筑棱角线,对比其左下角建筑边缘线匹配结果如图(b)所示,可以看出本文算法聚合点单侧深度描述符,获得共性特征作为线描述符的方式,能够有效克服线特征单侧影像内容变化,获取正确线对.图 典型场景匹配细节对比F i g C o m p a r i s o no fm a t c h i n gd e t a i l s i nt y p i c a l s c e n e s()匹配时间对比.不同算法运行时间对比如图 所示,本文算法利用距离约束有效缩小了候选线特征搜索范围,加快了匹配速度,但计算双侧描述符以及拓扑约束过程相对耗时,因此比M S L D算法及S O L D 算法耗时更长,但这两种算法的匹配能力难以适应复杂的场景变化,针对跨视角影像的匹配正确率较低.L P I算法需要筛选线特征支持域内不共线的多个同名点计算描述符,L J L算法需要构建新的匹配基元进行多次匹配,这两种算法的最终耗时与本文算法相近,但是本文算法在应对异源跨视角影像时,匹配正确率更高,可靠性更强.结语本文提出了一种跨视角影像线特征匹配算法,结合深度学习,借助线特征所包含等距点的左右侧邻域信息聚合得到线的左右侧描述符,将满足同名点几何约束条件的线特征进行分组,并结合同名点拓扑分布进行误匹配剔除.利用多组数据进行试验,结果表明,针对跨视角影像本文算法能够获取较多的正确匹配线对数量,实现较高的匹配正确率,有效解决了跨视角影像同名线特征单侧影像内容突变和线特征端点不一致所带来的匹配问题.但是,本文算法需要同名点特征作为引导,对于无法获取匹配点对的超大视角变化影像具有局限性.图 线特征匹配运行时间对比F i g R u n i n gt i m ec o m p a r i s o no f l i n em a t c h i n g参考文献:董杨,范大昭,纪松,等一种区域立体快速自适应重建方法J测绘学报,()D O I:/j A G C S D ON GY a n g,F AND a z h a o,J IS o n g,e t a l Ar a p i da d a p t i v er e c o n