基于多特征SAD-Census变换的立体匹配算法.pdf
《基于多特征SAD-Census变换的立体匹配算法.pdf》由会员分享,可在线阅读,更多相关《基于多特征SAD-Census变换的立体匹配算法.pdf(13页珍藏版)》请在咨信网上搜索。
1、文章编号2097-1842(2024)02-0278-13基于多特征 SAD-Census 变换的立体匹配算法吴福培,黄耿楠*,刘宇豪,叶玮琳,李昇平(汕头大学工学院机械工程系,广东汕头515063)摘要:视差不连续区域和重复纹理区域的误匹配率高一直是影响双目立体匹配测量精度的主要问题,为此,本文提出一种基于多特征融合的立体匹配算法。首先,在代价计算阶段,通过高斯加权法赋予邻域像素点的权值,从而优化绝对差之和(SumofAbsoluteDifferences,SAD)算法的计算精度。接着,基于 Census 变换改进二进制链码方式,将邻域内像素的平均灰度值与梯度图像的灰度均值相融合,进而建立左
2、右图像对应点的判断依据并优化其编码长度。然后,构建基于十字交叉法与改进的引导滤波器相融合的聚合方法,从而实现视差值再分配,以降低误匹配率。最后,通过赢家通吃(WinnerTakeAll,WTA)算法获取初始视差,并采用左右一致性检测方法及亚像素法提高匹配精度,从而获取最终的视差结果。实验结果表明,在 Middlebury 数据集的测试中,所提 SAD-Census 算法的平均非遮挡区域和全部区域的误匹配率为分别为 2.67%和 5.69%,测量 200900mm 距离的平均误差小于 2%;而实际三维测量的最大误差为 1.5%。实验结果检验了所提算法的有效性和可靠性。关键词:机器视觉;立体匹配;
3、SAD-Census 变换;十字交叉法;引导滤波中图分类号:TP391.4文献标志码:Adoi:10.37188/CO.2023-0082Stereomatchingalgorithmbasedonmulti-featureSAD-CensustransformationWUFu-pei,HUANGGeng-nan*,LIUYu-hao,YEWei-lin,LISheng-ping(Department of Mechanical Engineering,College of Engineering,Shantou University,Shantou 515063,China)*Corres
4、ponding author,E-mail:Abstract:Thehighmismatchingrateoftheparallaxdiscontinuityregionandtherepeatedtextureregionhasbeenamajorissueaffectingthemeasurementaccuracyofbinocularstereomatching.Forthesereasons,weproposeastereomatchingalgorithmbasedonmulti-featurefusion.Firstly,theweightofneighboringpixelsi
5、sgivenusingGaussianweightingmethod,whichoptimizesthecalculationaccuracyoftheSumofAbsoluteDifferences(SAD)algorithm.BasedontheCensustransformation,thebinarychaincodetechniquehasbeenenhancedtofusetheaveragegrayvalueofneighborhoodpixelswiththeaveragegrayvalueofgradientim-收稿日期:2023-05-08;修订日期:2023-06-02
6、基金项目:国家自然科学基金(No.61573233);广东省自然科学基金(No.2021A1515010661);广东省普通高校重点领域专项(No.2020ZDZX2005)SupportedbyNationalNaturalScienceFoundationofChina(No.6l573233);NaturalScienceFoundationofGuangdong Province(No.2021A1515010661);Special Projects in Key Areas of General Universities inGuangdongProvince(No.2020ZDZ
7、X2005)第17卷第2期中国光学(中英文)Vol.17No.22024 年 3 月ChineseOpticsMar.2024age,andthenthejudgmentbasisoftheleftandrightimagecorrespondingpointsisestablished,andthecod-inglengthisoptimized.Secondly,anaggregationtechniquehasbeendevelopedthatcombinesthecrossmethodandtheimprovedguidefiltertoredistributedisparityval
8、ueswiththeaimofminimizingfalsematch-ingrate.Finally,theinitialdisparityisobtainedbytheWinnerTakeAll(WTA)algorithm,andthefinaldis-parityresultsareobtainedbytheleft-rightconsistencydetectionmethod,sub-pixelmethod,andthenastereomatchingalgorithmbasedonthemulti-featureSADCensustransformisestablished.The
9、experimentalres-ultsshowthatinthetestingoftheMiddleburydataset,theaveragemismatchratesoftheproposedalgorithmfornon-occludedregionsandallregionsare2.67%and5.69%,theaverageerrorofthe200900mmdis-tanceislessthan2%,andthemaximumerroroftheactual3Ddatameasurementis1.5%.Experimentalres-ultsverifytheeffectiv
10、enessoftheproposedalgorithm.Keywords:machinevision;stereomatching;SAD-Censustransform;crossmethod;guidedfiltering1引言立体匹配是双目视觉测量法的关键,通过提取双目相机采集的左右图像的深度信息,从而实现目标的三维测量。然而,如何提升双目图像立体匹配的准确性并提高双目视觉的测量精度仍是当前该研究领域所面临的主要问题。总体上,立体匹配过程可归纳为匹配代价计算、代价聚合、视差计算和视差优化四个步骤。而在算法构架上,立体匹配又可分为全局匹配和局部匹配两种。其中,全局立体匹配算法将图片的像素点
11、匹配问题转化为寻找全局能量函数的最优化问题,进而通过能量函数最小化法求取视差,已发展的主要算法有置信传播、最小生成树、动态规划、图割法等。该类方法具有较低的误匹配率,但普遍存在运算量大、效率不高的问题,且因其算法模型通常较为模式化,故其鲁棒性往往受限。相对而言,局部匹配算法的计算复杂度低、灵活性强,其效率比全局匹配算法高,通常采用基于区域、特征、相位的局部立体匹配算法实现其代价计算,如绝对差(AD)、绝对误差和(SAD)、误差平方和(SSD)1和倾斜支持窗模型(PMS)2。其中,作为常用的局部匹配算法归一化互相关算法(NCC)能更好地抵抗噪声3,且对光的变化鲁棒性高,但该方法计算量大,效率不高
12、。事实上,局部匹配算法难以处理无纹理或重复纹理的图像,且对光变化和噪声敏感,常用于简单场景。为解决复杂场景和光照变化对匹配准确性的影响,LEEJ 等4提出 Census 变换方法。该方法在无纹理图像中具有较低的误匹配率,然而其较依赖中心像素,当中心像素受到噪声影响时,可能会降低匹配精度。为进一步提高立体匹配的局部算法的计算效率,彭新俊等5利用 Census 邻域的中值来替换中心像素,从而提高算法的稳健性;刘建国等6在 Census变换阶段,通过计算变换窗口周围的像素平均值以降低外界噪声干扰的影响;杨春丽等7基于深度学习的双目视觉测量方法,利用PSM-Net 网络模型获取视差图;HosniA 等
13、8将SAD 与梯度信息的相结合,在计算时将匹配点和待匹配点各自的梯度值以及支持窗口内各像素灰度差的绝对值之和作为匹配代价的依据;孔令寅等9通过融合 AD、Census 变换和梯度计算并获得匹配代价,进而提高立体匹配的精度。此外,在Census 变换的改进优化方面,ChangNYC 等10提出基于 Mini-Census 变换,其将中心像素邻域窗口 8 个像素点的灰度与中心灰度值大小进行比较,进而改进二进制链码的生成方式,提高其计算效率。该方法对中心点的灰度值仍过于依赖,其抗干扰性有待提高。王森等11采用 RGB 向量梯度与 Census 变换相结合的匹配算法,以保留更多的色彩信息以计算聚合区域
14、。总体而言,局部匹配代价计算方法根据邻域像素确定支持窗口,通过对窗口内像素进行约束,减少误差,提高视差估计的准确性。然而,由于局部立体匹配各像素间的视差存在着一定的相关性,为进一步提高其匹配精度,通常需将所在支持域内的初始代价进行聚合计算。第2期吴福培,等:基于多特征 SAD-Census 变换的立体匹配算法279为此,ZhangK 等12结合邻域像素的颜色信息,提出了基于十字交叉的自适应支持域的构建方法。在此基础上,WangWQ 等13改进了支持域的构建策略,提升了图像边界的处理能力。为解决边缘处深度不连续区域误匹配率较高的问题,ChengFY 等14提出了边缘先验和超像素先验两种不同的先验
15、方法来处理跨越深度边界的错误代价聚集。为取得更好的聚合性能,洪梓嘉等15在代价聚合步骤中采用了多尺度代价合并的分割树算法,可快速得到良好的视差图。另一方面,ZhanYL 等16采用导向滤波器和双边滤波器来生成导向图像,得到了良好的边缘保持和均匀区域平滑性能。YaoM 等17利用自适应支持域、多径和自适应惩罚的混合成本聚合框架,将沿多个路径的成本相加,使得深度不连续区域的错误率较低。此外,YangQX18根据像素相似度将它们自适应聚合到树结构上,然而其所提代价聚合弥补在代价计算中只考虑了局部相关性的问题,对噪声干扰的抑制有限。从上述分析可知,深度不连续区域误匹配及视差计算精度不高仍是当前双目立体
16、匹配面临的主要问题。因此,为提高双目立体匹配的计算精度,本文提出基于优化 SAD,融合 Census 变换的方法,构建匹配代价计算函数,从而在左右图像中提高像素点的定位精度,并在代价聚合阶段,建立基于自适应阈值的十字交叉法与改进引导滤波相融合的方法,最后进一步优化视差值,从而获到最终匹配结果。2算法描述基于双目相机标定校正之后拍摄的图像建立新的立体匹配算法,分别实现了代价计算、代价聚合、视差计算和视差优化,最后获取视差结果。其中,代价计算利用高斯加权优化 SAD 变换,并与基于梯度信息的改进二进制链码的 Census变换相结合;代价聚合采用改进十字交叉法与改进引导滤波相融合的方法;视差计算利用
17、 WTA算法计算初始视差;视差优化采用左右一致性检测、亚像素法提高精度,并利用中值滤波得到最终的视差结果。2.1基于高斯加权构建新型 SAD 算法传统的 SAD 算法在左右视图邻域内做差并求集合,其卷积块中心像素的权重与外围像素点的权重比相同。为提高中心点的权重,本文利用如式(1)所示的高斯变换对邻域内像素点进行加权,离中心越近其权值越大。接着,通过改进传统 SAD 的计算方式从而提高左右匹配精度,进而降低噪声的影响。G(x,y)=122ex2+y222.(1)高斯变换可看作二维的正态分布,其离散度随标准差 的增加而增强。为突出中心分布的差异性以获取理想的高斯卷积块,故选取较小的标准差,通过中
18、心归一化后可得到最终的高斯加权的卷积块。综上所述,基于 SAD 变换,利用高斯变换对邻域内相应的像素点位置赋予权重,从而提高左右同名点的敏感度,其中 SAD 变换的代价计算函数如式(2)表示为:CSAD(x,y)=hhww|IL(x+i,y+j)IR(x+d+i,y+j)|,d dmin,dmax,(2)式中 IL、IR分别为左、右视图的灰度值,d 为最大视差 dmax和最小视差 dmin之间的任意数值,h 和w 为计算窗口的长宽。2.2基于改进二进制链码的 Census 变换分析传统的 Census 变换是通过比较支持窗口Np内中心位置 p 与邻域像素点 q 的大小关系,从而获取 0 或 1
19、 的二进制链码,然后计算左右视图两个对应点二进制编码的 Hamming 距离,其Hamming 距离计算函数如式(3)所示:Scen(p,d)=qNp(p,q)(p,q)=1I(p)I(q)0I(p)I(q),(3)式中 Scen代表在支持窗口内的 Census 二进制链码,表示按位连接,I(p)、I(q)分别为窗口内像素点 p、q 的灰度值,(p,q)为左视图任意一点通过比较大小关系之后得到的二进制编码。基于上式,输入图像对应的 Census 二进制链码,可求得280中国光学(中英文)第17卷左右视图的 Hamming 距离,从而得到如式(4)所示的初步 Census 匹配代价函数:Ccen
20、(p,d)=HammingScen(p,q),Scen(pd,q),(4)Scen(pd,d)Ccen式中,表示在右视图中,视差为 d 的Census 二进制链码;代表 Hamming 距离,是通过左右视图同名点两条二进制编码对应位相异的个数之和。通常情况下,传统的 Census 变换对中心像素值的变动比较敏感,当出现椒盐、高斯噪声或光照不均匀时,易造成左右图像链码的突变。本文利用邻域均值代替中心数值以降低干扰,提高匹配准确性。为进一步提高算法对图像边缘和深度不连续区域的匹配精度,提出采用Sobel 梯度算子计算 x、y 方向的梯度,并基于梯度图像获取其代价。在此基础上,将两者相结合进而改进二
21、进制链码获取方式,以提高立体匹配的精度。将公式(3)改进后获取二进制编码的具体规则如式(5)所示:(p,q)11I(p)I(q);(p)(q)10I(p)I(q);(p)(q)01I(p)I(q);(p)(q)00I(p)I(q);(p)(q),(5)其中I(x,y)=hhwwI(x+i,y+j)N1,(6)(f)=grad(f)=gxgy=fxfy(x,y)=hhww(x+i,y+j)N1,(7)I(x,y)(x,y)式(6)中为支持窗口内所有邻域像素点的灰度均值,并用其替换中心点的灰度值,N 为窗口内所有像素点的个数;式(7)中为梯度图中支持窗口内所有邻域像素点的梯度均值。通过实验分析可得
22、,当中心点受到干扰,灰度值从 68 变为 88 时,如图 1 所示,由 Sobel 梯度算子知,中心像素的突变将影响邻域梯度的计算结果,从而导致该匹配点梯度邻域有 6 个像素点的梯度数值均发生改变,同样利用均值替换中心数值,计算得到的编码仍为 0001110000011110。灰度值50 70 8862 68 6967 73 7714 82 6520 74 5370 158 4950 70 8862 88 6967 73 7754 122 6560 74 1370 118 950 70 8862 70 6967 7300 01 11 00 00 01 11 1000 01 11 00 00 0
23、1 11 107714 82 6520 64 5370 158 4950 70 8862 70 6967 73 7754 122 6560 64 1370 118 9梯度值中心均值替换中心均值替换灰度值梯度值图1改进 Census 变换示意图Fig.1SchematicdiagramofimprovedCensustransform本文将改进 SAD 和 Census 变换算法进行融合并做归一化处理,得到算法的初始匹配代价,其融合计算函数如式(8)所示:C(p,d)=2expCSAD(p,d)expCcen(p,d),(8)2.3代价聚合模型建立立体匹配得到的视差值通常易存在诸多误匹配结果,需
24、对视差值做进一步分配,更新原来的代价权重,进而提升视差结果的稳定性。对此,本文提出一种自适应阈值的十字交叉法(Cross-BasedCostAggregation,CBCA)和引导滤波相融合的代价聚合方法。如图 2 所示,十字交叉法以像素为中心往左右及上下延伸,当遇到颜色(亮度)和该像素灰度值差别较大时停止延伸。其判别函数可表示为:Dc(p1,p)1andDcp1,p1+(1,0)1,Ds(p1,p)L1,Dc(p1,p)2ifL2 Ds(p1,p)0=1,(20)dRpdL(p),0式(20)中 dL(p)为 左 视 图 中 点 p 的 视 差 值,为右视图中与点 p 对应的视差值,0为容限
25、阈值,若左右对应点视差大于 1 则为异常点。为进一步细化视差值,本文将对视差图进行插值处理,并采用亚像素法处理 d(p)。为减少深度不连续性引起的误差,将通过如式(21)所示的内插视差的子像素值,进一步提高其匹配精度。其表达式为:d(p)=d(p)Cagg(p,d+1)Cagg(p,d1)2(Cagg(p,d+1)2Cagg(p,d)+Cagg(p,d1),(21)其中,d(p)为像素点 p 的视差值,Ccgg(p,d+1)和Ccgg(p,d1)分别为 p 点在视差为 d+1 和 d1 时的聚合代价。最后利用中值滤波,得到最终的视差。3实验结果与分析本算法采用C+语言实现,编译环境为VS201
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 特征 SAD Census 变换 立体 匹配 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。