基于惯性先验校正图像灰度的VIO前端改良方法.pdf
《基于惯性先验校正图像灰度的VIO前端改良方法.pdf》由会员分享,可在线阅读,更多相关《基于惯性先验校正图像灰度的VIO前端改良方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、DOI:10.12265/j.gnss.2023067基于惯性先验校正图像灰度的 VIO 前端改良方法徐锦乐,潘树国,高旺,刘宏,王向(东南大学仪器科学与工程学院,南京 210096)摘要:针对封闭环境中不同光照场景导致相机图像序列光照过强、过弱以及光照强度大幅变化等问题,提出了一种基于惯性先验预测并校正图像灰度、提升光流跟踪成功率的视觉惯性里程计(VIO)前端改良方法,以解决由于极端光照条件导致的特征点跟踪失败问题.该 VIO 前端改良算法通过以惯性预测特征点像素位置,并衡量图像序列中对应特征点邻域之间的相似性对当前图像灰度进行伽马校正.通过 TUM 数据集实验验证,所提算法定位精度比 VI
2、NS-Mono 平均提升了 17.7%;在真实的室内外环境下进行实验,相较于 VINS-Mono 有更好的表现.关键词:即时定位与地图构建(SLAM);视觉惯性里程计(VIO);图像增强;灰度校正;特征跟踪中图分类号:P228.4文献标志码:A文章编号:1008-9268(2023)03-0102-080引言自动驾驶等无人系统需要自主实现定位、导航和规划等功能,因此移动载体必须具备在信息缺失或是完全陌生的环境中同时进行定位和建图(SLAM)的能力,SLAM 技术作为自主移动载体的必备能力1,也成为当今移动载体高精度定位领域的研究热点之一2,并取得了许多引人注目的成果3-5.其中,基于相机和惯性
3、测量单元(IMU)互补的传感器,具有成本低和体积小的优势,视觉惯性里程计(VIO)技术在增强现实和空中导航等领域的应用中成为主流定位手段6.特别是在地下、室内等复杂环境中,传统的定位方法例如全球卫星导航系统(GNSS)的性能退化,无法提供准确定位7,而 VIO 可以在一定程度上实现自主定位,成为一种在封闭空间中使用的定位手段.VIO 技术视觉前端主要分为直接法和特征点法.在封闭环境导致相机光照条件不佳的情况下,与直接法相比,特征点法在面对图像低质量问题时的表现更具鲁棒性.特征点法根据匹配方法的不同又可分为光流匹配和特征描述符匹配8,光流法相比于后者运行效率更快,但对照明变化和快速运动较为敏感,
4、剧烈的照明变化可能会导致 VIO 缺少足够的视觉几何约束来参与优化而出现系统发散9.因此,对 VIO 视觉前端图像增强的改进有重要意义.目前已有许多图像增强方法,例如基于 Retinex理论的图像增强算法10,包括单尺度增强和多尺度增强11,其将原始图像分解为照度分量和反射分量,由反射分量作为增强结果;He 等12提出的暗通道先验去雾算法,利用暗通道图复原清晰图像,并结合导向滤波提升算法效果;经典且广泛应用的直方图均衡化算法等13.以上算法虽然在图像增强方面效果非凡,但多数并不是为视觉特征跟踪而专门研究,且特征的稳定跟踪需要依赖在不同场景下对不同策略进行合理的选择和搭配.Song 等9针对照明
5、改变场景中图像特征跟踪困难和图像噪声过大的问题,提出一种将连续图像增强到相同亮度水平具有约束的块噪声去除算法,并在 EuRoC 数据集验证了其算法的优势.高扬等14将图像转换到 HSV 空间,对其中 V 通道中的亮度信息进行处理,使用伽马校正和直方图均衡化加权融合的方式增强图像,在改良随机抽样一致性(RANSAC)算法处理后,提高了图像中特征点提取数量以及匹配的成功率.尹胜楠等15对自动彩色增强(automaticcolorenhancement,ACE)算法进行改进,使用快速 ACE 算法在提升特征点提取数量和匹配成功数量上都取得了较大进步.Zhu 等8对前后图像的特征点邻域的亮度变化进行线
6、性估计,根据结果对整幅图像进行灰度伽马校正,在 EuRoC 数据集上取得了不错的效果.Tomasi 等16设计了深度卷积神收稿日期:2023-03-30资助项目:国家重点研发计划(2021YFB3900804)通信作者:潘树国E-mail:第 48卷第3期全球定位系统Vol.48,No.32023年6月GNSS World of ChinaJune,2023经网络(CNN)模型,以自适应地改变相机曝光时间和增益,从而增加了高质量特征点的数量.以上算法都针对光照变化提出了适合 SLAM 系统的图像增强处理方法,但没有图像序列信息的前后关联价值完全利用;如若图像局部光照变化有别于整体,传统方法也将
7、无法有效应对.本文提出了一种基于惯性先验校正图像灰度的方法,其中在 VIO 系统中充分利用 IMU 信息作为先验信息对特征点位置进行预测,并对预测点所在区域的像素进行伽马校正.由于图像中明暗变化的非一致性,在避免预测点区域图像质量受光照变化大幅下降的同时,还需对图像中光照过暗或过亮而导致细节确定的区域进行自适应伽马校正,并根据几何约束和图像相似性剔除误匹配后,以余下预测点作为迭代初值,得到匹配准确率更高的光流追踪结果,作为视觉几何约束参与因子图优化(FGO)从而估计载体运动轨迹.1VIO 前端改良方法本文的系统框图如图 1 所示,以已知深度的特征点为被跟踪点,通过 IMU 预积分结果得到相机位
8、姿的先验估计;以该结果预测被跟踪点在当前图像中的像素位置,取预测点和被跟踪点邻域范围内的像素信息计算图像结构相似性衡量指标(SSIM)结果,并根据结果选择不同策略对预测点区域进行灰度变化(伽马校正);在 L-K 光流金字塔中使用预测点像素位置为光流法迭代初值以得到跟踪效果可靠的特征点对,将其作为 VIO 系统前端的视觉几何约束(重投影误差因子),与 IMU 残差因子一同进入后端优化得到系统位姿估计结果.1.1 惯性先验预测特征点位置默认情况下,L-K 光流法遵循灰度不变假设17,以前一帧图像中提取的特征点像素位置本身为初始位置估计进行光流追踪,这对相机运动状态和图像灰度变化情况要求较为严格.如
9、果相机剧烈旋转运动或是光照条件发生变化造成图像质量大幅下降,都可能出现光流跟踪失败的现象,导致匹配成功的特征点数量减少,使 VIO 系统鲁棒性降低.而使用惯性信息预积分结果作为相机运动先验估计预测特征点像素位置的做法,可以在一定程度上弥补 L-K 光流法的不足.通过对两帧图像时间内的 IMU 预积分,我们可以初步估计两个时刻间的相机位姿变化,对应公式如下:Pwbk+1=Pwbk+vwbktk+xttk,tk+1(Rwt(atbatna)gw)dt2,(1)vwbk+1=vwbk+wttk,tk+1(Rwt(atbatna)gw)dt,(2)qwbk+1=qwbk+wttk,tk+112(tbt
10、n)qbktdt.(3)()=T0,=0zyz0 xyx0.(4)Pwbk+1vwbk+1qwbk+1Rwt at tbatbtnangw式中:、分别为世界坐标系下载体在k+1 时刻的位置、速度、姿态;为 t 时刻世界坐标系下的旋转矩阵;和分别为加速度计和陀螺仪在t 时刻的测量值;和分别为加速度计和陀螺仪在t 时刻的零偏;,分别为加速度计和陀螺仪噪声;为世界系下的重力.Qbk=x,y,zT在两帧时间内 IMU 的累计误差可以忽略不计.此时若有前一帧图像中已知深度的特征点,则其在当前帧的预测像素位置可以由以下公式预测:su,v,1T=c(Rwbk+1)T(RwbkQbk+twbk)twbk+1.
11、(5)uvsc()RwbktwbkRwbk+1twbk+1式中:和为预测像素坐标;表示尺度因子;为相机投影函数,包括了相机内参和畸变运算;和为相机在前一时刻于世界坐标系下的位姿估计;和为载体在当前时刻于世界坐标系下的位姿估图像输入视觉前端改良IMU预积分预测特征像素图像灰度校正IMU输入估计相机姿态光流跟踪特征关键帧后端优化估计轨迹回环检测剔除不佳预测灰度计算SSIM对比结构图 1 惯性先验校正图像灰度的 VIO 系统前端改良方法原理框图第3期徐锦乐,等:基于惯性先验校正图像灰度的 VIO 前端改良方法103qwbk+1Pwbk+1计,可由式(3)中与式(1)中得出.1.2 邻域像素 SSIM
12、 计算得到特征点的预测位置后选取特征点在两帧内对应的邻域像素,选取规则如图 2 所示,其中 p 与q 分别为被跟踪点与预测点.p1q1特征点选中区域备选区域q2q4p4q3p3p2图 2 特征点邻域选取规则xy选取邻域像素中尺寸相同且位置对应的矩形图像区域,计算两图像矩阵的 SSIM 结果.SSIM 是常用的一种图像相似性衡量指标,给定大小一致的图像和,其 SSIM 结果可由以下公式得到:SSIM(x,y)=l(x,y)c(x,y)s(x,y).(6)l(x,y)x yc(x,y)x ys(x,y)xy(0,0,0)=1式中:为、的灰度相似性;为、的对比度相似性;为、的结构相似性;、分别为以上
13、三者在图像相似性中占据的比重,通常取值为.灰度相似性、对比度相似性和结构相似性分别表示为:l(x,y)=2xy+C12x+2y+C1,(7)c(x,y)=2xy+C22x+2y+C2,(8)s(x,y)=xy+C3xy+C3.(9)xyxyxyC1C2C3式中:、为特征点在前、后两帧图像中邻域像素的平均灰度值;、为特征点在前、后两帧图像中邻域像素的标准差和协方差;、为控制参数,本文方法分别设置为:C1=(k1L)2,C2=(k2L)2,C3=C22.(10)k1=0.01 k2=0.03Ls(x,y)式中:;取图像灰度最大值 255(为 SSIM 默认参数值).特征点邻域像素相似性越高.特征匹
14、配成功率越高,同时可以根据 SSIM 结果对结构相似性低、对比度低或纹理缺失的特征点进行剔除,当小于某值时,说明对应区域的结构相似较s(x,y)低,匹配成功几率小.本文根据实验经验,在低于 0.3 时将对应特征点视作异常值剔除,不作为视觉几何约束参与系统 FGO.1.3 自适应伽马校正在筛选保留合适的特征点之后,需要评估其SSIM 结果,对预测点所在图像区域进行自适应伽马校正,灰度值计算可由下式表示:I(x,y)=I(x,y)255255.(11)I(x,y)I(x,y)I(x,y)式中:为校正后灰度值;为原像素灰度值;为关于的函数,表示伽马校正数值,不同情况对应不同处理策略.多数场景下,一张
15、图像不同区域所需伽马校正的伽马数值往往是不同的,要根据特征点邻域灰度变化情况进行自适应伽马校正.1.3.1光照条件大幅变化情况在评估特征点在前后时刻所处两邻域的图像相似性 SSIM 指标时,能够跟踪成功的情形往往灰度、对比度、结构相似性都接近于 1.当两者邻域内信息只存在灰度上的差异时,在 SSIM 指标中前后图像对比度、结构相似性高且灰度相似性较低时对当前图像特征点邻域进行伽马校正,校正结果可由下式计算得到:I(x,y)=I(x,y)255lgyx255.(12)lgyx式中:伽马校正数值设为,以指数形式求得两帧间平均灰度值的差距.在一次校正后,为避免区域边缘出现分层现象,需要对校正区域进行
16、取值调整,保留灰度值得到合理伽马校正的像素:I(x,y)=maxI(x,y)kG,I(x,y),x yminI(x,y)kG,I(x,y),x y.(13)I(x,y)GkGmax式中:为最终校正后的图像灰度;为与特征点邻域对应矩阵阶数相等的高斯矩阵;为增益,取值为矩阵中最大值的倒数;函数与 min 函数分别对应不同的光照变化情况,意在避免分层现象产生并保留区域中更亮(暗)的像素,以达到校正特征点邻域像素灰度值在图像序列中避免大幅波动的目的.1.3.2光照条件不佳情况在相机采集图像的过程中还存在前后时刻特征点邻域都过亮或过暗的情况,采取的自适应伽马校正由如下公式表示:104全 球 定 位 系
17、统第48卷I(x,y)=I(x,y)255lgyM255.(14)M式中,为对应图像的灰度值中位数.同样,使用式(13)对校正区域进行灰度调整,避免图像分层.1.3.3对比度变化情况xy在相机光照条件发生变化时,随着灰度变化采集图像的对比度往往也会出现变化,因此,当邻域像素的对比度相似性较低而结构相似性较高时,根据对比度进行伽马校正,但只针对图像对比度变低的情况进行校正,判断依据为是否大于,对应的伽马校正公式相对于 1.3.1 中略有不同:I(x,y)=2551?(I(x,y)255)c1?c.(15)c式中,为区域内像素 SSIM 结果中的对比相似度.同样使用式(13)对校正区域进行调整,对
18、应的灰度校正曲线如图 3 所示:300250200校正后灰度原始灰度1501000050100150200250300c=0.2c=0.4c=0.6c=0.8c=1.050图 3 自适应伽马校正灰度曲线综上所述,根据 SSIM 指标结果选择不同校正策略的自适应伽马校正流程图如图 4 所示.需注意的是流程图中的伽马校正代表了 1.3.1、1.3.2 和 1.3.3 中不同光照变化情况下对应的伽马校正策略.预测点对应的SSIM结果剔除该点是是否否x,y是否同时在阈值之外?x,y是否同时在阈值之外?c(x,y)是否小于阈值?伽马校正伽马校正是伽马校正是输出图像、预测点是s(x,y)是否小于阈值?l(
19、x,y)是否小于阈值?否图 4 自适应伽马校正流程图2实验与结果分析为验证本文方法实际效果,从视觉效果层面将本文方法校正图像与原始图像相比较;从耗时成本层面将本文方法平均耗时与 VINS-Mono 中光流跟踪平均耗时进行比较;从定位精度层面,在 TUM 数据集和真实室内外环境中进行实验,评估轨迹精度.本文实验使用的相机为海康工业相机(型号:MV-CA016-10UC,分辨率:14401080),系统运行配置为 CPU:IntelCorei7-117002.50GHz,显卡:NVIDIAGTX1060,内存 16GB.2.1 灰度校正视觉效果本文所提方法处理结果与原始图像如图 5 所示,抽取 E
20、uRoC 数据集 V1_03_difficult 序列中光照变化幅度较大的 5 张连续图像进行对比.第3期徐锦乐,等:基于惯性先验校正图像灰度的 VIO 前端改良方法105(a)原始图像(b)本文方法处理结果图 5 图像处理前后对比由图 5 可以看到,原始图像的光照强度有较为明显的变化,整体由亮变暗,但经本文算法处理后,图像在特征丰富区域的灰度变化较为稳定,这有利于特征点的提取与跟踪;本文方法对对比度较弱的区域也进行了一定的图像增强,这有利于新的特征点的提取.2.2 特征跟踪结果经本文方法处理后,特征提取与匹配结果得到一定改善,具体体现为相机大幅旋转后惯性先验能为光流跟踪提供特征点预测像素位置
21、初值;相机在光照条件大幅变化后经灰度校正仍能使特征点遵循光流法中的灰度不变假设.抽取EuRoC 数据集V1_03_difficult序列中运动幅度剧烈、光照变化幅度大以及光线较暗不同情况下特征点跟踪结果进行对比如图 6、7所示.图 6 表明,光照条件出现较大变化的情况下,灰度校正能够减轻光照变化给特征提取与匹配所带来的影响,处理图像对比原始图像保有更多跟踪成功的点.图 6 光照条件大幅变化情况下的特征点跟踪结果图 7 结果表明,载体运动幅度过大时,惯性先验信息能够为特征点光流跟踪提供更加准确的初始迭代值,因此相较于原始图像,特征点依然保持跟踪稳定.图 7 载体大幅旋转情况下的特征点跟踪结果由以
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 惯性 先验 校正 图像 灰度 VIO 前端 改良 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。