单目SLAM增强现实测树系统设计与试验.pdf
《单目SLAM增强现实测树系统设计与试验.pdf》由会员分享,可在线阅读,更多相关《单目SLAM增强现实测树系统设计与试验.pdf(8页珍藏版)》请在咨信网上搜索。
1、2023年8 月第54卷第8 期农报业机械doi:10.6041/j.issn.1000-1298.2023.08.025单目SLAM增强现实测树系统设计与试验范永祥冯仲科?2间飞2申朝永3关天萌?苏珏颖(1.季华实验室,佛山52 8 0 0 0;2.北京林业大学精准林业北京市重点实验室,北京10 0 0 8 3;3.贵州省第三测绘院,贵阳550 0 0 4)摘要:将内嵌有面阵相机及IMU的智能手机作为硬件系统,单目SLAM技术获取多视图几何深度图、位姿等为数据源,构建了单目SLAM增强现实森林测树系统。设计了基于平滑度高鲁棒性过滤胸高圆柱体表面点云及切线的方法;然后,基于点到圆柱体表面距离及
2、圆柱体切线到圆柱体表面距离构建了胸径与立木位置精确估计算法;最后,以该算法为基础在智能手机端开发了增强现实测树系统,即利用智能手机实时测树、并通过增强现实场景实时人工监督测量结果。新型测树系统在5块32 m32m方形样地中进行了测试,以评估新型测树系统的测量精度;此外,每块样地使用了单次观测、正交观测、对称观测及环绕观测4种不同的观测方法对立木胸高圆柱体观测,以评估不用观测方式对测树精度的影响。结果显示:立木位置估计值在X、Y轴方向的平均误差范围为-0.0 140.020m,X、Y轴方向均方根误差范围为0.0 4 0.0 8 m;立木胸径估计值偏差为-0.8 5-0.0 3cm(相对偏差为-3
3、.60%-0.04%),均方根误差为1.32 2.51cm(相对均方根误差为6.41%12.33%);相比于单次观测方法,其他观测方法获取位置及胸径估计精度均有提高(特别是不可近似为圆柱体的立木树干),从精度与效率角度而言,正交观测及对称观测为最佳观测方法。结果表明,单目SLAM增强现实测树系统是一种可精确进行森林样地调查的潜在解决方案。关键词:森林;样地调查;单目SLAM;智能手机中图分类号:S758.7文献标识码:A文章编号:10 0 0-12 9 8(2 0 2 3)0 8-0 2 59-0 8OSID:Design and Experiment of Monocular SLAM Au
4、gmented Reality TreeMeasurement SystemFANYongxiangFENG Zhongke?YAN Fei2SHEN ChaoyongGUAN Tianshuo32SU Jueying(1.Jihua Laboratory,Foshan 528000,China2.Precision Forestry Key Laboratory of Bejing,Beijing Forestry University,Beijing 100083,China3.The Third Surveying and Mapping Institute of Guizhou Pro
5、vince,Guiyang 550004,China)Abstract:A monocular SLAM forest test system was constructed,which used an ordinary smart phoneembedded with an area array camera and an IMU as the hardware system,and used monocular SLAMtechnology to obtain depth maps,poses,etc.as data source.A method was designed based o
6、nsmoothness and high robustness to filter the point cloud and tangent on the surface of the chest heightcylinder;then based on the distance from the point to the surface of the cylinder and the distance fromthe tangent of the cylinder to the surface of the cylinder,an accurate estimation algorithm f
7、or the diameterat breast height and the standing tree position was constructed.Finally,based on the algorithm,anaugmented reality tree measurement system was developed on the smart phone side,that was,real-timetree measurement by smartphones,and real-time manual supervision of the measurement result
8、s throughaugmented reality scenes.A highly robust method for filtering the point cloud and tangent on the surfaceof the breast height cylinder through smoothness was designed;then an accurate estimation algorithm forDBH and standing tree position was constructed based on the distance from the point
9、and tangent to thesurface of the cylinder.Finally,an augmented reality tree measurement system was developed on the收稿日期:2 0 2 3-0 5-2 9 修回日期:2 0 2 3-0 6-2 5基金项目:广东省基础与应用基础研究基金区域联合基金一青年基金项目(2 0 2 0 A1515110253)作者简介:范永祥(198 9一),男,助理研究员,博士,主要从事SLAM算法及其在林业中的应用研究,E-mail:f a n y x j i h u a l a b.a c.c n通
10、信作者:闫飞(198 6 一),男,副教授,主要从事精准林业、测绘与3S集成研究,E-mail:y a n f e i 52 2 b j f u.e d u.c n260农2023年业机报学械smart phone end,which used the smartphone to measure trees in real time,and real-time manualsupervision of the measurement results through the augmented reality scene.The tree measurement systemwas tested
11、 in five 32 m 32 m square plots to evaluate the usability of the tree measurement system at thesame time;more importantly,each sample plot was investigated through single observation,orthogonalobservation,symmetrical observation and surrounding observations in order to evaluate the impact ofdifferen
12、t observation methods on the accuracy of tree measurement.The results show that the deviation ofthe estimated standing tree position in the X and Y axes directions was-0.014 0.020 m,and the rootmean square error range was 0.04 0.08 m;the deviation of the estimated DBH of standing tree was-0.85 -0.03
13、 cm(-3.6 0%-0.0 4%),t h e r o o t m e a n s q u a r e e r r o r w a s 1.32 2.51 c m(6.41%12.33%).Compared with the single observation method,other observation methods canobtain higher accuracy estimation(especially for standing tree trunks that cannot be approximated ascylinders),orthogonal observat
14、ion and symmetric observation were the best observation methods from theperspective of accuracy and efficiency.The results showed that the monocular SLAM augmented realitytree measurement system was a potential solution for accurate forest plot survey.Key words:forest;plot survey;monocular SLAM;smar
15、t phone0引言可靠的森林资源信息是评估森林发展状况及制定森林发展计划的重要依据 。样地调查作为一种重要的森林资源信息清查方式,利用抽样技术在森林中选取适当数量、尺寸且具有代表性的样地,通过对样地每木检尺、归纳、总结便可反演森林发展现状及消长变化2 ,是全国森林资源清查(简称一类调查)、森林资源规划调查(简称二类调查)及作业设计调查(简称三类调查)的重要手段3。近年来,随着遥感技术及计算机数据处理能力的发展,星载、机载等遥感手段被用于完成不同尺度森林调查及监测,但海量森林遥感数据的处理仍依赖于可靠、详细、完整的森林样地调查数据,以便对星载数据、机载数据及反演模型进行校准4。高效、精确地完成
16、森林样地调查对掌握森林资源现状与发展动态至关重要。森林样地调查通过每木检尺对样地中所有立木属性如树种、胸径、树高、第一枝下高、冠幅及立木位置等测定,经统计便可获取平均及总体的样地林分属性;而其他的属性(如叶面积指数、茎曲线、生物量及碳储量等)可利用树种、胸径、枝下高、冠幅及树高等建立反演模型进行估计5-6 。每木检尺的精度直接决定了样地调查的精度及各反演模型的精度。传统样地调查中,使用一些简易的工具进行每木检尺等工作。其中,胸径采用胸径尺、轮尺等测量,树高采用布鲁莱斯测高器、超声波测高器等测定6 。近年来,一些简单集成测距及测角传感器的新型设备被研发并用于森林样地清查中7-1,这些设备虽然解决
17、了每木检尺需要多人、多种设备配合测量的问题,但仍然是一类以人为主要观测者的设备,故仍然是一类费时、费力、主观性强的测量设备。但由于人工对测量结果的监督作用,胸径等测量值仍被认为是可靠的,经常作为评估其他调查方法的参考数据5。随着遥感技术及计算机运算能力的发展,以面阵相机、ToF(T i me o f f l i g h t)相机及激光雷达(Lightdetection and ranging,Li D A R)等为主要观测传感器的近景遥感手段在森林样地调查中得到广泛应用(4.12-13。该类型设备按采集方式可分为静态采集设备及动态采集设备。典型的静态采集设备如地面激光雷达(Terrestria
18、llaser scanning,T LS)等,该类型设备需安置于样地中进行静态作业,根据安置站数可分为单次扫描及多次扫描两种作业模式,其中单次扫描模式容易受遮挡影响而无法获取样地完整的点云信息14-15,多扫描模式则面临多站数据拼接难、作业效率低、不适合在较大样地中作业等问题 16-17 动态采集设备将视觉传感器数据与IMU(Inertial measurementunit)及GNSS(G l o b a lnavigation satellitesystem)等传感器数据融合,使设备可以在移动中进行数据采集并获取样地三维数据18-2 0);特别是,SLAM(Si mu l t a n e o
19、 u s l o c a l i z a t i o nandmapping)技术的出现,使移动测量系统无需依赖于GNSS信号实现了高郁闭度林下定位及建图2 1-2 1。相比于传统设备,该类设备通过在样地进行数据采集后利用计算机对数据进行处理,实现每木检尺及样地属性提取,减少了调查人员的工作量且避免了主观观测误差4。然而,专业遥感设备仍面临价格昂贵、质量较大及无人工监督导致鲁棒性差等问题。智能手机作为一种廉价、便携及高普及性的设备,是一种理想的森林样地调查设备。近年来,手机芯片、传感器等技术得到长足进步,使消费级面阵相机、ToF相机、激光雷达及IMU等传感器均可被嵌人智能手机设备上,Tango
20、、A RCo r e、A RK i t e 等SLAMijk261范永祥等:单目SLAM增强现实测树系统设计与试验第8 期算法可在手机上运行并支持增强现实的实现,这些均为智能手机在森林样地调查中提供了新的机会 2 4-2 6 文献2 7 利用内嵌有ToF相机的智能手机扫描并获取了森林样地三维点云,获取立木胸径及位置均方根误差分别为1.15 1.9 1cm及0.2001.135m。文献2 8 利用内嵌有LiDAR的AppleiPad扫描并获取了样地三维点云,并提取到立木胸径估计值均方根误差为3.10 3.40 cm及0.1090.218m。文献2 9 利用内嵌有LiDAR的iPhone及iPad
21、开发了ForestScanner,用于实时估计立木胸径及位置,胸径及立木间相对距离估计值均方根误差为2.3cm及3.1 4.4m。课题组利用内嵌有ToF相机的智能手机研发了增强现实森林样地调查系统,该系统利用RGB-DSLAM系统实时数据实现胸径、立木位置及树高测量,利用基于树干回环检测提高了立木位置精度,利用增强现实场景实时人工监督测量结果并交互修正误差,胸径及立木位置的估计值均方根误差为1.0 0 cm及0.0 7 8 0.086m30-32。然而,目前主流智能手机并非内嵌有ToF相机及LiDAR等传感器,这将影响智能手机在森林样地调查中的推广,故呕需研发基于单目SLAM系统(仅使用面阵相
22、机及IMU作为数据源)的森林样地调查系统;此外,该系统在胸径估计中采用单帧深度图进行圆拟合估计,不仅鲁棒性差且不适合对倾斜立木进行精确胸径与立木位置估计。本文利用带有单目SLAM系统的手机构建森林样地调查系统;构建基于单目SLAM数据过滤胸高点云数据的方法;基于点到圆柱体表面距离及圆柱体切线到圆柱体表面距离构建胸径与立木位置精确估计算法;利用增强现实技术进行结果实时显示与操作交互。然后,该系统在5块32 m32m的方形样地中进行测试,并对立木位置及胸径估计结果进行评估。1单目SLAM#技术及深度图估计方法1.1单目SLAM技术本文单目SLAM系统以面阵相机为观测传感器、IMU为运动传感器,其中
23、:面阵相机的优势在于长时间、长距离位姿估计误差较小,IMU的优势在于短时间、短距离内的位姿估计较准(即使在运动快速变化时),两种传感器数据融合可有效弥补各自的不足,是目前较为主流的SLAM系统之一。若设0K时刻面阵相机对路标点(m)的观测序列为Zo.K=1Zo,Zi,.,ZkIMU运动估计序列为?则SLAM过程将相机观测数据与IMU数据进行融合,并对各时刻位姿Xi.K=/xi,X2,Xk及路标点(m)进行实时估计(图1);从概率论角度而言,SLAM过程表达为后验概率推断P(x1:K,mIZo.K,ul:K,xo)=KII P(x,Ix-1,u,)P(Z,lx,m)(1)k=1uuuKm图1SL
24、AM过程贝叶斯网Fig.1Bayesian network of SLAM processSLAM解决方案正是通过对该后验概率推断采用不同的简化假设(如马尔可夫性假设等)并利用各种滤波及滑窗优化技术实现对位姿及路标点的后验推断33-34 1.2深度图估计方法及立木树干深度图特点深度图的估计以SLAM过程获取的位姿及稀疏地图为输人,在朗伯面假设、光度一致性假设及可视性约束下,通过构建光度一致性非线性优化模型实现35-36 该非线性模型可简单表示为E=E(Ir(i,i)-cl(i,j)(2)式中IR(i,j)、I(i,j)一当前Patch及第k帧相应Patch中(i,j)偏移像素点光度Ch第k顿颜
25、色尺度E-一当前顿附近k帧相应Patch光度残差之和通过对该光度残差平方和极小化,完成对当前Patch中心像素的深度等进行优化估计并通过区域生长获取深度图及其置信图。通过该方法获取立木树干深度图及由深度图转换的点云,如图2 所示。由于森林中灌木等干扰、深度图估计中对树干圆柱体相切位置点估计不精确等原因,深度图中存在大量噪点,从而在利用该深度图进行立木位置及胸径等估计时造成影响,本文将构建相应的过滤算法及胸径等估计算法解决该问题,2测树系统架构与核心算法2.1测树系统工作框架本文测树系统基本工作框架及界面参考课题组已构建的RGB-DSLAM测树系统工作架构进行,262农2023年业机报学械(a)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- SLAM 增强 现实 系统 设计 试验
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。