基于深度学习的动态场景RGB-D SLAM方法研究.pdf

1引言视觉 SLAM（Simultaneous Localization and Map-ping）是搭载相机的主体在未知环境中运动时利用相机获取信息、估计自身位置并建立周围环境地图的一种方法1。搭载 RGB-D 相机的 SLAM 系统具有体积小、功耗低且性价比高等优点2，因此 RGB-DSLAM 系统已成为当前研究热点之一，广泛应用于自动驾驶、增强现实和移动机器人等领域。传统视觉 SLAM 系统基于静态场景的条件进行自身定位和建图，然而在实际应用中，SLAM 系统通常会面对高动态场景，基于直接法的 LSD-SLAM3、DTAM4和基于特征点的 ORB-SLAM25、PTAM6等算法在这类场景下都存在相机位姿估计精度差的问题。近年来，越来越多的研究人员将深度学习框架与传统视觉SLAM 方法相结合以解决动态场景下的 SLAM 定位精度与建图问题。文献7将 Mask R-CNN 与多视图几何方法结合从而识别动态区域，并使用深度、光度和重投影误差细分静态特征点和动态特征点。基于深度神经网络的视觉 SLAM 方法在动态环境中基本上可以达到实时运行，但容易导致特征点的过度去除，最终导致位姿估计失败。针对上述问题，在此提出一种基于深度学习的动态场景下的 RGB-D 视觉SLAM 算法。基于深度学习的动态场景 RGB-D SLAM 方法研究许丽媛，刘振宇（沈阳工业大学信息科学与工程学院，沈阳 110870）摘要:为解决传统 RGB-D 视觉 SLAM 方法在动态场景中的错误数据关联等问题，提高位姿估计精度和避免算法性能下降，提出一种适用于动态场景的 RGB-D SLAM 算法。该方法基于深度学习的目标识别算法，对动态目标区域进行检测与分割；使用 k-means 聚类算法对动态区域内的特征点深度值进行聚类；根据聚类结果去除场景中动态目标的特征点，将真实静态特征点用于计算相机位姿，以提高 SLAM 算法在动态场景中的精度和鲁棒性。基于 TUM 数据集对算法进行实验验证，结果表明，所提方法在室内动态场景下不仅定位精度高，而且具有很好的实时性。关键词：视觉 SLAM；深度学习；动态场景；目标检测；聚类DOI：10.3969/j.issn.1002-2279.2023.04.010中图分类号:TP391.41文献标识码:A文章编号：1002-2279（2023）04-0034-04Stduy on Dynamic Scene RGB-DSLAM Method Based on Deep LearningXU Liyuan,LIU Zhenyu(School of Information Science and Engineering,Shenyang University of Technology,Shenyang 110870,China)Abstract:In order to solve the problems of incorrect data association in dynamic scenes by traditionalRGB-D visual SLAM method,improve the accuracy of pose estimation and avoid the performance degra-dation of the algorithm,an RGB-D SLAM algorithm suitable for dynamic scenes is proposed.Based onthe target recognition algorithm of deep learning,the method detects and segments the dynamic targetarea.k-means clustering algorithm is used to cluster the depth values of feature points in the dynamicregion.According to the clustering results,the feature points of dynamic objects in the scene are removed,and the real static feature points are used to calculate the camera pose,so as to improve the accuracy androbustness of SLAM algorithm in dynamic scenes.The experimental results based on TUM data set showthat the proposed method not only has high positioning accuracy,but also has good real-time performancein indoor dynamic scenes.Key words:Visual SLAM;Deep learning;Dynamic scene;Target detection;Clustering作者简介：许丽媛（1997），女，辽宁省辽阳市人，硕士研究生，主研方向：机器视觉，SLAM 技术。收稿日期：2023-02-02微处理机MICROPROCESSORS第 4 期2023 年 8 月No.4Aug.，20234 期2系统构建与实现2.1整体框架所设计算法的基本思想是：先利用目标检测网络划分出动态和静态区域，然后使用 k-means 聚类算法对深度图动态区域进行聚类，最后根据聚类结果确定并剔除动态区域的真实动态特征点，将剩余特征点用于计算相机位姿的估算。由此提出 SLAM的系统框架如图 1 所示。该系统基于 ORB-SLAM2 的 RGB-D 模式，并在此基础上添加目标检测网络和深度值 k-means 聚类算法。首先，通过目标检测网络确定 RGB 图像中包含动态对象的区域，该区域内不仅包含大量动态特征点，还存在一些静态特征点。然后，对上述动态区域内的所有特征点深度值使用 k-means 聚类算法，细化图像中的动态和静态特征点，根据细化结果剔除真实动态特征点，大幅度提高 SLAM 系统对相机的位姿估计精度。2.2目标检测网络为保证系统的实时性，针对动态环境中移动物体的检测，选用 YOLOv5 的轻量化版本 YOLOv5s 实现动态目标的实时检测。它是 YOLOv5 系列的四种网络结构中速度最快、体积最小的网络，同时还保持了较高精度。网络的目标检测结果如图 2 所示。原始 RGB 图像输入到目标检测网络以后，该网络将一些可能的动态物体（如人、电脑和椅子等）检测出来，并通过边界框给出粗略的动态区域。其中，将第 k 帧的 RGB 图像表示为 Rk。第 k 帧的动态目标检测结果表示为 Tk，如下式所示：式中，ti,Idk、ti,Boxk分别表示 Rk中识别出的第 i 个动态对象及其边界框，tj,Idk则表示 Rk中识别出的第 j 个静态对象；Nk为 Rk检测出的对象总数；Bi,topk、Bi,bottomk、Bi,leftk、Bi,rightk分别表示第 k 帧识别出的第 i 个动态对象边界框的上、下、左、右像素边界线。2.3动态区域的静态特征点识别所设计的基于 k-means 聚类算法识别动态区域静态特征点的步骤可归纳如下：(a)选取 k 个聚类中心，记为 滋1(0),滋2(0),.,滋k(0);(b)计算各特征点深度值与各聚类中心的距离；(c)将每一个特征点的深度值分配到距离最近的聚类中心；(d)计算各个类的特征点深度值的均值，并将其作为新的聚类中心；(e)不断重复步骤(c)和(d)，直至损失函数收敛或者迭代次数超过设定阈值。损失函数的形式为：式中，dx代表第 x 个特征点的深度值，cx是 dx所属的簇，滋cx代表簇对应的中心点，S 是特征点总数。损失函数为各个样本距离所属簇中心点的误差平方和。在动态目标检测结果 Tk第 i 个动态对象的边界框ti,Boxk内，动态物体往往占据了该区域的大部分像素，而静态背景只占据边界框内的少部分像素。因此将聚类中心 k 设置为 2 类，将含有特征点深度值样本数量最多的一个类别表示为 Cd，并将此类别中的特征点视为真实动态特征点。将另一类别表示为Cs，并将此类别中的特征点视为真实静态特征点。为消除动态对象对该系统的影响，需准确判断出当前帧的真实动态特征点。本设计联合动态目标检测结果 Tk和深度聚类结果 Cd判断并剔除真实动态特征点。首先，根据目标检测结果确定动态对象的边界框ti,Boxk，并遍历第 k 帧的所有 ORB 关键点 Pk，若ORB 关键点在第 k 帧的第 i 个动态对象的边界框图 2目标检测结果图 1SLAM 系统框架21(,)xSxcxJ cdRGB图像提取ORB特征点目标检测网络动态区域深度图像相机位姿估计ORB-SLAM2 后端框架局部BA回环检测全局BA(1)(2),Box,left,top,right,bottom(,),kkkkkiiiiitBBBB(3)许丽媛等：基于深度学习的动态场景 RGB-D SLAM 方法研究,Id,Box,Id,1kkkkkiijTtttijN 窑35窑微处理机2023 年内，则将此 ORB 关键点表示为Pik。从深度图像获取所有 ORB 关键点 Pk的深度值 Dk，通过聚类算法验证Pik是否位于动态对象上，并将属于动态对象的关键点从Pik移除。算法的具体内容可归纳如下：算法名称：动态特征点剔除算法输入：动态目标检测结果 TkORB 关键点集合 Pk所有 ORB 关键点的深度值 Dk输出：真实静态 ORB 关键点集合 Pkfor 每个识别对象 t噪in Tkdocount 饮 0/初始化 Tk中动态对象计数变量if t噪是动态对象 ti,Idkthencount 饮 count+1for 每个 ORB 关键点 Pkdoif Pkin ti,BoxkthenPik为潜在动态关键点endifendforendifendforfor 每个动态对象 in Tkdo对Pik的 Dk聚类if label0的样本数量 label1的样本数量Cd饮 label0else Cd饮 label1end else将 Cd中对应的关键点从Pik中移除endfor经上述算法处理后，动态区域中剩余的就是真实静态特征点 Pk。将真实静态特征点用于计算相机位姿，可大幅度提高 SLAM 算法在动态场景中的精度和鲁棒性。按照算法步骤，在 TUM 数据集8上进行静态特征点识别的实际识别效果如图 3 所示。可见，图像中人身体上的动态特征点被排除，静态特征点被分辨出来。3实验与分析为验证算法有效性，通过公开的 TUM RGB-D数据集，使用绝对轨迹误差（ATE）对视觉 SLAM 系统进行对比评估，其中绝对轨迹误差的均方根误差（RMSE）是评估 SLAM 系统总体性能的重要指标之一。TUM 数据集是在室内不同场景下使用 KinectV1 相机和外部高精度传感器记录的 RGB-D 数据集，其中 fr3_sitting 系列和 fr3_walking 系列分别是在低动态和高动态场景下记录的数据集。本实验的计算机软硬件条件为：Ubuntu 18.04操作系统、Intel砸CoreTMi7-10875H CPU2.30GHz、16GB 内存、GeForceRTX2060 显卡。实验过程中，首先使用 TUM 数据集中的 8 个序列分别对 ORB-SLAM2 算法和本算法进行测试，得到定量评估对比结果，如表 1 所示。经对比，本算法在 fr3_walking 系列的高动态场景中获得了较高的相机位姿估计精度，改进效果明显。将所提出的动态特征点剔除方法集成到 ORB-SLAM2 的前端里程计中（集成后的 ORB-SLAM2 简称为 C-ORB-SLAM2），并使用 TUM RGB-D 数据集当中的四组高动态序列对 ORB-SLAM2 和 C-ORB-SLAM2 进行对比实验，实验结果如图 4 所示。图 3静态特征点识别效果0.00770.0043序列ORB-SLAM2fr3_walking_xyzfr3_walking_rpyfr3_sitting_rpyfr3_sitting_halffr3_sitting_static0.0088Mean0.54880.74910.02360.0240Std0.36190.38350.01650.0155RMSE0.65740.84160.02880.0286本方法0.00860.02380.0235RMSE0.03480.1944新方法的改进率MeanStdRMSEMeanStd0.02810.020494.70%94.88%94.36%0.16300.105876.90%78.25%72.41%0.02060.011917.36%12.71%27.88%0.02070.011117.83%13.75%28.39%0.00750.00412.27%2.60%4.65%fr3_walking_half0.31300.17050.35650.12250.06620.103065.64%78.85%39.59%fr3_walking_static0.05750.02770.05040.00940.00850.003983.65%69.31%92.26%fr3_sitting_xyz0.01720.01530.00790.02500.02220.0113-45.34%-45.09%-43.03%表 1相机绝对位姿误差对比ATE 单位：m窑36窑4 期差值真实轨迹估计值-1.5-2.0-2.5-3.0-3.5-4.0-4.5-5.0-1.5-1.0-0.50.0 x/m差值真实轨迹估计值-2.6-2.7-2.8-2.9-3.0-3.1-3.2-3.3-1.0-0.8-0.6-0.4-0.2图 4TUM RGB-D 数据集绝对迹误差对比结果由图中可知，当图像中动态对象出现时，ORB-SLAM2 的绝对轨迹误差急剧上升，而所提出的算法很好地克服了该问题。即使环境中出现了动态对象，本算法估计出的绝对轨迹误差依然保持在很小范围内，表现出较强的鲁棒性。在运行效率方面，本算法在 ORB-SLAM2 的基础上添加了动态特征点识别与剔除的线程，处理一帧图像所用时间大约是 70ms。4结束语基于深度学习的 RGB-D SLAM 算法能够消除环境中动态物体对视觉 SLAM 系统的影响，有效提高了视觉 SLAM 系统在动态场景下的表现。深度学习网络与聚类算法的灵活动用，提高了视觉 SLAM系统在动态场景下的位姿估计精度。所提算法既发挥出了基于语义的视觉 SLAM 方法在精度上的优势，又克服了相比传统几何视觉 SLAM 方法耗时较长的问题，在明显提高 SLAM 系统在动态环境下的位姿估计精度的同时，较好地满足了实时性的要求。参考文献：1MUR-ARTAL R,MONTIEL J M M,TARDOS J D.ORB-SLAM:a versatile and accurate monocular SLAM systemJ.IEEE Transactions on Robotics,2015,31(5):1147-1163.2ENDRES F,HESS J,ENGELHARD N,et al.An evaluationof the RGB-D SLAM systemC/2012 IEEE InternationalConference on Robotics and Automation,May 14-18,2012,Saint Paul,MN,USA.IEEE,2012:1691-1696.3ENGEL J,SCH0PS T,CREMERS D.LSD-SLAM:large-scale direct monocular SLAMC/Computer Vision-ECCV2014,13th European Conference,Proceedings,Part II,Sep-tember 6-12,2014,Zurich,Switzerland.Springer,2014:834-849.4NEWCOMBE R A,LOVEGROVE S J,DAVISON A J.DTAM:dense tracking and mapping in real-timeC/2011International Conference on Computer Vision,November6-13,2011,Barcelona,Spain.IEEE,2012:2320-2327.5MUR-ARTAL R,TARDOS J D.ORB-SLAM2:an open-source SLAM system for monocular,stereo,and RGB-DcamerasJ.IEEE Transactions on Robotics,2017,33(5):1255-1262.6PIRE T,FISCHER T,CASTRO G,et al.S-PTAM:stereoparallel tracking and mappingJ.Robotics and AutonomousSystems,2017,93:27-42.7WEN Shuhuan,LI Pengjiang,ZHAO Yongjie,et al.Seman-tic visual SLAM in dynamic environmentJ.AutonomousRobots,2021,45(4):493-504.8STURM J,ENGELHARD N,ENDRES F,et al.A bench-mark for the evaluation of RGB-D SLAM systemsC/2012IEEE/RSJ International Conference on Intelligent Robots 驭Systems,October 7-12,2012,Vilamoura-Algarve,Portugal.IEEE,2012:573-580.差值真实轨迹估计值-1.6-1.8-2.0-2.2-2.4-2.6-2.8-3.0-3.2-2.0-1.5-1.0-0.50.00.51.0(e)fr3_walking_half/ORB-SLAM2差值真实轨迹估计值-1.75-1.50-1.25-1.00-0.75-0.50-0.250.00.25-2.2-2.4-2.6-2.8-3.0(f)fr3_walking_half/C-ORB-SLAM2-2.0-2.2-2.4-2.6-2.8-3.0-3.2-3.4-1.50-1.25-1.00-0.75-0.50-0.250.00.25差值真实轨迹估计值差值真实轨迹估计值-2.6-2.8-3.0-3.2-3.4-1.2-1.0-0.8-0.6-0.4(b)fr3_walking_xyz/C-ORB-SLAM2(a)fr3_walking_xyz/ORB-SLAM2(d)fr3_walking_rpy/C-ORB-SLAM2(c)fr3_walking_rpy/ORB-SLAM2(h)fr3_walking_static/C-ORB-SLAM2(g)fr3_walking_static/ORB-SLAM2差值真实轨迹估计值-3.05-3.10-3.15-3.20-3.25-1.75-1.50-1.25-1.00-0.75-0.50-0.250.00.25-0.82-0.80-0.78-0.76-0.74-0.72-0.70-3.19-3.20-3.21-3.22-3.23-3.24差值真实轨迹估计值x/mx/mx/mx/mx/mx/mx/m许丽媛等：基于深度学习的动态场景 RGB-D SLAM 方法研究窑37窑