动态环境下视觉定位与建图的运动分割研究进展.pdf

2023 08 10计算机应用,Journal of Computer Applications2023,43(8):2537-2545ISSN 10019081CODEN JYIIDUhttp：/动态环境下视觉定位与建图的运动分割研究进展朱东莹1，钟勇2，杨观赐1，3，4*，李杨3（1.贵州大学 机械工程学院，贵阳 550025；2.中国科学院 成都计算机应用研究所，成都 610213；3.现代制造技术教育部重点实验室（贵州大学），贵阳 550025；4.省部共建公共大数据国家重点实验室（贵州大学），贵阳 550025）（通信作者电子邮箱guanci_）摘要：动态环境中视觉定位与建图系统受环境中动态物体的影响，定位与建图误差增加同时鲁棒性下降。而对输入图像的运动分割可显著提高动态环境下视觉定位与建图系统的性能。动态环境中的动态物体可分为运动物体与潜在运动物体。当前动态物体识别方法存在运动主体混乱、实时性差的问题。因此，综述了视觉定位与建图系统在动态环境下的运动分割策略。首先，从场景的预设条件出发，将运动分割策略分为基于图像主体静止假设方法、基于先验语义知识的方法和不引入假设的多传感融合方法；然后，对这三类方法进行总结，并分析各方法的准确性和实时性；最后，针对视觉定位与建图系统在动态环境下运动分割策略的准确性、实时性难以平衡的问题，讨论并展望了动态环境下运动分割方法的发展趋势。关键词：视觉定位与建图；动态环境；运动分割；实时性；移动机器人中图分类号：TP249 文献标志码：AResearch progress on motion segmentation of visual localization and mapping in dynamic environmentZHU Dongying1，ZHONG Yong2，YANG Guanci1，3，4*，LI Yang3（1.School of Mechanical Engineering，Guizhou University，Guiyang Guizhou 550025，China；2.Chengdu Institute of Computer Application，Chinese Academy of Sciences，Chengdu Sichuan 610213，China；3.Key Laboratory of Advanced Manufacturing Technology of the Ministry of Education（Guizhou University），Guiyang Guizhou 550025，China；4.State Key Laboratory of Public Big Data（Guizhou University），Guiyang Guizhou 550025，China）Abstract:Visual localization and mapping system is affected by dynamic objects in a dynamic environment，so that it has increase of localization and mapping errors and decrease of robustness.And motion segmentation of input images can significantly improve the performance of visual localization and mapping system in dynamic environment.Dynamic objects in dynamic environment can be divided into moving objects and potential moving objects.Current dynamic object recognition methods have problems of chaotic moving subjects and poor real-time performance.Therefore，motion segmentation strategies of visual localization and mapping system in dynamic environment were reviewed.Firstly，the strategies were divided into three types of methods according to preset conditions of the scene：methods based on static assumption of image subject，methods based on prior semantic knowledge and multi-sensor fusion methods without assumption.Then，these three types of methods were summarized，and their accuracy and real-time performance were analyzed.Finally，aiming at the difficulty of balancing accuracy and real-time performance of motion segmentation strategy of visual localization and mapping system in dynamic environment，development trends of the motion segmentation methods in dynamic environment were discussed and prospected.Key words:visual localization and mapping;dynamic environment;motion segmentation;real-time performance;mobile robot0 引言 城市信息化和治理水平的提升体现在车辆的自动/辅助驾驶、人员的高效疏导1。交通建设作为城市建设的重要领域，发展高度标志着城市的现代化程度2，这需要车辆、机器人和人员实时获取在开放环境下移动过程中的位置、方向、速度等信息1。对这些信息的获取与处理能力可以归纳为三种能力：定位、建图和路径规划能力3，即对环境构建地图并确定自身在地图中的位姿，最后完成运动路径规划的能力。同时定位与地图构建（Simultaneous Localization And Mapping，SLAM）技术是同时完成定位与建图的技术。视觉SLAM系统是以相机为主要传感器的SLAM系统，视觉SLAM凭借着相机文章编号：1001-9081（2023）08-2537-09DOI：10.11772/j.issn.1001-9081.2022070972收稿日期：20220706；修回日期：20220919；录用日期：20220919。基金项目：国家自然科学基金资助项目（62163007）；贵州省科技计划项目（黔科合平台人才 2020 6007，黔科合支撑 2021 一般439）。作者简介：朱东莹（1996），男，浙江杭州人，硕士研究生，CCF会员，主要研究方向：自主智能系统；钟勇（1966），男，四川岳池人，研究员，博士，主要研究方向：大数据及其智能处理、云计算、软件工程；杨观赐（1983），男，湖南嘉禾人，教授，博士，CCF高级会员，主要研究方向：自主智能系统；李杨（1993），男，河南安阳人，博士研究生，主要研究方向：自主智能系统。第 43 卷计算机应用成本低、安装方便、能获取丰富的环境信息等优点，成为机器人领域研究的热点4-5。目前，视觉SLAM系统多基于理想的静态环境，它的经典架构分为前端和后端6：前端负责获取图像中的特征，并依据多帧图像特征的几何约束来估计相机运动；为解决前端相机运动计算的误差累积问题，SLAM系统的后端优化和回环检测与前端同时运行，优化相机位姿。为解决跟踪丢失问题，视觉SLAM系统中的多地图策略逐渐成为主流7。与稳定的测试场景不同，真实环境存在动态干扰8，即环境中会不时出现动态物体，如室内环境中出现的人、宠物、机器人，室外道路行驶的车辆等。场景中的动态物体可以分为刚体与非刚体，也可以分为运动物体与潜在的运动物体。环境中的动态物体会导致SLAM系统的定位与建图产生严重误差9，因此研究者们在提高动态环境下视觉SLAM的适用性上大多采取相似的策略，即在视觉SLAM系统前识别运动中的目标，分割并滤除运动物体后再进行定位与地图构建。目前，针对动态环境下SLAM系统的运动分割综述较少，其中多关注准确性与鲁棒性，很少涉及效率分析。随着近年来深度语义模型在运动目标识别与分割中表现出的卓越性能，提高动态环境下SLAM系统准确性的同时极大地增加了系统的计算压力。这使得运动分割效率与准确性的平衡越来越成为动态环境下视觉SLAM系统的关键。本文关注于动态环境下SLAM系统运动分割策略准确性与效率的平衡，并重点针对基于语义信息的运动分割方法准确性与效率的改进策略进行总结。1 动态环境下的运动分割难点与挑战 动态环境（如图110）下存在运动物体（人、运动的汽车、动物）与潜在运动物体（静止的汽车、桌椅），这使视觉SLAM前端与后端面临不同的挑战。由于SLAM系统估计相机位姿时依赖图像中的特征，运动物体的特征会给相机运动估计带来较大里程误差。潜在运动物体虽然当前为静止状态，但在不同时间存在位姿变化，SLAM系统闭环检测时面对动态物体的位姿变化难以检测到闭环以减小累计误差10。而为了满足在算力与功耗受限的移动平台上 SLAM 系统的实时性需求，运动分割应具备高效率的特点，所以准确且高效率的运动特征识别与分割是动态环境下视觉SLAM系统保证实时性与准确性的关键11。其中难点与挑战可以总结为以下3点：1）分割静态环境与运动物体。由于动态环境中的相机与动态物体同时运动，因此难以准确区分图像中的特征变换源于相机自身运动还是环境中物体的运动12。2）分割并去除潜在运动物体。因为潜在运动物体虽然当前为静止状态，但SLAM系统回环检测与多地图拼接时可能面对这些物体的位姿变化问题8，所以运动分割需要准确识别环境中的潜在运动物体，并在建图的过程中滤除或标记这些物体。3）运动分割的实时性。受限于机器人平台搭载的计算能力与功耗，同时SLAM系统存在对环境感知的实时性需求13，运动分割的实时性也成为分割方法的重要性能指标。2 动态视觉SLAM的运动分割研究现状 2.1动态环境下视觉SLAM系统数据集为了评估不同动态场景下SLAM系统的性能，根据系统的使用场景，常用的动态环境分为室内与室外场景（见表1）。TUM 数 据 集14为 室 内 场 景 下 的 RGB-D（Red Green Blue Depth）图像序列，其中 Dynamic Objects类别下的 9个图像序列是室内动态环境下SLAM系统运动分割常用的数据集，该数据集包含人员坐着与行走两种动态场景。Bonn数据集15同样针对室内动态场景，包括9种场景的24个图像序列，比TUM数据集包含的场景更丰富，不仅包含运动的人，还包括运动的物体。OpenLORIS-Scene数据集16是IROS（Intelligent RObots and Systems）2019 Lifelong SLAM Challenge 的官方数据集，针对办公室、走廊、家庭、咖啡厅、市场5个室内动态场景，比TUM和Bonn数据集更具挑战性，包含变化的光照、视角，以及人类生活导致的环境变化，该数据集包含RGB-D图像、双目图像、2D 与 3D 激光点云、IMU（Inertial Measurement Unit）与轮式里程计数据。ADVIO数据集17是室内与室外场景下的视觉惯性数据集，场景包括楼梯、手扶电梯、升降电梯、办公环境与地铁站，主要动态物体是行人。KITTI数据集18针对室外道路环境，包含双目相机、激光雷达、IMU等多种传感器，图像中包含常出现于室外道路的动态物体，如汽车、自行车、行人等。Oxford数据集19对牛津部分道路进行上百次的数据采集，采集车行驶超过1 000 km，收集超过2 000万张图像，该数据集包含天气变化、行人与交通场景变化、道路与建筑施工场景，同样包含单、双目图像，激光点云和全球定位系统（Global Positioning System，GPS）/惯性导航系统（Inertial Navigation System，INS）数据。2.2动态环境下运动分割方法的分类与对比本文将现有运动分割策略以对环境的预设条件分为三类，即基于图像主体静止假设的方法、基于先验语义信息的方法和基于多传感器信息补偿的方法（如图2所示）。图1动态环境下物体移动与光照变化Fig.1Object movement and illumination change in dynamic environment表1常用的动态环境下视觉SLAM数据集Tab.1Commonly used visual SLAM datasets in dynamic environment数据集TUM14Bonn15OpenLORIS16ADVIO17KITTI18Oxford19场景室内室内室内室内/室外室外道路室外道路采集方式手持/机器人手持机器人手持汽车汽车数据类型RGB-D图像RGB-D图像RGB-D图像、双目图像、2D/3D激光点云、IMU、轮式里程计单目、IMU双目图像、激光点云、IMU单/双目图像、激光点云、GPS/INS动态物体人人、物品人、物品人、车、电梯行人、汽车行人、汽车2538第 8 期朱东莹等：动态环境下视觉定位与建图的运动分割研究进展图像主体静止假设方法虽然满足现实中的多数场景，但不适用于动态特征占图像主体的特殊场景，同时该方法不能去除潜在运动物体。结合语义信息的方法不预设动态特征占比，但语义提取能力依赖训练数据，且计算量大、效率较低。随着传感器技术的发展，激光雷达、IMU等传感器能在SLAM任务中发挥各自的优势，融合多传感器的方法也体现更好的精度与鲁棒性20-22。多传感互补策略不对环境预设的同时不依赖语义信息，但引入多传感器的同时也引入了更多误差，多传感器数据融合也对系统的安装精度与融合算法提出了更高的要求，且该方法不能去除潜在运动物体。三类运动分割方法性能对比如表2所示。2.3基于图像主体静止假设的运动分割基于图像主体静止假设的运动分割方法以图像中大部分特征为静止特征的假设为基础，依据图像序列中特征点的几何约束区分静止与运动特征点。几何约束可以从极线、三角剖分、基础矩阵估计或重投影误差等式中得出23。本节将图像主体静止假设方法分为基于相机运动的几何约束分割方法、直接几何约束运动分割方法和基于构建静态背景的分割方法，三类方法的优缺点如表3所示。这三类方法多基于ORB-SLAM（Oriented fast and Rotated Brief SLAM）与 DVO-SLAM（Dense Visual Odometry SLAM）系统，其中的经典方法如表4所示。2.3.1基于相机运动的几何约束分割方法基于相机运动估计的几何约束方法可以总结为先计算出相机运动后的位姿，再判断特征是否为动态特征。首先根据相邻两帧的几何约束计算出表示相机运动的本质矩阵E或单应矩阵H；然后根据相机位姿与图像特征点的运动变换一致性判断特征点是否为动态点。该方法在高动态环境中精度较差，并且由于不检测语义信息，难以识别潜在运动物体。如图3（a）所示，相机以不同位姿C1、C2对空间中静止点P观测，p1、p2表示P在成像平面的投影点。对极约束为：xT2tRx1=0（1）其中：t表示相机从C1运动到C2平移向量t的反对称矩阵，R表示相机从C1运动到C2的旋转矩阵，t、R由图像中的主体静止特征计算得出；x1和x2分别为相机C1、C2到点P的向量。如图3（b）所示，相机在不同位姿C1、C2对运动点P观测时，运动点P从P1移动到P2处，式（1）中向量x1、x2、t不共面，故不满足式（1），以此识别动态特征点。该类方法在动态环境下的性能取决于相机运动估计的准确性，其中最常用的方法是通过随机抽样一致性（RANdom SAmple Consensus，RANSAC）算法排除外点与动态点33。RANSAC算法可以从一组包含误匹配特征与少量运动特征的图像特征中，通过迭代方式估计出相机运动的变换矩阵，但这类方法对高动态场景鲁棒性较差。对于高动态场景，由于RANSAC算法较难计算出准确的相机运动矩阵，所以对运动特征的识别很难取得让人满意的效果。Alcantarilla等34首先利用RANSAC算法计算双目相机的粗略位姿，并基于双目图像计算场景流，将投影误差高于一定阈值的特征点视为运动点。高成强等24首先通过稀疏图像的最小光度误差匹配特征并对相机位姿初步估计，再依据图像图2动态特征筛除方法总结Fig.2Summary of dynamic feature screening methods表2三类运动分割方法的性能对比Tab.2Performance comparison of three types of motion segmentation methods方法类别基于图像主体静止假设的运动分割方法基于先验语义信息的运动分割方法基于多传感器信息补偿运动分割方法环境预设环境主体静止先验语义标注无传感器安装要求低低高分割精度低高中实时性中较差好识别潜在运动物体否是否表3基于图像主体静止假设的运动分割方法优缺点Tab.3Advantages and disadvantages of motion segmentation methods based on static assumption of image subject类别基于相机运动的几何约束分割方法直接几何约束分割方法构建静态背景方法优点精度较好计算量小高动态场景精度较好缺点高动态场景精度差分割精度较差计算复杂表4基于图像主体静止假设方法Tab.4Segmentation methods based on static assumption of image subject方法文献 24 方法文献 25 方法文献 23 方法文献 26 方法文献 27 方法文献 28 方法文献 29 方法文献 30 方法文献 31 方法文献 32 方法绝对轨迹均方根误差/m0.037 10.093 20.035 40.243 30.310 3*0.079 90.036 00.160 80.518 60.065 7相机类型RGB-DRGB-DRGB-DRGB-D双目RGB-DRGB-DRGB-DRGB-DRGB-D运行环境E3-1230+12 GBi3+4 GBi5-4200H+8 GBi5+4 GB+GPUi7-4720HQ+8 GBi7-6700+20 GBi7+16 GBi5-3470+8 GBi7+8 GBi7+16 GB基础框架半直接法SLAMDVO-SLAMORB-SLAM2线特征里程计ORB-SLAMORB-SLAM2ORB-SLAM2ORB-SLAM2DVO-SLAMDVO-SLAM单帧跟踪时间/ms1550037501145730437 000 注：绝对轨迹误差中除带*为实际环境测试性能，其余为各方法在TUM数据集中fr3/walking xyz图像序列测试性能；“”表示无法确定。2539第 43 卷计算机应用块的方差变化分割图像中的运动物体。Sun 等25同样采用RANSAC算法计算相邻2帧图像之间的单应矩阵，再将第2帧中的特征依据单应矩阵投影到第1帧中，依据静态特征的重投影误差是否接近于0判断特征点的运动状态。艾青林等23通过长间隔关键帧的重投影误差确定静态特征点，再基于静态点与其余点的运动一致性判断地图点运动状态。张慧娟等26先利用2帧图像的特征点匹配结果计算初始变换矩阵，再计算特征的重投影误差，并去除投影误差较大的线特征，最后使用静态线特征估计相机运动。同样基于静态区域占图像主体的假设，魏彤等27先基于RANSAC算法计算相邻2帧相机之间的基础矩阵，通过极线约束分离动态特征点，最后结合深度与颜色信息确定动态区域的轮廓。为了解决大面积动态场景下RANSAC算法在选取特征点时可能出现的效率过低的问题，杨世强等28提出了一种基于网格的划分方法，解决了RANSAC算法样本点过于集中与在选取样本点后还需判断样本点是否共线的问题。这类方法先通过RANSAC算法计算两帧间的相机运动，然后基于几何约束排除与相机运动估计不一致的运动点。RANSAC算法是一种不确定算法，它有一定的概率得出一个满足大部分特征点对的运动估计结果，为了提高计算出结果的概率，必须提高计算迭代次数。与直接几何约束方法相比，该类方法耗费计算资源较多，但由于计算了相机的运动，低动态环境下精度较好。RANSAC类算法基于静止特征点占图像主要部分的假设，在动态特征为图像主要特征时运动分割会出现较大误差。2.3.2直接几何约束运动分割方法直接几何约束方法同样基于图像主体静止假设，该方法与RANSAC类相机运动估计方法最显著的区别是不估计相机运动，直接基于几何约束对运动特征进行识别。与基于深度学习的语义方法相比，该方法无须收集大量训练数据，也没有语义分析模型计算量大的问题，效率高、计算量小，但由于没有语义信息，无法识别潜在运动物体。Wei等29提出的GMSK-SLAM系统结合基于网格的运动统计（Grid-based Motion Statistics，GMS）特征匹配方法与K均值 聚 类 方 法 检 测 动 态 区 域。首 先 通 过 GMS 筛 选 ORB（Oriented fast and Rotated Brief）特征点对；然后将图像划分为400个区域，并计算每个区域中的未匹配点数；再通过K近邻方法将未匹配点所在区域分为动态区域和静态区域；最后去除动态区域所在的特征点。Dai等30首先利用Delaunay三角剖分方法35将序列图像中的特征点连接成多个三角形，并比较前后帧中特征点间连接边的长度，如发生较大的变化，则判断该两点存在相对运动，就去除该边，形成多个内部运动一致的连通域；再计算各连通域的面积，基于空间中面积最大区域为静态区域假设，滤除较小的连通域（见图430）。该类方法无须求解相机运动，直接对比相机前后帧估计运动物体区域，具有轻量化、实时性较好、计算量小的特点。同样基于静态特征点占图像主要部分的假设，对动态特征在图像特征中比例较高的场景下精确度较差。2.3.3基于构建静态背景的分割方法构建静态背景方法将场景分为前景与背景，基于一定的假设或先验知识构建静态背景，实现动态物体的分割。该方法跟踪的准确性取决于预设条件下静态背景构建的准确性，能在一定程度上应对高动态场景。Kim等31根据初始图像间深度的变化构建静态背景，并在后续的图像序列中滤除与静态背景运动不一致性的运动物体，但因为人体等非刚体运动时存在与环境相对静止部分，所以该方法对行人存在滤除不完全的问题。Sun等32通过稠密光流获取匹配的像素点，计算相机粗略的运动，然后利用重投影 误 差 去 除 动 态 部 分，最 后 将 运 动 分 割 方 法 集 成 于DVO-SLAM系统并进行实验（Core i7 3.6 GHz CPU，16 GB内存）。结果表明该系统在高动态环境中绝对轨迹误差、平移漂移和旋转漂移在原SLAM基础上分别提升了85.63%、78.08%和71.22%。Cui等36提出的SDF-SLAM（Semantic Depth Filter SLAM）基于语义光流方法去除SLAM系统初始化时的运动特征，构建初始静态背景，然后基于反深度滤波器排除后续动态关键点。该运动分割方法依赖于初始化的语义信息，计算量较大。构建静态背景方法同样基于一定假设，结合场景深度信息与几何特征的运动分割方法比单纯基于几何约束的方法鲁棒更强，同时也给移动平台带来更大的计算压力。2.4基于先验语义信息的运动分割方法得益于深度学习在图像领域的飞速发展，基于先验语义信息的运动分割方法在动态SLAM系统中得到应用。如图5所示，这类方法常通过目标识别、语义分割、实例分割等深度学习方法对特征点进行语义标注，排除场景中潜在运动物体的特征点，或筛选出不易移动物体的特征点。如通过目标检测 模 型 YOLO（You Only Look Once）37或 语 义 分 割 模 型SegNet38、实 例 分 割 模 型 Mask R-CNN（Mask Regional Convolutional Neural Network）39对在室内环境下的人、动物，街道上的汽车、行人、草、树与围栏等物体进行检测，并对这些物体上提取的特征进行语义标注。结合先验知识去除这些动态特征点，实现运动分割准确性的提高。该类方法语义信息丰富、动态分割完整，也能区分潜在运动物体，但对算力与功耗要求高，实时性较差。图4基于特征点间约束关系的运动分割方法Fig.4Motion segmentation method based on constraint relationship between feature points图3静态环境和动态环境下的对极约束Fig.3Epipolar constraint in static environment and dynamic environment2540第 8 期朱东莹等：动态环境下视觉定位与建图的运动分割研究进展2.4.1结合语义与几何信息的运动分割方法结合语义信息与几何约束的运动分割方法优于使用单一信息的运动分割方法。Yu等40在ORB-SLAM2系统的基础上设计了DS-SLAM系统，该系统基于SegNet网络滤除行人的特征，并依据语义信息将图像分成不同语义区域，再基于RANSAC 算法验证相机与不同语义区域特征点的运动一致性，最后将静态区域特征保留。在TUM数据集中，该系统定位准确度得到显著提高，但对每帧图像都进行语义分割显著增加了系统计算压力，该系统运动分割每帧 59 ms（P4000 GPU）。Bescos等41提出的DynaSLAM系统支持单目、双目及RGB-D3种图像数据。在单目和双目图像下与DS-SLAM方法类似，图像经过Mask R-CNN分割出潜在的运动目标后，利用剩余特征基于ORB-SLAM2系统跟踪与建图。对于RGB-D图像，该方法结合语义与几何方法进行运动分割：首先针对靠近动态物体边界的静态点误判为动态点问题，基于深度图对误判点修正；然后依据深度图扩展动态区域，去除部分潜在的动态物体；最后使用静态背景填补动态区域；但该系统未优化分割效率，在Nvidia Tesla M40 GPU环境下，结合语义与几何的运动分割耗费接近每帧 500 ms，背景补充后达到 700 ms/frame。Xiao等42设计的 Dynamic-SLAM针对 SSD（Single Shot multibox Detector）目标检测网络的漏检情况，基于图像中运动目标速度保持恒定的假设，利用目标跟踪的方法大幅降低了运动目标漏检率。在对图像序列中的运动目标跟踪时，由于前后帧时间间隔较短，该方法首先通过对前后帧间的运动目标设置一定的像素偏离阈值判断目标是否漏检，并依据先验语义信息对特征进行动态性评估；最后去除动态特征实现动态环境下的位姿估计。在实验环境下（i5-7300HQ CPU，GTX1050Ti GPU）接近每帧100 ms。为了改善语义掩膜边界特征误匹配问题（图643），Sun等43通过对掩膜边界膨胀去除分割边界的误匹配特征点。为解决语义掩膜覆盖不全的问题，Fan等44基于BlitzNet提取语义信息，并依据深度图像设计掩膜膨胀策略，缓解了语义分割区域不准确导致的动态点去除不完全的问题。Cui等36提出的SDF-SLAM基于语义光流方法去除SLAM系统初始化时的运动特征并构建初始静态环境。该系统只在初始化时使用了语义信息，不具备在后续运动分割中利用语义信息分离潜在运动物体的能力。Zhao 等45设计的 OFM-SLAM（Optical Flow combining MASK R-CNN SLAM）结合几何约束与语义信息联合对特征点运动状况进行判断。先对输入的图像通过稀疏金字塔LK（Lucas-Kanade）光流法计算特征点的光流，以获得特征点的对应关系，减少特征计算与匹配的时间；再通过计算表示前后帧间运动的基础矩阵，依据对极约束识别运动点；最后通过Mask R-CNN分析图像语义，进一步筛除潜在的运动特征。该方法由于不区分动态点就计算基础矩阵，依然不能应对图像中运动特征占主要部分的情况。Fan等46针对室内动态环境设计了Blitz-SLAM，通过Blitz网络对图像进行语义分析，并基于ORB-SLAM2系统设计了结合语义信息与极线约束的动态环境下的语义SLAM系统。该系统先通过Blitz模型输出的目标检测结果去除运动物体特征点，根据筛选后的特征点计算基础矩阵；然后依据极线约束进一步筛选保留目标检测框中的静态特征点，依据二次筛选后的静态特征点构建视觉里程计；最后使用Blitz网络输出的语义分割结果保留静态环境点云，依据里程计中对应关键帧的位姿拼接静态环境点云，构建稠密静态语义地图。Miao等47设计了基于光流与深度语义网络的动态SLAM系统。首先结合光流与几何约束对经过聚类的点云区域进行运动状态识别；再结合语义分割模块进一步确定动态区域，构建基于静态点建稀疏地图；最后基于光流对运动目标的速度估计并去除外点，构建稠密语义地图。该系统在无人机平台运行，与 ORB-SLAM2 系统相比，运动轨迹的均方根误差减小了 93.63%。针对潜在运动物体（椅子、书本、水杯等）特征去除不完整的问题，Ai等48设计的DDL-SLAM（Dynamic Deep Learning SLAM）系统在DUNet（Deformable U-Net）获取的语义掩膜基础上，将当前帧与最大重合关键帧中不满足几何约束的点判定为动态点。Ran等49提出了RS-SLAM（Robust Semantic SLAM）系统，该系统依据语义分割结果区分绝对动态物体（人）与潜在动态物体（椅子），并依据质心间的距离判定是否需要去除潜在运动物体。如图749所示，对与人（P区域）较近的椅子（C2区域）的特征进行筛除，保留人（P区域）相对远离C1区域特征。2.4.2提高运动分割效率的改进策略运动分割方法中的语义提取模型极大增加了SLAM系统的计算压力，而SLAM系统的实时性要求需要高效的运动分割方法。当前运动分割方法效率改进策略可以总结为改进模型效率策略与减少语义提取次数策略。改进模型效率使用更轻量的深度网络提高分割效率。图7基于语义信息检测潜在运动物体Fig.7Detection of potential moving objects based on semantic information图6分割边界误匹配消除Fig.6Elimination of false matching of segmentation boundary图5通用语义增强的动态SLAM运动分割框架Fig.5Dynamic SLAM motion segmentation framework with semantic enhancement2541第 43 卷计算机应用Wu等50提出的YOLO-SLAM系统中设计了轻量级目标检测Darknet19-YOLOv3网络，基于室内环境中动态物体为人体、在深度图中人体接近平面、检测框中人体深度与环境差异较大这3项假设设计了一种基于深度差和RANSAC的动态特征筛选方法。该系统在TUM数据集与Bonn数据集中均方根误差显著低于DS-SLAM，但在没有GPU的环境下仍不能实时运行。Wu等51针对语义分割计算量大的问题设计了OC-SLAM（Object detection and Clustering assisted SLAM），该系统首先对深度图像获得的点云进行聚类，再结合图像的目标检测达到类似语义分割的效果，最后基于几何约束排除运动点。该系统能提高动态环境下系统构建稠密地图的效率。为了进一步减小运动分割的计算量，使SLAM系统仅对部分图像帧进行语义分析，可以大幅减轻系统的计算压力。Zhong等52提出的Detect-SLAM使用SSD模型仅对ORB-SLAM关键帧进行语义分析，并通过运动概率传播方法去除一般帧中的动态特征。同样仅对ORB-SLAM关键帧处理，Zhang等53通过YOLO模型提取语义信息。Wen等54提出的动态语义SLAM系统首先通过Mask R-CNN对初始帧进行语义分割并去除潜在动态点以完成SLAM初始化；然后每5个ORB-SLAM关键帧选定一个为参考关键帧，并对参考关键帧进行语义分割；通过光流法对参考关键帧中的潜在的运动目标特征点跟踪，并依据静态点计算相机位姿；最后将参考关键帧中的特征点投影到当前帧，基于重投影误差、光度误差和深度误差判断出动态特征点并去除，建立静态语义地图。Xing 等55提出的 DE-SLAM（SLAM for highly Dynamic Environment）仅通过MobileNetV2模型56对ORB-SLAM2系统的关键帧进行语义分析，然后在一般帧中跟踪并去除关键帧中的潜在运动物体。针对闭环检测的场景变化问题，该系统设计了一种融合方向梯度直方图（Histogram of Oriented Gradient，HOG）描述符合 ORB 特征的闭环检测方法，在没有GPU的环境下能够实时运行。为进一步减少计算，Yan等57提出了一种结合几何信息和语义信息的DGS-SLAM（Dynamic RGB-D SLAM based on a combination of Geometric and Semantic information）系统，该系统对ORB关键帧与语义关键帧区分，设计了一种语义关键帧选择策略和一种结合重投影误差、空间关联残差、融合几何与语义（YOLACT（You Only Look At CoefficienTs）先验残差的动态目标检测方法。该系统在位姿估计精度和时间效率之间达到了较好的平衡。针对动态环境下语义方法的实时性较差的问题，Liu等58基于 ORB-SLAM359设计了 RDS-SLAM（Semantic-based Real-time Dynamic visual SLAM）系统，RDS-SLAM系统中增加语义分割线程与语义优化线程，并与原线程并行运行。系统基于语义分析确定地图点的移动概率，依据移动概率判定特征是否参与相机位姿估计与回环检测。针对语义分割效率显著低于跟踪线程效率的现实，设计了一种语义分割请求响应策略。该策略优先处理语义关键帧列表的首尾帧，以保证跟踪线程的动态关键点检测与回环检测线程的语义信息需求。该系统在TUM数据集中均方根误差与其他动态环境下语义SLAM系统相近，在RTX2080ti环境下以接近15 frame/s的速度运行。为了进一步提高效率，RDMO-SLAM（novel real-time visual SLAM for the real environment exploiting RDS-SLAM，Mask R-CNN，and dense Optical flow）60在RDS-SLAM基础上添加光流与速度估计线程。该系统通过光流对每个关键帧预测语义标签与场景流，再利用场景流估计地图点的运动速度，该系统能以接近30 frame/s的速度运行。该类方法对已知环境有较好的效果，但由于运动目标的分割能力依赖网络模型的训练数据，在未知场景下的准确性较差，复杂的模型也对移动计算平台的算力与功耗提出了更高的要求。由表5可以看出，近年来基于语义信息的动态