基于路径规划特点的语义目标导航方法.pdf
《基于路径规划特点的语义目标导航方法.pdf》由会员分享,可在线阅读,更多相关《基于路径规划特点的语义目标导航方法.pdf(11页珍藏版)》请在咨信网上搜索。
1、DOI:10.11992/tis.202309001网络出版地址:https:/ 计算机软件新技术全国重点实验室,江苏 南京 210023;2.卡迪夫大学 计算机科学与信息学院,英国 威尔士卡迪夫 CF10 3XQ)摘 要:为了解决语义目标导航任务中存在的探索效率低、深度不精准等问题,本文构建了一个解决语义目标导航任务的框架,在语义地图构建模块中引入了深度图边缘处理以及地图纠错机制;在探索模块中引入了覆盖范围最大化算法;在路径规划模块中引入了替代点机制。本文在一个 3D 仿真环境下进行了实验。实验结果表明,本文提出的解决方案明显提升了语义目标导航任务的性能。此外,本文所提方法成功应用到了四足机
2、器人上,从而验证了其在现实场景下的泛化性。关键词:人工智能;视觉导航;语义目标导航;语义感知;语义探索;路径规划;机器学习;语义地图中图分类号:TP399 文献标志码:A 文章编号:16734785(2024)01021711中文引用格式:高宇,霍静,李文斌,等.基于路径规划特点的语义目标导航方法 J.智能系统学报,2024,19(1):217227.英文引用格式:GAO Yu,HUO Jing,LI Wenbin,et al.Object goal navigation based on path planning characteristicsJ.CAAItransactions on i
3、ntelligent systems,2024,19(1):217227.Object goal navigation based on path planning characteristicsGAO Yu1,HUO Jing1,LI Wenbin1,WU Jing2,LAI Yukun2,GAO Yang1(1.State Key Laboratory for Novel Software Technology,Nanjing University,Nanjing 210023,China;2.School of Computer Sci-ence and Informatics,Card
4、iff University,Cardiff CF10 3XQ,England)Abstract:To solve the problems of low exploration efficiency and imprecise depth in object goal navigation,this articleconstructs a framework to solve object goal navigation.Depth map edge processing and map error correction mechan-isms were introduced in the
5、semantic map construction module;a coverage maximization algorithm was introduced inthe exploration module;alternative point mechanisms was introduced in the path planning module.This article conduc-ted experiments in a 3D simulation environment.The experimental results show that the new solution pr
6、oposed in thisarticle significantly improves the performance of object goal navigation.In addition,the method proposed in this articlewas successfully applied to quadruped robots,thereby verifying its generalization in real-world scenarios.Keywords:artificial intelligence;visual navigation;object go
7、al navigation;semantic perception;semantic exploration;path planning;machine learning;semantic map 语义目标导航任务1要求一个装有红绿蓝深度(RGB-depth,RGBD)相机的机器人(智能体)在未知地图环境中自主探索以找到特定类别的物体,其对安防、智能巡检具有重要意义。智能体为完成语义目标导航任务所需要的能力可概括为场景建图、去哪里和如何去 3 类。场景建图是指针对传感器观测数据的记忆和整合能力,除显式构建地图外也有使用循环神经网络2等方法;去哪里是指分析目标类别物体最有可能出现位置的能力,以实
8、现高效率探索;如何去是指路径规划和轨迹跟踪能力,以找到快速抵达目标位置的可行控制动作序列。去哪里是语义目标导航区别于其他导航任务的鲜明特点。解决语义目标导航任务需要搭建涉及众多组件的复杂系统,每个组件的设定都会对最终性能产生很大影响,导致对现有方法的对比分析和对收稿日期:20230901.网络出版日期:20240103.基金项目:科技部 2030 新一代人工智能项目(2021ZD0113303);国家自然科学基金项目(62276128,62192783,62106100);江苏省重点研发项目(BE2022077).通信作者:霍静.E-mail:.第 19 卷第 1 期智能系统学报Vol.19
9、No.12024 年 1 月CAAI Transactions on Intelligent SystemsJan.2024智能系统学报编辑部版权所有改进之处的探索极为困难。为此,本文创建了一个解决语义目标导航任务的标准框架,并针对测试中发现的深度不精准、语义分割效果差、探索效率低、路径规划没有考虑任务特点等问题提出了新的解决方案从而进一步提升了性能。具体来说:1)针对探索效率低问题,在探索模块中引入了基于路径规划特点的覆盖最大化算法;2)针对深度不精准和语义分割效果差问题,在语义建图模块中引入了深度图边缘处理与地图纠错机制;3)针对路径规划没有考虑语义目标导航任务特点的问题,引入了替代点机制
10、和障碍物概率地图。使用提出的框架在一个逼真的交互式 3D 室内语义数据集(habitat-matterport 3D semantics data-set,HM3DSem)3-4下进行了实验。实验结果显示,本文提出的 3 个改进明显提高了语义目标导航任务的性能指标。本文所提框架成功应用到了四足机器人上,从而验证了该框架对现实世界具有泛化性。1 语义目标导航相关工作 1.1 语义 SLAM同时定位与地图构建(simultaneous localiza-tion and mapping,SLAM)算法根据传感器数据来源的不同可以分为激光 SLAM57和视觉 SLAM811。激光 SLAM 根据激光
11、测距结果直接构造障碍物地图,视觉 SLAM 则寻找图片上的关键特征点并通过多个视角来确定相机位姿。SLAM 解决方案一般都集中在寻找像素级别的特征点,即在单幅图像中提取特征点然后在多幅图像中对特征点进行匹配。这与人类通过判断物体在眼睛中的移动来进行定位极为不同,因为人类定位针对整个物体而 SLAM 解决方案针对特征点。为此可以引申出使用语义信息来帮助寻找多幅图像中的关联或为 SLAM 的回环检测等引入更多信息,语义信息为 SLAM 提供了更多判断相机移动的条件从而更好地定位。语义信息的引入也使得 SLAM不仅能够构建点云地图、障碍物地图,而且可以构建一个有语义标签的地图,从而为下游任务提供了更
12、广阔的空间。语义目标导航任务主要用到语义 SLAM 提供的带有语义标签的地图。有了带有语义信息的二维地图或者三维地图,智能体能够更加结构化地去分析不同类别物体的分布关系,更好地去理解场景从而推理出目标类别物体在地图中各个位置的出现概率。对目标类别物体出现位置的推理是语义目标导航任务的核心。但是现有方法没有针对语义目标导航中存在的深度不精准和语义分割效果差问题进行优化,这导致连续多帧的语义建图出现较大误差而无法完成语义导航任务。本文为此引入了深度图边缘处理及语义点云地图和二维地图纠错机制。1.2 经典导航方法导航能力是无人车、无人机、无人船等众多移动机器人所需要的基本能力之一。经典导航方法通常在
13、 SLAM 构建的地图上使用包括全局和局部路径规划在内的路径规划模块产生路径,然后使用控制算法对路径规划模块生成的路径进行跟踪和实际行进。路径规划的经典算法有很多,如迪克斯特拉算法(Dijkstra algorithm)、A 星搜索算法(A*search algorithm,A*)12、概率路线图算法(probabilistic road maps,PRM)13、快速探索随机树算法(rapidly exploring random trees,RRT)14、人工势场法(artificial potential fields,APF)15等。Dijkstra 算法是基于图结构的能够保证最优解的路
14、径规划算法,但处理大地图时效率低下;AS-tar 算法在 Dijkstra 算法的基础上引入衡量任何一个位置到目标位置距离的启发式函数从而使得探索方向具有一定的目的性;PRM 算法对地图进行稀疏采样从而将栅格地图转换为由少量采样点和可达边组成的图结构,然后在图结构中再使用AStar 等算法寻找路径;RRT 和 PRM 同是基于随机采样的规划算法,基本思想是从一个点出发向外探索扩展;与前面几种算法不同的是,APF 更适用于动态环境和局部路径规划。但是现有算法都没有针对语义目标导航任务特点进行改进从而导致路径规划模块的失败率较高,为此本文引入了替代点机制以提高路径规划算法对语义目标导航任务的鲁棒性
15、。1.3 基于学习的导航方法经典导航算法所使用的基于网格的地图表示在精度和内存需求上具有天然的矛盾,在动态环境中实时重新规划路径也需要大量计算。此外,经典导航框架中从 SLAM 到路径规划,计算误差会逐渐积累。为此,有研究将深度强化学习等引入导航中,从而得到了基于学习的导航方法16。大多数研究均使用深度 Q 网络17、异步优势演员评论家算法18、近端策略优化算法19、深度确定性策略梯度算法20等通用强化学习算法,但它们在状态设计、奖励函数设计、强化学习的使用方式等方面做了很多改进。状态设计涵盖了起点、目标点、障碍物位置等关键信息,与测试环境息息相关。若只考虑导航的核心任务(如避障和到第 19
16、卷智能系统学报218 达目标点),奖励会非常稀疏从而导致强化学习难以训练;所以多数研究引入了手工设计的中间奖励函数,包括碰撞、与最近障碍物的距离变化、与目标点的距离变化、时间步惩罚等。如何在导航中使用强化学习是基于学习的方法的核心问题,本文将使用方式分为 3 种。第 1 种是在导航中直接使用深度强化学习21,即将完整的导航过程描述为马尔科夫过程,以传感器的观测数据作为状态,直接学习到路径或控制动作序列的映射;这种方法不再需要 SLAM、全局地图等,但在复杂环境中容易落入局部陷阱。第 2 种是与经典导航技术相结合22,如先使用 PRM 对地图进行稀疏化,再在局部使用深度强化学习进行路径规划。第
17、3 种是分层深度强化学习,即将路径规划划分为静态避障、动态避障、趋向目标点等不同层次上的子任务,这主要是考虑到环境复杂度与状态空间巨大。但现有算法面对语义目标导航任务均存在探索效率低的问题,为此本文提出了基于路径规划特点的覆盖范围最大化算法。2 基于路径规划特点的解决方案 2.1 语义目标导航任务定义在语义目标导航任务中,智能体以随机的位置和方向被初始化在一个未知地图环境中,其目标是找到特定类别的物体,如床、厕所等。智能体需要依靠提供的 RGBD 相机、深度相机、位置信息(GPS)和罗盘等传感器实现导航,也就是说视觉观察包括第一人称的 RGB 图和深度图。动作空间是离散的,由行进、左转、右转、
18、停止共4 个动作组成,行进意味着向前移动 0.25 m,左转和右转的幅度为 30。当智能体认为它已经接近目标对象时,需要采取“停止”操作;如果智能体采取“停止”操作且停止时与目标物体的距离小于阈值 1 m,则认为该回合是导航成功的。可见成功需要同时满足发出“停止”操作和与目标物体足够近 2 个条件。2.2 基于语义建图的探索框架本文构建了基于语义建图的探索框架,将探索模块、语义 SLAM 模块、路径规划模块等进行解耦合,为不同模块下不同算法的性能对比及模块之间的重要性对比提供了方便公平的对比框架。语义 SLAM 模块使用 GPS、罗盘、RGBD 图像等传感器数据构建语义、障碍物等地图;探索模块
19、根据构建好的地图预测目标类别物体最有可能出现的位置从而得到长期目标;路径规划模块依据障碍物地图、智能体位置和长期目标规划出一条可行路径;轨迹跟踪模块依据路径等输出下一步智能体需要采取的动作。本文针对探索效率低问题,引入了基于路径规划特点的覆盖范围最大化算法;针对深度不精准和语义分割效果差问题,引入了深度图边缘处理及语义点云地图和二维地图纠错机制;针对没有考虑语义目标导航任务特点的问题,在路径规划模块中引入了替代点机制和障碍物概率地图。下面将详细介绍各个模块及对应改进。2.3 基于路径规划特点的探索算法探索模块负责选取路径规划模块的目标点,该目标点称为长期目标。长期目标的选择通常依据 2 点:1
20、)到达长期目标所需经过区域多为未知以尽可能扩大探索面积;2)长期目标附近很可能存在目标类别物体以尽快完成任务。以往工作2326中长期目标点的选择通常使用强化学习来完成。以面向目标的语义探索算法(goal ori-ented semantic exploration,SemExp)23为例,其将障碍物地图、语义地图作为状态输入,将与目标类别距离变化和探索面积变化的加权和作为奖励函数,将近端策略优化(proximal policy optimiza-tion,PPO)19作为策略网络进行强化学习训练。本文通过实验发现该方法存在探索效率低问题,结果如表 1 所示,数据集描述以及成功率、带有路径长度加
21、权的成功率(success weighted bypath length,SPL)等指标说明详见第 3.2 节。使用SemExp 论文公布的训练好的网络参数的成功率为 25.8%,SPL 为 12.8%;随机初始化的网络参数成功率为 25.3%,SPL 为 11.6%。二者指标接近,说明强化学习训练对探索效率的提高帮助有限。将强化学习状态输入的语义地图全部置零,成功率甚至达到了 26.4%,SPL 为 12.2%。这更加突出了探索效率低的问题。表 1 SemExp 不同设置在 HM3DSem 数据集下的指标对比 Table 1 Comparison in different settings
22、of SemExpunder HM3DSem test dataset%模型设置成功率SPL论文公布的网络参数25.812.8随机初始化网络参数25.311.6语义地图全部置零26.412.2 为此,本文提出了基于路径规划特点的覆盖范围最大化算法。该算法将长期目标设置在地图的边界处:psubgoal=x+2K2cos,y+2K2sin219高宇,等:基于路径规划特点的语义目标导航方法第 1 期 psubgoal(x,y,)K式中:为长期目标,为当前智能体的位置和朝向,为地图尺寸。未探索区域被设置为无障碍物,路径规划会设计出一条涵盖无障碍物和未探索区域的路线并在行进中不断更新地图。当前路径在更新
23、后地图中不再可通行时,会重新规划路线。使用替代点的覆盖范围最大化算法:输入仿真器 env,强制更新步数 LMAX,局部规划器 LPF,目标检测 OD;1)lstep=0,haveseen=false,subgoal=(0,0)2)obs=env.reset()3)While not env.done:4)lstep+=15)If lstepLMAX or LPF(subgoal)失败:6)按 2.3 节公式计算 subgoal7)lstep=08)If not haveseen:9)goal=OD(obs)10)If goal is not None:11)按 2.5 节根据 goal 计算
24、subgoal12)haveseen=true13)action=LPF(subgoal)14)obs=env.step(action)智能体不会再去访问已经探索过且没有其他支路的区域,因为这些区域不可能再涵盖到达目标点的路线。也就是说,智能体进入死胡同后会自动改变朝向从而发现其他未探索区域。这避免了在某个房间反复探索或是在 2 点间反复来回等低探索效率行为。本文设计的探索模块利用路径重新规划的特点使智能体覆盖范围最大化,从而提高了语义目标导航任务的探索效率。2.4 边缘处理与地图纠错语义 SLAM 模块负责地图构建,包括点云地图、障碍物地图、已探索区域地图和语义地图,具体描述如表 2 所示。
25、点云地图通过对 RGBD 图像使用主动神经 SLAM(active neural SLAM,ANS)27方法得到。语义地图在语义目标导航任务中起着重要作用,语义地图是探索模块的主要输入。语义地图的质量直接决定了下游模块的性能。以往语义目标导航研究所使用的语义地图建立方法一般是先对 RGB 图像进行语义分割得到分割图,根据深度图像得到三维点云,然后根据分割图和深度图像的对应关系为每一个点标注一个语义标签,最后对得到的带有语义信息的三维点云在垂直维度上进行求和得到二维语义地图。使用每一帧的 RGB图像和深度图像都能得到一幅二维语义地图。不同时间下得到的二维语义地图根据当时智能体的 GPS 和罗盘信
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 路径 规划 特点 语义 目标 导航 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。