基于战场元宇宙的动态三维场景感知.pdf
《基于战场元宇宙的动态三维场景感知.pdf》由会员分享,可在线阅读,更多相关《基于战场元宇宙的动态三维场景感知.pdf(17页珍藏版)》请在咨信网上搜索。
1、系统仿真学报系统仿真学报Journal of System Simulation第 35 卷第 10 期2023 年 10 月Vol.35 No.10Oct.2023基于战场元宇宙的动态三维场景感知基于战场元宇宙的动态三维场景感知王浩宇1,龚光红1,蔡继红2,叶必鹏1,周照方1,梅铮2,李妮1*(1.北京航空航天大学 自动化科学与电气工程学院,北京 100191;2.北京仿真中心,北京 100854)摘要摘要:信息化作战对战场的态势感知提出了更高的要求,利用无人智能体进行战场侦察并感知目标信息尤为重要。基于战场元宇宙目标数据与作战环境,面向复杂动态环境定位与目标识别的需求,提出并构建了动态三维
2、场景感知系统,使用视觉和IMU融合传感器仿真数据作为输入,通过实例分割和稠密光流估计网络提取战场目标信息并作为场景先验,在SLAM和优化过程中同步完成无人智能体在战场中的位姿估计与对战场目标的跟踪。实验结果表明:系统能够在战场动态复杂环境下给出场景稀疏重建与无人智能体准确的定位,持续输出每一个战场目标类型、位置、速度等信息,表现出良好的精度与鲁棒性,为战场态势融合等其他模块提供技术支撑。关键词关键词:态势感知;动态场景;SLAM;实例分割;战场元宇宙中图分类号:TP391.9 文献标志码:A 文章编号:1004-731X(2023)10-2262-17DOI:10.16182/j.issn10
3、04731x.joss.23-FZ0815引用格式引用格式:王浩宇,龚光红,蔡继红,等.基于战场元宇宙的动态三维场景感知J.系统仿真学报,2023,35(10):2262-2278.Reference format:Wang Haoyu,Gong Guanghong,Cai Jihong,et al.Dynamic 3D Scene Perception Based on Battlefield MetaverseJ.Journal of System Simulation,2023,35(10):2262-2278.Dynamic 3D Scene Perception Based on B
4、attlefield MetaverseWang Haoyu1,Gong Guanghong1,Cai Jihong2,Ye Bipeng1,Zhou Zhaofang1,Mei Zheng2,Li Ni1*(1.School of Automation Science and Electrical Engineering,Beihang University,Beijing 100191,China;2.Beijing Simulation Center,Beijing 100854,China)Abstract:Informatization combat needs higher req
5、uirements for battlefield situational awareness,and the use of unmanned intelligences to conduct battlefield reconnaissance and perceive target information is particularly important.Facing the needs of complex dynamic environment localization and target recognition,a dynamic 3D scene perception syst
6、em is proposed and constructed based on battlefield meta-universe target data and operational environment,which uses vision and IMU fusion sensor simulation data as inputs,extracts battlefield target information through instance segmentation and dense optical flow estimation network and uses it as a
7、 scene prior,and synchronizes the position estimation of unmanned intelligences in the battlefield with the tracking of battlefield targets during SLAM and optimization process.The experimental results show that the system is able to provide the sparse reconstruction of the scene and accurate locali
8、zation of the unmanned intelligent body under the dynamic and complex environment of the battlefield,and continuously outputs the information of each battlefield target such as type,position,and speed,which shows the good accuracy and robustness,and provides technical support for the battlefield sit
9、uational fusion and other modules.Keywords:situation awareness;dynamic scenes;SLAM;instance segmentation;battlefield metaverse收稿日期:2023-07-15 修回日期:2023-09-15第一作者:王浩宇(2001-),男,硕士生,研究方向为虚拟现实。E-mail:通讯作者:李妮(1980-),女,教授,博士,研究方向为虚拟样机技术及分布交互仿真技术。E-mail:第 35 卷第 10 期2023 年 10 月Vol.35 No.10Oct.2023王浩宇,等:基于战场
10、元宇宙的动态三维场景感知http:/www.china-0引言引言在军事装备不断迭代,战场环境综合性持续增强的背景下,现代战争的发展呈现战场规模不断扩大,信息化比重持续提升的趋势1。在战争准备和战役进行过程中,对战场环境进行侦察感知,获取敌方部署信息,能够帮助指挥人员即时分析并研判战场态势,评估其威胁程度,进而对我方做出最优的指挥控制2。高效准确的战场三维环境感知是掌握战场主动权,最终克敌制胜所必备的能力。在无人系统不断发展和战场感知需求的牵引下,包括无人机、智能探测车等无人智能体,开始承担越来越多的战术任务,成为战场侦察和信息支援的主要力量3-4。在作战对抗中,实时并精准获取敌方主要作战单位
11、的类型、运动信息和三维定位,不断向作战人员与指挥中心更新回传,对分析敌方兵力部署、形成完善的战场态势信息、执行针对性对抗行动尤为重要5。随着无人智能体和多元传感器的发展和应用,基于仿生视觉的三维场景态势感知逐渐成为研究的重点。当前,基于视觉的定位和目标识别的方法发展迅速,但能够落地应用在复杂战场环境,并完成战场感知任务需求的较少。各种方法之间相对独立,在应对战场环境和无人智能体自身的高动态、战场目标的隐蔽与目标之间的遮挡等问题时,容易在定位过程中出现漂移,降低目标信息判别的准确率6。因此,需要一种基于无人智能体搭载的传感器数据,实现具有鲁棒性的对环境与目标信息感知的系统,完成战场态势感知的任务
12、。同时,以仿真技术、虚拟现实技术为支撑的战场元宇宙提供了高度逼真、沉浸式、无缝整合的作战场景,最大程度地模拟和实现真实世界中的军事行动、战场情景和决策过程,实地数据准、实验效率高、实战意义强,得到了快速发展和应用。战场元宇宙能够提供大量精确的真实地景重建、作战单位模型、战场对抗数据;对战场三维场景高效准确地感知,获取战场实时态势,能够为指挥部、参训人员决策提供可靠依据,进一步完成态势研判与战术执行。本文基于战场元宇宙作战环境和作战数据,使用无人智能体搭载双目视觉与惯性测量单元IMU,结合深度学习网络和动态同步定位建图技术构建系统,获取智能体定位和战场目标信息,实现战场动态三维场景感知。1系统需
13、求与技术方案系统需求与技术方案1.1 功能需求功能需求在战场环境中,部署搭载双目视觉设备和IMU的无人智能体,实现对环境和战场目标的感知侦察。无人智能体在战场中快速移动,不断获取视频流和三轴平移旋转的速度与加速度数据,回传终端并输入系统进行即时处理解算。系统的任务主要有2个:获取无人智能体自身位置,完成传感器融合的自定位与环境的稀疏重建;在智能体定位的基础上,对战场目标进行自动检测,将定位从相机坐标系向战场全局坐标转换,得到目标的类型、运动、定位等感知信息。由于战场环境存在地形起伏,智能体运动将产生俯仰、滚转与偏航,需要在解算其位置的过程中同时获取姿态,继而转换出准确的目标定位。系统处理的信息
14、用于指挥人员进行态势融合研判与决策。战场复杂动态环境对自定位和目标检测识别技术提出了诸多挑战。以ORB SLAM2为代表的同步定位与地图构建技术(SLAM)能够完成对战场的稀疏重建并实现自主定位7-8;以卷积神经网络(CNN)为代表的深度学习模型具有优秀的图像数据处理能力9,但是这些传统方法从原理上存在局限性。一方面,SLAM技术基于环境刚性假设,即默认场景中均为静态物体,而战场中大量运动目标和重复纹理对图像特征点的提取和位姿的计算造成干扰,使定位发生漂移甚至丢失;无人智能体为了躲避敌方攻击并执行战术动作,自身的机动性较强,使用纯视觉跟踪容易在剧烈的转弯和加速过程中丢失定位。另一方面,战场目标
15、在 2263第 35 卷第 10 期2023 年 10 月Vol.35 No.10Oct.2023系统仿真学报Journal of System Simulationhttp:/www.china-运动过程中存在互相遮挡、目标大多涂有伪装迷彩等特点,战场的光照、复杂纹理背景等也会导致目标提取的准确性与稳定性降低。同时,朝着信息化和智能化方向发展的战场作战也对战场态势感知提出了更高的实时性要求,单纯的SLAM技术或目标检测算法,无法满足同步定位与场景感知,与实战应用存在较大差距。因此,需要将模型与算法模块进行改进和有机融合,应对战场复杂动态环境的干扰,并在无人智能体运行过程中输出与更新战场目标态
16、势信息。1.2 系统技术方案系统技术方案战场元宇宙在实时战场态势感知与交互等战场数字空间建设水平进一步提高的背景下得以迅速发展,改变了传统的演训分析和技术验证方式,受到广泛的关注与应用10-11。战场元宇宙最大程度模拟和实现真实世界中的军事行动、战场情景和决策过程,突破虚拟现实作战体系建设和技术验证的瓶颈12,具有重要军事价值。在结合时变虚拟环境数据,对战场地形环境、天气环境、作战对象的部署等进行软件构建与复现的基础上13,创造出更加广阔、复杂、互动的虚拟环境14,在作战模拟过程中能够快速调整场景和参数,以便进行作战概念和新型军事技术的验证,完成基于时空的战场综合态势信息反演、实时动态联合指挥
17、控制。战场元宇宙是系统重要数据来源、测试构建与应用载体,如图1所示。在战场元宇宙中设置不同背景、光照、天气等条件,导入多种典型战场作战单位模型,可以更全面地进行战场目标数据的采集,标注制作战场目标数据集,高效地测试与完善目标提取模块。数据集含作战单位类型、实例掩膜、边界框等信息,为用于战场目标提取的深度学习模型训练提供数据源。同时可以在真实地景和环境的数字空间映射中,由指挥终端部署无人智能体进行侦察,回传采集数据并解算三维场景感知信息,为态势生成与评估提供支持。战场元宇宙的真值信息可用于系统输出结果精度的评估分析。针对战场动态复杂条件下场景感知和部署的需要,本文设计的系统技术方案如图2所示。主
18、要分为原始数据处理输入、深度学习处理和动态场景定位感知3个部分。(1)原始数据处理部分,无人智能体搭载双目视觉设备以一定的帧率不断获取战场侦察视频流。双目视觉设备仿生人眼,通过半全局立体匹配计算匹配点,在已知相机间基线距离的前提下可以由二维图像还原出场景三维深度。同时,无人智能体搭载的惯性测量单元能够提供沿三轴平移与旋转的速度和加速度,对IMU数据进行预积分,可以在快速运动中给出位姿估计,在后续的定位过程中与视觉信息耦合。双目视觉设备和IMU设备设置简单,不占用大量空间,能够为整个态势感知系统提供丰富的场景信息。(2)在深度学习模块,目标检测方法能够判定给定图像中物体出现的位置与类别,进一步地
19、,可以通过实例分割的方法获取目标二维像素掩膜,从而更加准确地对目标进行定位,同时,在SLAM特征点提取过程减少高动态目标对智能体自定位的影响。深度学习网络可以对目标进行分类、检测与分割,在CNN的基础上,为了不断提高模型性能,网络深度不断增加,同时引入了退化问题。残差网络(ResNet)15和特征金子塔网络(feature pyramid network,FPN)16的引入能够有效图1 战场元宇宙环境Fig.1 Battlefield metaverse environment 2264第 35 卷第 10 期2023 年 10 月Vol.35 No.10Oct.2023王浩宇,等:基于战场元
20、宇宙的动态三维场景感知http:/www.china-解决退化与多尺度变换的问题,丰富语义信息。因此,结合了ResNet和FPN的Mask R-CNN方法能够有效检测图像中的对象,同时为每个实例生成高质量的分割蒙版17。采用数据增强的战场目标数据集进行训练得到模型,完成对战场目标的提取。同时,为了保证可靠的动目标跟踪,增加场景像素运动信息并应对快速机动过程,采用PWC-NET进行帧间稠密光流的估算,得到每一个像素的运动速度和方向18。目标的提取和光流的估计提供了重要的场景先验。(3)动态场景定位感知过程将场景先验送入跟踪线程,结合传感器输入,进行无人智能体自身的位姿估计,获取目标的定位与运动信
21、息。在动态目标区域和静态战场背景区域特征进行分别估计、联合优化的基础上,系统对无人智能体传输视频流的每一帧,实时更新一个基于时间滑窗的局部地图,在优化过程细化其自身位姿,继而维护整个感知过程的全局地图,输出包含静态背景点云稀疏重建、智能体自身位姿轨迹、目标类型与定位结果,作为战场三维环境感知态势信息,持续向作战人员、指挥终端和战场元宇宙态势融合分析与作战决策等模块反馈与更新。另外,战场元宇宙是虚实结合的军事生态系统,本文从中获取精准地景和作战单位数据源并高效地构建与测试系统,由指挥终端在现有的环境中部署无人智能体,最大程度上贴近实战应用场景。系统算法聚焦动态复杂场景的三维场景感知,不涉及整个元
22、宇宙架构技术的讨论。2深度学习场景先验深度学习场景先验2.1 战场目标实例分割战场目标实例分割战场环境含有主要作战单位,如运兵车、装甲车、直升机、坦克、UAV等。这些目标大多轮廓边缘复杂且涂有伪装,在战场移动过程中可能存在重叠,为了对动目标生成态势信息并精确跟踪,需要精准提取目标位置并分类、分实例输出掩膜。图2 三维场景感知技术方案Fig.2 3D scene awareness technical route 2265第 35 卷第 10 期2023 年 10 月Vol.35 No.10Oct.2023系统仿真学报Journal of System Simulationhttp:/www.c
23、hina-为了使用深度学习的方法完成战场目标实例分割的任务,在网络训练之前需要准备充足的目标数据。在战场元宇宙中,加载不同的作战场景和作战单位模型,进行目标图像数据的采集,可以在此基础上制作实例丰富、标注精确的战场目标数据集。采集过程对8类主要作战单位获取了3 956组图像,这些实例的命名、类型等信息如表1所示。战场环境下,作战单位分布区域多样,不同背景、光照条件下同一类目标纹理特征不尽相同,且坦克等目标可能包含炮台转向等机动动作。为了充分学习目标的特征信息、训练战场实例分割模型获得更好的分割权重、保证实例分割效果,除了使用图像拉伸、镜像、旋转等传统方法增强数据外,在采集过程中还进行了多角度采
24、样、含迷彩和部分遮挡采样、光照条件变化采样、目标机动动作变化采样4种方式,进行战场目标数据集的数据增强,如图3所示。表1战场主要实例Table 1Battlefield main instance实例命名APC_AmbAPCTank_WhiteTank_GreenDFHelicopterUAVArmy_JeepMRAPMTruck类型装甲运输车装甲运输车坦克坦克导弹发射车直升机作战无人机吉普车防雷多功能车军用卡车是否伪装否是否是是否否是是是图3 战场目标数据增强方法Fig.3 Data enhancement method for battlefield target 2266第 35 卷第
25、10 期2023 年 10 月Vol.35 No.10Oct.2023王浩宇,等:基于战场元宇宙的动态三维场景感知http:/www.china-实例分割模型训练是有监督的,需要提供目标掩膜真值。本文在战场元宇宙进行战场目标数据制作,在数据采集过程中即可导出每个实例对应的掩膜图像,从而快速批量地为每一组图像生成带有数据标注的COCO格式19的.json文件。快速批量生成数据集标注真值信息的过程如图4所示,具体步骤:使用cv2.imread()函数读取输入文件,得到一个numpy数组表示的图像;将图像转换为灰度图,并使用cv2.threshold()函数进行二值化;使用cv2.findConto
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 战场 宇宙 动态 三维 场景 感知
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。