基于混合现实技术的船舶机舱集中操控试验装置设计与实现.pdf

中 国 修 船2024年4月技术交流基于混合现实技术的船舶机舱集中操控试验装置设计与实现高炳1，3，王林1，2，陈锦濠1，连廷耀1，3（1.广东交通职业技术学院 海事学院，广东 广州510800；2.大连海事大学 轮机工程学院，辽宁 大连116026；3.广东省船舶自动化工程技术研究中心，广东 广州510800）摘要：文章提出一种基于混合现实（MR）的船舶机舱设备集中操控试验装置和管控方法，即时收集船舶机舱内数据，针对收集的数据建立数学模型，模拟舱内三维场景，从而对舱内设备实施控制。研究了基于MR的船舶机舱设备集中操控系统设计方案和方法，应用Faster R-CNN 目标检测网络深度学习的船舶机舱设备状态指示识别框架与算法。从MR机舱设备集中操控流程、构建机舱三维模型及其优化、集中操控方法及其实操训练等环节的迭代研发，完成了MR机舱设备集中操控功能的测试验证。将混合现实技术应用于轮机设备操作、机舱资源管理等实践实训教学中，增强了船舱空间分析和可视化的交互效果。关键词：混合现实；船舶机舱；集中操控；试验装置中图分类号：U672文献标志码：Adoi：10.13352/j.issn.1001-8328.2024.02.003Abstract：This paper proposes a test device and control method for centralized control of marine engine roomequipment based on mixed reality，which can obtain real-time engine room information，establish a mathematicalmodel based on collected data，and control the engine room equipment according to the projected 3D model of the engine room.This paper studies the design scheme and method of an MR-based centralized control system for marineengine room equipment，as well as the framework and algorithm for identification of marine engine room equipmentstate indication by applying Faster R-CNN target detection network deep learning.The iterative research and development of the centralized control process，the three-dimensional model construction and its optimization，and thecentralized control method and its practical training enabled the test and validation of the centralized control functionof MR engine room equipment.This paper applied mixed reality technology to the operation of engine equipment,management of engine room resources and other practical training activities.It enhances the interactive effects of spatial analysis and visualization of the engine room，and further stimulates interest in practical training and operation.Key words：mixed reality；marine engine room；centralized control；test device基金项目：广东省普通高校重点科研项目重点领域专项（2022ZDZX3060）；广东大学生科技创新培育专项资金资助项目（pdjh2021b0776）；广东省普通高校特色创新类科研项目（2019GKTSCX034）作者简介：高炳（1983-），男，湖北孝感人，副教授，硕士，研究方向为轮机工程技术、船舶动力装置与机舱设备。混合现实（MR）技术结合了虚拟现实（VR）和增强现实（AR）技术的优点，它可以将虚拟环境引入真实场景，在真实世界、虚拟世界和操作者之间建立信息循环，从而增强操作者的沉浸感和互动性1-2。MR技术已经在医疗、设计、军事、制造、建筑、交通、教育等多个行业和场景得到实践运用3-5。贾玉鹏6等人利用 4G通信技术实时监控和记录船舶状态、环境信息，利用混合现实技术恢复船舶的导航状态，对岸基监控中心的综合信息显08第37卷第2期技术交流示、三维场景显示等进行了功能设计，但对于远海船舶的监控无法实现。时光志7等人利用虚拟现实理论，建立船舶运动数学模型，分别完成了三维船舶建模、海洋场景模拟和场景优化，但其在模拟大风浪等恶劣海况和系统运行效率仿真评估等方面存在不足。景乾峰8等人提出了基于虚拟现实系统的船舶数字孪生框架，但该框架理论实践应用在实际船舶上还需解决状态监控预测可靠性和可行性分析、船岸通讯通信等关键问题。杨杰9等基于虚拟现实技术开发了船舶制冷系统二维可视化仿真界面和三维虚拟漫游场景，但对于船舶机舱集中操控动态场景互动仿真及实时响应相关研究并未开展。根据研究现状缺漏，本文研制一种应用混合现实技术的船舶机舱集中操控试验装置，以便船舶操作人员或岸端专家和学员快速了解机舱设备布局、阀门位置、系统管线等交互信息。本装置的设计与实现可降低船舶轮机人员的工作强度，为实现船舶监、控、管一体化及船舶安全运维提供保证，可增强学员对船舶机电设备操控的体验感和安全性。1船舶机舱设备集中操控系统设计目前，一部分船舶机舱设备采用摄像头监视技术，主要是船舶轮机员在集中控制室的终端设备（如计算机）上监视机舱设备的运行状态。但摄像头监视只能平面观看，缺乏身临其境的三维遥控和操作体验。本文提出一种基于MR的船舶机舱设备集中控制试验装置和控制方法，构建基于船舶机舱真实环境的数字孪生体，实现船舱虚拟空间的坐标映射和立体建模，船舶轮机员无需进入环境恶劣的机舱即可具有身临其境的巡查感受，并可根据投影机舱的立体模型遥控船舶机舱及其设备。基于MR的船舶机舱设备集中管控方法、集中操控系统设计流程图分别如图1和图2所示，其工作原理主要包括：实时获取机舱信息。利用摄影设备实时扫描收集船舱信息，构建包含轮机机电设备的船舶机舱真实环境的数字孪生体数据库；根据机舱信息建立船舱的立体模型。机舱的三维立体模型是通过使用船舶机舱实际信息建模获得的；选择投影模式以获取投影舱的立体模型。将数据库的信息和摄像设备采集到的现实信息进行比对，虚拟船舱与现实场景数据进行匹配与叠加，利用平面或者全息投影的模式虚实融合展示；根据投影船舱的关联立体模型控制船舱及其设备。利用图像增强功能，基于 MR技术的新视觉环境中，通过MR眼镜把使用和维修辅助信息叠加到船舱真实场景。并在真实、虚拟和船员之间建立交互信息环，从而增强船员体验的仿真性。可在投影中监视船舱设备及其运行状态，如监视船舱立体模型运行状态异常，及时调整监控设备参数，确保航行安全。2应用深度学习的船舶机舱设备状态指示识别技术由于模块匹配识别方法对图像质量要求较高，图像稍有变形就会识别失败，那么采用图像采集的方法对船舶机舱设备状态的图像识别不能满足系统性能的要求。基于此缺陷，采用深度学习的目标检测算法，该方法具有图像要求低、能够识别多个目标的优势。利用 Faster R-CNN 目标检测网络用于识别闭合和打开状态以及仪器表盘数据，并可检测指针仪器的指定区域，以提高识别速度和可靠性。图1基于MR的船舶机舱设备集中管控方法流程图图2基于MR的船舶机舱设备集中操控系统设计流程图三维模型查看及机舱设备管控选择平面投影或全息投影模式机舱三维建模实时获取机舱信息立体拍摄实时扫描船舶机舱船舶机电设备三维模型库三维交互设备操作信息船舶机舱三维场景信息船舶机舱设备使用维修辅助信息集控室和驾驶室MR信息叠加高炳，等：基于混合现实技术的船舶机舱集中操控试验装置设计与实现09中 国 修 船2024年4月技术交流2.1Faster R-CNN 目标检测网络深度学习目标检测算法的基本思想是通过选择性搜罗得到图像中潜伏峰值目标，然后通过分类合并得到目标检测结果10。Faster R-CNN将滑动窗口添加到最后一个卷积层输出的特征图像中，滑动窗口穿过的位置以窗口中心为中心（定位点），制作不同大小的定位框，并将其映射到原始图像，成为候选区域。Faster R-CNN利用卷积神经网络完成了目标检测的全部工作，充分实现了端到端的训练，解决了R-CNN的空间和时间开销问题，并对映射图谱（mAP）进行了改进。本研究采用 Faster R-CNN 对船舶机舱设备图像中的目标进行检测可保障精度。2.2网络框架与算法Faster R-CNN由2个模块组成：区域推荐网络（RPN）和Fast R-CNN检测器。RPN可以预测目标所在区域，与Fast R-CNN共享信息，并通过修改目标区域获得准确的目标位置。RPN是一个全卷积网络，其损耗函数建立为：L（Pi，Ci）=1ntcLtc(Pi，Pi*)+1ntrPi*Ltr(Ci，Ci*)，（1）式中，i为小批量处理中的锚定目标指数；为系数；Ci为预测边界框的参数坐标向量；Pi为锚定目标对象i的预测概率；Ci*为实际标记框的参数化坐标向量；Pi*为实际标记框的标签值；ntc为矩形盒的分类层数；L为损耗；Ltc为目标分类损耗；ntr为矩形盒的回归层数；Ltr为目标回归损耗。RPN的回归损耗函数为：Ltr（Ci，Ci*）=i x,y,w,hsmoothL1(Ci-Ci*)式中，L1为初始损耗；x、y、w、h为四维参数。RPN 开展端端之间的训练，主要可运用随机梯度减降法及误差逆向传输机理。在实际训练中，阳性样本的数量通常很小，此时，应增加阴性样本的数量，将建议数量保持在256，其他RPN推荐区域将相互重叠。为了减少冗余，网络使用基于分类分数的非最大抑制方法完成筛选。Faster R-CNN基于模型ResNet进行训练，生成船舶机舱设备目标数据集，训练和测试目标检测网络，实现基于深度学习的船舶机舱设备状态指示识别，即输入船舶机舱设备状态图形数据，可输出船舶机舱设备状态参数。3MR机舱设备集中操控功能的实现MR机舱设备集中操控功能的实现主要依靠机舱信息获取、立体建模合成、投影、查看与管控4个模块。3.1MR机舱设备集中操控流程MR机舱设备集中操控功能实现流程图如图3所示。机舱信息获取，及时提取船舱及设备数据；立体建模合成，基于船舱及设备数据建立合成立体模型；投影，平面及全息投影方式选择，获得匹配的船舱立体模型；查看与管控，调取所需立体模型查阅，根据所需基于投影模型对船舱设备装置实施控制操作。3.2构建船舱三维模型及其优化构建船舱立体模型第一步是根据船舶机舱真实环境获取立体点云数字孪生体数据库。操作策略上选取多个鱼眼摄像头放置在船舱的不同位置，收集全范围多侧面的船舱及其设备装置的画面图像数据，继而融合成三维模型。第二步，基于三维点云构建表面模型。针对三维点云识别对象不精确等缺陷，采用泊松（Poisson）算法重构三维点云及其立体模型。Poisson算法用隐函数代替三维点云进行拟合，合成三维曲面，然后通过构造并求解Poisson方程来提取合适的三维曲面，从而得到三维重建的结果曲面，即三维曲面模型。Poisson算法通过将有向点集的曲面拟合问题转化为空间Poisson问题来解决该问题，有效抑制三维点云数据本身干扰噪点，可回应船舱噪声环境下三维重建的现实诉求。0.5x2，|x|1|x|-0.5，|x|1smooth(x)（2）图3MR机舱设备集中操控功能实现流程图查看与管控模块投影模块立体建模合成模块机舱信息获取模块，10第37卷第2期技术交流采用船舱三维模型纹理映射技术措施，增强关键部位与周围环境感知融合。由输入点帧到面元再到深度图几次递进转换，实现图像拼接算法优化，建立点帧面元深度图之间的匹配融合关系。在系统中加入具有交互功能的触发操作模块，使用者（操作者）装备MR头盔和操控手柄，系统可获取方位信息，并触发船舱立体模型视线跟踪功能。构建并优化的MR机舱三维模型虚拟场景显示效果如图4所示。3.3MR船舶机舱设备集中操控方法及其实操训练MR船舶机舱设备集中控制的实现模式是基于投影三维模型对船舶机舱及其设备进行控制，一种方式通过手势操作输入控制命令来控制，另一种方式通过输入语音命令来控制。MR船舱设备集中操控方法流程图如图5所示。4结束语本文研制的基于MR的船舶机舱设备集中操控试验装置的三维建模是基于船舶部件信息来进行建模，从而得到船舶的三维模型。船员在不必进入船舱的情况下，可以选择投影模式对机舱三维模型进行沉浸式浏览查看，并基于其立体模型对船舱及其设备进行管控。从当前船舶轮机工程实训教学的实际出发，将MR技术应用于轮机设备操作、机舱资源管理等实践实训教学中。利用MR设备，将虚拟船舶机舱设备模型及其空间分析与真实手势操作相结合，增强了空间分析和可视化的交互效果，激发了学生的实训和操作兴趣，有利于深入理解教学内容，丰富实践过程，对提高教学质量具有现实意义。同时，也为船舶机舱设备分析、机舱及其设备可视化的研究提出了新的研发路径。参考文献1 占宏，梁聪垣，杨辰光.基于混合现实的机器人遥操作实验平台J.实验技术与管理，2021，38(8)：114-117.2 张旭辉，张雨萌，王岩，等.融合数字孪生与混合现实技术的机电设备辅助维修方法J.计算机集成制造系统，2021，27(8)：2187-2195.3 马新博，荆洪迪，柳小波，等.基于混合现实的地下矿山设备巡检系统研究J.金属矿山，2022(9)：188-193.4 高炳，张少明，陈沛豪，等.基于模型预测的小型无人艇控制算法设计与试验J.船电技术，2020，40(12)：4-7.5 黄红涛，孟红娟，左明章，等.混合现实环境中具身交互如何促进科学概念理解J.现代远程教育研究,2018(6)：28-36.6 贾玉鹏，尹勇.基于混合现实技术的智能船岸基监控中心研究J.北部湾大学学报，2020,35(10)：7-11.7 时光志，周毅，李萌，等.基于虚拟现实技术的LNG船舶仿真系统J.船海工程，2021，50(3)：25-28，33.8 景乾峰，神和龙，尹勇.一种基于虚拟现实系统的船舶数字孪生框架J.北京交通大学学报，2020，44(5)：117-124.9 杨杰，高洪涛，张存有.基于虚拟现实的船舶制冷动态仿真系统的开发J.船海工程，2019，48(3)：151-156.10周俊宇，赵艳明.卷积神经网络在图像分类和目标检测应用综述J.计算机工程与应用，2017，53(13)：34-41.收稿日期：2023-05-05图4MR机舱三维模型虚拟场景显示效果图5MR机舱设备集中操控方法流程图三维交互设备的动作参数头戴式MR设备操作者的动作MR信息无线操控手柄配件模型库激光定位器三维渲染高炳，等：基于混合现实技术的船舶机舱集中操控试验装置设计与实现11