掘进面风流远程智能监控虚拟现实系统设计.pdf

17引用Vol.55,No.8COALENGINEERING第55卷第8 期程炭煤doi:10.11799/ce202308004掘进面风流远程智能监控虚拟现实系统设计龚晓燕，康瑞金，李宇杰，付浩然，刘壮壮，陈龙，张红兵，李昊？（1.西安科技大学机械工程学院，陕西西安710054；2.渭南陕煤启辰科技有限公司，陕西渭南714000)摘要：针对掘进面局部通风系统无法实时监测及智能调控风筒出风口风流状态而导致风场分配不合理，造成瓦斯超限和粉尘聚积等安全隐患问题，在课题组对掘进面风流智能调控装置的基础上，利用虚拟现实和远程监控技术对该物理装置虚拟映射远程监控系统进行设计。采用Unity3D对系统的虚拟场景模型构建；基于SugarBI云平台对PC/Android端远程监控软件开发，包括了三维虚拟场景预览、实时数据及视频监控、预测预警机制、智能控制模块及支持信息子系统。以实验室模拟实验测试平台，对系统进行测试，结果表明系统运行可靠，各预期功能均可实现，从而提高了掘进面通风智能可视化程度。关键词：掘进面；风流智能调控；远程监控；虚拟现实；Unity3D中图分类号：TD725文献标识码：A文章编号：1 6 7 1-0 9 59(2 0 2 3)0 8-0 0 1 7-0 6Design of virtual reality system for remote intelligent monitoring oftunneling face airflowGONG Xiaoyan,KANG Ruijin,LI Yujie,FU Haoran,LIU Zhuangzhaung,CHEN Long,ZHANG Hongbing,LI Hao?(1.School of Mechanical Engineering,Xi an University of Science and Technology,Xi an 710054,China;2.Weinan Shaanxi Coal Qichen Technology Co.,Ltd.,Weinan 714000,China)Abstract:In view of the fact that the local ventilation system of the heading face cannot monitor in real time and intelligentlycontrol the air flow state of the air duct outlet,the wind field distribution is unreasonable,resulting in potential safety problemssuch as gas overrun and dust accumulation,based on the intelligent control device of the heading face air flow,the virtualreality and remote monitoring technology are used to design the virtual mapping remote monitoring system of the physicaldevice.Unity3D is used to build the virtual scene model of the system;based on Sugar BI cloud platform,PC/Android remotemonitoring software is developed,including 3D virtual scene preview,real-time data and video monitoring,prediction andearly warning mechanism,intelligent control module and support information subsystem.The system is tested on the laboratorysimulation experiment test platform.The results show that,the system runs reliably and all expected functions can be realized,thus improving the intelligent visualization of ventilation on the heading face.Keywords:heading face;air flow regulation;remote monitoring;virtual reality;Unity3D国家八部委联合发布关于加快煤矿智能化发展的指导意见标志着智能化已成为煤炭工业高质量发展的核心技术支撑1,2 。随着掘进智能化程度和生产强度的提高，煤矿巷道掘进工作中大量的粉尘及涌出瓦斯发生聚集，造成粉尘爆炸事故及污染风险急剧上升3.4 ，且工作面通风系统智能化发展相对滞后，异常预警与应急决策能力不足5.6 ，传统“粗放式”通风模式下的风筒出风口风流状态不能实时变化，导致掘进面死角区瓦斯难以稀释排出，粉尘质量浓度远超煤安规程的4 mg/m标准7 ，严重威胁井下工作人员生命健康安全，影响生产进程。龚晓燕等8,9 提出了通过调节风筒出风口距迎头距离、口径、方向角度等参数来调控出风口风流状态，优化掘进面风速、瓦斯及粉尘场分布并研制出了出风收稿日期：2 0 2 2-1 0-1 5基金项目：国家自然科学基金面上项目（51 8 7 4 2 3 5）；陕西省自然科学基础研究计划一企业陕煤联合基金项目（2 0 2 1 JLM-01）作者简介：龚晓燕（1 9 6 6 一），女，甘肃临洮人，博士，教授，主要研究方向为矿井通风安全，Ema i l：g o n g x y ma i 。月格式：龚晓燕，康瑞金，李宇杰，等掘进面风流远程智能监控虚拟现实系统设计J煤炭工程，2 0 2 3，55（817-22.182023年第8 期程设计技术炭煤口风流智能调控装置来改变出口风流状态进而优化风流场分布。目前随着虚拟现实（VR，V ir t u a lReality)技术在各工业领域已经全面应用，为工业过程的仿真模拟和可视化监测提供了强大支撑工具1 0 。张登攀，汪杰等1,1 2 研究了虚拟现实云平台监测中模型的驱动、数据采集和数据通信的关键问题，提高了掘进面通风系统智能可视化程度。李昊、王学文等1 3.1 4 对综采工作面虚拟现实监测系统的总体框架进行了设计，该系统具有采集、传输、显示、预警和反向控制的功能。刘睿全1 5 针对煤矿液压钻机存在的远程监控等难题，通过虚拟现实技术建立了虚拟操控与远程监测的全液压钻机系统解决方案。该系统通过对监测数据进行融合处理和编写了数据接口，可对钻进工艺参数、数据进行分析和可视化显示，为实现远程操控提供决策支持。本研究在笔者课题组提出的掘进面风流调控技术及装备研制的基础上1 6 ，基于物理实验平台引人虚拟现实技术，开发风流动态远程智能监控虚拟现实系统，实现风速、瓦斯体积分数及粉尘质量浓度等数据的实时远程显示、场景三维可视化、风流智能调控运动仿真、虚实交互等功能，为掘进面智能可视化通风奠定了基础。1系统总体框架根据掘进面通风远程监控的需求及虚实映射等各功能模块的组成，建立了虚拟现实系统的整体框架，如图1 所示。该系统框架主要由掘进面风流远程智能监控物理系统及虚拟系统组成。物理系统负责实时感知和传输掘进面的原始数据、排瓦降尘设备及流场动态信息，并根据反馈指令动态调整风流智能调控装置优化风流场。虚拟系统主要包括虚拟现实场景仿真子系统、预测预警及智能调控子系统和决策信息子系统。虚拟现实场景仿真子系统通过虚拟现实技术构建掘进面虚拟场景，从几何、行为、规则等多个维度进行真实映射和实时仿真，通过该模块可以实现瓦斯、粉尘浓度粒子的可视化仿真，将掘进面通风状况可视化，实现对掘进面流场信息的全景监测和全状态感知。预测预警及智能调控子系统基于所建立的预测模型、评价预警机制及风流智能调控模型，为掘进面风流智能调控提供智能决策，驱动井下风流智能调控装置适应当前工况下的排瓦降尘需求。决策信息子系统主要由各系统间产生的交互数据、用户息、智能调控知识库以及模型库构成，记录存储系统运行过程中的各类决策信息，并为各模块提供数据支撑。最终研发搭建掘进面风流远程智能监控虚拟现实系统，并验证虚实系统之间数据虚实交互控制的实现方法及技术，该系统突破了传统掘进面局部通风管理模式，将风流监测及智能调控结合一体，利用虚拟三维模型反应巷道环境和设备调控信息。系统架构如图2 所示，其组成为：巷道空间、通风设备及粉尘瓦斯发生装置、风流智能调控装置等；数据采集层；数据传输层以及系统应用层。掘进面风流远程智能监控物理系统掘进面风流远程智能监控虚拟系统汇聚节点及远程传输掘进巷道原始信息传感器实时感知虚拟现实场景仿真预测预警及智能调控字系统DTU远程通讯模块字系统LoRa无线传感器光耦数据接收节点巷道环境及设备布局排瓦降尘设备状态监测掘进巷道虚拟场景建模井下监测数据实时显示局部通风原始参数风速瓦斯及粉尘信息获救智能装置运动仿真综合评价预警模块排瓦降尘设备参数实时视频图像采集粉尘瓦斯浓度运移仿真智能调控规划获取模块.风流调风简掘进面风流监测及智能调控虚拟现实系统控装置巷道场景数据实时同步监测数据风流智能调控模型虚实同步系统管理写帮助决策信息子系统风流智能调控装置数据库知识库模型库装置及动作机构PLC控制程序用户数据、监测预测预警、调控预测评价模型位姿检测及动作反馈调控方案指令反馈数据、预测预警规则、文档信意规则获取数据库知识库模型等图1掘进面风流远程智能监控虚拟现实系统总体框架192023年第8 期程炭煤设计技术系统应用层三维动态显示与调控实时监测模块系统知识数据库评价预警及智能调控模块数据传输层DIU传输技术实时监测数据风流智能调控方案装置状态开下数据采集层LoRa无线组网技术风速传感器瓦斯传感器粉尘传感器激光测距仪出风口口径检测出风口偏角检测风流智能调控装置巷道空间及设备前后位移巷道形状及尺寸风流口径开合局部通风系统调控装置角度右偏粉尘瓦斯发生装置角度上偏掘进机图2系统架构2虚拟现实场景模型构建2.1虚拟场景模型构建通过对系统场景布局进行分析，掘进面通风系统有掘进机、锚杆机、带式输送机、风筒、局部风机、环境监测传感器和风流智能调控装置等设备构成，依据功能结构组成对各部分进行详细尺寸设计，首先利用SolidWorks软件构建风流智能调控装置虚拟样机三维模型，然后进行风流智能调控装置的总体装配和干涉检查，保证各零件之间装配合理。之后将生成的数字模型导人3 DMax软件进行贴图、钝化和煊染使得虚拟场景更趋近于煤矿井下的实际情况。最后，导出.FBX格式文件到Unity3D中；然后进行灯光设置并在场景中进行适当调整和设置，建立的风流远程智能监控虚拟场景模型2.2风流智能调控装置运动仿真在巷道虚拟场景建立的基础上，需要对风流智能调控虚拟样机的调控功能进行运动仿真，包括装置前后伸缩位移、出风口口径开合及装置右偏的三个主要功能，根据风流智能调控装置的运动功能需求，其中装置的方向偏转和伸缩风筒的位移运动可用三阶贝塞尔曲线算法进行控制，在伸缩风筒上设置相应的控制点即可，在Unity3D的后台C#语言编写角度偏转及伸缩位移运动控制的三阶贝塞尔曲线算法，选择切除扫描网格，并将其封装BezierCurve脚本中。最终在Unity3D界面中实现装置运动的动画效果。由于装置的口径开合控制是利用电机驱动丝杠滑块传动，其原理是滑块机构运动，通过滑块运动控制曲柄进而连接叶片做口径的开合运动，因此实现口径开合的运动控制，依据此思路，利用3DMax中的IK骨骼模型与口径调节机构建立父子关系，IK解算器是3 DMax自带的插件，能够提供一个反向运动学的解决方案，用于在旋转和定位网络链中的相互连接。以此来实现骨骼模型控制虚拟样机口径调控功能的运动仿真。2.3粉尘瓦斯浓度运移分布可视化仿真为展示较为真实的模拟掘进过程瓦斯及粉尘粒子的运动效果，这里对风速粉尘瓦斯运移分布规律进行仿真，在Unity3D首先需要对粒子的碰撞关系的设定，掘进巷道中的瓦斯及粉尘浓度粒子存在的碰撞主要有三种，分别是粒子与粒子之间、粒子与巷道煤壁和各设备之间和粒子与地面之间。粒子与粒子之间的碰撞关系是相互弹开，导致两个碰撞粒子的运动轨迹发生变化。粒子与巷道煤壁和各设备之间的碰撞关系是将粒子弹开，运动轨迹发生变化，巷道煤壁和各设备没有影响。粒子与地面的碰撞关系是贴附，粒子不发生运动即消亡。根据对瓦斯及粉尘浓度粒子属性的分析，利用Unity3D中的粒子系统建立瓦斯及粉尘浓度的可视化粒子，掘进端面为瓦斯及粉尘浓度粒子产生源，并且根据粒子与煤壁面、掘进机等设备之间碰撞，通过添加ParticleCollider（粒子碰撞器）到相应物体，达到粒子与其它物体之间的交互。同时考虑风流的作用效果，在风流调控装置上添加WindZone（风区）组件建立风场，随装置调节变化风场，实现风流变化下瓦斯及粉尘粒子的运动仿真，完成后转换为.FBX模型文件，最终通过后台的C#脚本语言对模型进行驱动，从而实现掘进面风场瓦斯、粉尘可视化效果。3系统监控软件设计开发在完成系统虚拟场景模型构建及仿真设计开发后，为实现井下综掘面风场参数和装置工作状态远程三维可视化监控，开发了风流远程智能监控虚拟现实软件。前端采用百度云的SugarBI发开工具，将Unity3D虚拟场景模型发布至公网IP，实现异地远程访问。并将监测、控制及虚拟仿真等功能集成在一个图形化PC端用户界面，如图3 所示。软件使用Unity3D模板引擎和组件染等为虚拟模型加以真实物理效果，具备场景全方位细节展示，将模型嵌入三维可视化监控界面，主界面包含参数监测、模型控制、场景漫游，视频监控等功能，巷道监控20灰2023年第8 期设计技术程煤的场景漫游可显示漫游操作按钮及说明，通过控制漫游按钮可进行场景漫游；局部视图可将死角区域的瓦斯及粉尘粒子进行局部放大，便于用户查看；巷道监控可实时监控装置状态和巷道场景。监测数据模块主要包括监测曲线和数据查询两部分。其中监测数据是将采集的风速、瓦斯及粉尘浓度可视化，通过折线图的方式进行展示，方便用户清晰的查看各测点数据的变化情况；数据查询是参看各测点的数据记录，以数据表格的形式呈现，可通过日期查询和报表输出记录数据。在风流智能调控模块用户可以通过选择智能调控和手动调控两种方式对系统进行操作。其中智能调控可为用户实时显示风流智能调控装置的运行状态和系统的运行状态，同时提示风速、瓦斯及粉尘浓度三者异常及测点位置。系统管理与帮助模块主要包括权限管理、系统配置和操作说明三个子功能模块。系统配置可查看系统的资源文件、服务器等配置地址等；操作说明可供用户查阅，了解系统的操作流程和各模块内容。为了方便企业人员随时随地的对设备运行状态查看，通过云平台设计开发了配套的Android手机应用软件，如图3 所示。软件具备远程异地访问能力，提供视频，数据监测以及绘制时间曲线等服务。实时监测数据显示历史数据记录查询装置状态显示粒子参数设置预警信息提示巷道场景漫游手动调控参数设置死角区局部放大监测数据界面系统巷道场景监测数据风流智能调控系统管理与帮助系统主界面风流智能调控界面用户权限设置煤矿安全规程查询巷道场景界面系统操作说明查阅系统管理与帮助界面实时监控图3虚拟现实系统集成化界面4虚拟现实系统实验测试验证4.1系统实验测试流程课题组基于相似理论设计搭建了1：5缩小比例的“掘进面风流监测及智能调控测试实验平台”，该平台主要由掘进巷道、通风系统、风流智能调控装置、瓦斯及粉尘发生装置、监测传感器、增量式编码器和监控摄像头等组成，可实现不同掘进面和通风方式下风流智能调控实验测试研究。风流智能调控装置同样缩小比例，功能相同，安装在正压风筒末端，通过PLC控制步进电机进行口径、偏转角度和直线位移三种动作，改变风筒出风口参数，进而调控风流状态。粉尘发生装置布置在掘进端面，通过粉尘发生仓可近似还原产尘规律，瓦斯发生装置与此类似，可近似还原瓦斯涌出规律。通过布置的各类监测传感器及增量式编码器实时采集出风口距端头距离、风速、粉尘浓度及装置运行参数等数据，数据采集到西门子S7-200SmartPLC中，通过串口Modbus协议与4 GDTU透传模块通讯，将实时采集数据上传至云服务器。并将监测的各测点风速及粉尘浓度数据以折线图的方式展示在虚拟现实系统监测曲线界面，同时存人SQLServer数据库中。监测及智能调控信息库系统中的预测模型及预警机制对数据库中的监测数据进行读取分析，预测及评价下一时刻的风速和粉尘浓度数据及调控参数，通过免疫遗传算法根据预警信息对预测数据进行挖掘分析，输出下一阶段的风流智能调控规则，并存人系统数据库建立的风流调控规则知识库。虚拟现实系统通过连接数据库读取数据库中解码的风流智能调控规则，根据规则指令驱动虚拟样机模型控制程序实现运动仿真，同时规则指令通过4 G网络同步反馈到测试平台PLC控制器，驱动步进电机，使测2120233年第8 期程炭煤设计技术试平台的风流智能调控装置做出动作响应。本研究以柠条塔矿S1202掘进巷道参数建立了虚拟现实系统的测试实验平台，如图4 所示，对系统的各功能模块的测试及验证。井下风流远程智能监控物理系统系统边缘监测控制井上风流远程智能监控虚拟现实系统激光LORA测距仪子标签LORA远程通讯粉尘瓦斯粒子仿真装置运动仿真风速传感器PLC触摸屏子标签2操作平台控制系统硬件风流智能调控装置LORA主站粉尘传感器4G/5G网络LORA煤矿监控平台局部风机瓦斯传感器子标签NPLC主控器风流智能调控装置云平台云端本地数据库手机APP工业DTU透传口径缩放角度偏转前后位移评价预警模型智能调控模型图4系统实验测试平台建立4.2系统实时数据显示及视频监控功能测试截取出风口距端面5m时的某时刻系统运行界面可知，监测曲线将各测点风速和粉尘浓度数据进行可视化监测，通过监测曲线可以观察各测点风速及粉尘浓度的变化情况。由运行界面可看出某时刻装置运行参数右偏角为1 0、口径大小为1.1 m、风筒伸缩位移为0，预警指示灯处于绿色状态，预警信息提示系统运行正常，通过实时监控可看到测试平台风流智能调控装置与虚拟场景的风流智能调控虚拟样机的工作状态基本一致。4.3系统延迟及模型虚实同步功能测试由于系统采用4 GDTU模块作为远程通讯模块，此次在联通4 G网络下对系统数据通讯延迟进行测试，分别以3 2/6 4/1 2 8 字节大小进行1 2 0 0 次ping包延迟测试，见表1，测试结果平均延迟均小于300ms，丢包率平均在6%左右，符合系统通讯延迟要求，进而验证了巷道场景数据监测的时效性。在保证系统数据通讯时效性的前提下，对系统模型虚实同步进行测试，主要是验证装置模型口径缩放、偏转角度调节和伸缩位移功能无论在手动/自动操作模式下虚拟模型始终保持与物理模型一致。这里以风流调控装置状态（右偏角度0、口径大小0.8m、风筒伸缩3 m）如图5（a）所示，（右偏角度30、口径大小1.2 m、风筒伸缩3 m）如图5（b）所示两种状态下为例，展示不同工况下虚实状态同步。从图中可以清楚看到虚拟系统的风流智能调控虚拟样机模型与测试实验平台的风流智能调控装置在单参数调控与综合调控下运动基本相同，均可以达到装置功能调节的要求。表1系统延迟测试Ping包长平均延迟最大延迟丢包率次数/kb/ms/ms/%3227135561200次64228497412827938456(a)右偏角度0、口径0.8 m、风筒伸缩0 m(b)右偏角度3 0、口径1.0 m、位移3 m图5智能调控装置虚实同步功能测试5结论本研究对风流远程智能监控虚拟现实系统的总体框架及实现关键技术进行了分析，并进行了虚拟现实集成软件系统开发。以柠条塔矿S1202掘进面为对象，设计搭建了系统软硬件测试平台，进行了实时数据监测与智能调控功能及虚实同步等测试，具体结论如下：22责任编辑赵巧芝）2023年第8 期程炭煤设计技术1）各隐患区关键点的风速、粉尘及瓦斯浓度实时监测数据能够及时上传到井上虚拟现实系统中，并以曲线走势反映不同关键隐患点位置的风速、粉尘及瓦斯浓度分布规律。两路视频监控可以呈现井下巷道通风工作环境及设备运行状态，进行随时调控井下设备运行。2）实时数据传输及智能调控功能均可以达到虚实同步，平均数据延迟均小于3 0 0 ms，满足系统模型同步延迟要求，数据监测及装置运动控制基本一致，验证了系统远程数据监控与智能调控同步的时效性。参考文献：1关于加快煤矿智能化发展的指导意见【N中国煤炭报，2020-03-05(002).2王国法，刘峰，孟祥军，等煤矿智能化（初级阶段）研究与实践J煤炭科学技术，2 0 1 9，4 7（8）：1-3 6.3罗永豪，赵阳升。煤矿井下通风系统的研究现状及发展趋势J煤炭技术，2 0 1 5，3 4(3)：1 2 3-1 2 5.4王步康煤矿巷道掘进技术与装备的现状及趋势分析J.煤炭科学技术，2 0 2 0，4 8(1 1)：1-1 1.5朱斌，张奎，张有为，等综掘面风流智能调控数字李生系统J/OL计算机集成制造系统：1-1 9 2 0 2 2-9-1 9 .6乔伟，靳德武，王皓，等基于云服务的煤矿水害监测大数据智能预警平台构建J煤炭学报，2 0 2 0，4 5（7)：2619-2627.7国家安全生产监督管理总局煤矿安全规程【M北京：煤炭工业出版社，2 0 1 6.8龚晓燕，樊江江，刘壮壮，等。综掘面出风口及抽风口风流综合调控下粉尘场优化分析J煤炭学报，2 0 2 1，4 6(S2):800-809.9龚晓燕，赵晓莹，杨富强，等。综掘面尘源动态变化下粉尘场优化的风流调控研究J煤炭工程，2 0 2 1，53(2)：1 2 2-1 2 6.10谢嘉成，王学文，李祥，等虚拟现实技术在煤矿领域的研究现状及展望J煤炭科学技术，2 0 1 9，4 7(3)：53-59.11张登攀，田振华，王东升。综采工作面三维在线监测系统研究J河南理工大学学报（自然科学版），2 0 1 7，3 6（1)：97-102.12汪杰，王春华，李晓华，等煤炭行业大数据分析云平台设计研究J煤炭工程，2 0 2 1，53（9)：1 8 7-1 9 2.13李昊，陈凯，张晞，等综采工作面虚拟现实监控系统设计J工矿自动化，2 0 1 6，4 2(4)：1 5-1 8.14王学文，谢嘉成，郝尚清，等。智能化综采工作面实时虚拟监测方法与关键技术J煤炭学报，2 0 2 0，4 56)：1 9 8 4-1 9 9 6.15刘睿全煤矿全液压钻机虚拟操控与远程监测系统研发D西安：西安科技大学，2 0 1 8.16龚晓燕，侯翼杰，赵宽，等。综掘工作面风筒出风口风流智能调控装置研究J煤炭科学技术，2 0 1 8，4 6(1 2)：8-1 4.