全息投影和体感交互在实践教学中的应用.pdf

第37 卷第1 期2024年1 月浙江万里学院学报Journal of Zhejiang Wanli UniversityVo1.37 No.1January 2024全息投影和体感交互在实践教学中的应用蔡宝（上海第二工业大学，上海2 0 1 2 0 9）摘要：传统的高校实践课程受到教学设备和教学场地等因素影响，教学效果较难全面把控。将虚拟现实引入实践教学中，结合全息投影与体感交互技术，以工业设备中的水泵为例，搭建了基于全息投影的虚拟水泵教学系统，嵌人了Kinect体感交互设备，实现了手势交互的虚拟教学场景切换功能。实践证明，该系统在实践教学过程中能部分解决由于场地限制导致学习效率低的问题。关键词：实践教学；虚拟现实；全息投影；体感交互中图分类号：TP391.9文献标识码：A文章编号：1 6 7 1-2 2 50（2 0 2 4）0 1-0 0 9 6-0 40引言虚拟现实(VR)是一种计算机生成的仿真技术，依靠视觉、听觉和触觉等输入条件，让使用者身处虚拟世界中1-2 。全息投影属于VR技术的一种,利用干涉原理记录并再现真实物体的三维图像技术。体感交互是一种基于VR的体感控制技术，使用者可以通过身体控制虚拟世界，实现与虚拟对象的互动3。传统的实践教学常采用多媒体教学模式，而融人VR技术的实践教学新模式可有效改善教学效果，增强学生学习体验，相比传统模式存在以下四个优势：1)对于不可控制的自然现象，如地震和火山，可通过VR虚拟呈现；2)对于不可逆的实践操作,如金属切削过程,可通过VR虚拟呈现；3)对于较危险的实验操作,如高压接线和化学反应，可通过VR虚拟呈现;4)对于成本高的实验操作,如桥梁建造和风洞实验，可通过VR虚拟呈现。此外VR实验不受时间和空间限制，学生通过互联网进行在线VR实验,互联网+VR的教学模式已在高校中广泛得到使用4。1技术路线搭建文章以“水泵装配与拆解实践”课程为切人点。该课程属于实践课程，主要教学内容为水泵的工作原理、结构解析和装配与拆装训练，主要教学目的是培养学生对工业设备操作的动手能力。传统的实践课程教学是少部分理论讲解和大部分学生动手操作结合的模式，授课过程中常见问题主要有以下三点：1)部分学生在没有领会装配或者拆卸技巧前麻木进行，常会发生水泵零部件损坏甚至丢失的情况。2)水泵中关键的零部件(如叶轮)不能展现其内部结构，实际装配和拆卸练习不能做到知其然更知其所以然。3)水泵装配完成后不能实际测试其装配效果，学生对水泵运行的状态与性能没有直观感受与认知。为了解决收稿日期：2 0 2 3-0 4-0 7基金项目：教育部科技发展中心高校产学研创新基金“混合现实技术在系统工程训练中心应用（2 0 1 8 C01059)；上海市教育科学研究“面向工程综合能力培养的四位一体教学体系研究与实践”（C20039）；北京创新研究所“科创融教”职业教育改革创新基金“MR(混合现实)技术在机器人系统工程训练教学中的应用研究(HBKC217054)作者简介：蔡宝（1 9 8 9 一），男，江苏南通人，上海第二工业大学工程训练与创新教育中心讲师，研究方向：图像处理与信息识别技术。:96蔡宝：全息投影和体感交互在实践教学中的应用传统课程出现的上述问题，课题组引入Unty3D虚拟现实开发引擎，借助全息投影技术，搭建全息投影水泵教学系统，借助Kinect体感交互技术，实现自动切换虚拟场景功能5。如图1 所示为文章的技术路线,包括虚拟水泵模型的素材准备，搭建基于Unity3D的虚拟教学环境，搭建全息投影硬件设备和嵌人体感交互设备。2虚拟水泵素材准备2.1模型建立使用三维软件SolidWorks建模，如图2 所示模型中包含水泵的各个零部件，包括叶轮、传动轴、外壳和电动机。电动机2.2模型处理在SolidWorks中建立水泵三维模型,此时模型的面数和顶点数一般是工业级别的,对于虚拟现实中的场景显示要求过高，可通过减面处理来实现模型的精简回。PIXYZ软件可将繁琐的3DCAD数据导人并转换为实时3D引擎中的轻量级优化网格，借助强大的算法，快速高效地简化和优化CAD数据。文章使用PIXYZ软件进行模型减面处理，精简模型中多余的面片，合并不需要单独显示的部分零件模型，如图3所示为模型处理结果，其中三角面片数量减少约50%,顶点数减少约6 0%,在Unity3D中模型面数越少顶点数越少则运行时消耗的内存越少，越能保证场景运行的流畅性。3Unity3D虚拟环境搭建3.1制作全息投影全息投影制作关键是摄像头的正确照射，需要保证四个摄像头看到的模型能够正确显示在同一个屏幕上，于是需要对摄像头的屏幕坐标进行计算，划定屏幕显示区域7。在Unity3D中通过设置四个摄像头（Bottom,Top,Left,Right)分别显示模型的不同视角画面，这里默认屏幕的分辨率为1 9 2 0*1 0 8 0，实现分屏显示最重要的是每个摄像头中viewportvect的参数值，如表1所示,B、F、L和R分别表示四个摄像头,M和N分别表示屏幕的长度和宽度。在Unity3D中测试效果如图4 所示。3.2嵌入体感交互Kinect体感交互组成部分为红外发射机、红外摄像头、彩色摄像头和麦克风阵列。红外发射机发出光源照射人体，经过反射后被红外摄像头读取，然后分析红外光谱，创建可视范围内的人体和物体深度图像，进而识别人体动作。RGB摄像头可以拍摄视角第1 期准备虚拟水泵搭建Unity3D素材虚拟环境搭建模型处理模型6000050000传动轴叶轮图2 水泵模型硬件搭建搭建制作全息投影融人体感交互图1 技术路线外壳40003000200010000BFLR面片数图3楼模型处理结果表1 viewportvect参数值设置XY1/30.5-M/2N1/30.5+M/6N1/30.5-M/6N1/30.5-M/6N处理前处理后W1/31/31/31/3顶点数HM/3NM/3NM/3NM/3N972024 年1 月范围内的视频图像,对人体动作进行辅助校正，由四个麦克风构成的阵列可采集声音，过滤背景噪音和定位声源，进行语言识别8-9。Unity3D中可基于卡耐基梅隆OpenNI_Uni-ty_Toolkit-0.9.7.4.unitypackage插件进行开发，可实现Kinect摄像头角度设置、RGB流、Depth流、用户位数绑定、骨骼数据获取等功能,开发环境见表2。虚拟教学场景切换通过获取左手关节来实现，包括左手握拳和打开来实现场景的切换和模型的旋转。部分实现程序如下：KinectManager.Instance.GetLeftHandState(useld);获取左手手势状态if(KinectManager.Instance.IsUserDetected()(/检测到玩家long userld=KinectManager.Instance.GetPrimaryUserID();int jointType=(int)Kinectlnterop.JointType.HandLeft;if(KinectManager.Instance.IsJointTracked(userld,jointType)(1/关节点被追踪到KinectInterop.HandState leftHandState=KinectManager.Instance.GetLeftHandState(userld);if(leftHandState=KinectInterop.HandState.Closed)(print(左手握拳);Jelse if(leftHandState=Kinectlnterop.HandState.Open)print(左手打开);1浙江万里学院学报操作系统Window8全息投影图4 测试效果表 2 Kinect 开发环境插件版本KinectSDK2.9Unity版本Unity20184硬件平台搭建硬件平台实物如图5所示，主要包括外壳（4 块可独立显示的ATI独立显卡、4 K高清传输线、4 个显示器、1 台计算机主机等）、4 块全息反射膜、Kinect体感互动设备等，硬件平台整体造价约为2万元，可在2 0 0 平米左右的教学场所中使用，同时该硬件平台可根据具体实践课程内容做出调整,经济性、实用性和通用性较强。硬件平台搭建的关键技术是实现4 块ATI独立显卡可分别输出一路全息显示画面至显示器，需要设置高清分屏显示，必须装有ATI独立显卡，将4 台显示器同时接入ATI显卡的4 个输出接口，开机进入系统后，打开ATI控制面板，使用ATIEyefinity技术开机，设置对应的分辨率，确定各显示器相对位置方可实现全息投全息反射膜图5硬件平台实物图:98Kinect外壳蔡宝：全息投影和体感交互在实践教学中的应用影效果。实际教学过程中，首先进行VR教学模块，学生通过全息投影系统学习水泵的装配与拆卸基本知识，然后进入实践基地进行手动操作的实践学习，虚实融合的教学模式能有效提升学习效率和学习兴趣。经过一整学年的VR教学技术尝试，学生学习效果有了明显改善，如表3所示的学生成绩统计表,未使用VR技术的传统教学学生在优秀率、及格率和平均分上都低于使用VR技术的新式教学，证明学生学习效率和学习兴趣有了一定增强。5总结全息投影和体感互动是VR中的典型技术代表，此外诸如VR头盔、眼镜和穿戴设备也是常用的硬件设备，可根据不同的使用环境进行选择或者组合使用，能够达到不同的使用需求1 0。文章提出的一种基于虚拟现实的全息投影和体感交互实现方法可有效提升实际教学效果，虚拟现实与实践教学的融合技术手段较多，下一步继续探索虚拟现实与实践课程关键步骤的深度融合技术。参考文献：1张玉泽，管晓宁，丁倩，等。基于Unity3D仿真技术的转杯纺纱虚拟仿真实验建设与教学应用 实验技术与管理，2 0 2 1(3):158-162.2唐文献,武锋锋,武甜。基于数字李生的航空整体加强框装配定位系统的研究J。制造技术与机床,2 0 2 2(9)：7 7-8 1.3周光珍,蒋小昌,赵荣，等。激光全息投影三维图像重构技术。自动化与仪器仪表,2 0 1 9(4)：1 38-1 4 1.4王志华，曹广胜，张立刚。教育信息化视角下的虚拟仿真实验资源建设.实验科学与技术，2 0 1 7(4)：1 52-1 55.5王思杰,姜忠鼎。基于虚拟现实直播的多人网络教学系统J计算机应用与软件,2 0 2 2(1 0)：1 32-1 4 0.6蔡宝，徐立晨，谈忠强，等。减速器热分析虚拟仿真软件开发 吉林大学学报（信息科学版）,2 0 2 2(5)：8 1 2-8 1 8.7金鑫.全息投影技术与情景模拟教学融合教学模式在护理学实践教学的应用探讨.中国现代教育装备,2 0 2 2(1):2 6-28.8钱伟，陈丽娟。基于激光测距仪与物联网的智能家居体感交互研究。激光杂志，2 0 2 0(1 2)：1 1 0-1 1 3.9孔翠婷，潘沪生,张烈。具身认知视角下的博物馆体感交互设计研究 装饰,2 0 2 0(3)：9 0-9 3.10朱永宁，楼泽如，吴天翔，等。虚实融合的探究式实验系统研究J.系统仿真学报，2 0 2 2(3):1-1 2.第1 期表3学生成绩统计表类别优秀率/%未使用VR25使用VR43及格率/%9097平均分8087Application of Holographic Projection and Body-Sensing Interaction inPractical TeachingCAI Bao(Shanghai Polytechnic University,Shanghai 201209)Abstract:The traditional practical courses in colleges and universities are affected by factors such asteaching equipment and teaching site,and the teaching effect is difficult to control comprehensively.Combining holographic projection and somatosensory interaction technology,virtual reality was introducedinto practical teaching.Taking water pump as an example,a virtual water pump teaching system based onholographic projection was built,and Kinect somatosensory interaction device was embedded to realize thevirtual teaching scene switching function of gesture interaction.Practice has proved that the system canpartially solve the problem of low learning efficiency caused by the limited space in the process ofpractical teaching.Key Words:practical teaching;virtual reality;holographic projection;somatosensory interaction（责任编辑：刘阳雄）99