VR技术在移动学习中的应用现状.ppt

汇报人：嘉炬VR技术在移动学习中的应技术在移动学习中的应用现状用现状l虚拟现实（Virtual Reality）是利用电脑模拟产生一个三维空间的虚拟世界，给使用者提供关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三维空间内的事物。l移动学习是基于一定的无线通信网络设备及技术，依托移动客户端在任何时间、任何地点开展的一种学习方式。一、一、虚拟现实虚拟现实（VR）与与移动移动学习学习简介简介移动学习发展对如今教学与学习模式的变革提供了可能，同时，也对教学的理论与技术等方面提出了挑战。就目前而言，对于移动学习的探索我们更多的还是仅停留在理论上的构想与简单的实践操作。受如今技术等因素的限制，移动学习在通信网络带宽、移动学习资源开发等方面都存在着很大的不足。人们在体验移动学习所带来的方便快捷的同时，其学习中交互性的缺失等问题也暴漏无疑。利用虚拟现实技术能够弥补移动学习中的交互性的缺失！二、二、移动移动学习发展现状学习发展现状4G网络通讯时代的到来以及虚拟现实技术与网络技术的日益结合，都为虚拟化移动学习模式的成型提供了可能性。在现有的移动学习网络中我们尝试引入虚拟现实相关技术，从而形成了一种基于移动虚拟现实场景进行学习的模式。三、三、基于基于虚拟现实的移动学习模虚拟现实的移动学习模式式l整个移动学习过程都是在虚拟现实网络环境的基础上，各个移动学习端或固定端通过无线通信网络实现数据传输,从而实现移动式虚拟现实交互。l在此学习模式下，每个学习者利用移动学习设备，通过虚拟现实端口与虚拟网络进行连接，在虚拟网络中，各个学习者通过角色定位确定学习形式（自主化学习、协作化学习等），创设学习场景，然后把这种虚拟交互场景数据经过压缩后通过无线通信网络传送到移动学习端。l学习者在移动学习端就可以下载虚拟场景，利用一定的交互工具（如头盔式三维立体显示器）完成与其它学习者的交互，这种交互包括视觉、听觉、触觉等多种形式。l各个移动学习端、固定端以及移动资源之间都可以相互交换数据从而实现虚拟现实之外的交流与合作。移动资源移动学习端虚拟现实网络（角色定位）固定学习端无线通信网络移动管理系统自主化学习协作学习基于虚拟现实网络的移动学习模式图基于虚拟现实网络的移动学习模式图l(1)移动学习端(或固定学习端)是移动学习模型的终端，其物理载体可以是移动手机、PAD、笔记本或者其他移动设备。在一定的网络通信支持下，学习者利用移动设备随时随地通过虚拟网络接口进入到虚拟学习教室，通过虚拟网络的角色定位来虚拟完成各种形式的学习。l(2)移动资源是为实现移动学习而专门设计开发的一种学习资源。由于移动学习具有移动性、分散性等特点，其学习资源也势必将具有零碎性等特点。另外，虚拟现实技术的引入，也要求去开发一种适用于虚拟现实教学的3D移动学习资源。同时，由于手机等移动端设备不同，其资源的兼容性等方面也要做相应的考虑。三、三、基于虚拟现实的移动学习模基于虚拟现实的移动学习模式式l(3)虚拟现实网络是虚拟现实技术与网络技术相互结合而产生的，它是整个虚拟移动学习的中心和平台，所有的移动学习过程都是基于虚拟现实网络完成的。相对于移动终端的移动性，虚拟现实网络相对固定。虚拟现实网络中主要有大量的虚拟学习资源及场景构成，同时具有实时三维虚拟场景的渲染等数据处理系统。虚拟现实网络主要提供虚拟学习的教学，同时与各个移动学习终端以及固定端实现数据交换及处理，从而实现各个学习者之间的交互。l(4)移动学习管理系统主要来实现整个移动学习网络的数据管理、知识管理等功能。如今面向对象数据库等技术的提出也为基于虚拟现实的移动学习提供了技术上的可能。基于虚拟现实技术的移动学习模式具有共享的虚拟工作空间、伪真实的行为真实感、实时交互等特征，其工作模式能够体现分布式虚拟现实技术(DVR)与移动学习的优点。三、三、基于虚拟现实的移动学习模基于虚拟现实的移动学习模式式l尽管虚拟化移动学习模式大大改善了移动学习中缺乏交互的问题，但因技术条件的制约，还需要相关科学工作者做大量的工作。l首先，在理论上，由于移动学习是当今教育发展的一个新热点从出现至今不过短短数年，没有形成相对完整的移动学习理论体系，而移动学习在其学习方式上也会对传统教学中教师地位提出了巨大的挑战，当今教师需要随着时代变迁，适时的转变自己的教学观念，摸索出一条适用于移动学习的教学理论。四、四、实现实现虚拟化移动学习的关键技术虚拟化移动学习的关键技术及存在的问题及存在的问题l其次，在实践领域，移动学习还处于起步阶段，尤其是我国对移动学习的尝试还比较匮乏。除了解决无线数据通信、终端软件开发等移动学习常见问题外，还必须解决虚拟现实技术与无线通信技术的融合问题，以及在虚拟现实系统中涉及到的关键技术，包括动态环境建模技术、实时三维图形生成技术、立体显示技术和多功能交互技术等，而移动虚拟学习资源以及虚拟数据压缩及移动端设备格式兼容等问题都将是必须解决的难题。四、四、实现实现虚拟化移动学习的关键技术虚拟化移动学习的关键技术及存在的问题及存在的问题2016年CES（International Consumer Electronics Show）官方提供的数据显示，相比去年，今年的游戏和虚拟现实展区总面积扩大了77%。虚拟现实被很多业内人士认为是下一个时代的交互方式。目前，VR交互仍在探索和研究中，与各种高科技的结合，将会使VR交互产生无限可能。VR不会存在一种通用的交互手段，它的交互要比平面图形交互拥有更加丰富的形式。五、虚拟五、虚拟现实的九种交互方式及现实的九种交互方式及现状现状用用“眼球追踪眼球追踪”实现交互实现交互l眼球追踪技术被大部分VR从业者认为将成为解决虚拟现实头盔眩晕问题的一个重要技术突破。Oculus创始人帕尔默拉奇曾称眼球追踪技术为“VR的心脏”，因为它对于人眼位置的检测，能够为当前所处视角提供最佳的3D效果，使VR头显呈现出的图像更自然，延迟更小，这都能大大增加可玩性。同时，由于眼球追踪技术可以获知人眼的真实注视点，从而得到虚拟物体上视点位置的景深。但是，尽管众多公司都在研究眼球追踪技术，但仍然没有一家的解决方案令人满意。l就目前来说，眼球追踪技术虽然在VR上有一些限制，但可行性还是比较高的，比如外接电源、将VR的结构设计做的更大等。但更大的挑战在与通过调整图像来适应眼球的移动，这些图像调整的算法目前来说都是空白的。用用“动作捕捉动作捕捉”实现交互实现交互l动作捕捉系统是能让用户获得完全的沉浸感，真正“进入”虚拟世界。专门针对VR的动捕系统，目前市面上不多。市面上的动作捕捉设备只会在特定超重度的场景中使用，因为其有固有的易用性门槛，需要用户花费比较长的时间穿戴和校准才能够使用。相比之下，Kinect这样的光学设备在某些对于精度要求不高的场景可能也会被应用。全身动捕在很多场合并不是必须的，而它交互设计的一大痛点是没有反馈，用户很难感觉到自己的操作是有效的。用用“肌电模拟肌电模拟”实现交互实现交互l利用肌肉电刺激来模拟真实感觉需要克服的问题有很多，因为神经通道是一个精巧而复杂的结构，从外部皮肤刺激是不太可能的。目前的生物技术水平无法利用肌肉电刺激来高度模拟实际感觉。即使采用这种方式，能实现的也是比较粗糙的感觉，这种感觉对于追求沉浸感的VR也没有太多用处。l有一个VR拳击设备Impacto用肌电模拟实现交互。具体来说，Impacto设备一部分是震动马达，能产生震动感，这个在游戏手柄中可以体验到；另外一部分，是肌肉电刺激系统，通过电流刺激肌肉收缩运动。两者的结合，让人误以为自己击中了游戏中的对手，因为这个设备会在恰当的时候产生类似真正拳击的“冲击感”。用用“触觉反馈触觉反馈”实现交互实现交互l触觉反馈主要是按钮和震动反馈，大多通过虚拟现实手柄实现，这样高度特化/简化的交互设备的优势显然是能够非常自如地在诸如游戏等应用中使用，但是它无法适应更加广泛的应用场景。目前三大VR头显厂商Oculus、索尼、HTC Valve都不约而同的采用了虚拟现实手柄作为标准的交互模式：两手分立、6个自由度空间跟踪，带按钮和震动反馈的手柄。这样的设备显然是用来进行一些高度特化的游戏类应用的，这也可以视作一种商业策略，因为其早期消费者应该基本是游戏玩家。用用“语音语音”实现交互实现交互l一般而言，VR用户不会理会视觉中心的指示文字，而是环顾四周不断发现和探索。由于一些图形上的指示会干扰到他们在VR中的沉浸感，所以最好的方法就是使用语音，这样就和正在观察的周围世界互不干扰。这时如果用户和VR世界进行语音交互，会更加自然，而且它是无处不在无时不有的，用户不需要移动头部和寻找它们，在任何方位任何角落都能和他们交流。用用“方向追踪方向追踪”实现交互实现交互l方向追踪可用来控制用户在VR中的前进方向。不过，如果用方向追踪可能很多情况下都会空间受限，追踪调整方向的话很可能会有转不过去的情况。交互设计师给出了解决方案用户按下鼠标右键则可以让方向回到原始的正视方向或者叫做重置当前凝视的方向，或者可以通过摇杆调整方向，或按下按钮回到初始位置。但问题还是存在的，有可能用户玩得很累，削弱了舒适性。用用“真实场地真实场地”实现交互实现交互l超重度交互的虚拟现实主题公园The Void采用了这种途径，就是造出一个与虚拟世界的墙壁、阻挡和边界等完全一致的可自由移动的真实场地，这种真实场地通过仔细的规划关卡和场景设计就能够给用户带来种种外设所不能带来的良好体验。把虚拟世界构建在物理世界之上，让使用者能够感觉到周围的物体并使用真实的道具，比如手提灯、剑、枪等，中国媒体称之为“地表最强娱乐设施”。这种的缺点是规模及投入较大，且只能适用于特定的虚拟场景，在场景应用的广泛性上受限。用用“手势跟踪手势跟踪”实现交互实现交互l光学跟踪的优势在于使用门槛低，场景灵活，用户不需要在手上穿脱设备。目前，手势追踪有两种方式，各有优劣。一种是光学跟踪，第二种是数据手套。l光学跟踪未来在一体化移动VR头显上直接集成光学手部跟踪用作移动场景的交互方式是一件很可行的事情。但是其缺点在于视场受局限，需要用户付出脑力和体力才能实现的交互是不会成功的，使用手势跟踪会比较累而且不直观，没有反馈。l数据手套的优势在于没有视场限制，而且完全可以在设备上集成反馈机制（比如震动，按钮和触摸）。它的缺陷在于使用门槛较高：用户需要穿脱设备，而且作为一个外设其使用场景还是受局限。用用“传感器传感器”实现交互实现交互l传感器能够帮助人们与多维的VR信息环境进行自然地交互。比如，人们进入虚拟世界不仅仅是想坐在那里，他们也希望能够在虚拟世界中到处走走看看，但目前这些基本上是设备上的各种传感器产生的，比如智能感应环、温度传感器、光敏传感器、压力传感器、视觉传感器等，能够通过脉冲电流让皮肤产生相应的感觉，或是把游戏中触觉、嗅觉等各种感知传送到大脑。目前已有的应用传感器的设备体验度都不高，在技术上还需要做出很多突破。比如万向跑步机，目前体验并不好，这样的跑步机实际上并不能够提供接近于真实移动的感觉。还比如StompzVR，使用脚上的惯性传感器使用原地走代替前进。还有全身VR套装Teslasuit，可以切身感觉到虚拟现实环境的变化。六、主流六、主流VR设备设备lHTC VivelFacebook Oculus RiftlSony PlayStation VRlSamsung Gear VRlGoogle CardboardHTC ViveFacebook Oculus RiftSony PlayStation VRSamsung Gear VRGoogle Cardboard平台PCPCPS4Galaxy smartphonesmartphone软件环境Windows 系统Windows 系统PS4Android Android/IOS有线or无线有线有线有线无线无线价钱$950$950$350$575$125主流主流VR设备设备的比的比较较设设备备参数参数l基于虚拟现实的移动学习模式是分布式虚拟现实技术与移动学习技术结合产生的一种新型学习模式，这种模式系统由移动学习端、固定学习端、移动学习资源、虚拟现实网络、无线通信网络以及移动学习管理系统等组成。在虚拟现实网络环境中，各个移动学习端或固定端通过无线通信网络实现数据传输，从而实现移动式虚拟现实交互。l基于虚拟现实技术的移动学习模式具有虚拟性、交互性、移动性等优点，具有强大的发展价值，尽管当今还有许多问题存在，但这种分布式虚拟现实技术与移动学习在教育领域的结合势必将是未来教育的一种发展趋势，具有远大的发展前景。七、总结七、总结 谢谢！