听觉刺激对虚拟环境中空间压缩的影响_胡晓斐.pdf
《听觉刺激对虚拟环境中空间压缩的影响_胡晓斐.pdf》由会员分享,可在线阅读,更多相关《听觉刺激对虚拟环境中空间压缩的影响_胡晓斐.pdf(8页珍藏版)》请在咨信网上搜索。
1、 心理学报 2023,Vol.55,No.1,1-8 2023中国心理学会 Acta Psychologica Sinica https:/doi.org/10.3724/SP.J.1041.2023.00001 收稿日期:2022-04-15*国家自然科学基金面上项目(32071065);国家自然科学基金重大项目(T2192931);载人航天工程航天医学实验领域项目(HYZHXM03001);中央高校基本科研业务费重点项目(GK202002010)。通信作者:宋晓蕾,E-mail: 1 工程心理学专栏(Section of Engineering Psychology)听觉刺激对虚拟环境中空
2、间压缩的影响*胡晓斐 汪嘉维 刘涵宇 宋晓蕾(陕西师范大学心理学院;陕西省行为与认知神经科学重点实验室,西安 710062)摘 要 人们往往会低估虚拟环境中空间的距离(空间压缩)。早期研究发现视听刺激的不一致会改善空间压缩,但听觉刺激在其中的作用及其影响效果需进一步研究。本研究首先探究了听觉刺激的有无对空间压缩的影响,接着操控视听刺激之间的物物距离进一步探究其对空间压缩的影响和改善。研究发现听觉刺激以两种方式影响空间压缩:听觉刺激的存在可以改善空间压缩;空间压缩与视听刺激的物物距离负相关。研究建议为了改善空间压缩,视听刺激应当同时呈现且物物距离至少为 1 m。关键词 虚拟现实,空间压缩,视听刺
3、激,物我距离,物物距离 分类号 B842 1 背景介绍 虚拟现实(Virtual Reality,VR)作为一项新兴技术,在科研、制造、军事、技能培训等诸多领域均有着越来越广泛的应用。例如,消防员可以在虚拟火灾场景中进行多次训练,从而起到降低成本和避免实操伴随的潜在危险的作用(Saghafian et al.,2020);在心理学领域,可以通过VR制作各种刺激和任务场景,提高心理学实验的生态有效性和可重复性(Pan&Hamilton,2018)。然而,VR的普及仍然面临着严峻的挑战,如通信延迟、渲染质量不高及空间压缩等。虽然随着5G网络和3D引擎技术的发展,硬件和软件相关的挑战逐渐得到解决,但
4、由于用户自身所产生的挑战(如空间压缩)仍然没有得到足够的重视。距离知觉就是由于用户自身所产生的挑战之一。它代表着受试者感知两个位置的空间距离的能力,可以分为两种类型:当受试者自己被视为一个位置时,自己与另外位置的距离被称为物我距离;当两个位置均在受试者的外部时,两个位置的距离被称为物物距离。早在20世纪,心理学家们就发现了VR中的空间压缩,即人们经常低估虚拟环境中的空间距离(Henry&Furness,1993;Interrante et al.,2008;Naceri et al.,2009;Renner et al.,2013)。这种现象对虚拟环境中的物我距离感知和物物距离感知都是成立的,
5、因此极大的阻碍了VR的应用,特别是需要精细操作的场景(Li et al.,2011)。虚拟和现实环境之间明显的感知差异破坏了用户的沉浸式体验,降低了他们的接受度。因此,改善空间压缩以提高保真度并最终促进VR的广泛应用是至关重要的。研究者们已经报道了几种改善空间压缩的方法。例如,Kelly等人(2014)发现,在盲走实验中,与没有视觉反馈的条件相比,当视觉反馈存在时受试者对于距离的判断能力得到了极大的改善。然而,这种改善的效果是边际递减的。视觉目标的存在只对前五次试验的距离判断有明显的改善,而在接下来的试验中,改善程度就会下降。Interrante等人(2006)发现,当受试者处于一个与现实环境
6、相似的虚拟环境中时,空间压缩在很大程度上被削弱了。2 心 理 学 报 第55卷 然而,这样的改善会失去VR的最大优势,即创造一个在现实环境中很少经历的虚拟环境。此外,空间压缩是一种多模态现象,可以发生在听觉和视觉刺激上(Rbillat et al.,2012)。Huang等人(2021)使用音频混响来改善受试者的空间压缩。Finnegan等人(2016)发现,当虚拟环境中的听觉和视觉信息在空间上不一致时,受试者的距离判断可以更准确。这里的不一致意味着听觉和视觉刺激之间的物物距离不为零。虽然他们没有进一步研究不一致程度对于空间压缩的改善效果,但听觉和视觉刺激的结合是有潜力起到改善作用的。当人们从
7、两种或更多的模态中接受信息时,他们会整合所有模态的信息,然后得到一个最终的感知判断(Alais&Burr,2004;Ernst&Banks,2002;Finnegan et al.,2016)。以听觉和视觉模态下的距离感知为例,受试者的最终判断将是听觉和视觉刺激引起的距离感知的加权总和。如果在虚拟环境中,听觉刺激比视觉刺激相对于受试者呈现得更远(即听觉刺激的物我距离更大),那么对于视觉刺激的空间压缩会由于听觉刺激的存在而得到改善。然而,这样的多模态整合理论仅适用于对一个物体的感知。研究表明,听觉和视觉刺激需要保持在一定范围内才能被感知为一个物体,即所谓的腹语效应(Bruns,2019)。因此,
8、在使用不一致的视听刺激来改善空间压缩时,应当考虑听觉和视觉刺激之间的物物距离。此外,受试者和视觉刺激之间的物我距离也很重要。Finnegan等人(2016)强调,当视觉刺激与受试者的物我距离很小时(在他们的研究中为3 m),不一致的视听刺激并不能改善空间压缩。他们认为改善的失败是由于受试者会在物我距离较小时高估距离而不是低估距离。虽然研究者们都同意人们会高估离自己近,低估离自己远的刺激的距离,但是对于发生高估和低估现象的转折点的距离并没有统一的答案(在不同的研究中分别为1 m、1.9 m或3.23 m)(Anderson&Zahorik,2014;Armbrster et al.,2008;F
9、innegan et al.,2016;Zahorik et al.,2005)。尽管如此,受试者和视觉刺激之间的物我距离足够大时,就可以很稳定地引起空间压缩。以往对于虚拟现实中空间压缩的研究一般采用四种方法:口头报告法,感知引导行为,想象行为和感知匹配法(Klein et al.,2009;Maruhn et al.,2019;Rbillat et al.,2012)。在口头报告法中,受试者需要以米或英尺等距离计量单位口头回答自己感知到的距离,但是该方法易受到受试者早期生活经验中对于距离计量单位认知的影响。在感知引导行为法中,受试者需要通过盲走或三角盲走等动作,将自己所走过的实际距离作为自己
10、对最初看到的目标距离的回答,但是该方法对于实验场地的要求较高。在想象行为法中,受试者需要在大脑中想象自己的行走,通过将想象行走的时间与受试者的行走速度相乘,得到其对于当前目标的距离判断,但是该方法会受到受试者对于时间长度认知的影响。在感知匹配法中,受试者可利用心理物理学中的调整法,不断调节刺激的位置使其与之前出现的目标刺激距离一致,抑或是心理物理学中的固定刺激法,多次进行二选一的强制回答任务,得到最终的距离判断(Ellis&Menges,1998;Wu et al.,2004)。感知匹配法利用认知心理学领域中的心理物理学方法,避免了以上三种方式的缺点,通过测量受试者的主观相等点,得到最终的距离
11、判断结果。尽管如此,以往研究所采用的调整法和固定刺激法仍有缺点。调整法易受到受试者适应效果的影响,对于绝对阈值的测量并不准确;固定刺激法则极其花费时间,同时对于刺激相关参数的选择要求极高。鉴于此,本研究采用心理物理学适应法中的阶梯法,通过受试者对上一个试次中距离判断任务的二选一强制性回答,实时调整下一试次中视觉刺激的相关参数(本研究中为调整视觉刺激的物我距离),从而在减少实验时间的同时,有效地测量每位受试者的主观距离判断。在本研究中,我们进行了两个实验来研究听觉刺激对VR中空间压缩的影响和改善。尽管与一致的视听刺激相比,不一致的视听刺激可以改善空间压缩,但是我们不清楚一致的视听刺激是否会比纯视
12、觉刺激表现得更好(Finnegan et al.,2016)。因此,在实验1中,我们操控了听觉刺激是否存在。此外,我们还改变了视觉刺激的物我距离(3 m、4 m、5 m)。其中,最小的距离(3 m)超过了先前研究所报道的大部分转折点的距离,确保了空间压缩在本研究实验 过 程 中 的 出 现(Anderson&Zahorik,2014;Armbrster et al.,2008;Finnegan et al.,2016;Zahorik et al.,2005)。此外,以往研究大都测量了物我距离为5 m时的空间压缩现象(Armbrster et al.,2008;Buck et al.,2021;
13、Finnegan et al.,2016;Rbillat et al.,2012)。为了与以往研究的结果相对比,我们也设置了物我距离为4 m和5 m时的实验条件。然后,在实验2中,我们操控了视听条件的第1期 胡晓斐 等:听觉刺激对虚拟环境中空间压缩的影响 3 不一致程度,即听觉和视觉刺激的物物距离(0.5 m、1 m、1.5 m、2 m)。虽然Gorzel等人(2012)发现腹语效应的可接受的物物距离会随着视觉刺激的物我距离的增加而增加,但3 m和5 m之间的微小差异应该不会对可接受的物物距离产生任何影响。2 实验1:听觉刺激存在与否对空间压缩的影响 2.1 目的 早前研究发现,与一致的视听刺
14、激相比,不一致的视听刺激可以改善空间压缩,但一致的视听刺激是否优于纯视觉刺激还不得而知(Finnegan et al.,2016)。因此,我们在这个实验中操控了听觉刺激的存在与否来考察其对空间压缩的影响。2.2 被试 30名大学生(13名男性和17名女性,1726岁,平均年龄=20.3岁)被招募参加实验1和实验2。实验1和实验2在同一天完成。为了避免练习效应,对于每个受试者来说,实验1和实验2的全部条件均随机呈现。每位受试者都有正常或矫正后的正常视力,并且不具有脑部或精神疾病的历史,我们也征得了每位受试者的书面同意。本研究的实验方案得到了陕西师范大学伦理委员会的批准。2.3 实验设备与刺激材料
15、 我们使用HTC Vive Pro来渲染虚拟环境,内置的耳机被用来呈现听觉刺激,一个键盘放在手边,以接收受试者的反应。VR场景是用虚幻引擎(4.25版)制作的。我们使用了引擎的内部材料:地面是白色,环境完全开放;自然阳光被用来作为环境光,从受试者的背后照射;视觉刺激是由非反射材料组成。视觉刺激是两个1 m 1 m的方块,其中心距地面1.5 m。受试者的眼睛与视觉刺激保持水平,以避免视觉水平线对距离感知的影响(Rand et al.,2011)。参考刺激是一个绿色方块,有三种物我距离:3 m、4 m和5 m;调整刺激是一个蓝色方块,其初始的物我距离为比参考刺激的物我距离小0.5 m。Armbrs
16、ter等人(2008)在他们的实验里发现,当物我距离为4 m时,23名受试者的平均主观距离为3.2 0.3 m左右。为了使得实验中每一个试次中的视觉刺激的物我距离都在最终结果附近变化,对于4 m物我距离的实验来说,我们设置调整刺激的初始物我距离为3.5 m(即比参考刺激小0.5 m)。由于我们有三种物我距离的条件(3 m、4 m、5 m),我们将比参考刺激小0.5 m作为每一个物我距离的初始设置。实验中所使用的噪音为粉红噪音(粉红噪音的频率能量分布主要在中低频段,更容易被人耳所接受,因此常用于声学测试),噪音声源选取了音量大小全程无变化的声音,强度为60 dB,时长为5秒。2.4 实验程序 在
17、实验1中,听觉刺激有两种条件,分为存在或不存在。受试者首先需要进行一个练习实验,以了解实验说明并熟悉HTC Vive Pro的操作。练习实验包括10次试验,受试者应通过按“A”(代表蓝色方块)或“D”(代表绿色方块)来回答哪个方块(绿色或蓝色)离他们更近。练习结束后,受试者被要求进行距离判断任务。由于视觉反馈可以改善空间压缩,从而污染听觉刺激的效果,因此参考视觉刺激在一个实验中仅呈现一次(Kelly et al.,2014)。每种条件的实验的第一次试验开始时有5秒的参考期间,在此期间呈现参考视觉刺激(绿色方块);如果当前实验包括听觉刺激,则会有5秒的粉红噪声与参考视觉刺激同时呈现。接着,参考视
18、觉刺激和听觉刺激(如果存在的话)同时消失。0.5秒后,调整视觉刺激(蓝色方块)会被呈现。受试者需要判断在调整期间,蓝色方块是否比最初呈现的绿色方块离自己更近。当受试者认为蓝色方块更近时,应该按下“A”,否则按下“D”。受试者一旦作出反应,蓝色方块就会消失0.5秒,下一次试验开始,并呈现出一个新的蓝色方块。如果受试者在前一次试验中认为蓝色方块更近,则当前试验新呈现蓝色方块的物我距离将向近手侧移动5 cm,反之向远手侧移动5 cm。连续进行30次试验后,当前实验结束。最后一次试验中蓝色方块的物我距离,将作为受试者对初始绿色方块的最终距离判断。受试者应当在没有速度要求的前提下,尽可能准确地回答距离判
19、断任务。对于每个实验,参考刺激的物我距离(3 m、4 m和5 m)是固定的。此外,在实验1中,听觉刺激的存在或不存在在一个实验中也是固定的,因此实验1总共有6个实验。2.5 结果 我们对空间压缩率进行了32的重复测量方差分析。为了使得空间压缩率为正值以美化图示,我们在参考Armbrster等人(2008)的研究的基础上,将空间压缩率定义为实际的物我距离减去受试者感知的物我距离,然后除以实际的物我距离。被试内因素包括参考刺激的物我距离(3 m、4 m和5 m)4 心 理 学 报 第55卷 和听觉刺激的存在(视听条件和纯视觉条件)。空间压缩率的结果如图1所示,其中横坐标代表参考刺激的物我距离,纵坐
20、标代表空间压缩率,不同的颜色分别代表视听条件和纯视觉条件。我们发现,视听条件下的空间压缩率要小于纯视觉条件下的压缩率,F(1,29)=4.05,p=0.054,p2=0.12。然而,参考刺激的物我距离的主效应和两个被试内因素之间的交互作用并不显著(ps 0.05)。其描述性统计由表1所示。图1 实验1空间压缩率的结果。横轴代表参考刺激的物我距离;纵轴代表空间压缩率。深色条和灰色条分别表示视听和纯视觉条件。可达到显著水平的事后统计结果呈现在相应的位置。黑色的误差线代表30名受试者的平均值的标准误差。注:*p 0.001;*p 0.01;*p 0.05;+p 0.1。表1 实验1空间压缩率的描述性
21、统计(M SE)听觉刺激的存在 实际距离 3 m 4 m 5 m 纯视觉条件 7.22%1.21%7.00%0.80%6.20%0.79%视听条件 6.44%0.98%5.17%1.04%4.60%0.60%视听纯视觉 t=0.51,t=1.59,t=1.85,*注:*表示p 0.05 然后,我们对在不同的参考刺激的物我距离下的视听条件和纯视觉条件的空间压缩率进行了配对的单侧t检验,自由度为29,其结果如表1所示。我们发现,在物我距离为4 m(差别=1.83%,p=0.062)和5 m(差别=1.60%,p=0.037)时,视听条件的空间压缩率小于纯视觉条件,但物我距离为3 m时则不然(p=0
22、.307)。受试者在视听条件下能比纯视觉条件下做出更准确的距离判断,尤其是对于更远的视觉刺激(物我距离为4 m或5 m时),这种效果就更加明显,可分别达到显著的1.83%和1.60%的效果提升。早期研究已经报道了听觉刺激可以用来扩展受试者对于立体图像的深度感知(Turner et al.,2011)。因此,听觉刺激本身可以改善视觉刺激的空间压缩。在下一个实验中,我们将控制听觉和视觉刺激之间的物物距离,以研究视听条件的不一致程度对于空间压缩的影响。3 实验2:听觉和视觉刺激之间的物物距离对空间压缩的影响 3.1 目的 我们发现听觉刺激本身可以改善空间压缩。此外,早期研究表明,不一致的视听刺激可以
23、进一步改善空间压缩(Finnegan et al.,2016)。因此,在本实验中,我们控制了听觉和视觉刺激之间的物物距离,以研究视听条件的不一致程度对空间压缩的影响。3.2 被试、实验设备与材料 被试、视觉和听觉材料均与实验1相同。3.3 实验流程 实验2与实验1的实验流程相同。在实验2中,听觉刺激一直存在,且其与视觉刺激之间的物物距离是4种条件:0.5 m、1 m、1.5 m和2 m。实验2总共有12个实验。3.4 结果 与实验1类似,我们对空间压缩率进行了35的重复测量方差分析。由于实验1和实验2招募了相同的受试者,实验1中视听条件的结果,即物物距离为0 m,也被包含在当前的分析中。被试内
24、因素包括参考刺激的物我距离(3 m、4 m和5 m)以及听觉和视觉刺激物之间的物物距离(0 m、0.5 m、1 m、1.5 m和2 m)。本实验发现,听觉和视觉刺激之间的物物距离的主效应是显著的,F(4,116)=8.29,p 0.05)。其描述性统计由表2所示。表2 实验2空间压缩率的描述性统计(MSE)物物距离(m)实际距离 3 m 4 m 5 m 0 6.44%0.98%5.17%1.04%4.60%0.60%0.5 4.44%1.43%4.33%0.71%3.67%0.67%1 3.44%1.06%3.25%1.01%2.47%0.73%1.5 2.00%1.95%2.25%1.73%
25、1.13%0.99%2 0.78%1.23%0.58%0.80%0.67%0.63%第1期 胡晓斐 等:听觉刺激对虚拟环境中空间压缩的影响 5 表3 实验2空间压缩率的事后检验结果 物物距离(m)Z值 p值 0.5 0 1.38 0.648 1 0 2.56+0.078 1.5 0 3.93*0.001 2 0 5.15*0.001 1 0.5 1.19 0.756 1.5 0.5 2.58+0.077 2 0.5 3.80*0.002 1.5 1 1.37 0.645 2 1 2.59+0.072 2 1.5 1.22 0.740 图2 实验2空间压缩率的结果。横轴代表视听刺激的物物距离;纵
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 听觉 刺激 虚拟 环境 空间 压缩 影响 胡晓斐
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。