飞行学员视觉感知状态检测算法研究.pdf
《飞行学员视觉感知状态检测算法研究.pdf》由会员分享,可在线阅读,更多相关《飞行学员视觉感知状态检测算法研究.pdf(11页珍藏版)》请在咨信网上搜索。
1、D O I:/j j x a t u e d u c n h t t p:/x b x a t u e d u c n飞行学员视觉感知状态检测算法研究高丽娜,王长元(西安工业大学 光电工程学院,西安 ;西安工业大学 计算机科学与工程学院,西安 )摘要:为了解决飞行学员训练中传统状态检测方法的实时性和准确性限制,文中采用基于隐式半马尔可夫模型的视觉感知状态检测方式,从视觉感知角度出发,探索了不同飞行任务下学员视觉注视的变化,并挖掘了他们在不同情境下的注视规则扫描策略.提出的模型成功将隐含状态与时间相关性相结合,实时检测飞行学员的视觉感知状态.研究结果显示,在相同任务情景下,该方法的准确率达到 ,
2、比隐马尔可夫模型提升 ,检测性能有明显提升.关键词:视觉感知;模拟训练;状态检测;隐式半马尔可夫模型中图号:V 文献标志码:A文章编号:()R e s e a r c ho nD e t e c t i o nA l g o r i t h mf o rS t u d e n tP i l o t sV i s u a lP e r c e p t i o nS t a t eG A OL i n a,WANGC h a n g y u a n(S c h o o l o fO p t o E l e c t r o n i cE n g i n e e r i n g,X ia nT e c
3、 h n o l o g i c a lU n i v e r s i t y,X ia n ,C h i n a;S c h o o l o fC o m p u t e rS c i e n c ea n dE n g i n e e r i n g,X ia nT e c h n o l o g i c a lU n i v e r s i t y,X ia n ,C h i n a)A b s t r a c t:A v i s u a lp e r c e p t i o ns t a t ed e t e c t i o na p p r o a c hb a s e do ni
4、m p l i c i ts e m i M a r k o v m o d e l i n gi sp r e s e n t e dt oa d d r e s sr e a l t i m ea n da c c u r a c yl i m i t a t i o n so ft r a d i t i o n a lm e t h o d su s e di ns t u d e n tp i l o tt r a i n i n g F r o mt h ep e r s p e c t i v eo fv i s u a lp e r c e p t i o n,t h ep a
5、 p e re x p l o r e st h ec h a n g e si ns t u d e n tp i l o t sv i s u a l g a z ew h e nt h e yp e r f o r md i f f e r e n t f l i g h tt a s k sa n dt h e i rg a z er u l es c a n n i n gs t r a t e g i e s i nd i f f e r e n tc o n t e x t s T h ep r o p o s e d m o d e ls u c c e s s f u l l
6、 yc o m b i n e st h ei m p l i c i ts t a t e w i t ht e m p o r a lc o r r e l a t i o n,a c h i e v i n gr e a l t i m ed e t e c t i o no f s t u d e n t p i l o tsv i s u a l p e r c e p t i o ns t a t e T h e r e s u l t s s h o wt h a t i n t h e s a m et a s ks c e n a r i o,t h i sm e t h o
7、 de x h i b i t s a na c c u r a c yo f ,i n c r e a s i n gb y c o m p a r e d t o t h eh i d d e nM a r k o vm o d e l,a n dt h e r e i sas i g n i f i c a n t i m p r o v e m e n t i n i t sd e t e c t i o np e r f o r m a n c e K e yw o r d s:v i s u a l p e r c e p t i o n;s i m u l a t i o nt
8、r a i n i n g;s t a t ed e t e c t i o n;h i d d e ns e m i M a r k o vm o d e l第 卷第期 年月西安工业大学学报J o u r n a l o fX ia nT e c h n o l o g i c a lU n i v e r s i t yV o l N o F e b 收稿日期:基金资助:国家自然科学基金项目().第一作者:高丽娜(),女,博士研究生,主要研究方向为光信息处理与人机环境交互技术,E m a i l:g a o l i n a s t x a t u e d u c n.通信作者:王长元(),
9、男,教授,主要研究方向为计算机视觉与人机环境交互技术,E m a i l:c y w c o m.引文格式:高丽娜,王长元飞行学员视觉感知状态检测算法研究J西安工业大学学报,():GAOL i n a,WAN GC h a n g y u a n R e s e a r c ho nD e t e c t i o nA l g o r i t h mf o rS t u d e n tP i l o t sV i s u a lP e r c e p t i o nS t a t eJ J o u r n a lo fX ia nT e c h n o l o g i c a lU n i v
10、 e r s i t y,():飞行安全是航空领域不可或缺的核心要素,直接关系到航空事业的可持续发展和人类生命的安全.其中,飞行员的视觉感知状态在飞行任务中扮演着至关重要的角色,他们的技能和决策直接影响着飞行的安全性.传统的方法如心理问卷和生理指标虽然有一定作用,但在实时性、准确性和个性化方面存在局限性.随着计算机视觉、人工智能和数据分析等领域的发展,研究飞行员视觉感知状态检测算法已成为提升飞行安全和训练效果的迫切需求.飞行员视觉感知状态检测算法研究的背景和意义在于提升飞行安全性、优化培训策略、实现个性化警示系统,以及推动航空心理学和创新技术的应用,为航空领域的发展和进步提供关键支持.因此,这
11、一研究的必要性不言而喻,对飞行安全和航空事业的未来具有深远影响.近些年军事和商业航空技术、自动化和精密传感技术 在不断发展,人类信息处 理也发生 了变化.例如,飞行员处理驾驶舱外的视觉信息不像早期航空那样多,而是必须从驾驶舱内的更多仪器提取信息,并将其整合成一个连贯的流程来管理飞行,人类对视觉数据的处理仍然是航空安全和有效性的关键因素之一 .许多研究表明,新手和专家的眼睛扫描模式有显著差异.专家对仪器的注视时间较 短,且 注 视 频 率 高 于 新 手.文 献 利用眼动仪和飞行模拟试验,采用专家新手研究范式发现飞行员在进近航段主要关注姿态仪、水平状态指示器和高度表,绩效优秀组表现出更高的注视灵
12、活性.文献 采用高级眼动指标来研究专业飞行员和新手在视觉信息获取、凝视模式的区别,他们认为可以使用飞行员视觉行为数据库可以监测飞行员行为.文献 将飞行特情中飞行员注意力分配与决策和飞行绩效指标进行联合研究,但未归纳总结特情中视觉注意分配模式.根据文献 ,眼动跟踪技术专注于通过诸如注视持续时间、扫视计数和瞳孔直径的度量来确定操作者的认知状态和注意力分布之间的相关性研究,目前已被广泛应用于关键安全领域,包括航空,医疗和核电.文献 结合视觉认知特征,通过眼动追踪技术,提出人因设计与评估方法,改善驾驶舱仪表设计,提高人机工效,融合多感觉信息参数,提升设计师主观认知与定量建模,为驾驶舱仪表人因设计提供科
13、学依据.文献 通过模拟实验证明,在自动驾驶过程中,驾驶员的视觉注意力明显分散.文献 指出通过在任务期间将专家的视觉扫描叠加在雷达屏幕上来提高新手在冲突检测任务中的表现.该研究还表明,视觉呈现优于“仅指令”条件.文献 研究了教学和学员在特性情形下注意力分配的相关分析,但没有进一步研究眼动与实时注意力分配的关系.文献 使用头戴式虚拟现实系统检查眼球运动行为与现实世界专业知识之间的关系,以及通过检查模拟器任务中的性能与现实世界专业知识之间的关系来评估虚拟飞行训练的保真性和有效性.文献 构建了模拟飞行过程中视觉扫描与脑力劳动的相关性,证明飞行员的表现和感知的心理负荷因专业知识和飞行条件而异,专家飞行员
14、比新手飞行员脑力劳动量较低.文献 也充分证明了飞行复杂度与凝视熵的相关性,当飞行处于低复杂度时,飞行员使用非确定性视觉模式,并在紧急情况下改变扫描行为变得更为确定性.这些研究支持视觉模式与任务表现之间的关系,并证明了通过充分培训改善这些模式的可能性,同时任务性能随着经验和相关专业知识的增加而提高.鉴于随着经验的增加视觉扫描策略也会发生改进,因此研究基于高度精确的飞行员注视状态检测的训练程序很有研究价值.在美国空军,教练员正在积极采用眼动跟踪技术,以提升飞行员对自身视觉扫描模式的认知水平.与此同时,的教练汇报称,这项技术显著增强了飞行模拟器培训的效益.此外,所有教练均一致认为,在初期培训中引入眼
15、动跟踪技术,对矫正早期视觉扫描策略上的不足具有积极作用.近期,已开始将经验丰富的空中交通管制专家的扫描路径运用为一种教学手段,以提升新手在冲突检测任务方面的表现.因此,文中提出了一种基于眼动信息的视觉扫描策略的状态检测方法,旨在提高飞行学员在训练过程中视觉感知状态的检测能力和实时性.飞行员眼动信息采集与视觉扫描数据分析 眼动信息采集利用实验室自制眼动跟踪系统来追踪用户的双眼眼动,眼动仪放置在显示器屏幕上方,通过眼动仪中红外摄像镜头在眼角膜上的反射实现检测眼睛的运动,使用深度学习算法估计用户的视线落西安工业大学学报第 卷点.这种眼动仪精度较高,采样频率 H z,且为非侵入式,不会对执行任务的被试
16、产生佩戴不适感,设备装置如图所示.图眼动仪设备F i g E y e t r a c k i n ge q u i p m e n t 数据预处理在飞行过程中,结合眼动仪进行视线跟踪测量,使用数据的准确性和精密度来评估眼动追踪设备的可靠性.精度定义为刺激的实际位置与眼动仪捕获的视线位置之间的平均误差.精度是眼动仪连续记录相同注视点的程度,例如通过连续样本的均方根测量.通过合理的配置和标定,眼动追踪设备的可靠性可以满足这些要求.因此,在实验之前为每个参与者设置和校准设备,这是一个需要m i n的过程.此外,眼动追踪设备的应用可靠性已在类似驾驶模拟中获取实时眼动追踪数据时得到验证.数据采集重点关注
17、飞行员仪表注视情况,对仪表盘区域划分为个兴趣区域(A r e a so f I n t e r e s t,AO I)区域,分别是A起落架;B空速指示器;C高度表;D姿态指引仪;E水平状态指示器;F垂直速度指示,如图所示.这种视觉监测在飞行阶段(起飞、进近阶段和着陆)中至关重要,需要将仪器上显示的数据与飞行阶段的预期值进行实时比较,驾驶舱内允许在参数偏转时及时采取纠正措施从而确保最佳安全水平.图驾驶舱仪表盘区域划分F i g C o c k p i t i n s t r u m e n tp a n e l a r e ad i v i s i o n注视浏览数据采集中,在飞行模拟器配置仪器
18、边界值,将仪器边界和仪器i d保存在配置文件中以备后用.同时将受试者的AO I眼动序列按照时间顺序组成有向链.每个注视点被分配到一个AO I中,原始眼动数据是一系列点.为了获得注视点序列,删除了所有空值和异常值,并检测了注视点.然后,通过合并连续和重复的AO I来压缩数据,得到AO I序列.探测AO I上注视点的阈值设置为 毫秒,阈值由每个AO I的非驻留时间的平均值加上一个标准差组成,如t h r e s h o l dN D TN D T.()式中:t h r e s h o l d为A O I的阈值;N D T为A O I的非驻留时间的平均值;N D T为A O I的非驻留时间的标准差.
19、视觉行为数据库(V i s u a lB e h a v i o rD a t a b a s e,V B D)包含每一个AO I在s内计算的平均非停留时间、标准差和阈值.视觉扫描数据分析飞行员视觉扫描数据分析是一种研究飞行员在飞行过程中眼睛注视行为的方法.它通过记录和分析飞行员的眼动数据,即飞行员在飞行任务中眼睛的注视位置和持续时间,以揭示他们的视觉关注点、注意力分配和视觉行为模式.这种分析有助于理解飞行员在驾驶舱内如何获取和处理信息,从而帮助改进飞行任务的执行、驾驶舱设计以及培训方法.经典的眼动测量方法,如注视持续时间、停留时间或注视次数,在比较新手与非新手时提供了相关结果.然而,这些指标
20、的统计分析往往涉及时第期高丽娜,等:飞行学员视觉感知状态检测算法研究间平均操作,忽略了信息的顺序扫描.反映注意力动态过程的丰富数据会部分丢失,或者许多其他可用于在更深入的视觉扫描策略中探索和表征未得到充分利用.因此使用广义的术语“视觉扫描”来描述这一过程.该视觉扫描由至少一次停留到一个AO I,随后是过渡,以及停留到另一个AO I组成;当视觉扫描由给定重复序列组成时,使用“视觉扫描图案”.飞行员视觉扫描数据分析是一项重要的人机界面研究方法,旨在深入了解飞行员在不同飞行阶段、任务和情境下的视觉行为.通过捕捉飞行员的眼动数据,即眼睛在驾驶舱内的注视位置和持续时间.这一分析提供了关于飞行员的注意力分
21、配、信息获取方式以及认知策略的深入洞察.确定飞行员在不同飞行阶段、任务和情境下关注的主要区域.分析飞行员的注视路径,了解他们是如何在驾驶舱内移动视线,以获取信息.计算飞行员在特定区域保持注视的时间,以了解他们对不同信息的关注程度和信息获取的难易程度.检查视觉扫描策略的方法:分析转换矩阵;环境/焦点视觉行为之间的波动的表征;导出全局模式度量,诸如熵.分类视觉扫描策略指标基于AO I的三种方法:基于马尔可夫链;基于注意模式;基于序列分析.表对不同视觉扫描指标进行比较.表视觉扫描指标T a b V i s u a l s c a n n i n gm e t r i c so f t h r e e
22、d i f f e r e n t a p p r o a c h e s基于A O I的方法视觉扫描度量公式定义优势缺点马尔可夫链转移概率矩阵(T PM)T PM ni jjni j基于X系列从一个A O l到另一驻留的转换频率突出显示A O l之间的强联系当显 示 超 过个AO I时,特别难以可视化跃迁密度矩阵(T DM)T DM Ninjci,jn非空转换单元格除以总数的比率在未 观 察 到 某 些A O l时,对参与者进行比较非常有用如果参与者考虑了所有的A O I,那么它就没有用注意力模式修正K系数Kididdai aaKnniKi环境/焦点视觉行为波动的动态指标用于检测 滑 动时间
23、窗口中 对 飞行仪表的过度关注Z分数比较需要有 停 留 的 详 尽 数据库.凝视转移熵(G T E)Htni pinj p(i,j)l o gp(i,j)描述停留转变所需的信息量比较不同 对 象的单一定量 值 视觉扫描结果相同的熵值可能与不考虑相同a o l的视觉扫描相关联序列分析L e m p e lZ i v复杂度(L Z C)L Z CwCw(n)n/l o gn通过数据压缩测量序列的重复性记录所有 遇 到的模式和它 们 的出现,与凝视转换熵相关非常相似的模式可以 被 反 驳 为 不 同的,例如序列 和 被认为是两个不同的模式常见NG r a m序列P(wnwnn N|)c(wn nN,
24、wn)c(wn nN)每组中常见序列的数量用于比较 组 间视觉扫描或 组 内视觉扫描一致性难以突出显示重要的视觉扫描模式基于H S MM模型的视觉感知状态检测 隐半马尔科夫模型隐半马 尔 科 夫 模 型(H i d d e nS e m i M a r k o vM o d e l,H S MM)是 隐 式 马 尔 科 夫 模 型(H i d d e nM a r k o vM o d e l,HMM)的衍生模型,在定义完全的HMM的结构上加入了时间组成部分,克服了因马尔科夫链的假设所造成的HMM的局限性.H S MM允许每个状态具有一个可变的时长,因此,西安工业大学学报第 卷H S MM可以
25、用以建模时间上的不确定性.H S MM与HMM最重要的区别在于HMM每个状态产生一个观测值,而H S MM每个状态产生一系列观测值.作为一种强大的统计模型,具有适应性强、能够捕捉序列数据中的时序特征等优势.因此,将隐半马尔科夫模型应用于飞行学员视觉感知状态的检测,可以为飞行培训和操作提供更加精确和实时的视觉状态监测方法.首先通过分析飞行学员在不同训练阶段的视觉感知状态变化,可以更好地了解他们的训练进展和难点,从而精准制定培训计划,提高培训效果.H S MM模型可以在实时情境下监测飞行员的视觉感知状态,如疲劳、注意力分散等,及时发现潜在的安全隐患,以便采取相应的措施.针对不同的学员,H S MM
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 飞行 学员 视觉 感知 状态 检测 算法 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。