基于LSTM-Attention的高速铁路司机警觉度预测.pdf

第45卷第11期2023年11月铁道学报JOURNALOFTHECHINARAILWAY SOCIETYVol.45No.11November2023文章编号：10 0 1-8 36 0(2 0 2 3)11-0 0 2 9-0 9基于LSTM-Attention的高速铁路司机警觉度预测潘雨帆1.2.3，史磊3-4，周宏宇，倪少权4，张骏*，郭孜政长2,3,4（1.西南交通大学信息科学与技术学院，四川成都6 117 56；2.西南交通大学综合交通运输智能化国家地方联合工程实验室，四川成都6 117 56；3.西南交通大学综合运输四川省重点实验室，四川成都6 117 56；4.西南交通大学交通运输与物流学院，四川成都6 117 56；5.江西省交通投资集团有限责任公司路网运营管理公司，江西南昌330 0 0 0）摘要：准确度量高速铁路司机的警觉度是保障保证列车安全运行的关键问题。针对该问题提出一种通过眼动、心电信号及线路参数时序特征预测高速铁路司机警觉度的方法。研究基于心理学双任务范式设计模拟驾驶实验，主任务要求司机正常驾驶机车，次任务要求司机在看到红色信号灯亮起时迅速按键，以司机对次任务的反应时间来量化其警觉度。构建警觉度预测模型时，对每个试次提取7 项眼动指标和19 项心电指标以及环境参数，并通过灰色关联分析筛选出14项有效的生理指标。然后以司机生理指标和线路环境参数为自变量，以其对次任务的反应时间为因变量，构建基于LSTM-Attention算法的高速铁路司机警觉度预测模型。研究结果表明：LSTM-Attention模型对40 名高速铁路司机反应时间预测平均绝对误差为9 2.8 6 ms,均方根误差为10 2.31ms，平均相对误差为9.6%，且时间序列长度为5时预测效果最好，注意力机制的引人能减小模型约4%的预测误差。本文所提方法可实现对高速铁路司机警觉度的连续度量，可为驾驶辅助系统的研发提供技术理论支撑。关键词：高速铁路；警觉度；高速铁路司机；长短时记忆网络；注意力中图分类号：U495文献标志码：AEstimating High-speed Rail Driver s Vigilance with LSTM-AttentionPAN Yufan2,SHI Lei*,ZHOU Hongyu,NI Shaoquan,ZHANG Jun,GUO Zizheng”(1.School of Information Science and Technology,Southwest Jiaotong University,Chengdu 611756,China;2.NationalUnited Engineering Laboratory of Integrated and Intelligent Transportation,Southwest Jiaotong University,Chengdu 611756,China;3.Comprehensive Transportation Key Laboratory of Sichuan Province,Southwest Jiaotong University,Chengdu 611756,China;4.School of Transportation and Logistics,Southwest Jiaotong University,Chengdu 611756,China;5.Road NetworkOperation Management Company,Jiangxi Provincial Communication Investment Group Co.,Ltd.,Nanchang 330000,China)Abstract:Accurate evaluation of high-speed rail(HSR)drivers vigilance is a key factor to ensure the safety of trainoperation.In response to this problem,a novel method was proposed in this study to estimate HSR drivers vigilance byeye movements,electrocardiograph(ECG)signals and experiment contexts.A simulation driving experiment was de-signed according to the psychological dual-tasks paradigm in this study.In the main task,the drivers were required tocontrol the train normally.In the secondary task,the drivers were required to press a button quickly when seeing a redlight turning on,so that their vigilance was quantified by their reaction time to the sub-task.To construct the vigilanceestimation model,firstly,seven features from eye movements and 19 features from ECG signal were extracted for eachtrial,respectively,while 14 effective physiological features were selected by Grey Relation Analysis.Then,with thephysiological features of the drivers and railway route conditions as independent variables,the drivers corresponding re-action time to the secondary task as the dependent variable,a HSR driver vigilance estimation model was constructedbased on the long-short term memory(LSTM)algorithm.The results show that the mean absolute error,root meansquared error and mean relative error of the LSTM-Attention model for 40 HSR drivers are 92.86 ms,102.31 ms and收稿日期：2 0 2 2-0 7-2 9：修回日期：2 0 2 3-0 5-30基金项目：国家自然科学基金（52 0 7 2 32 0）第一作者：潘雨帆（1991一），男，重庆铜梁人，博士研究生。E-mail:通信作者：郭孜政（198 2 一），男，甘肃定西人，教授，博士。E-mail：g u o z i z h e n g s w j t u.e d u.c ndoi:10.3969/j.issn.1001-8360.2023.11.0040.2,3.4309.6%,respectively.The performance is best when the input time-series feature contains 5 samples.The estimation errorscan be reduced about 4%by the application of the attention mechanism.The proposed method can effectively estimatethe driver s vigilance continuously,which could provide technical and theoretical support for the development of drivingassistance system.Key words:high-speed rail;vigilance;high-speed rail driver;long-short term memory;attention高速铁路（以下简称“高铁”）运行安全受“人-机-环境”三要素的综合影响，司机的作业表现是保障系统安全的关键因素之一。高铁驾驶作业中长时、单调、低频率刺激的运行环境，极易引起司机警觉的衰退，降低其对突发事件的反应速度，威胁行车安全1-2 。为让高铁司机在驾驶过程中保持高度警觉，现有动车组配备了无人警惕装置，司机在无需操纵列车的时候，必须每30 s踩一下警惕踏板，否则该装置将自动启动报警并采取紧急制动3。虽然无人警惕装置能够让司机在行车过程中保持警觉，但一个交路区间几百次的踩踏增加了司机的负荷，会加速司机认知资源的消耗。且该装置的启动阈值是人为设置的固定值，监测周期超过30 s，对司机警觉状态监测的时效性较差。因此，构建高效的高铁司机的警觉度预测方法具有重要意义。警觉度指作业人员对外界刺激保持注意力和警惕性的能力4,高铁司机的警觉度作为认知状态，会直接反映在其生理信号以及行为上。其中神经生理信号精度高、不受人主观控制，被广泛用于警觉度检测。常用的神经生理信号包括脑电、眼动和心电信号3类，考虑到数据采集的便利性和非侵人性，本研究选取高铁司机的眼动和心电信号进行分析与讨论。随着警觉度下降，司机眼频率和眼脸闭合度增加6 ,同时扫视速度会降低，因此眼动的眼脸闭合度、眼频率、瞳孔直径以及闭眼时长等特征均可用于测算司机的警觉度7 。除了通过机器视觉技术采集的眼部运动，眼电信号（Electrooculogram，EO G）也能提取出相应的眼部特征8 ，。眼动是一种可以非侵人采集的信号，对操作影响小，虽容易受到光线的影响，但是红外技术的发展已使眼动信号的采集有较高的质量保障。此外，心电信号受交感神经和迷走神经调节，当作业人员警觉度出现下降，交感神经活跃程度增强，而迷走神经活跃程度降低，心率变异性（HeartRateVariability，H R V）呈上升趋势。心电时域上的R-R间期的均值、标准差【10 1频域上的低频能量LF（0.0 5 0.15H z）和高频能量HF(0.150.4 Hz)都能有效反应警觉度的变化)。当前警觉度预测模型主要有分类和回归两种思路。分类模型以警觉度评价指标（量表评分、反应时间等)将样本分为2 4个水平，然后以脑电、眼动、心铁道学报电等指标作为输人，结合支持向量机（SupportVectorMachine,SVM）12 、神经网络13、k近邻算法（k-NearestNeighbor,KNN）14、随机森林15 等算法构建识别。如Yan等16 以眼动特征为输人，构建特征加权支持向量机来评估司机的警觉度，二分类方法对警觉的检测正确率达到90.98%。张光远等17 通过神经网络对调度员的面部特征进行检测，该模型对调度员警觉度进行三分类的正确率达到了91.5%。总体而言，分类方法识别准确率可超过9 0%，但局限在于分类方法忽略了警觉度是一个连续变化的量。为实现对警觉度的连续度量，部分研究尝试用回归方法来预测警觉度【18 。Lin等19 以驾驶人对车道偏移的反应时间为警觉度的量化指标，以脑电特征为输人，建立支持向量回归模型（SupportVectorRegression，SVR)预测反应时间，误差结果在2 0 0 ms以内。Zhai等2 0 以驾驶人的脑电特征为输人，结合集成学习方法，预测高铁司机的反应时间，将预测误差减小到130 ms左右。相较于分类算法，回归算法已初步实现对警觉度的连续度量，有利于对司机警觉度精细化监测，但模型还处于探索性研究中,其鲁棒性和稳定性还可进一步提升。此外现有警觉度预测方法不足在于构建预测模型时忽略了警觉度的时间特性。高铁司机警觉度变化不是瞬时变化的,具有周期性特点,且周期在4 min以上2 1。本研究拟采用长短记忆神经网络（Long-ShortTermMemoryNetwork，LST M）预测高铁司机警觉度。LSTM是循环神经网络（Recurrent Neural Network，RNN)基础上发展的一种时间递归神经网络,近年来被广泛用于文本翻译和时间序列预测问题2 。相较于RNN,LSTM可以有效避免梯度消失、梯度爆炸和长期记忆能力不足等问题，在应对时序问题时展现出强大的信息挖掘能力和深度表征能力2 3。为改进LSTM模型因序列较长而丢失信息的情况，部分研究者在构建神经网络模型时引人了注意力机制（Atention）2 4。该机制通过对隐藏层单元分配不同的权重，对关键信息赋予足够的关注，突出重要信息的影响，从而提升模型的预测精度。本研究拟将高铁司机眼动、心电特征以及作业环境参数作为时序特征输人LSTM模型，对表征高铁司第45卷第11期机警觉度的反应时间进行回归预测，并引人注意力机制关注时序特性对输出的影响，以期进一步提升模型的精度和稳定性，实现对高铁司机警觉度的连续准确度量。1实验方法1.1被试选取40名青岛机务段的高铁司机参加了本次实验，平均年龄2 9.1（2.8）岁，机车驾龄为511年，平均为6.3（2.2)年。所有司机身体状态良好,无心理疾病和影响中枢控制功能的药物史，视力或矫正视力正常。所有被试在实验开始前确认了解实验，并自愿签订知情同意书。1.2实验设备实验设备及测试场景见图1。高铁模拟驾驶实验在高铁驾驶行为与安全仿真平台完成，见图1（a），该平台能够1：1模拟CRH380B型动车组的运行环境。实验中，眼动数据采集设备为德国SMIEyeTrackingGlasses2W头戴式眼动仪，见图1（b），心电采集设备为BIOPACMP150多导生理仪，见图1（c），反应时间数据采集设备为定制的USB按钮，数据采集场景见图1(d)。办人CRH建路路驾行为与安全仿真平台(a)CRH380B模拟器(b)SMIETG眼动仪(c)MP150多导生理仪1.3实验任务与实验流程模拟实验线路为凯里南站往返平坝南站，中间无经停站，司机驾驶过程中根据限速标志控制车速。实验任务参照已有研究2 0 1设计改进，恒速行驶阶段，要求司机目视前方，右手放置于功率手柄上。当仪表台前方红色刺激灯亮起时，用右手快速按下反应按钮，然后将手放置回手柄上，同时口头报告当前的疲劳程度对应的KSS（K a r o lin s k a Sc a le）量表分数。刺激信号灯呈现时长为1s,若司机3s内未做出反应,则该试次标记为漏报。刺激信号灯亮起的间隔时间为2 0 40 s，实验全程总次数约16 0 次，任务总耗时约10 0 min。实潘雨帆等：基于LSTM-Attention的高速铁路司机警觉度预测2特征提取与筛选2.1眼动特征提取原始眼动视频通过iViewX软件处理得到眼动基础数据，包括高铁司机作业过程中注视起止时间和注视点坐标，扫视起止时间、扫视速度，及眼起止时间等，通过统计和计算可得所需眼动特征。对于每个红色信号灯刺激，特征提取时以信号灯亮起时刻为0 时刻，截取-30 0 s区段的眼动数据为该刺激对应的特征提取单元。以时长为5s的时间窗将该段数据截取为6 段，每个时间窗各自计算眼动特征，最后平均6 个时间窗的特征数据作为该试次的眼动特征指标。本研究所选取的7 项眼动指标描述见表1。表1眼动指标描述指标符号指标描述Fixation_duration(FD)/s平均注视时长Fixation_percentage(FP)注视时间百分比Saccade_scope(ss)/()平均扫视幅度Blink_frequency(BF)/Hz眼频率Perclos闭眼时间比例Pupil_diameter(PD)/mm平均瞳孔直径Coefficients_of_variation(CV)瞳孔直径变异系数福刺激信号灯反应按钮(d)数据采集场景图1实验设备及测试场景31验安排在9:30 和13：30 开始，实验过程中，司机需严格按照实验指导语完成任务。实验全程记录行为反应数据和生理数据，眼动数据采样频率为12 0 Hz，心电数据采样频率为10 0 0 Hz。实验结束后，主试支付每名司机30 0 元人民币作为被试费。2.2心电特征提取心电信号由一系列重复的波组构成，其中QRS波群对高铁司机警觉度的变化最为敏感2 5。提取特征时先采用带宽为0.0 1 45Hz的带通滤波器对原始心电数据进行滤波，去除肌电、工频信号等伪迹，并校正基线漂移。然后以次任务刺激出现前30 s的数据为分析单元提取特征。时域特征方面，利用间谱法通过差分原理对QRS波群进行检测，获取R-R间期数据，根据R-R间期计算时域指标2 6 。包括R-R间期平均值（MEAN）R-R 间期标准差（SDNN）、相邻R-R间期差值大于50 ms的频次（NN50）以及相邻R-R间期差值大于50 ms的百分比（PNN50），上述指标在高铁司机警觉度衰减时会显著下降。高铁司机警觉度衰减时，其心电信号的低频能量会有所增强。提取频域特征，对每个分析单元采用窗长为2 s的汉明窗以50%的覆盖率进行分段，将每段数据通过快速傅里叶变换（FastFourierTransform，FFT)由时域转换至频域,即32式中：x（n）为高铁司机的心电数据；N为傅里叶变换的点数，本文中取值为2 0 48；x（k）为汉明窗k对应的频谱，通过对频谱积分求得心电信号的低频能量LF(0.040.15Hz)和高频能量HF(0.150.40Hz),并通过对各窗的特征取均值得到对应分析单元的频域特征,以及低频高频比（LF/HF）。由于高铁司机心电信号的能量主要集中在低频部分。为进一步挖掘心电信号的特征，提高低频特征的分辨率，可将线性频率分布转换为Mel频率分布，提取心电特征的Mel频率倒谱系数（MFCC）。M FC C 系数特征呈对数分布，对高铁司机警觉度衰减时心电低频部分的变化更加敏感，且具有良好的抗噪性2 7 。提取MFCC特征，首先通过求取（k）的平方得到能量谱，然后用M个三角带通滤波器进行过滤，其中第m个滤波器的传递函数Hm（h)为0k-f(m-1)Hm(h)=Jf(m)-f(m-1)f(m+1)-k(f(m+1)-f(m)M-1式中：ZH（k)=1;(m）为滤波器m的中心频率。m=0每个滤波器的对数能量S（m）为N-1S(m)=nZ I x(k)IH.(k)=0经过离散余弦变换即可得到MFCC系数C(I)为M-1c(l)=Z,S(m)cosm=0I=1,2,L式中：L为MFCC系数的总阶数。参考脑电相关的研究2 8 ,本文设定M=20,L=12。以各窗口数据的MF-CC系数作为该分析单元的MFCC系数特征，即每个分析单元可得12 个MFCC系数特征，记为MF,MF12。2.3高铁司机行车环境参数提取高铁司机的警觉度不光受其自身状态的影响，同样也会受到作业环境和作业特性的影响。实际生活中,高铁司机需要在不同的时间段执行运输作业。一趟执乘任务经历的路线可能包含不同的道路环境，以本研究中选取的沪昆铁路贵州段为例，其中包含了大量的隧道。隧道行车光环境变化明显，可能对警觉度造成影响。因此,本文拟选取执乘时段（T,为9:30 一铁道学报N-111:00,T，为13:30 15:0 0）和线路隧道（隧道内Tm，x(h)=Z(n)e-2mk/N0kN(1)=02.4基于灰色关联的警觉度特征筛选对40 名高铁司机在任务中的16 0 个试次提取眼动和心电特征，可得每名司机的生理特征数据集x=(x,x2，,x 2 6),l=1,2,40,维度为2 6 16 0。在将生理特征输入预测模型前，需对特征进行筛选以避免余信息影响模型的精度和速度。灰色关联分析法的思想是通过对比数据序列几何关系和曲线几何形状的相似性来判断指标间的关联程度,适合小样本分析。本研究中，比较序列为高铁司机警觉度第i列特征指标x；，参考序列为高铁司机对刺激信号灯的反应时间yi。警觉度特征，和对应反应时间序列y的灰色关联度r为(5）minminA,(n)+pmax max,(n):(n)=mA,(n)-p max max,(n)kf(m-1)f(m-1)kf(m)f(m)hf(m+1)(2为16 0。灰色关联度r，的值越大，说明警觉度特征x与高铁司机的反应时间曲线相似程度越高。本文选取与高铁司机反应时间平均关联度高于0.7 的q项警觉度生理特征作为后续模型的输人。0mM通过特征提取和筛选，最后用于构建高铁司机警(3)觉度预测模型的特征集为x,=（x 1,2,g,T,T，Tn，T o u t），包括高铁司机的眼动特征、心电特征以及作l(m+0.5)业环境参数。M0mM(4)3基于LSTM-Attention的高铁司机警觉度预测模型构建3.1 LSTM 网络高铁司机的警觉度不是瞬时变化的，状态起伏具有时序特征，因此本文选取适用于处理时序问题的LSTM模型预测高铁司机的警觉度。LSTM通常包含输人层、隐藏层和输出层，记忆单元是LSTM模型隐藏层的基本单元，每个记忆单元中含有一个控制单元，并使用忘记门、输人门和输出门这3个门控开关进行控制。忘记门决定记忆单元中信息的删除与保留，输入门决定当前输人对记忆单元状态的影响，输出门决定当前记忆单元输出内容，记忆单元结构见图2。第45卷隧道外T。u t）两个因素分析其对警觉度的影响。MN5(n)A,(n)=l y(n)-x(n)I式中：,为警觉度特征,与反应时间yi的关联系数；p为分辨系数，一般取值为0.5；N，为样本量，本文中pE(O,8)(6)(7）第11期潘雨帆等：基于LSTM-Attention的高速铁路司机警觉度预测33CHLtanhFtanhh图2 LSTM记忆单元结构LSTM记忆单元在时刻t有3个输入：当前输入数据x，包含高铁司机在时刻t的眼动特征、心电特征以及作业环境参数，上一时刻记忆单元输出ht-1和上一时刻记忆单元状态C,-1。输出内容包括当前时刻输出值h，和单元当前状态C,。t 时刻LSTM记忆单元状态更新过程为F,=o(W,x,+U,ht-1+bp)I,=o(Wx,+U,h,-1+br)C,=tanh(We x,+Uht-+be)C,=F,Cr-I+I,C,O,=g(W。x,+U。h,-1+bo)h,=O,tanh(C.)式中：F,、I,和O,分别是忘记门、输人门和输出门的激活函数；C,为记忆单元状态向量；C,实时状态向量；（）和tanh（）为sigmoid 激活函数和双曲正切激活函数；Wr、WI、Wc、W。U r、U、U c 和U。为权重矩阵，bp、b r、b c 和b。为对应的偏置,权重矩阵和偏置为隐藏层中所有记忆单元共享的参数。3.2注意力机制为进一步挖掘高铁司机警觉度特征的时序特性对模型性能的影响，本文引入了注意力机制，突出重要特征，进一步提升模型的效率和可靠性2 9，Attention机制结构见图3。图3Attention机制结构当LSTM模型的输入包含K个时刻的警觉度特征时,隐藏层有K个输出向量hk,=1,2,K，将输出向量输人一个全连接网络，可得到每个输出向量对模型最终输出的影响力得分S，为S=tanh(Whk+b,)式中：W、b 为全连接网络的权重系数、偏置。然后通过将每个输出向量的影响力得分归一化至01,得到各向量的权重系数为=-KZes（8)(9)(10)(11)(12)(13)Va2(14)(15)对各输出向量h与其权重系数k的乘积进行累加，可得到最终的输出向量为Y=Z hk在得到隐藏层输出向量后，还需要一个输出层来将向量转化为对高铁司机反应时间的预测值y=active(WaY+ba)式中：Wa和ba分别是输出层的权重系数和偏置，active（）为激活函数，由于对高铁司机反应时间的预测属于回归问题，此处选用线性函数作为输出层的激活函数。3.3遗传算法优化LSTM在模型参数优化方法中，遗传算法（Genetic Algo-rithm,GA具有较强的全局搜索能力，因此本文选用GA对LSTM模型的参数进行优化。优化的参数包括：LSTM隐藏层的神经元数量、初始学习率、以及全连接层的神经元数量，优化流程见图4。设置初始神经元个数在16,12 8 范围内产生的随机数，初始学习率为寻优范围为0.0 1,1 生成初始种群。根据每个种群的染色体构建LSTM模型对高铁司机的反应时间进行预测。采用均等系数作为种群适应度fitness为fitness=1 式中：N，为验证样本的样本量；为模型对第j个样本的预测值；y,为第i个样本反应时间的实际观测值。fitness范围为0,1,其数值越接近1,表明模型拟合(16)(17)Z(3,-y)2(18)N34效果越好，下一代种群根据适应度选择个体，并进行交叉以及变异。文中设置最大种群迭代次数为2 0，最终输出fitness最高的个体及对应模型初始化生成随机种群根据染色体构建模型计算适应度选择、交叉、变异产生下一代种群是否达到最大选代次数Y输出最优解结束图4遗传算法优化流程3.4模型评价本文选取平均绝对误差nMAE、均方根误差nRMSe和平均相对误差nMRE用于评价高铁司机警觉度预测模型对反应时间的预测效果，各指标计算式为nMAEZI,-ylN台N2Z(,-y,)2=nRMSEN2nMAEnMRE100%式中：N，为测试样本的样本量；为测试样本对应反应时间的均值。各指标数值越小，表明模型对高铁司机反应时间的预测越精准。4结果分析与讨论4.1高铁司机警觉度客观量化指标有效性验证实验中通过KSS量表分数和高铁司机对随机刺激的反应时间来量化司机在作业过程中的警觉度。为保障后续分析的准确性，首先对警觉度的客观评价指标进行有效性验证。针对每名被试，以其反应时间的三分位数为阈值,将对应的KSS分值样本划分为3组并对每组求得KSS均值。40 名司机在不同反应时间对应的KSS分值统计见图5。司机对随机刺激的反应时间越长,其对应的KSS分值越高，具有显著的统计铁道学报差异，反应时间这个客观指标与KSS分值显示出较好的一致性。表明司机对随机刺激的反应时间是量化其警觉度水平的一个有效的客观指标。*开始876432N10图57高铁不同反应时间对应KSS量表分数4.2高铁司机行车环境对警觉度的影响高铁作业外部环境对司机警觉度的影响见图6，如图6 所示，相较于上午时段，当高铁司机在下午执乘作业时,其口头报告的KSS分值和反应时间都有所增加,但是在统计上并不显著。此种增加的趋势可能是由于司机的生理节律导致的。而在线路情况方面，隧道内的口头报告KSS分值显著高于隧道外，而隧道内的反应时间却显著低于隧道外。可能是因为高铁司机在隧道内行车，环境相对昏暗，缺乏有效的参照系统，1N2第45卷*短反应时9(19)8上765(20)43(21)209876543210图6 高铁作业外部环境对司机警觉度的影响中反应时AKSS分值反应时简上午下午(a)执乘时段AKSS分值四反应时简隧道外隧道内(b)线路环境长反应时71 4001120010008006004002000140012001000S/8006004002000第11期注视范围更集中，使得司机的视觉负荷增加,所以主观上会有显著的疲劳感。但是由于一直注释前方，所以在观察和反应时间上有所降低。由于司机在隧道内外在主客观上都表明线路环境对其警觉度有影响，因此将隧道内外这一作业环境变量纳人后续建模，定义隧道内行车特征值为1，隧道外行车特征值为0。4.3基于灰色关联分析的生理特征选取分别计算2.1节中提取的7 项眼动特征指标和2.2节提取的19 项心电特征指标与高铁司机反应时间的灰色关联度,分析结果见表2。由表2 可知,共计序号特征1Perclos2BF3MF24LF/HF5MF36CV7MF68LF9MF,潘雨帆等：基于LSTM-Attention的高速铁路司机警觉度预测表2 基于灰色关联分析的特征选取结果灰色关联度序号0.86(0.09)100.80(0.13)110.80(0.27)120.79(0.11)130.78(0.26)140.77(0.06)150.77(0.18)160.76(0.08)170.75(0.22)183514项指标与高铁司机反应时间关联度高于0.7,其中包含4项眼动特征指标和10 项心电特征指标。灰色关联分析结果表明不同警觉度状态下心电信号的MFCC特征指标变化规律与反应时间的起伏相似性略优于心电的线性频谱和时域特征指标。值得注意的是，与汽车驾驶人警觉度研究中有所不同的是，眼动的SS，FD 以及FP指标并没有展现出与高铁司机警觉度有较好的关联性。可能是高铁驾驶和汽车驾驶作业特性的区别导致的，与汽车驾驶不同,高铁司机主要注视区域在正前方，扫视区域相对较小，见图7。因此司机的注视、扫视特征变化不明显。特征灰色关联度PNN500.74(0.07)MFs0.73(0.09)PD0.72(0.12)MF70.72(0.14)MF1l0.71(0.21)MF0.69(0.18)MF40.68(0.13)HF0.67(0.09)MF10o0.66(0.22)参数隐藏层神经元个数全链接层神经元个数初始学习率序号1920212223242526表3GA寻优结果寻优范围 16,12816,1280.01,1 特征NN50SDNNFDMF12SSFPMEANMF,灰色关联度0.65(0.12)0.62(0.10)0.62(0.09)0.61(0.31)0.60(0.07)0.59(0.13)0.57(0.08)0.52(0.22)寻优结果96160.026 94.4.2高铁司机警觉度预测模型性能分析为探究高铁司机警觉度特征的时序特性对模型预测性能的影响，构建LSTM-Attention模型时分别输入了时序长度为110 的序列特征,输人不同时间序列图7 高铁司机行车过程中主要注视区域4.4林模型预测结果4.4.1模型参数优化为更好的屏蔽个体差异的影响，本研究对每名司机的数据进行独立建模，以4项眼动特征指标、10 项心电特征及隧道参数特征为自变量，对刺激信号的反应时间为因变量，建立LSTM-Attention回归模型。对于每名被试，7 5%的样本用于训练模型，2 5%的样本作为验证集以查看模型的泛化效果。LSTM-Attention模型的搭建基于TensorFlowl.8学习框架实现，模型权重优化器采用Adam算法，损失函数采用均方误差，激活函数为Linear函数,Batch_size为16,Epoch为10 0。本文采用GA算法对模型参数进行优化，GA寻优结果见表3。长度时模型性能见表4。当警觉度特征的时间序列长度为5时，模型的预测效果最佳。实验过程中，高铁司机对信号刺激的反应时间为7 2 0 1.340 ms,平均反应时间为96 6.0 8 ms。模型对司机反应时间预测的nMAE和nRMsE均值分别为92.8 6、10 2.31ms，模型预测的相对误差为9.6%。当输人特征为单点时刻样本时，模型nMAE和nRMse均值分别为110.8 2、136.57 ms，随着输人时间序列长度的增加，模型的预测性能有了显著的提升，当序列长度为5时达到最佳预测效果。结果表明利用司机警觉度特征在时间层面的信息可以有效提升LSTM-Attention模型对高铁司机反应时间的预测效果。但随着时间序列长度的持续增加,模型性能出现轻微的下降，可能是过长的时间序列特征包含了部分的穴余信息，影响了高铁司机警觉度预测模型的精度。3612345678910为进一步分析探究LSTM模型的性能以及注意力机制对模型预测能力的影响，将时序长度为5的高铁司机警觉度特征分别输入LSTM、SV R、LSSV M 和LSTM-Attention模型进行对比，模型预测性能对比见表5。LSTM的预测精度显著高于SVR和LSSVM,表明LSTM处理高铁司机的警觉度时序特征更有更强的适应性。另一方面,注意力机制的引人使LSTM模型的nMAe降低约5%，nRMs降低约7%。表明注意力机制有助于提取高铁司机各模态特征与警觉度关联的时间特性，进一步提升了LSTM模型对高铁司机反应时间的预测精度。表5模型预测性能对比模型nMAE/msLSTM98.68(17.25)SVR105.28(18.72)LSSVM102.06(17.74)LSTM-Attention92.86(13.45)分别将眼动特征、心电特征、线路参数逐步输人LSTM-Attention模型探究不同模态特征对模型性能的影响。输人模态模型性能的影响见表6。从单一生理特征看，采用眼动特征预测高铁司机的反应时间效果优于采用心电特征。相较于仅以眼动特征为输入，心电特征的加人让模型的nMAE由98.96 ms降至93.28ms,nRMse由12 3.48 ms降至10 4.6 8 ms，两个指标分别降低5.7%和15.2%。结果表明融合两种模态的生理特征可从不同角度对高铁司机的警觉状态进行描述，从而提升模型对反应时间的预测精度。此外，线路环境是本文考虑影响司机警觉度水平变化的因素之一，当将线路特征和高铁司机的生理特征一起输人模型，模型预测能力有进一步提升，模型对司机反应时间预测的nMA和nRMse均值分别为92.8 2、10 3.2 8 ms，模型预测的相对误差为 9.6%。铁道学报表4输入不同时间序列长度k时模型性能表6 LSTM-Attention模型输入模态模型性能的影响nMAE/msnRMSE/ms110.82(18.75)136.57(24.31)106.77(22.63)131.28(25.17)101.93(18.27)124.44(17.49)96.09(16.68)113.65(14.12)92.86(13.45)102.31(12.13)95.40(12.88)108.64(14.06)98.12(14.46)111.87(15.04)97.63(15.54)109.73(13.61)98.90(13.32)110.07(14.59)100.04(15.78)114.27(16.52)RMSE/ms110.87(15.64)114.50(16.16)115.49(16.29)102.31(12.13)第45卷nMRE/%输人信号11.4眼动心电11.1心电+眼动10.6心电+眼动+9.992.86(13.45)线路环境9.69.810.110.110.210.4MRE/%10.210.910.69.6nMAE/ms98.96(15.76)108.94(14.36)93.28(11.05)5结论本文结合警觉度的时间特性，提出一种基于LSTM-Attention模型的高铁司机警觉度预测方法，模型以眼动、心电信号以及线路参数的时间序列特征和作业线路特征为输人，通过Attention机制调整各时刻特征对输出的贡献权重来对高铁司机的反应时间进行回归预测，以此实现对高铁司机警觉度的预测。基于模拟实验数据，LSTM-Attention模型的平均绝对误差为92.8 6 ms,均方根误差为10 2.31ms,模型预测的相对误差约为9.6%，基本实现对高铁司机警觉度的连续度量，可为高铁司机的警觉度监测、预警设备的设计和开发提供理论支撑。数据结果还表明高铁司机警觉度特征的时间特性可用于对警觉度的预测,后续研究中可通过调整特征提取的时间窗口大小，进一步探究警觉度变化的时间特性，提升模型的预测精度。参考文献：1 ZOER I,SLUITER J K,FRINGS-DRESEN M H W.Psychologi-cal Work Characteristics,Psychological Workload and AssociatedPsychological and Cogni