基于迁移学习的跨被试脑电疲劳驾驶检测.pdf
《基于迁移学习的跨被试脑电疲劳驾驶检测.pdf》由会员分享,可在线阅读,更多相关《基于迁移学习的跨被试脑电疲劳驾驶检测.pdf(6页珍藏版)》请在咨信网上搜索。
1、收稿日期:.基金项目:国家自然科学基金资助项目(,).作者简介:邱轶辉(),男,硕士生.通信作者:邱桃荣(),男,教授,博士.t a o r o n g q i u c o m.邱轶辉,江琼,魏玲玲,等基于迁移学习的跨被试脑电疲劳驾驶检测J南昌大学学报(理科版),():Q I U Y H,J I AN GQ,WE ILL,e ta l T r a n s f e r l e a r n i n g b a s e dc r o s s s u b j e c tE E Gf a t i g u ed r i v i n gd e t e c t i o nJJ o u r n a lo fN
2、a n c h a n gU n i v e r s i t y(N a t u r a lS c i e n c e),():基于迁移学习的跨被试脑电疲劳驾驶检测邱轶辉,江琼,魏玲玲,张卫平,邱桃荣(南昌大学数学与计算机学院,江西 南昌 ;九江学院计算机与大数据科学学院,江西 九江 )摘要:在利用脑电信号进行疲劳驾驶跨被试检测中,克服脑电的个体差异是一项重大挑战,欧氏空间对齐是一种解决方法,然而该方法要求目标域上有大量数据.为降低跨被试检测中对目标域数据的依赖,我们提出一种基于模型迁移学习和改进欧式空间对齐的方法,以提高模型在有少量目标域数据时的分类能力.所提出的方法首先对源域数据进行欧式空
3、间对齐以降低个体间差异,接着对目标域数据进行参考矩阵相似度加权平均对齐,使用深度卷积神经网络用于特征提取和分类,在源域上预训练后在目标域上微调.测试结果显示所提出的对齐方法能有效提高少量目标域数据可用时的跨被试分类准确率,最好的准确率达到 .关键词:迁移学习;数据对齐;脑电信号;疲劳驾驶中图分类号:T P 文献标志码:A文章编号:()T r a n s f e r l e a r n i n g b a s e dc r o s s s u b j e c tE E Gf a t i g u ed r i v i n gd e t e c t i o nQ I UY i h u i,J I A
4、NGQ i o n g,WE IL i n g l i n g,Z HANG W e i p i n g,Q I UT a o r o n g(S c h o o l o fM a t h e m a t i c sa n dC o m p u t e rS c i e n c e s,N a n c h a n gU n i v e r s i t y,N a n c h a n g ,C h i n a;S c h o o l o fC o m p u t e ra n dB i gD a t aS c i e n c e,J i u j i a n gU n i v e r s i t
5、y,J i u j i a n g,J i a n g x i ,C h i n a)A b s t r a c t:I nc r o s s s u b j e c t d e t e c t i o no f f a t i g u ed r i v i n gw i t hE E Gs i g n a l s,o v e r c o m i n g i n d i v i d u a l d i f f e r e n c e s i nE E Gi s am a j o rc h a l l e n g e,a n dE u c l i d e a ns p a t i a l a l
6、 i g n m e n t i sas o l u t i o n,H o w e v e r,t h em e t h o dr e q u i r e sa l a r g ea m o u n t o fd a t ao nt h e t a r g e td o m a i n,T or e d u c e t h er e l i a n c eo nt a r g e td o m a i nd a t a i nc r o s s s u b j e c td e t e c t i o n,w ep r o p o s eam e t h o db a s e do nm o
7、 d e lm i g r a t i o nl e a r n i n ga n d i m p r o v e dE u c l i d e a ns p a t i a la l i g n m e n tw a sp r o p o s e dt oi m p r o v ed e t e c t i o nw h e nas m a l la m o u n to f t a r g e td o m a i nd a t aw a s a v a i l a b l e c a p a b i l i t y T h ep r o p o s e dm e t h o d f i
8、r s t p e r f o r m e dE u c l i d e a ns p a t i a l a l i g n m e n t o n t h e s o u r c ed o m a i nd a t a t or e d u c e i n t e r i n d i v i d u a l d i f f e r e n c e s,f o l l o w e db yar e f e r e n c em a t r i xs i m i l a r i t y w e i g h t e da v e r a g ea l i g n m e n t o nt h e
9、 t a r g e t d o m a i nd a t a,a n du s e dad e e pc o n v o l u t i o n a l n e u r a l n e t w o r kf o r f e a t u r ee x t r a c t i o na n dc l a s s i f i c a t i o n,w h i c h i sp r e t r a i n e do nt h e s o u r c ed o m a i na n dt h e nf i n e t u n e do nt h e t a r g e t d o m a i n T
10、 h e r e s u l t ss h o w e dt h a t t h ep r o p o s e da l i g n m e n tm e t h o dc a ne f f e c t i v e l y i m p r o v et h ec r o s s s u b j e c t c l a s s i f i c a t i o na c c u r a c yw i t has m a l l a m o u n to f t a r g e td o m a i nd a t a,w i t ht h eb e s t r e c o g n i t i o n
11、r a t eo f K e yW o r d s:t r a n s f e r l e a r n i n g;d a t aa l i g n m e n t;e l e c t r o e n c e p h a l o g r a ms i g n a l s;f a t i g u e dd r i v i n g交通意外一直是导致人类死亡的主要原因之一,并且其发生数量有逐年上涨的趋势.有统计数据显示,由疲劳驾驶引起的交通事故占到交通事故总量的,并且往往导致更严重的后果.因此,研究疲劳驾驶状态的识别对减少交通事故发生和改善道路安全环境具有重要意义.针对疲劳驾驶状态的检测,国内外众多
12、学者均进行了相关的研究.目前,检测方法可以分为主观评定法和客观检测法两大类.一是主观评定法:通过驾驶员填写心理问卷或他人对驾驶员的评价来判断疲劳程度,常用的心理测量问卷有:斯坦福嗜睡表和卡洛琳斯卡睡眠尺度表等,主观评定法操作简单,但只能离线检测用于事后分析.二是客观检测法:通过对驾驶员驾驶过程中产生的脑电图、心电图、眼电图、肌电图等生理信号和驾驶员头部面部特征及方向盘角度偏移等车辆特征进行分析第 卷第期 年月南昌大学学报(理科版)J o u r n a l o fN a n c h a n gU n i v e r s i t y(N a t u r a lS c i e n c e)V o
13、l N o A u g 来判断驾驶员的疲劳状态,其中脑电信号由于具有时间分辨率高、无创性、低成本等特性,已被认为是疲劳驾驶识别的“金标准”.脑电图(E l e c t r o e n c e p h a l o g r a m,E E G)利用头皮上放置的电极检测和记录大脑内电信号的变化,通过分析E E G我们可以对大脑状态进行判断.已经有许学者对利用脑电信号判断疲劳驾驶状态进行了研究.例如,M u等提出了基于熵的特征提取方法,并筛选了特定电极用支持向量机(S u p p o r tV e c t o rM a c h i n e,S VM)进行分类,在自建数据集上得到了 的平均准确率.针对S
14、 VM在处理高质量数据时表现良好但在面对复杂数据时表现不佳的问题,S a n等 提出了一种混合深度遗传模型来进一步弥补S VM在处理复杂不变性方面的不足,并用于疲劳驾驶状态的检测.刘卓等 将脑电信号作为函数型数据进行分析,着重研究其连续性和内部动态变化并分类.上述研究均在各自场景下对疲劳驾驶检测有一定贡献.然而多上述研究多集中在对同一被试的脑电进行分析,由于脑电信号具有特异性和非线性特征,进行跨被试检测时会出现协变量偏移的问题,这导致跨被试的疲劳驾驶检测结果并不乐观.近年来也有学者注意到这一点,提出了许多结合迁移学习的跨被试E E G疲劳驾驶检测方法.例如G u等 提出了一种几何保留迁移判别字
15、典学习方法,通过将不同域的信号投影到公共子空间,得到一个共享判别字典,再利用图拉普拉斯正则化和主成分分析正则化分别对几何结构信息和判别信息进行挖掘,进行跨被试分类.H o n g等 将域对抗神经网络与生成对抗网络相结合,通过解决E E G在不同被试之间分布不同的问题来增强跨域检测能力.Z a n i n i等 提出了一种基于黎曼空间测地线的对齐方法(R i e m a n n i a ns p a c eA l i g n m e n t,R A)用于在黎曼空间减少域间差异.H e等 针对R A需要一定标签和计算效率低的问题提出了在欧几里得空间对齐的方法(E u c l i d e a n s
16、 p a c eA l i g n m e n t,E A),并在多个数据集上明显提高了准确率.然而E A需要大量源域数据用于计算参考协方差矩阵来对齐.这在意味着该方法在疲劳驾驶检测中只能用于事后分析,而不能用于实时检测.因此,本文从实际应用出发,提出一种利用基于源域数据和目标域数据参考矩阵相似度的加权平均对齐方法(W e i g h t e d A v e r a g e E u c l i d e a n s p a c e A l i g n m e n t,WA E A).该方法在仅有少量目标域样本可用时能对疲劳驾驶状态进行及时的判断,并结合基于模型的迁移学习方法,使用微调的技术提升跨
17、被试疲劳驾驶分类准确率.相关理论与方法欧式空间对齐首先介绍原始的欧式空间对齐方法E A,其基本原理是使来自不同被试的数据分布更加相似,因此在源域数据上训练的分类器将有机会在目标域上上表现良好.E A计算每个被试的E E G试次的平均样本协方差矩阵,再通过数据对齐的方法将每个被试的样本协方差矩阵重新居中在单位矩阵处,使对齐的E E G试次被白化,降低数据的冗余性,这有利于后续的特征提取和分析.为了更好说明E A,假设源域中有m个被试,目标域 中 有个 被 试,每 个 被 试 具 有N个 样 本XiNi,其中每个样本Xi维度为nT,n为脑电通道数,T为采样点个数.E A的步骤如下:)首先计算一个被
18、试的平均协方差矩阵:RNNiXiXTi()将R作为参考矩阵,对该被试所有样本执行对齐计算:XiR/Xi()式中,是Xi为对齐后的E E G信号.对源域和目标域的所有被试都进行上述对齐后就完成了E A.经过欧式空间对齐后,一个被试所有N个对齐数据的平均协方差矩阵为:NNiXiXTiR/NNiXiXTiR/I()式中,I是单位矩阵.经过E A对齐算法使所有被试的平均样本协方差矩阵与对齐后的单位矩阵相等,因此来自不同被试的空间协方差矩阵的分布会更相似,鉴于样本协方差矩阵是E E G信号的一个重要统计量,用户间的差异也会变小,这正是迁移学习想要达到的效果,该处理在传统机器学习和深度学习方法上都得到了验
19、证.然而通过式()可以看出E A对齐算法需要使用全部数据计算参考矩阵,这使得该算法在许多领域不适用,在疲劳驾驶领域上E A仅能用于事后分析,不能起到及时检测的作用.因此我们提出了一南昌大学学报(理科版)年种改进的E A算法,使其能用于仅有少量目标域数据可用时的对齐.改进的欧式空间对齐当有少量目标域数据时可用,应当充分利用该部分数据进行对齐,然而传统E A仅用少量目标域数据计算得到的参考矩阵不能很好的代表目标域上的数据分布为降低数据过少时计算参考矩阵的偏差,考虑使用源域中参考矩阵进行辅助,并利用矩阵之间的余弦相似度作为权值,进行加权平均对齐WA E A.假设源域中有m个被试,每个被试具有N个样本
20、XiNi,目标域中有个被试,也具有N个样本XiNi,但是在模型训练阶段仅有M(MN)个样本可供使用,在模型训练结束后剩余NM个样本XiNMi将被用于测试,该条件是为了模拟疲劳驾驶E E G检测中有少量样本供校准的情况.具体对齐步骤如下:)由于源域数据全部可用,首先对源域数据进行E A,对源域中m个被试分别计算参考矩阵记为R,RRm,并对源域中每个被试数据对齐,方法同式()和式().)利用目标域中可用的M个样本计算目标域上的部分参考矩阵RT:RTMMiXiXTi()由于计算RT使用的数据较少,不能很好的反映目标域上数据分布,且具有较大波动性,考虑加入源域中被试的参考矩阵用于对齐.)选择与RT相似
21、的参考矩阵来对齐.余弦相似度 能 够 估 计 矩 阵 的 差 异,并 且 得 到 了 广 泛 应用,故分别计算R和R,RRm之间的余弦相似度作为权重:skc o s(Rk,RT)RkRTTRkRT()式中,sk为Rk与RT之间的相似度,k,m,RTT为RT的转置.)根据矩阵相似度使用最大最小归一化的方式为R,RRm赋予不同的权值:wksksm i nsm a xsm i nmksk()式中,wk为Rk的权值,k,m,经过归一化后相似度较大的参考矩阵分配到的权重较大,且满足:mkwk()计算加权平均源域参考矩阵RS:RSmmkwkRk()组合RT和RS构成融合参考矩阵:RT S RT()RS()
22、式中,RT S为融合参考矩阵,m i n(M/N,)为权衡参数,用于调整对齐中使用目标域参考矩阵的比重,当目标域中可用数据越多时使用RT作为融合参考矩阵的比重越大.)模型训练结束后,目标域剩余数据可用时,使用融合参考矩阵RT S对可用数据对齐:XiR/T SXi()融合参考矩阵RT S同时考虑了目标域上少量样本得到的参考矩阵RT和加权平均源域参考矩阵,并通过引入权衡参数在不同可用比例的目标域数据下动态调整RT S中RT和RS的占比当目标域数据样本数量增加时逐渐提高RT在RT S中的占比,直到目标域中样本数与源域中一个被试的样本数相等RS时,完全使用目标域中样本进行对齐.另外,通过对目标域数据的
23、充分挖掘,使用余弦相似度分别计算RT与源域中每个被试的参考矩阵R,RRm的相似程度,经过最大最小归一化后用于计算加权平均源域参考矩阵RS.该方法在目标域可用数据较少时采用源域中参考矩阵估计目标域参考矩阵.基于模型的迁移学习基于模型的迁移方法假定相关任务的各个模型应该共享一些参数或超参数的先验分布,并通过共享这些模型参数来提升迁移效率.其思想是预训练模型已经学习了源域中的有用特征和模式,可以应用于目标域以提高性能.通过使用预训练模型,目标模型可以获益于源模型所获得的相关知识.微调是实现基于模型的迁移学习的一种方法,该方法指在源域上训练一个预训练模型,接着继续在目标域上继续训练全部或者部分网络参数
24、.D e e p C o n v N e t 是一个常用于E E G分类的深度神经网络模型,该模型由个卷积层组成,其中一个s o f t m a x层用于分类,该网络在P 视觉诱发电位、错误相关负波、运动相关皮层电位和感觉运动节律等任务中都有良好表现,本文使用D e e p C o n v N e t提取特征分类,并使用微调方式进行模型迁移.第期邱轶辉等:基于迁移学习的跨被试脑电疲劳驾驶检测实验与结果分析测试环境本文的研究是在一台装有W i n d o w s 操作系统的图形工作站上完成的,处理器为两颗l n t e l(R)X e o n(R)C P U E v GH z,运行内存 G B,
25、图形卡为NV I D I A Q u a d r o M .采 用P y t h o n 作为编程语言通过A n a c o n d a搭建实验环境,使用j u p y t e rn o t e b o o k和P y c h a r m编写实验代码,机器学习框架是s k l e a r n,深度学习框架 是K e r a s,b a c k e n d采用T e n s o r F l o w.测试数据集本次实验数据来源江西科技学院信息技术研究所,共 个被试,采样率为 H z,通道为 通道,对每个被试分别采集 s的非疲劳和疲劳E E G数据.实验中首先要求被试驾驶 m i n,取最后m i
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 迁移 学习 跨被试脑电 疲劳 驾驶 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。