基于多输入三维卷积神经网络的脑电解码模型.pdf
《基于多输入三维卷积神经网络的脑电解码模型.pdf》由会员分享,可在线阅读,更多相关《基于多输入三维卷积神经网络的脑电解码模型.pdf(6页珍藏版)》请在咨信网上搜索。
1、现代电子技术Modern Electronics Technique2023年10月1日第46卷第19期Oct.2023Vol.46 No.190 引 言脑机接口(BrainComputer Interface,BCI)通过计算机等设备为人脑和外界环境建立起一条不依赖于外周神经和肌肉组织的信息交流通路12,在生物医学、神经康复、智能机器人等领域35具有重要的研究意义和巨大基于多输入三维卷积神经网络的脑电解码模型邓豪东1,王俊易1,葛骏一2,林 放3,李梦凡1(1.河北工业大学 生命科学与健康工程学院,天津 300232;2.北京师范大学 生命科学学院,广东 珠海 519087;3.博睿康科技(
2、常州)股份有限公司,江苏 常州 213000)摘 要:脑机接口是实现人脑与外界交互的关键技术,脑电解码是其中的核心环节,并随着深度学习发展在预测大脑意图的精度方面得到显著提升。然而个体内脑电信号差异降低了脑电解码模型的鲁棒性。为此,提出一种多输入三维卷积神经网络(MT3DCNN)的脑电解码模型,通过融合脑电数据的空间排布与时间排布,形成两种三维矩阵数据作为卷积网络的多输入,采用三维卷积核沿时空方向进行特征提取与解码。10名被试参加了间隔 6 h和 12 h的脑机接口实验,并采用MT3DCNN进行跨时间的解码预测。MT3DCNN的单次解码准确率在长时间下分别维持在78.15%和72.56%,高于
3、单输入的 3DCNN(62.89%和 52.35%),表明 MT3DCNN通过对脑电数据的时间和空间的多种排布方式形成的多输入能够充分利用其三维卷积核学习与提取特征的能力,并且针对个体内脑电差异具有更强的解码性能,有助于推动脑机接口系统的普及使用。关键词:脑电图;个体内差异;三维卷积神经网络;数据排布;脑电解码;跨时间;脑机接口;鲁棒性中图分类号:TN9934;TP334.7 文献标识码:A 文章编号:1004373X(2023)19014906EEG decoding model based on three dimensional convolutional neural network
4、with multi inputDENG Haodong1,WANG Junyi1,GE Junyi2,LIN Fang3,LI Mengfan1(1.School of Life Science and Health Engineering,Hebei University of Technology,Tianjin 300232,China;2.College of Life Sciences,Beijing Normal University,Zhuhai 519087,China;3.Neuracle Technology(Changzhou)Co.,Ltd.,Changzhou 21
5、3000,China)Abstract:The braincomputer interface(BCI)is a key technology for achieving interaction between the human brain and the outside world,and EEG decoding is the central part.With the development of deep learning,the accuracy of predicting brain intentions has been significantly improved by EE
6、G decoding.However,intraindividual differences in EEG signals reduce the robustness of the EEG decoding model.Therefore,a multi input three dimensional convolutional neural network(MT3DCNN)EEG decoding model is proposed,which combines the spatial and temporal layouts of EEG data to form two types of
7、 3D matrix data as the multi input of the convolutional network,and the 3D convolutional kernel is used for feature extraction and decoding along the spatiotemporal direction.Ten participants participated in the BCI experiments with an interval of 6 h and 12 h,and MT3DCNN is used for crosstime decod
8、ing prediction.The single decoding accuracy of MT3DCNN was maintained at 78.15%and 72.56%,respectively,over a long period of time,which were higher than those of 3DCNN(62.89%and 52.35%)with single input.This indicates that the MT3DCNN can make full use of its ability of 3D convolution kernel learnin
9、g and feature extraction by the multi input formed with various arrangements of EEG data in time and space.In addition,it has stronger decoding performance for intraindividual EEG differences,which is helpful for promoting the popularization and use of BCI system.Keywords:EEG;intraindividual differe
10、nce;3DCNN;data layout;EEG decoding;crosstime;BCI;robustnessDOI:10.16652/j.issn.1004373x.2023.19.027引用格式:邓豪东,王俊易,葛骏一,等.基于多输入三维卷积神经网络的脑电解码模型J.现代电子技术,2023,46(19):149154.收稿日期:20230425 修回日期:20230518基金项目:河北省自然科学基金项目(F2021202003);河北省重点研发项目(21372002D)149149现代电子技术2023年第46卷的应用潜力。事件相关电位(Event Related Potential
11、,ERP)是大脑对外部特定刺激或心理因素产生的脑电位变化6,基于ERP的BCI由于训练次数少、指令数量高而得到广泛使用。个体内差异是 ERP BCI在实际应用中不可避免的问题79,表现为同一受试者在不同时间、状态或者条件下产生的 ERP 信号呈现波形、幅度和潜伏期等特征差异的现象,来源于受试者的生理、心理、外界刺激和实验环境等内外部因素的变化,这种差异不仅导致脑电信号处理和分析难度的增加,还降低了解码模型的分类准确率和鲁棒性,增加了受试者的使用负担。因此,如何使脑电解码模型对个体内差异具有强鲁棒性是实现 ERP BCI长期稳定使用的关键。在以往的研究中,一些研究学者采用传统机器学习模型进行脑电
12、解码。文献10采用贝叶斯逻辑回归进行ERP 脑电解码,文献11通过结合 TrAdaBoost的支持向量机提高了ERP BCI对个体差异的泛化能力。然而,传统机器学习模型的判别方式单一,难以自适应高维复杂的脑电信号。近年来,随着人工智能的发展,已经逐渐被基于深度学习的脑电解码模型所取代。文献12利用受限玻尔兹曼机从单试次 ERP 信号中提取时空特征;文献13采用改进的卷积神经网络捕捉脑电信号的内在特征,增强了 P300 信号分类和字符识别;文献14提出改进的卷积神经网络,充分利用 ERP的锁相特性,提高了单试次的分类准确率。深度学习模型作为端到端的学习模型,在处理脑电时,受限于数据的表现形式和卷
13、积核的观察角度,容易忽略脑电的空间信息或者时间信息。因此,需要对多通道的二维脑电数据进行处理,以保留其时空特征的完整性。三维卷积神经网络(Threedimension Convolutional Neural Network,3DCNN)采用三维卷积核对输入数据进行三个维度层面上的卷积计算,从而建立其不同维度的关联信息,适用于脑电的特征提取,有助于挖掘并利用脑电时间、空间和频率之间的相关性。目前,在脑机接口领域已经具有广泛应用。文献15基于 3DCNN进行癫痫发作的检测,通过将每个通道的一维时序脑电转换为二维图像,并根据不同通道之间的相互关联强度进行融合作为 3DCNN 的输入。文献16基于
14、3DCNN 进行多通道脑电异常的检测,根据脑电电极的位置关系,将 22 个电极通道映射为一个二维矩阵,并沿时间维度进行堆叠形成三维数据结构作为 3DCNN 的输入。文献17提出基于 3DCNN 的情感脑电解码模型,采用融合时域和频域特征的 3D 特征矩阵作为输入。文献18提取情感脑电的微分熵,并将其转换为时间空间频率的四维特征矩阵作为 3DCNN的输入。文献19提取脑电信号的统计特征并在二维空间和三维空间中分别作为像素和体素进行处理,采用 2DCNN 和 3DCNN进行脑电解码。上述研究表明,将脑电数据排布为 3D数据结构,能够使得 3DCNN同时捕获脑电信号在时间和空间上的变化,并从中提取时
15、间特征、空间特征,以及融合时间和空间的关联特征。由此可见,3DCNN是具有潜力的研究方向。本文在前期工作提出了一种新型的 3DCNN2021,通过动态捕捉脑地形图和视频流处理方式解码脑电信号,有效提高了解码模型的识别准确率。但是,该方法将脑电样本的电极通道排布为 2D脑地形图,再沿时间维堆叠形成 3D结构,导致三维卷积核关注的空间维和时间维存在主次维度的差异,造成空间特征和时间特征不具备同等维度的重要性,使得脑电信号的时间信息无法得到充分利用。因此,为了增强三维卷积核提取脑电信号时空特征的能力,有必要对其输入进行优化。本文在前期基础上进一步提出多输入的 3DCNN(Multi Input Th
16、ree dimension Convolutional Neural Network,MT3DCNN),采用电极通道空间排布和单通道脑电的时间排布形成两种 2D数据结构,并各自沿脑电的时间和空间进行堆叠形成 3D数据结构,通过融合两种不同的 3D数据结构作为输入,并采用三维卷积核进行卷积计算,从而建立输入和提取信息更加全面的MT3DCNN。本研究进行了 10名被试当前时间段、间隔 6 h和 12 h的 BCI实验,采用 MT3DCNN 和 3DCNN进行跨时间解码,并通过解码准确率、信息传输率和Kappa系数进行对比分析。结果表明,MT3DCNN的单次重复分类准确率和信息传输率在间隔 6 h
17、和 12 h 时间 下 分 别 维 持 在 78.15%、72.56%和 82.76 bits/min、71.54 bits/min,远高于 3DCNN。MT3DCNN 有效提高了脑电解码模型的分类准确率。这表明本文提出的MT3DCNN 在不增加数据量的情况下,通过对脑电数据采用两种排布方式,为解码模型提供了具有多方面、多维度的输入而非单一输入,使得三维卷积核能够从多角度挖掘脑电中蕴含的时空特征,从而提高解码模型的分类准确率。MT3DCNN为提高解码模型的鲁棒性以及实现BCI的长期稳定使用提供了一种有效的解决方法。1 方 法1.1 脑电数据集脑电数据来源于基于双重刺激界面的跨时间脑机接口实验2
18、021。界面左侧采用整体闪烁(WF)刺激,右侧采用局部移动(LM)刺激。共有 10 名被试参与该项实150第19期验,采集设备为 NeuroScan系统,64个电极通道,采样率为1 000 Hz。每次实验由3个子实验组成,间隔6 h进行,整个过程持续12 h。在每个子实验中,每位被试需要进行180次重复,将注意力集中于屏幕上所呈现的视觉诱发界面,从而诱发 ERP产生。每名被试将产生 180个整体闪烁(WFtarget)、180 个局部移动(LMtarget)和 720 个非刺激(nontarget),共计1 080个脑电样本。本研究采用的双重刺激界面的跨时间实验范式能够有效诱发个体内的差异特征
19、,并为长时脑机接口的实现提供包含个体内差异的数据。1.2 预处理首先进行通道选择和时间窗截取,截取 60 个通道中刺激后100400 ms的脑电数据,并对其进行20 Hz的下降采样;其次采用 0.510 Hz的 3 阶巴特沃斯滤波器进行带通滤波;最后分别采用空间排布和时间排布构建两个不同的 3D 数据矩阵。其中,空间排布的 3D 矩阵按照实验中脑电帽电极分布的方式,将多通道映射为一个125 的 2D 矩阵,并将其沿时间维度上进行叠加,获得3D空间排布的矩阵,其形状为 12560(通道通道时间);时间排布的 3D矩阵则是把单个通道 60 ms的数据排列为一个 125的二维矩阵,然后将 60个通道
20、形成的60个二维矩阵进行堆叠,得到一个大小为 12560(时间时间空间)的3D时间排布数据矩阵。最后,将空间排布和时间排布的两种 3D矩阵进行融合,从而获得形状为 125120的多输入融合 3D矩阵。在本文中,采用融合两种排布形成的 3D 矩阵作为 MT3DCNN 的多输入数据进行跨时间脑电解码。1.3 解码算法1.3.1 MT3DCNNMT3DCNN是基于3DCNN改进后的多输入模型,MT3DCNN 首先截取多通道脑电信号中刺激后 100400 ms的数据,并将其分别转化为2D空间特征加1D时间特征的3D矩阵以及2D时间特征加1D空间特征的3D矩阵,然后将得到的两个3D矩阵相结合,最后通过三
21、维卷积核对脑电数据进行学习和特征提取,整个流程如图 1所示。图1 MT3DCNN整体流程图在 MT3DCNN 中,二维空间特征加一维时间特征的 3D矩阵以 60个通道的数据脑地形图为一帧,时间长度为帧数;二维时间特征加一维空间特征的 3D矩阵则以单个通道 60 ms的脑电数据动态幅值为一帧,通道数目为帧数。MT3DCNN 相较于 3DCNN 的不同之处在于:3DCNN仅使用空间排布将二维的脑电数据转化为3D矩阵结构,因此,只能从单角度进行分析;而 MT3DCNN 则通过两种不同的处理方式将相同的数据构建为不同的3D矩阵,再将其融合为新矩阵作为输入,其三维卷积核可以从不同方面对数据进行特征提取和
22、学习。脑电数据不同排布构建起多种 3D矩阵,为脑电数据赋予了多方面、多维度的特征信息。MT3DCNN 的三维卷积运算如公式(1)所示:vfcti=ReLU()bi+ms=0Si-1q=0Qi-1r=0Ri-1wsqrimv(f+s)(c+q)(t+r)(i-1)m (1)式中:vfcti是第i个隐藏层在坐标(f,c,t)上的值;ReLU是非线性激活函数;bi是第i个隐藏层的偏置量;m是第i个隐藏层与第i-1个隐藏层的链接权重参数;Si、Qi和Ri是三维卷积核的长度、宽度和深度;wsqrim是卷积核在坐标(s,q,r)上的值;v(f+s)(c+q)(t+r)(i-1)m是第i-1 个隐藏层的立体
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 输入 三维 卷积 神经网络 解码 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。