多尺度卷积与注意力机制的脑电信号识别研究.pdf
《多尺度卷积与注意力机制的脑电信号识别研究.pdf》由会员分享,可在线阅读,更多相关《多尺度卷积与注意力机制的脑电信号识别研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、现代电子技术Modern Electronics Technique2023年12月1日第46卷第23期Dec.2023Vol.46 No.230 引 言脑机接口技术(BrainComputer Interface,BCI)提供了一种新型的脑信息传输渠道,将大脑活动产生的电信号转化为特定的计算机信号,来揭示人脑活动的内部机理1,辅助残障患者、老年人和运动行为受限患者控制轮椅等外部设备2,具有广泛的医学应用前景。基于运动想象(Motor Imagery,MI)的 BCI 是脑机科学研究中广泛使用的范式之一,其主要优势在于能够使用非侵入式的脑电信号采集设备记录神经元兴奋产生的脑电活动,对受试者来说
2、更加安全和舒适,同时运动想象脑电信号只通过想象活动产生,没有任何额外刺激,与脑神经活动的本质关联性强于稳态视觉诱发电位3(Steadystate Visually Evoked Potential,SSVEP)和P3004等诱发型脑电范式。当人们执行肢体运动想象时,脑电信号会出现对应的幅值波动5,具体表现在大脑DOI:10.16652/j.issn.1004373x.2023.23.016引用格式:冯泽林,宋耀莲.多尺度卷积与注意力机制的脑电信号识别研究J.现代电子技术,2023,46(23):8592.多尺度卷积与注意力机制的脑电信号识别研究冯泽林,宋耀莲(昆明理工大学 信息工程与自动化学院
3、,云南 昆明 650500)摘 要:基于运动想象的脑机接口技术可以使大脑绕过中枢和外周神经,在人脑和外部电子设备之间构建直连通路,帮助运动受限人群直接与外界进行交互。由于运动想象脑电信号具有信噪比和空间分辨率较低的特性,导致解码效率较低,文中提出一种基于注意力机制的解码运动想象脑电信号的深度学习模型MSATCNet。首先原始脑电信号通过并行多尺度卷积神经网络提取全局特征和局部特征并加以融合,通过多头注意力机制模块突出融合后的重要特征,最后由时间卷积网络(TCN)提取时序信息,全连接层和 Softmax层对提取后的特征进行学习和分类。对所提出的模型在 BCI竞赛2a数据集上进行了实验与分析,所提
4、出模型对所有受试者平均分类精度达到了 83.99%,其中最高准确率达到 97.07%。结果表明,所提出的模型可以有效提高MIEEG的分类准确率,提升了运动想象脑电解码的可靠性。关键词:运动想象;多尺度卷积;注意力机制;脑机接口;时间卷积网络;脑电信号识别中图分类号:TN911.734;TP391.9 文献标识码:A 文章编号:1004373X(2023)23008508Research on EEG signal recognition based on multiscale convolution and attention mechanismFENG Zelin,SONG Yaolian(
5、Faculty of Information Engineering and Automation,Kunming University of Science and Technology,Kunming 650500,China)Abstract:The braincomputer interface technology based on motor imagery(MI)can make the brain bypass the central and peripheral nerves.In the technology,a direct connection between the
6、human brain and external electronic devices is established,which helps people with limited movement to interact with the external world directly.The decoding efficiency is low because of the low signaltonoise ratio(SNR)and spatial resolution of motor imagery EEG(MIEEG)signals.Therefore,a deep learni
7、ng model MSATCNet based on attention mechanism is proposed to decode MIEEG signals.Global and local features of the original EEG signals are extracted by a parallel multiscale convolutional neural network(CNN)and fused.The important features after fusion are highlighted by the multihead attention me
8、chanism module.The time series information is extracted by a temporal convolutional network(TCN).The fully connection layer and the Softmax layer learn and classify the extracted features.The proposed model is tested and analyzed on the dataset BCI competition 2a.The average classification accuracy
9、of the proposed model for all subjects reached 83.99%,and its highest accuracy reached 97.07%.The experimental results indicate that the proposed model can improve the classification accuracy of MIEEG effectively and improve the reliability of MIEEG decoding.Keywords:motor imagery;multiscale convolu
10、tion;attention mechanism;BCI;TCN;EEG signal recognition收稿日期:20230226 修回日期:202303168585现代电子技术2023年第46卷对侧负责运动感觉部分的神经元效应减弱,节律(812 Hz)和节律(1330 Hz)频谱能量减少;同时段内大脑同侧部分的神经活动增强6。为了从复杂的脑电信号中提取有效特征,早期研究主要通过对信号进行短时傅里叶变换、小波变换、经验模态分解等方法可以有效提取脑电信号的时频特征,由分类器对解码的特征划类区分。早期学者们提出了共空间模式(Common Spatial Pattern,CSP)7的方法,通过
11、计算空间滤波器将两个类别之间的方差最大化。文献8在 CSP 的 基 础 上 提 出 了 滤 波 器 组 CSP(Filter Bank Common Spatial Pattern,FBCSP),将经过带通滤波的EEG 信号分为不同频段,并从每个频段中提取 CSP 特征,经过广泛的实验探究产生了相对更高的交叉验证精度。近年来,研究者们将深度学习技术成功应用于脑科学研究,通过将卷积神经网络引入脑电信号解码能够显著地提高数据分析的准确率。文献9提出一种多尺度的滤波器组卷积神经网络,用于提取脑电信号的时间和空间特征。谷歌研究人员提出一种基于多头注意力10的模型,有效应用于自然语言处理(Natural
12、 Language Processing,NLP)方 向。在 计 算 机 视 觉(Computer Vision,CV)领域还提出了其他几类注意力模块,如挤压和激励11(Sequeeze and Excitation,SE)和卷积块注意力块12(Convolutional Block Attention Module,CBAM)。文 献 13 提 出 时 间 卷 积 网 络(Temporal Convolutional Network,TCN),与 循 环 神 经 网 络(Recurrent Neural Network,RNN)相比,TCN 能够随着参数数量的线性增加而指数性地扩展感受野的大
13、小,同时能避免循环神经网络出现的梯度消失或梯度爆炸问题。文献14提出了一种用于脑电信号分类的 TCN,提高了模型的分类准确率。Thorir等人提出了 EEGITNet模型15,使用Inception模块和具有膨胀的因果卷积从多通道EEG信号中提取时域、频域和空间域信息。为提高运动想象分类正确率,本文提出一种基于多尺度特征融合与多头注意力机制的时间卷积网络模型,该模型包括三个核心组件,分别是多尺度特征融合模块、注意力模块和时间卷积模块。提出的模型可以有效地对脑电信号进行解码,应用于运动想象任务分类,有利于进一步探索脑机接口设备的应用与发展。本文主要贡献有以下几个方面:1)基于多尺度卷积可以有效提
14、取脑电信号中的时域、频域和空间域特征,实现端到端的脑电信号解码;2)基于多头注意力机制的应用,有效提升了模型的分类效果;3)在公开的 BCI竞赛2a数据集上进行实验,实现了较高的分类精度。1 研究方法1.1 网络模型本文提出的 MSATCNet网络模型结构如图 1所示。该网络特征提取模块对 EEGNet16做出改进,通过多尺度卷积神经网络对脑电信号的时空特征进行提取,多头注意力机制对融合后的高级时空特征分配注意力权重,最后在 TCN 模块中堆叠两层残差结构,以充分获取时间特征并将最终提取到的信息输入到全连接层经过Softmax进行分类。图1 MSATCNet模型86第23期经过全连接层输出四类
15、运动想象结果,该层根据公式(1)对输入特征进行加权计算。ali=al-1 Wli+bli (1)式中l表示模型层数;ali表示al-1层经过加权计算后的输出;i表示该层的第i个输出节点;Wli为输出的第i个权重参数矩阵;bli为第i个输出偏置。由公式(2)中的Softmax激活函数计算模型对四分类任务的输出值。Softmax(ali)=exp(ali)i=1mexp(ali)(2)式中m代表输出分类的数目。1.2 多尺度卷积特征提取模块特征提取模块由 4 组并行的时空卷积模块和深度可分离卷积模块组成,模块具体参数如表 1所示,选择指数线性Elu17作为激活函数。首先时间卷积模块对输入的原始脑电
16、信号进行时域卷积,再通过深度卷积提取信号特征的空间域信息。其中并行的 4组卷积核尺寸分别为(16,1)、(32,1)、(64,1)和(128,1),每组卷积核输出数量为 16的时域特征图,对提取到的特征分别进行深度卷积,卷积核尺寸为(1,22),数量为 32。将时空卷积模块提取的特征进行拼接,分别对拼接后的所有特征图先按照通道顺序做深度卷积,再逐点卷积。表1 多尺度卷积特征提取模块的主要参数Layer输入Reshape时域卷积批标准化深度卷积批标准化拼接层平均池化层Dropout深度可分离卷积层批标准化平均池化层Dropout 注:表中省略其余三组并行时空卷积模块。Filters1632Ker
17、nel(16,1)(1,22)(8,1)(16,1)(8,1)Stride(1,1)(1,1)Output(1,22,1 125)(1 125,22,1)(1 125,22,16)(1 125,22,16)(1 125,1,32)(1 125,22,16)(1 125,1,128)(140,1,128)(140,1,128)(140,1,32)ActivationEluEluEluPaddingSameSame1.3 多头注意力机制注意力机制可以基于注意力分数或通过强化学习等不同的机器学习算法来实现,为了提高模型提取特征的能力,对多尺度卷积模块所提取的时空特征添加注意力,使模型关注更有价值的特
18、征。多头自注意力机制(Multihead Self Attention)结构如图2所示。每个自注意力层由三个主要部分组成:查询向量(query)Q、键向量(key)K和值向量(value)V。查询向量和键向量之间进行点积计算来产生注意力分数,从而产生对值向量的偏好选择。其计算式如下:Attention(Q,K,V)=Softmax()QKTdkV(3)式中Attention(Q,K,V)为赋予注意力分数后的值。为了避免在梯度运算过程中产生过小的梯度值导致梯度消失,需要将点积结果除以缩放因子dk。图2 多头自注意力机制结构冯泽林,等:多尺度卷积与注意力机制的脑电信号识别研究87现代电子技术202
19、3年第46卷每个缩放点积自注意力对输入向量计算出单独的注意力分数,在此基础上,通过堆叠并行缩放的点积注意力(见图 2b)使模型有效地收集不同位置的子空间表示。其中每一个子空间被称作一个“头部”,第n个头部计算过程如下:Qn=QWQn(4)Kn=KWKn(5)Vn=VWVn(6)headn=Attention(Qn,Kn,Vn)(7)式中:WQn Rd dHq,WKn Rd dHk,WVn Rd dHv是映射矩阵权重,d是映射维度。通过分别计算出每个缩放点积注意力,将输出的所有特征子空间信息连接起来,反馈到另一个线性投影中获得dH的输出,计算公式如下:MultiHead(Q,K,V)=Conca
20、t(head1,head2,headh)Wo(8)式中Wo Rhdv dH是输出的权重矩阵,使得输出的维度大小与输入维度大小相同,h为头部的数量。1.4 时间卷积网络模块EEG信号具有较好的时间分辨率,经深度可分离卷积输出的特征中仍包含了事件相关信息,为减少冗余信息对模型分类的影响,本文使用图3所示堆叠的残差块搭建时间卷积网络。残差块由两个膨胀的因果卷积层组成,每个卷积后是权重归一化层18和 ReLU19激活函数。图3 时间卷积网络膨胀卷积可以使感受野呈指数放大,同时增加网络的深度,弥补了常规因果卷积只能通过增加网络深度来线性增大感受野的缺陷,使模型更好地学习长序列中的关联信息。如图 3所示,
21、残差块之间通过逐元素相加,下一层残差块的输入是上一层残差块输出的特征图,由于输入与输出的维度相同,因此在深度神经网络中使用恒等映射十分有效。由于每个残差块中的膨胀系数D呈指数级增加,导致 TCN 的感受野大小(Receptive Field Size,RFS)也随着堆叠残差块数目L的增加而指数级增长。感受野的大小主要由两个参数控制:残差块的数量L和卷积核大小KT,如公式(9)所示:RFS=1+2(KT-1)(2L-1)(9)在本文所提出的MSATCNet中,TCN模块中包含2个残差块,即L=2,每层卷积层均设定数量为32、尺度大小为 4的卷积核,即KT=4。因此,所提出的 TCN 模块感受野大
22、小为19,可以使其有效处理所有的时间信息。TCN模块的输入时序信号长度为 16,每个元素都是大小为32 的向量,模块输出序列中的最后一个元素是大小为32的向量。将 TCN模块输出的所有向量拼接后输出到包含4个神经元的全连接层,通过Softmax分类器分类。2 数据集及预处理2.1 数据集本文使用的数据为 BCI竞赛2a 数据集,采样数据来源于 9 名受试者,对每位受试者分两期进行四类(左手、右手、双脚和舌头)运动想象实验。因此本文将受试者第一阶段采集到的脑电数据作为训练样本,第二阶段采集的脑电数据作为测试样本。两阶段实验均分别包含了288次实验,单个实验采样过程如图4所示,经过88第23期脑电
23、帽上 22个电极进行采样,原始采样频率为 250 Hz,为避免高频噪声对解码精度的影响,对原始脑电信号进行0.5100 Hz的带通滤波。图4 数据采集流程2.2 数据预处理首先提取原始脑电信号中涉及运动想象相关事件段,包含提示前 0.5 s到运动想象结束 3 s时间段内的脑电信号,共 3.5 s的时间长度,包含 1 125个采样点。同时为便于模型对样本标签进行有效分类,本文将提取到的样本标签进行 onehot编码,将左手、右手、双脚和舌头四类运动想象任务的标签分别编码为 1000、0100、0010和0001。2.3 实验环境整个网络模型在 Python 上的 TensorFlow 框架下进行
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 尺度 卷积 注意力 机制 电信号 识别 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。