![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于Swin Transformer的四维脑电情绪识别.pdf
《基于Swin Transformer的四维脑电情绪识别.pdf》由会员分享,可在线阅读,更多相关《基于Swin Transformer的四维脑电情绪识别.pdf(7页珍藏版)》请在咨信网上搜索。
1、收稿日期:2023-03-04摇 摇 摇 摇 摇 摇 修回日期:2023-07-05基金项目:国家自然科学基金项目(62076103);科技创新 2030 项目-“脑科学与类脑研究冶重点项目(2022ZD0208900)作者简介:陈宗楠(1999-),男,硕士生,CCF 会员(K6878G),研究方向为情感脑机接口、计算机视觉;通信作者:潘家辉(1982-),男,教授,博士,CCF 会员(F7646M),研究方向为脑机接口、模式识别与智能系统。基于 Swin Transformer 的四维脑电情绪识别陈宗楠,金家瑞,潘家辉*(华南师范大学 软件学院,广东 佛山 528225)摘摇 要:近年来,
2、基于脑电图(Electroencephalogram,EEG)的情绪识别研究主要使用卷积神经网络、循环神经网络和深度信念网络模型。这些方法能利用全局差异来区分不同情绪状态,但忽视了局部脑电的变化对情绪状态的影响。针对上述问题,使用了一种基于 Swin Transformer 的 EEG 四维脑电情绪识别模型,能够更好地捕捉到细小的局部空间特征和复杂的时间序列特征。相较于其它情绪识别方法,该模型通过基于滑动窗口的自注意力机制提高了不同块之间的特征连接,使得模型的建模能力更强,也降低了计算的复杂度。此外,利用情绪脑电公开数据集 SEED 来评估该模型的可行性与有效性,在单被试情绪三分类的准确率为
3、94.73%依1.72%,跨被试情绪三分类的准确度为 89.63%依3.42%,并且测试速度能达到实时处理的水平。实验结果表明,基于 Swin Transformer 的 EEG 四维脑电情绪识别模型通过局部特征的学习在小样本训练上也能达到较高的情绪分类准确率和较快的测试速度。关键词:深度学习;情绪识别;脑电图;特征融合;Swin Transformer中图分类号:TP183摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)12-0178-07doi:10.3969/j.issn.1673-629X.2023.12.025Swin Tra
4、nsformer-based 4-D EEG Emotion RecognitionCHEN Zong-nan,JIN Jia-rui,PAN Jia-hui*(School of Software,South China Normal University,Foshan 528225,China)Abstract:In recent years,electroencephalogram(EEG)-based emotion recognition has focused on the use of convolutional neuralnetworks,recurrent neural n
5、etworks and deep belief network models.These methods can use global differences to distinguish betweendifferent emotional states,but ignore the effect of local EEG changes on emotional states.To address these issues,we use a 4-dimensional EEG emotion recognition model based on the Swin Transformer.T
6、he model can better capture both small local spatialfeatures and complex time-series features.Compared with other emotion recognition methods,the model proposed improves the featureconnectivity between different blocks through a self-attention mechanism based on shifted windows,which makes the model
7、 moremodelable and also reduces the computational complexity.In addition,we use the public emotion EEG dataset SEED to evaluate thefeasibility and effectiveness of this model,with an accuracy of 94.73%依1.72%for single-subject emotion triple classification and89.63%依3.42%for cross-subject emotion tri
8、ple classification,and the testing speed can reach the level of real-time processing.Theexperimental results show that 4-D EEG emotion recognition based on the Swin Transformer model can achieve high emotionclassification accuracy and fast testing speed even with small sample training through local
9、feature learning.Key words:deep learning;emotion recognition;electroencephalogram(EEG);feature fusion;Swin Transformer0摇 引摇 言情绪识别是计算机感知人类情感从而进行人机交互反馈的重要环节,在情感脑机接口领域得到了学术界和企业界的广泛关注。在众多情绪识别的方法中,脑电图(Electroencephalogram,EEG)是一种使用电生理指标记录大脑活动的方法,通过记录大脑正常活动的电信号变化,可以反映出脑神经细胞产生的各种生理电信号在大脑皮层的变化情况。已有研究表明,脑电模式
10、会随着生理与心理状态不同而变化,因此使用脑电图来进行情绪识别是可行的1,能够真实地反映人的情绪状态。基于 EEG 的情绪识别是人工智能领域的一个重要分支。在各类基于 EEG 的情绪识别方法中,使用传统的机器学习如支持向量机(Support Vector Machine,第 33 卷摇 第 12 期2023 年 12 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.12Dec.摇 2023SVM)、决策树等模型2对复杂函数表达能力有限,且不同人的
11、脑电之间存在领域偏移(Domain Shift)问题3,这类浅层模型容易受到不同领域数据分布变化的影响,一定程序上限制了机器学习模型分类复杂模型的能力,使得跨被试情绪识别准确率不高。近年来的工作主要使 用基于深度 学习的卷 积 神 经 网 络(Convolution Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)和深度信念网络(Deep Belief Network,DBN)等来分类情绪,通过多层非线性网络结构能够更好地拟合复杂函数4-5。Wang等6利用 3DCNN 同时捕获时间和空间特征,并配合批标准化和密集预测解决数据分布
12、偏移和参考标签不可靠问题,其消融实验证实了上述模块的有效性。陈景霞等7基于 EEG 信号的时域、频域特征,提出一种基于 CNN 的 EEG 情感特征学习与分类算法,在效价维度上平均准确率最高达到 88.76%,在唤醒度上平均准确率最高达到 85.57%。Zhang 等8提出时空RNN,包含空间和时间两层 RNN 结构,实验策略上选择被试依赖,达到了 89.50%的准确率。Chen 等9提出了一种基于估计熵的深度信念网络情绪识别框架,对情绪四分类的识别准确率达到了 83.34%。然而,由于 EEG 信号的非平稳性所造成的被试间的不同数据分布差异4,针对单被试训练的分类模型在跨被试情绪识别时存在困
13、难。这种分布差异使得利用固定分类模型对脑电情绪的预测效果随时间改变而下降,极大地限制了脑电情绪识别技术的实际应用。脑电图的非平稳特性和个体差异限制了情绪识别模型在不同时间、不同受试者之间的泛化,为了解决跨被试情绪识别问题,部分研究团队使用了领域适配(Domain Adaptation)10-11和 对 比 学 习(ContrastiveLearning)方法12。李劲鹏13为了解决 EEG 情绪识别模型的跨被试适配问题,提出了一种多源迁移学习框架。在每个合适的源上,减少目标和源域的差异,使源域上的分类器直接用于推断目标中样本的情绪标签。Jin 等14利用域对抗神经网络(DANN)建立跨被试情感
14、识别模型,在训练阶段保持特征区分性和领域不变性,在 SEED 数据集上的平均准确率为 79.19%依13.14%。郭苗苗等15提出全局域适应与相关子域自适应串联系统模型来实现跨被试的情感识别,以解决EEG 的非平稳性及个体差异性造成的情绪识别模型跨被试泛化性能低的问题。Shen 等12提出了基于对比学习的跨被试对齐方法,通过最大化被试间脑电的相似性,来降低跨被试脑电的差异。DANN 等模型适配了源域和目标域等边缘分布,但来自多名被试多源域场景的脑电数据则无法进行对抗学习。如果被试间的相关性较低,单源域迁移学习可能会造成负迁移现象。同时,深度神经网络能够对脑电分类进行端到端的自动学习,却忽略了脑
15、电特征和情绪之间的内在关系,导致深度学习模型自动提取情绪特征的可解释性不如人工设计的情绪特征。因此,如何将传统的脑电特征提取方式与深度学习算法相结合,提高模型的可解释性和跨被试情绪识别性能是该文研究的重点。该文使用 Swin Transformer16模型用于情绪识别,SwinTransformer 是 在 Transformer17和 ViT(Vision Transformer)18模型上的改进。具体使用上,针对 脑 电 信 号 特 征,该 文 提 出 了 改 进 的 SwinTransformer 框架,进行模型优化。为了适配脑电通道数以及特征维度,修改了输入尺寸和维度,并通过修改滑动窗
16、口大小、特征块大小和优化结构层数来降低模型参数量和浮点运算次数。针对脑电情绪识别任务,通过改进的 Swin Transformer 将人工特征生成二次特征,映射到一个公共的特征空间,在跨被试情绪识别中也有较高的准确率。为验证模型改进效果,改进后的模型在 SEED 数据集上测试。通过融合频域和空间域的人工情绪特征,模型速度效率和准确率均有提升,并进行了融合特征的有效性分析。研究结果表明,使用改进的 Swin Transformer 框架在跨被试情绪识别中有较高的准确率和较快的测试速度,这是将传统机器学习人工提取特征与深度学习特征分类在情感脑机接口的情绪识别任务上的一次有益尝试。1摇 数据预处理1
17、.1摇 脑电情绪识别框架基于 Swin Transformer 的 EEG 四维脑电情绪识别框架如图 1 所示,由三部分组成:脑电人工特征提取、特征组合与融合、改进的 Swin Transformer 情绪识别模型。在脑电特征提取中,将预处理后的脑电源数据从时域、频域和空间域特征提取,得到不同的人工脑电特征。在特征组合与融合中,将脑电特征进行多特征组合形成四维脑电特征数据,4 个维度包含单通道特征、脑电多通道、单特征维度、多特征组合。最后将组合特征输入改进的 Swin Transformer 情绪识别模型,输入的特征大小是单通道特征长为 56 的 56 个脑电通道集合,特征深度由组合的原始各个
18、特征维度决定。依照情绪分类任务的类目数量,改变全连接层实现情绪多分类。1.2摇 脑电特征提取为提高情绪识别的可解释性,并使传统的脑电特征提取方式与深度学习算法相结合,该文从以下人工特征中开展实验,包含时域、频域、空间域。时域特征包括一阶差分、二阶差分、Hjorth Mobility 特征、HjorthComplexity 特征和不稳定指数(Non-Stationary Index,971摇 第 12 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 陈宗楠等:基于 Swin Transformer 的四维脑电情绪识别NSI);频域特征包括微分熵(Differential Entropy,DE)和功
19、率谱密度(Power Spectral Density,PSD);空间域特征包括不对称差(Differential Asymmetry,DASM)、不对称商(Rational Asymmetry,RASM)和不对称系数(Asymmetry Index,AsI)。针对频域特征,脑电按频率分为 5 个频段:啄(1 4 Hz),兹(4 8 Hz),琢(8 13Hz),茁(13 30 Hz),酌(30 47 Hz)。各情绪特征的参数根据具体特征维度有所不同,如表 1 所示。图 1摇 基于 Swin Transformer 的 EEG 四维脑电情绪识别框架表 1摇 情绪特征参数情绪特征特征大小情绪特征特
20、征大小一阶差分19(56,56,25)DE4(56,56,5)二阶差分19(56,56,25)PSD22(56,56,5)Hjorth Mobility20(56,56,1)DASM23(56,56,25)Hjorth Complexity20(56,56,1)RASM23(56,56,25)NSI21(56,56,1)AsI24(56,56,25)1.3摇 特征组合与融合为了脑电数据能够符合文中 Swin Transformer 模型的输入大小,对源数据的通道和时长进行了选择和处理。模型输入的尺寸大小是(56,56),第一维的 56表示将选择 56 个脑电通道。因为大脑的额叶部分主要控制人们
21、的情感,与情绪密切相关25,所以例如在62 导脑电设备中剔除了非额叶部分 6 个对脑电特征影响较小的通道:P7,P8,PO7,PO8,CB1 和 CB2。第二维的 56 表示一个脑电通道在一个时间片下的特征长度为 56。该文对受试者每个实验单次诱导情绪片段截取了175 秒脑电数据,共35 000 个脑电采样点,按7 秒为时间片切分为 25 组,每组有 1 400 个脑电采样点。以微分熵为例,将每 25 个采样点计算 1 次微分熵特征,使得该时间片微分熵特征是长度为 56 的向量,与 56 个通道和 5 个频段结合后,一个 7 秒时间片的特征大小为(56,56,5)。最后将这 25 组时间片叠加
22、成(25,56,56,5),代表了观看一段诱导视频中按 7 秒为一个时间片分为了 25 组,其中包含 56 通道脑电数据各自的长为 56 的特征,这些特征按频段或者特征组数在维度上进行叠加。2摇 情绪识别模型Swin Transformer16是 2021 年提出的一种新型的Transformer 架构,通过一个层次化的 Transformer 来解决二维数据的训练难点,其表示是用滑动窗口计算的。根据脑电特征图的大小和维度,对其模型结构进行了适配,图 2 是适配后的模型结构和其输入特征尺寸和维度的变化细节。针对脑电情绪识别任务,SwinTransformer 模型适配了人工脑电特征的输入尺寸和
23、维度,将人工特征生成二次特征,映射到一个公共的特081摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷征空间,使得跨被试情绪识别效果更好。模型通过优化与改进结构,修改特征块(Patch)的大小和通用结构层数,降低了模型参数量和浮点运算次数,使其有较快的运行速度。图 2摇 改进的 Swin Transformer 模型摇 摇 为适配 Swin Transformer 模型的输入结构,输入模型的脑电特征大小定为 56伊56,输入特征的维度由具体特征或特征组合而定,
24、假定为 n 维,则通过2伊2 的特征块分区转化为 28伊28伊4n 的大小。根据人工脑电特征的构建,每个 2伊2 特征块包含相邻时间和相邻通道的特征数据。块合并(Patch Merging)类似于 CNN的池化层,能够让模型产生多尺度的特征。随着模型的深入,经过块合并后每个块会拥有成倍增加的视野,使得表征能力更强。线性嵌入层(Linear Embedding)把特征维度升至 8n,提高了不同特征间的可区分性。在 Swin Transformer 基本模块中,使用基于窗口的掩码自注意力机制(W-MSA)对 2伊2 特征块内计算自注意力,再使用基于滑动窗口的掩码自注意力机制(SW-MSA)使窗口之
25、间进行互动,不同块的特征之间产生联系。滑动窗口方案将自注意力机制限制在非重叠的局部窗口上,通过允许跨窗口连接从而提高了效率。这种分层结构具有在不同尺度下建模的灵活性,并且相对于图像大小具有线性计算复杂性,能够提高模型的运行速度。通过线性嵌入层后,单层特征会被拉直为序列,使用层归一化(Layer Normalization,LN)在通道方向上进行归一化操作,最后通过一个全连接层(Multilayer Perceptron,MLP)输出到下一个模块。鉴于原始特征输入大小为 56,对最小的 Swin-Tiny 模型的模块进行修改,删去了最后一个块合并和基本结构块,整个模型由 3 个阶段组成,如图 2
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于Swin Transformer的四维脑电情绪识别 基于 Swin Transformer 四维脑电 情绪 识别
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。