基于模态注意力图卷积特征融合的EEG和fNIRS情感识别.pdf

DOI:10.3785/j.issn.1008-973X.2023.10.008基于模态注意力图卷积特征融合的 EEG 和 fNIRS情感识别赵卿，张雪英，陈桂军，张静(太原理工大学信息与计算机学院，山西太原030024)摘要：为了提升情感识别的准确率，从情绪视频引起的脑电（EEG）和功能近红外（fNIRS）数据中提取每个通道的信号之间的联系，并提出基于模态注意力多路图卷积神经网络(MA-MP-GF)的特征融合情感识别方法.将 EEG和 fNIRS 数据构建为图结构数据，通过多路图卷积分别对每种模态的信号进行特征提取；利用模态注意力图卷积层融合不同模态通道间的连接信息.模态注意力机制可以赋予不同模态节点不同权重，使得图卷积层能够更加充分提取不同模态节点间连接关系.对采集的 30 个被试的 4 类情感数据进行实验测试，与仅 EEG 和仅 fNIRS 单模态识别结果相比，所提出的图卷积融合方法能够获得更高的识别准确率，分别提升了 8.06%、22.90%；与当前常用的 EEG-fNIRS 融合方法相比，所提出的图卷积融合方法的平均识别准确率提升了 2.76%7.36%；图卷积融合方法在加入模态注意力后识别率最高提升了 1.68%.关键词：图卷积神经网络；脑电；功能近红外；模态注意力；多模态融合；情感识别中图分类号：TP391文献标志码：A文章编号：1008973X（2023）10198711EEG and fNIRS emotion recognition based on modality attentiongraph convolution feature fusionZHAOQing,ZHANGXue-ying,CHENGui-jun,ZHANGJing(College of Information and Computer,Taiyuan University of Technology,Taiyuan 030024,China)Abstract:Afeaturefusionemotionrecognitionmethodbasedonmodalityattentionmulti-pathconvolutionalneuralnetworkwasproposed,extractingtheconnectionbetweenthesignalsofeachchannelfromtheelectroencephalogram(EEG)andfunctionalnearinfraredspectroscopy(fNIRS)datainducedbyemotionalvideotoimprovetheaccuracyofemotionrecognition.TheEEGandfNIRSdatawereconstructedasgraphstructuredata,andthefeatureofeachmodesignalwasextractedbymulti-pathgraphconvolution.Theinformationofconnectionbetweendifferentmodalchannelswasfusedbymodalityattentiongraphconvolution.Themodalityattentionmechanismcangivedifferentweightstodifferentmodalnodes,thusthegraphconvolutionlayercanmorefullyextracttheconnectionrelationshipbetweendifferentmodalnodes.Experimentaltestswerecarriedoutonfourtypesofemotionaldatacollectedfrom30subjects.ComparedwiththeresultsofEEGonlyandfNIRSonly,therecognitionaccuracyoftheproposedgraphconvolutionfusionmethodwashigher,whichincreasedby8.06%and22.90%respectively.ComparedwiththecurrentcommonlyusedEEGandfNIRSfusionmethod,theaveragerecognitionaccuracyoftheproposedgraphconvolution fusion method was improved by 2.76%7.36%.The recognition rate of graph convolution fusionmethodincreasedby1.68%afteraddingmodalityattention.Key words:graphconvolutionneuralnetwork;electroencephalogram;functionalnearinfraredspectroscopy;modalityattention;multi-modalfusion;emotionrecognition收稿日期：20221126.网址： EEG-fNIRS 情感识别研究.orcid.org/0000-0003-3035-9420.E-mail：通信联系人：张雪英，女，教授.orcid.org/0000-0002-2035-0329.E-mail：第57卷第10期2023年10月浙江大学学报(工学版)JournalofZhejiangUniversity(EngineeringScience)Vol.57No.10Oct.2023情感识别在人机交互领域具有广阔的应用前景，当前基于大脑信号进行情感识别及交互的研究得到广泛关注1.情感的产生变化和大脑皮层的神经活动2以及血氧浓度变化具有一定关联3.脑电(electroencephalogram,EEG)和功能近红外(functionalnearinfraredspectroscopy,fNIRS)具有相对便携、灵活和廉价的特性，可以同时采集互不干扰，应用前景广泛4.EEG 信号可以反映大脑皮层神经元的电活动，fNIRS 信号反映出大脑皮层的血氧浓度变化，这 2 种信号反映了大脑神经活动的不同方面，两者皆可客观地表征大脑的情感认知过程.脑电情感识别领域的研究主要基于公开的DEAP5与 SEED6情感数据库.Shen 等7提出四维卷积递归神经网络方法；Cui 等8将 CNN 与BiLSTM 相结合，在 SEED 数据集上的准确率达到 94.82%；fNIRS 情感识别研究主要基于自建非公开数据库；Bandara 等9使用与 DEAP 相同的刺激材料建立 fNIRS 情感数据库；Hu 等10使用视频片段刺激建立了 fNIRS 数据库，对离散情感进行两两分类聚类，证明 fNIRS 可以区分细分的积极情绪.单模态情感识别仍存在特征提取不足及识别准确率不高的问题.因此将 EEG 与 fNIRS 进行融合，挖掘二者之间的相关性和互补性11是后期研究的重点.Sun 等12提出 P 阶多项式方法融合 EEG 和fNIRS 信号，对运动想象和心算的二分类识别率相比单模态有明显提升；Deligani 等13提出基于互信息的特征选择方法，将 EEG 和 fNIRS 特征进行筛选得到融合特征集，并对 ALS 患者与健康者进行分类；王恩慧14使用 fNIRS 特征对 EEG 信号进行筛选，得到新特征集后进行情感分类；Sun 等15将 EEG 和 fNIRS 特征直接拼接之后使用 SVM 进行分类；吴文一16使用主成分分析法对拼接的EEG 和 fNIRS 特征矩阵进行降维.以上研究中双模态融合后分类识别率均显著提高.EEG 和 fNIRS 是多通道信号，若将各通道作为节点，各通道特征作为节点特征，相关通道之间的关系看作边，则 EEG 与 fNIRS 实质上是图结构数据.图卷积神经网络(graphconvolutionalneur-alnetworks,GCN)是一类专门处理图结构数据的神经网络.Li 等17提出自组织图卷积模型，根据不同卷积层自动提取出脑电特征生成脑电连接图，实现情感分类.Song 等18提出动态图卷积情感识别模型，图的结构可以进行动态变化，使得图卷积层可以更好地提取 EEG 电极之间的连接信息.以上研究表明，图卷积神经网络能够有效地提取 EEG 信号各通道间连接信息.图卷积神经网络可以分为频谱域图卷积(如 GCN19、Cheb-Net20)以及空间域图卷积(如 GraphSAGE21、GAT22).频域图卷积是从频域出发，参考传统的信号处理方法，引入滤波器来定义图卷积.空间域图卷积对每个节点的邻居节点进行某种方式的加权求和，得到新的节点特征.注意力机制通过对信号特征中与情感显著相关的信息分配较大的权重，来提高情感识别性能.张静等23提出频-空注意力机制，综合脑电信号在时间、空间和频率 3个维度的信息，提高情感识别的准确率.Song 等24提出注意力 LSTM，将注意力系数分别加在 LSTM的不同结构上，对 3 种生理信号分别进行特征提取，最终拼接实现多模态融合.本研究将模态注意力机制加入图卷积融合方法中，来学习不同模态不同通道信号的权重.当前 EEG-fNIRS 特征级融合方法大多使用拼接、张量融合的方法，这些方法仅仅考虑不同模态特征向量整体间的融合，而忽略了 EEG 和fNIRS 各通道信号之间的差异与联系.针对当前没有公开的 EEG-fNIRS 情感数据库的现状，本研究设计实验并采集了 30 名被试在情感视频诱发下的 EEG 和 fNIRS 数据，在提出模态注意力多路图卷积模态融合方法.在 GraphSAGE 图卷积层中，引入所提的模态注意力机制，并利用 Graph-SAGE 图卷积层融合 EEG 和 fNIRS 信号各通道特征.在融合时，赋予 EEG 和 fNIRS 的不同通道以不同的权重，更加有针对性地进行模态融合，从而提升情感识别率.1方法介绍1.1 数据采集如图 1 所示为数据采集与特征提取的流程图，主要包括情感电影片段选取、数据采集、信号预处理以及特征提取.情感电影片段选取EEG-fNIRS数据采集EEG 和fNIRS信号预处理EEG 和fNIRS特征提取图 1 EEG-fNIRS 数据采集与处理的流程图Fig.1FlowchartofEEG-fNIRSdataacquisitionandprocessing1988浙江大学学报（工学版）第57卷Schaefer 等25研究了电影片段在诱发情绪方面的可靠性和效率，表明带有情感的电影片段可以使受试者产生代入感，并引发情感共鸣，是良好的情感激发材料.本研究初步选取包含悲伤、高兴、中性和恐惧这 4 种情感的 80 个电影片段，每种情感有 20 个电影片段.通过观看者填写 SAM问卷的方式26，在愉悦度(pleasure,P)、激活度(arousal,A)和支配度(dominance,D)3 个维度对每个视频片段进行打分，选择每种情感下与目标情感得分距离最小的前 15 个视频，经过筛选最终得到 60 个视频.共有 30 名被试(15 男，15 女，平均年龄 24.11.5 岁，视听力均正常，均为右利手)参与实验数据录制.参与录制前每位受试者均填写了个人基本信息以及知情同意书.受试者被要求头上佩戴脑电-功能近红外测量帽，坐姿调整到舒适的位置，认真观看即将开始的电影片段，并尽可能避免明显的动作.实验在屏蔽室中进行.根据国际 10-20 系统，使用 ESINeuroScan 系统从 62 通道电极帽以 1000Hz的采样率记录脑电信号；根据设计的光极位置，使用慧创医疗设备公司研发的 NirSmart 便携式近红外脑功能成像系统以 11Hz 的采样率记录受试者额叶和颞叶的功能近红外信号.2 种信号记录同时进行.如图 2 所示，一个受试者的实验总共有 60 次.每次试验中播放一段视频，视频时长 12min，视频结束之后的 30s 填写自我评估表，以确认视频片段是否成功激发对应情感.实验 1实验 2实验 k实验 59实验 6012 min情感电影片段 30 s自我评估打分图 2 EEG-fNIRS 情感数据的采集流程Fig.2CollectionprocessofEEG-fNIRSemotionaldata1.2 特征提取对于采集的脑电信号和功能近红外信号，需要预处理后才能进行下一步的特征提取.对于脑电信号要进行信号重参考、去基线以及 0.150.0Hz滤波处理，再使用独立成分分析(independentcom-ponentanalysis,ICA)去除脑电信号中的伪迹，并将信号降采样至 200Hz.将脑电信号划分为 5 个频段：(14Hz)，(48Hz)，(814Hz)，(1430Hz)，(3050Hz)，随后对每个频段的脑电信号提取特征.对于采集的 fNIRS原始光密度信号进行基线校正以及 0.010.20Hz带通滤波，通过修正的 Beer-Lambert 定律27计算得到氧合血红蛋白(HbO)以及脱氧血红蛋白(HbR)浓度变化.分别计算每个频段的特征.功率谱密度(powerspectraldensity,PSD)28表示脑电信号在不同频段的平均能量：PSD=?w+z()exp(j2f)d?2.(1)zf式中：为脑电信号，为时间，为频率.使用快速傅里叶变换(fastfouriertransform,FFT)计算信号的离散傅里叶变换(discretefouriertransform,DFT)，使用 200 个采样点的窗估计得到每个频段的功率谱密度.微分熵(differentialen-tropy,DE)29是脑电信号的一种非线性特征，是香农信息熵在连续变量上的推广形式，即DE=w+P(z)ln(P(z)dz.(2)P(z)式中：为概率密度函数.z N(,2)假设脑电信号服从正态分布：，微分熵特征计算式为DE=w+12exp(z)222ln12exp(z)222 dz=12ln2e2.(3)式中：为标准差，为均值，e 为常数.与脑电信号不同，fNIRS 信号的变化是相对缓慢的.为了适应这一特点，采用均值、最大值、最小值、线性回归斜率以及方差这 5 个统计特征点作为 fNIRS 信号的特征集.均值反映 HbO/HbR浓度水平；最大值、最小值反映 HbO/HbR 浓度曲线本身的特点；方差反映 HbO/HbR 浓度的波动情况；线性回归斜率则反映 HbO/HbR 浓度整体变化趋势.EEG 与 fNIRS 信号均按 1s 分段，最后得到EEG 的特征矩阵大小为 4845625，得到 fNIRS的 HbO/HbR 特征矩阵大小为 4845185.1.3 EEG-fNIRS 图数据构建A为了能够将数据输入图卷积神经网络，必须将 EEG 和 fNIRS 信号转为图结构数据.图结构数据是节点和边的集合，记为 G=(V,E)，其中 V 为节点的集合，E 为边的集合.将 EEG 和 fNIRS 信号的每个通道看作节点，每个通道求得的特征作为节点特征，得到特征矩阵 X；将通道与通道之间的连接关系作为边，求得邻接矩阵，这样就将 EEG和 fNIRS 信号抽象为图结构数据.图结构数据的特征矩阵 X 由提取的脑电 DE、第10期赵卿,等：基于模态注意力图卷积特征融合的 EEG 和 fNIRS 情感识别J.浙江大学学报：工学版,2023,57(10):19871997.1989APSD 特征以及 fNIRS 统计特征所构成.邻接矩阵通过计算两两通道信号之间的皮尔逊相关系数得到.Bao 等30将皮尔逊相关系数作为图卷积网络的邻接矩阵，在 EEG 情感识别中取得较好效果.皮尔逊相关系数可以度量 2 个时间序列之间的相关性，计算式为a,b=Cov(a,b)ab=gi=1(aia)(bib)gab.(4)式中：为相关系数，a、b 分别为 2 个通道的特征向量，Cov(a、b)为向量 a 和 b 的协方差，g 为向量中元素的个数.由于 EEG 和 fNIRS 是 2 种不同采样率的信号，对 EEG 原始信号进行平均降采样至11Hz，使之与 fNIRS 信号的采样率一致；利用皮尔逊相关系数计算每 1s 信号两两通道之间的相关性，并构建 EEG-fNIRS 通道邻接矩阵.Achard等31指出在稀疏的 fMRI 脑网络中，当实际连接数等于全部可能连接数的 20%时，通常会最大限度地提高网络拓扑的效率；当选择保留 EEG-fNIRS 邻接矩阵全部连接的 20%时，由于直接选取全局最相关的 20%连接，连接可能会聚集于某个区域，同样重要但相关系数稍微较弱的区域可能被忽略.整个邻接矩阵分为 EEG-EEG、fNIRS-fNIRS 以及EEG-fNIRS 子矩阵，分别在每个子矩阵中选取相关系数最大的前 20%连接进行保留，最终得到图数据特征矩阵 X(4845985)，邻接矩阵 A(48459898)，两者之间一一对应.1.4 图卷积融合模型如图 3 所示为 MA-MP-GF(modalityattention-multipath-graphconvolutionfusion)双模态融合情感识别框架.将 EEG 和 fNIRS 构建为图结构数据，计算各通道特征和各通道的相关性关系，分别以节点特征矩阵和邻接矩阵的形式输入 MA-MP-GF 模型中实现 2 种模态的融合情感识别.本研究提出基于多路模态注意力图卷积融合的情感识别模型 MA-MP-GF，如图 4 所示，依次由图特征提取、图特征融合以及分类器模块构成.EEG 信号fNIRS信号EEG-fNIRS图数据MA-MP-GF模型识别结果图 3 双模态融合情感识别框架Fig.3Frameworkofbimodalfusionemotionrecognition1.4.1图特征提取模块GraphSAGE21图卷积是一种空间域图卷积，其算法的核心在于对邻居节点的采样与聚合.GraphSAGE 图卷积可以有效地聚合邻居节点特征，实现对图结构数据的数据特征提取.对于采用均值聚合的 GraphSAGE 图卷积，其节点更新的计算式为x(k)i=ReLUWMeanx(k1)ix(k1)j.(5)式中：xi为第 i 通道的节点特征；xj为对xi的邻居节点采样得到的节点特征；k 为神经网络层序号；ReLU 为激活函数；W 为权重矩阵，训练时通过梯度下降法进行更新；Mean 为向量求均值操作.式（5）是对图上每个节点的邻居节点进行采样，将本节点与每个采样得到的邻居节点进行拼EEG(625)HbO(185)HbR(185)EEG(62n)HbO(18n)HbR(18n)GraphSAGEMA-GraphSAGE融合特征2D-CNNGraphSAGEGraphSAGE悲伤高兴平静恐惧图特征提取图特征融合分类器A1(6262)A2(1818)A3(1818)A(9898)(98m)图 4 MA-MP-GF-2D-CNN 双模态融合情感识别模型Fig.4MA-MP-GF-2D-CNNbimodalfusionemotionrecognitionmodel1990浙江大学学报（工学版）第57卷接后求取平均值，再对得到的向量进行非线性变换，得到新的节点特征.由于 GraphSAGE 图卷积层能够根据邻接矩阵聚合不同邻居节点的特征，并生成新的节点特征，可以通过它对不同通道 EEG 和 fNIRS 节点进行聚合，实现特征融合.将 EEG、HbO 以及 HbR 图结构数据分别输入 GraphSAGE 图卷积层中，通过图 卷 积 层 分 别 提 取 特 征，得 到 EEG、HbO 和HbR 各自的图卷积特征矩阵.GraphSAGE 图卷积层通过聚合邻居节点特征实现新节点特征的生成，新节点特征与原来特征相比，包含了更多相关节点的信息，有利于下一模块不同模态节点之间的特征融合.1.4.2图特征融合模块针对不同模态节点的特征融合，提出模态注意力机制(modalityattention,MA)来对 GraphSAGE 图卷积进行改进，如图 5所示，图中 Mmod为模态权重，M 为模态注意力系数.当赋予不同模态节点以不同的权重时，改进后的图卷积层能够更加有效地进行特征融合.本研究提出的模态注意力机制由 2 条支路构成，分别为模态权重支路与节点权重支路.前者计算得到 EEG、HbO 和 HbR 这 3 种信号各自的权重；后者计算得到所有信号总计 98 个节点各自的权重.将模态权重与节点权重对应相加，得到最终的权重.将权重赋给原始信号，并输入到 Graph-SAGE 图卷积层当中，这样图卷积层在计算当中能够考虑到每个节点不同的权重，同时在每一次的训练中通过反向传播更新注意力系数与图卷积参数.注意力系数的计算式为Mmod=Sigmoid(FC0(pool(X),(6)Mnod=Sigmoid(FC1(FC2(pool(X),(7)Xout=MX=MmodX+MnodX.(8)式中：M 为最终的注意力系数向量，X 为输入特征矩阵，Mout为输出特征矩阵，FC1、FC2分别为第 1、2 层全连接层，pool 为全局平均池化层，Sig-moid 为非线性激活函数.在加入注意力机制之后，输入图卷积层的每个节点均具有不同的权重系数，每个节点与其采样得到的邻居节点进行聚合，而邻居节点包含 EEG节点与 fNIRS 节点，因此对每个节点进行聚合的过程相当于 2 种模态进行特征融合的过程.每个节点的聚合式（式(5)）可以重新表示为x(k)i=(Wn(pmix(k1)impx(EEG)(k1)p)+qmix(k1)imqx(fNIRS)(k1)q).(9)式中：x(EEG)p、x(fNIRS)q分别为 EEG 和 fNIRS 节点特征，是对邻居节点 xi采样得到的节点特征；p 为EEG 节点特征的序号；q 为 fNIRS 节点特征的序号；n 为采样节点的个数；mp、mq为对应节点的注意力系数.1.4.32D-CNN 分类模块经过图卷积融合之后每个节点生成的新节点特征融合了原节点以及与原节点相关的其他通道的信息.由于包含原节点信息，生成新的节点之间仍然具有一定的空间位置关系.EEG-fNIRS 空间排布矩阵如图 6 所示.将新的节点特征映射到空间排布矩阵中，通过 2D-CNN 进行情感分类.2D-CNN 的参数如表 1 所示，包括单模态与双模态分类时模型的参数.将转换得到的空间位置特征矩阵输入 2D-CNN 进行卷积池化操作，以双模态分类器为例，GlobalMaxPoolingFC0SigmoidEEG(625)HbO(185)HbR(185)DropoutFC1FC2SigmoidDropoutMmod(13)Mnod(198)GraphSAGEA(9898)X(985)M(198)图 5 模态注意力图卷积层Fig.5Modalityattentiongraphconvolutionallayer第10期赵卿,等：基于模态注意力图卷积特征融合的 EEG 和 fNIRS 情感识别J.浙江大学学报：工学版,2023,57(10):19871997.1991连续 2 次 4*4 卷积相当于 1 次 7*7 卷积，在扩大感受野的同时，能够更好地提取通道间特征，同时减少参数量；卷积之后的特征矩阵经过平均池化进行降维.具体计算式如下：y=ReLU(Avepool(Conv2(Conv1(s).(10)式中：s 为经过处理后的输入特征，Conv1、Conv2分别为第 1、2 层卷积层，Avepool 为平均池化层，y 为整个网络的输出向量.接下来将池化得到的特征向量输入全连接层中进一步降维，最后经过 Softmax 层进行分类.2实验与结果分析2.1 实验参数设置实验运行所使用的软件环境为 Windows10 操作系统，深度学习框架为 Pytorch，图卷积神经网络包为 PyTorchGeometric；所使用的硬件环境CPU 为 IntelXeonSilver4214R2.40GHz，GPU 为NividaTelsaT4.深度学习优化器使用 SGD 优化器，采用交叉熵损失函数，学习率设置为 0.01.数据按 1s 分段，每名被试的实验均进行 5 折交叉验证，以 30 名被试的平均识别率以及标准差作为评价标准.为了比较单模态与多模态融合的识别结果，使用 2D-CNN 作为情绪识别的基线分类器.为了比较不同情感识别模型的识别结果，同时验证所提图卷积融合方法的有效性，使用 10 种融合方法进行对比实验.2.2 实验模型介绍图卷积融合(graphconvfusion,GF)为基础的图卷积融合模型，只包含 1 层图卷积；模态注意力图卷积融合(modalityattentiongraphconv-fusion,MA-GF)在 GF 模型的图卷积层中添加了注意力机制；多路图卷积融合(multi-pathgraphconv-fusion,MP-GF)将不同模态的特征分别经过图卷积之后再进行整体图卷积；MA-MP-GF 为同时添加多路图卷积与模态注意力的图卷积融合模型.最后将经过融合的特征向量输入 2D-CNN.拼接融合(concat-fusion,CF)在文献 12 中被称为线性融合(linearfusion，LF).将不同模态经过2D-CNN 从池化层输出的特征向量进行直接拼接，从而实现不同模态的融合识别.空间融合(spacefusion,SF)为空间融合方法，相当于去掉图卷积层之后的模型.它将不同模态的特征映射到同一个EEG-fNIRS 空间位置排布矩阵之中，输入 2D-CNNEEG 通道fNIRS 通道SS1S3S7S9S8S10S5S6S4S2DD1D3D5D7D8D6D4额叶枕叶顶叶中央区颞叶颞叶D2FPZFP1F7F5F3F1FZF2F4F6F8FT7T7TP7P7PO7CB1CB2PO5O1O2PO3FC5C5CP5P5C3CP3P3C1CP1C2CP2CP4CP6FC3FC1FCZCZCPZP1PZPOZOZFC2FC4C4C6FC6FT8T8TP8P2P4PO4PO6PO8P6P8AF3AF4FP2EEG 电极fNIRS 发射fNIRS 接收FP2FPZFP1314AF497AF3261085F8F6F4F2FZF1F3F5F7FT813FC614FC4FC2FCZFC1FC312FC511FT7T8C6C4C2CZC1C3C5T7TP817CP618CP4CP2CPZCP1CP316CP515TP7P8P6P4P2PZP1P3P5P7PO8PO6PO4POZPO3PO5PO7CB2O2OZO1CB1图 6 EEG-fNIRS 空间位置映射矩阵Fig.6EEG-fNIRSspatialpositionmappingmatrix表 1 2D-CNN 网络的参数Tab.1Parametersof2D-CNNnetwork网络类型输入（滤波器）大小步长填充EEGfNIRSfusionConv2D3*32*34*410ReLUConv2D3*32*34*410ReLUAvePool2D2*22*22*220Linear12060180ReLULinear322032Softmax4441992浙江大学学报（工学版）第57卷实现分类.SVM15是将不同模态的特征矩阵进行拼接后输入 SVM 进行分类的特征融合方法.张量融合(tensorfusion,TF)12是将不同模态的特征向量进行外积得到多维矩阵后，使用可训练权重矩阵加权求和得到新融合特征向量的方法.P 阶多项式融合(Pthorderpolynomialfusion,PF)12将不同模态的特征向量拼接为长向量，将长向量进行复制，同时将这些长向量进行外积得到多维矩阵，最后使用可训练的权重矩阵进行加权求和得到新的融合特征向量.低阶多模融合(lowrankmul-timodalfusion,LMF)32通过对每个模态设定低阶权重向量，利用各自模态的特征向量进行加权求和生成新的融合特征.将以上 3 种特征向量融合方法应用于 2D-CNN 池化层输出的特征向量中，随后将融合后的向量输入全连接层以及 softmax层进行分类.2.3 实验结果分析使用 EEG 信号的特征以及 fNIRS 中 HbO 和HbR 的统计特征进行单模态识别实验，研究不同模态情感识别的效果；同时使用所提的图卷积融合模型进行实验，用以研究模态融合情感识别的有效性.实验在 30 名被试下进行.如表 2 所示为30 名被试使用 2D-CNN 和 MA-MP-GF-2D-CNN 在不同模态下的平均识别率 Acc 以及标准差 Std，加粗部分表示的是最高 Acc 值以及最低 Std 值.可以看出，多模态相对于单模态，在识别率上有明显提升.如图 7 所示为 30 名被试使用 2D-CNN 和 MA-MP-GF-2D-CNN 进行单模态与多模态情感识别的识别率.图中，No 为被试序号，Ave 为总体平均，Acc 为识别率.可以看出，不同被试的情感识别率存在差异，但是 EEG 的 DE 特征的识别率均显著高于 fNIRS 的 HbO 和 HbR 信号的统计特征的识别率，fNIRS 的 HbO 与 HbR 识别率无显著差距，使用图卷积融合以上 3 种信号的识别率均显著高于单模态的识别率.由此可以证明所提的图卷积融合的情感识别方法对于单模态情感识别有显著提升.如图 8 所示为单模态与图卷积融合情感识别的混淆矩阵.可以看出，在单模态情感识别中各类情感的识别率存在微小差异，EEG(DE)的混淆矩阵显示，中性情感的识别率略低于其他情感，另外 3 种情感识别率相近；fNIRS 信号的 HbO 和 HbR的混淆矩阵也显示，中性情感的识别率略低于其他情感，高兴情感的识别率略高于其他情感；图卷积融合的混淆矩阵相比单模态，各类情感的识别率都有明显提升，各类情感的识别率之间的差距也缩小.使用 EEG 信号的 DE 特征和 PSD特征以及fNIRS 的 HbO 和 HbR 信号统计特征，研究不同特征组合下的融合情感识别效果，结果如图 9 所示.5060708090100123456789 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 AveAcc/%NoHbRHbOEEG(DE)MA-MP-GF图 7 不同被试单模态以及模态融合的情感识别结果Fig.7Emotionalrecognitionresultsofdifferentsubjectsinsinglemodeandmodefusion表 2 不同模态平均情感识别结果Tab.2Averageemotionrecognitionresultsofdifferentmod-alities模态Acc/%Std/%EEG(DE)88.776.16EEG(PSD)81.5610.56HbO73.936.37HbR73.418.42EEG(DE)+HbO+HbR96.832.13EEG(PSD)+HbO+HbR95.712.14第10期赵卿,等：基于模态注意力图卷积特征融合的 EEG 和 fNIRS 情感识别J.浙江大学学报：工学版,2023,57(10):19871997.1993在不同的特征组合下，模态融合的识别率有所不同；不同融合方法中不同特征组合的识别结果呈现相似的趋势.总体上看，包含 EEG(DE)特征的融合识别率要优于 EEG(PSD)的，DE+HbO+HbR的识别效果最好，DE+HbR 效果次之，PSD+HbO的效果最差.为了验证模型各部分的作用，使用拼接融合 CF、空间融合 SF、基础图卷积融合 GF、仅加入模态注意力的 MA-GF、仅加入多路图卷积的 MP-GF 模型以及同时加入模态注意力和多路图卷积的 MA-MP-GF 模型，分别对不同的特征组合进行模态融合对比消融实验，用以验证图卷积融合、模态注意力机制以及多路图卷积结构对于情感识别的有效性.同时，对所提的模态注意力机制也进行消融实验，分别分析只保留节点权重、只保留模态权重、去除 dropout 层之后的注意力机制的效果，验证所提的注意力机制结构的必要性与有效性.消融实验结果如表 3 所示.可以看出，所提图卷积融合模型在不同特征组合下的平均识别率均高于拼接融合以及空间融合模型的，标准差也小于另外 2 种模型的.表明图卷积融合模型的识别效果与稳定性更好，证明了图卷积融合的有效性.同时添加模态注意力(MA)与多路图卷积结构(MP)的融合方法的识别率要明显高于不添加或者只添加 MA 和 MP 中的一种的图卷积融合方法的，且单独添加 MA 或 MP 识别率均有提升，证明MA 与 MP 对于提升情感识别率的有效性.另外相比使用 EEG、HbO 与 HbR 这 3 种信号进行融合，只使用其中 2 种信号进行融合的识别率要略低，但仍可以实现比单模态更高的识别率，因此在情感识别中可以选用 HbO 与 HbR 中的一种信号与EEG 结合，在减少模态数量的同时依然可以保持较好的效果.如表 3 所示，SF 为未添加图卷积的 2D-CNN分类模块，识别率较低.MA-GF 为添加图特征融合模块的模型，MP-GF 为添加图特征提取模块的模型，MA-MP-GF 为完整的模型.以 EEG(DE)+HbO+HbR 特征组合为例，后 3 种模型相比于 SF，在识别率上分别提升 3.42%、3.72%、4.44%，表明各模块的添加能够有效提升情感识别率.图特征融合模块中使用了模态注意力机制，在训练过程中可赋予不同模态不同通道以不同的权重，使之能够更好地体现各通道对情感识别的贡献.如图 10 所示，以全部 30 名被试为例，绘制了各通道的平均注意力权重图.通道位置与图 6(a)EEG(DE)(b)HbO(c)HbR(d)EEG(DE)+HbO+HbRAcc/%Acc/%Acc/%Acc/%悲伤 89 4 4 2 4 89 4 3 4 3 87 6 2 3 5 90 74 8 10 8 8 76 8 8 10 7 71 13 8 7 12 74 74 7 10 9 8 77 8 8 10 7 69 14 8 6 12 73 97 1 1 1 1 97 1 1 1 1 96 2 1 1 1 97100806040200100806040200100806040200100806040200高兴平静真实值恐惧悲伤高兴平静真实值恐惧悲伤高兴平静真实值恐惧悲伤高兴平静真实值恐惧悲伤高兴平静预测值恐惧悲伤高兴平静预测值恐惧悲伤高兴平静预测值恐惧悲伤高兴平静预测值恐惧图 8 情感分类的混淆矩阵Fig.8Confusionmatrixofemotionclassification1994浙江大学学报（工学版）第57卷中的 EEG-fNIRS 空间位置映射矩阵的相对应.可以看出，不同通道被赋予不同的权重.在情感识别中，额叶和颞叶的 EEG 与 fNIRS 通道发挥了较大的作用，而顶叶和枕叶的通道作用较小.其中右额叶的权重高于左额叶的，右颞叶的要略高于左颞叶的.Li 等33的结论中也反映出额叶和颞叶区域在 EEG 情绪识别中很重要.模态注意力机制的消融实验使用效果最好的 EEG(DE)+HbO+HbRFP1FPZFP2132 AF3 79AF4458106F7F5F3F1FZF2F4F6F8FT7 11 FC5 12 FC3FC1FCZFC2 FC4 14 FC6 13 FT8T7C5C3 C1 CZ C2 C4C6T8TP7 15 CP5 16 CP3CP1CPZCP2 CP4 18 CP6 17 TP8P7P5P3P1PZP2P4P6P8PO7PO5PO3POZPO4PO6PO8CB1O1OZO2CB2EEG 通道fNIRS 通道12345678910 11 12 13123456789101100.90.80.70.60.50.40.30.20.11.0W图 10 注意力权重分布图Fig.10Distributionmapofa