基于多模态情绪识别的研究进展.pdf
《基于多模态情绪识别的研究进展.pdf》由会员分享,可在线阅读,更多相关《基于多模态情绪识别的研究进展.pdf(7页珍藏版)》请在咨信网上搜索。
1、 生 物 医 学 工 程 研 究 ():./.空军军医大学军事医学珠峰工程()通信作者:.基于多模态情绪识别的研究进展殷梦馨倪娜尉怀怀安飞许欣悦武圣君刘旭峰王秀超(.陕西中医药大学 公共卫生学院咸阳.空军军医大学 军事医学心理学系西安)摘要:情绪是对一系列主观认知经验的高度概括对人类的发展意义重大 而在人机交互领域情绪识别是实现机器智能化的关键一步 随着信息技术的发展目前针对该领域的研究主要集中在基于神经生理模态、基于外在行为表现模态以及基于多模态的情绪识别 本文从以上角度出发分别梳理了近年来情绪识别领域的发展进程和研究现状并对未来的研究方向进行了展望关键词:情绪识别多生理信号行为表现单模态多
2、模态融合神经网络特征提取中图分类号:.文献标志码:文章编号:()(.):.:引言情绪是人对客观事物的态度体验以及相应的行为反应通常包含主观体验、外在表现和生理唤醒三部分 情绪无论在个体还是人际交往中都具有重要意义 因此近年来对情绪识别的研究逐渐成为不同领域的研究焦点在现有研究中根据采集信号的性质情绪识别方法一般分为两大类:一种是基于人体的行为学指标进行识别如易于采集的面部表情、手势、姿势等表现信号 另一种是基于生理信号进行识别如脑电、肌电、皮肤电等这类信号虽然采集条件极为严格但由于其难以被掩饰因而具有可靠的识别结果 近几年研究者在将情绪变化与各类信号建立稳定的联系时发现仅靠单一信号难以全面反应
3、情绪状态 等分别探讨了现有的单模态和多模态情绪识别方法并进行批判性分析后证实多模态情绪识别的性能优于单模态 鉴于多模态情绪识别优势本文将重点对基于神经生理、外在行为表现模态及基于多模态情绪识别的常用方法和研究现状生物医学工程研究第 卷进行梳理并对未来的研究方向进行展望 基于神经生理信号的情绪识别研究情绪的发生发展与神经系统的活动相互影响因此可以在情绪变化和生理信号之间建立一个标准的固定关系以此判断情绪状态 为更好地区分生理信号根据神经系统产生的机理不同人体的生理信号可分为两类:一类与中枢神经系相关包括脑电信号及大脑的磁场活动等指标另一类则与周围神经系统相联系包括皮肤电信号、心电信号、呼吸信号、
4、体表温度和肌电信号等.脑电信号已有研究表明情绪起源于大脑皮层和皮层下神经的协同作用过程也受下丘脑、边缘系统、网状结构和神经内分泌系统的共同调节 当神经系统受到情绪刺激时很难控制和伪装神经系统的活动因此来自人脑的脑电信号可真实、可靠地实现情绪识别脑电信号可在二维模型(效价和唤醒)上独立进行情绪识别因此是情绪识别最常用的生理信号之一 近年来随着脑科学的不断发展和信号处理技术的不断进步该领域也取得了一定的研究成果 王斌等面向多通道脑电信号提出一种基于条件格兰杰因果检验()的因果网络情绪识别方法将节点之间的因果连接关系作为特征分别输入支持向量机和 最近邻分类器进行分类训练识别率分别为.和.此外由于脑电
5、信号的频率、时间和空间特征对情绪识别至关重要为更全面地获取多通道脑电信号的频率、空间和时间信息有研究选择多维特征结构作为人工神经网络的输入提出一种基于深度可分离卷积的神经网络模型提取输入结构的频率和空间特征最后使用有序神经元长短期记忆()网络进行建模 利用所提模型在 数据集上进行实验唤醒和效价的情绪识别平均准确率分别为.和.心电信号典型心电图心动周期中的波形是有规律可循的通常含有 波、波和 波其中以 波群最为显著 在 波段中 峰最为明显可通过测量 峰出现的时间间隔确定心率变异性不同的心率变异性对应不同的情绪状态 在一些关于焦虑和抑郁的研究中发现心率变异性也是诊断焦虑和抑郁等负性情绪的有效指标
6、因此越来越多的心理学研究支持心率变异性与情绪反应之间的联系为探究主观情绪与客观生理信号间的联系进一步丰富情绪识别相关研究 易慧等提出基于心率变异性特征信息进行多种情绪分类的识别方法 在实验条件下采用小波变换技术进行降噪处理提取心率变异性的时域、频域等特征参数最后利用改进的支持向量机算法实现情绪分类对于不同情绪的识别精度可达到 然而现实应用中为满足实时性要求多选择在线识别情绪因此减小个体差异建立一个可泛化的情绪识别模型将成为必要 等为解决现实需求采用一种基于心电信号的在线跨主体的情绪识别方法 在分类器训练阶段无监督域自适应()通过将源数据和目标数据投影到可以训练分类器的共享子空间以减少主体间差异
7、在线识别阶段引入在线数据自适应()方法减少主体内差异以自适应时变心电信号然后通过训练的分类器可获得在线情绪识别结果 该方法在 上识别准确率分别为 和 并且对在线场景中的时变心电信号具有鲁棒性.皮肤电信号相比脑电和心电信号皮肤电信号是易被忽视的一项生理指标 在人体情绪发生变化时会影响皮肤的汗液分泌导致皮肤电水平变化对皮肤电信号进行采集根据其变化特征可对情绪进行分类研究 其中皮肤电导水平和电导反应是反应情绪的良好指标 国内有研究发现皮肤电反应基础水平的个体差异明显且与个性特征相关基础水平越高表明越紧张、内向、情绪不稳定、反应越敏感、越焦虑不安基础水平越低表明越外向、开朗、自信、心态比较平衡、心理适
8、应好皮肤电信号通常与情绪的唤醒程度密切相关 鉴于皮肤电信号自身特性单模态下进行情绪识别的准确率较低且因个体差异性识别模型泛化能力差 何国柱等为提高皮肤电信号的情绪识别准确率和泛化能力通过皮肤电信号构建情绪识别机器学习模型对皮肤电信号进行多维度特征提取、归一化处理以及情感标签分析并在此基础上采用基于树模型的决策树和随机森林算法实现情绪的有效分类获得了较好的分类准确率和泛化能力在唤醒和效价度维度上的分类准确率分别达到.和.第 期殷梦馨等:基于多模态情绪识别的研究进展.呼吸信号在呼吸信号的各项参数中由于呼吸频率在不同情绪状态下存在差异性因此可作为情绪识别的重要特征参数之一 呼吸频率降低说明处于放松状
9、态深呼吸、急促呼吸可表示快乐或愤怒呼吸暂时中断表示紧张不规则呼吸节律是负效价和唤醒的信号其中浅而急促的呼吸暗示集中注意或恐惧浅呼吸和缓呼吸与消极情绪有关在现有研究中基于呼吸信号进行情绪识别的研究文献匮乏呼吸信号的特征库特征数量不够丰富因此在已有的大部分研究中通常将呼吸信号的各项参数结合其他信号特征以实现情绪识别 但近些年也有针对上述问题提出基于呼吸信号进行情绪识别的新方法 相关研究引入 信息熵算法将构成呼吸信号的 信息熵特征集输入支持向量机和随机森林采用十折交叉检验与网格寻优确定最优算法参数构建呼吸信号的情绪识别模型一对一情绪识别率最高达到了.皮肤温度皮肤温度会随情绪状态不同而产生变化 当人处
10、于极度兴奋的状态时常常会变得面红耳赤这是由于血液循环加速会导致皮肤温度上升而受到惊吓时产生恐惧情绪会使人面无血色体温下降 通过测量指尖皮肤温度发现在放松状态下扩张的血管会使指尖变暖在压力或焦虑时血管收缩指尖变冷皮肤温度在情绪效价识别中有一定偏向性相对于消极状态更容易识别积极状态在情绪识别中只能用于探测唤醒维度 此外皮肤温度的变化需要一定时间且整体变化幅度较小因此皮肤温度常作为辅助手段用于提高情绪识别的准确率 在最近的一项研究中 等采用脉冲神经网络()为多模态数据建立一个情感识别系统具体使用 框架对皮肤温度、呼吸信号、心电信号等情绪特征进行分类 结果表明在应用特征级融合 时 该 方 法 对 二
11、元 效 价 分 类 的 准 确 率 为.肌电信号肌电信号主要用于研究认知情绪和生理反应之间的相关性 其采集电极的放置位置范围较广包括咀嚼肌、皱眉肌、颧大肌和斜方肌等 有研究表明皱眉肌的电信号活动与愤怒和惊讶等情绪状态间存在显著相关性面部的肌电信号与不同情绪状态(快乐或不快乐)相关检测咀嚼肌的肌电图可确定受试者是否处于愤怒状态在情绪识别研究中肌电信号可对情绪一维效价进行较为准确的测量 因此在实验条件允许下肌电信号常作为辅助信号协同其他生理电信号进行情绪识别 目前由于采集眼电和肌电信号的设备成本低、无线便携、可穿戴已被广泛应用于情感识别 等使用人工神经网络和时域特征组合实现了眼电信号和肌电信号的最
12、大分类精度整体识别准确率达到 此外由于人机界面和医疗保健等领域的发展利用肌电信号单模态进行情绪识别的潜能也逐渐被发掘 等尝试在效价情感维度中使用面部肌电图信号的光谱特征对情绪进行分类对采集的信号进行短时傅立叶变换并以 的间隔从信号中提取峰值频率值利用支持向量机分类器对提取的特征进行分类识别准确率达到.基于行为表现的情绪识别研究情绪有多种表达方式除在情绪产生时伴有生理指标的变化同时也伴有一定外在行为表现的变化 因此可通过身体的某些变化来进行情绪识别在以往研究中情绪的自动识别研究主要集中于面部表情和语音语调上但随着动作捕捉技术的发展姿态情绪识别成为情绪识别中不可或缺的一环 据不同文献研究发现在众多
13、行为表现模态中面部表情、语音语调、身体姿态在情绪识别中可取得良好的识别效果 本节将简要综述该类模态的识别准确率.身体姿态目前关于非语言情绪识别的研究大多集中于面部表情但事实上一些情绪可能更易被肢体动作所表征 目前的研究表明特定的身体姿态可被视为特定情绪状态的表达 相对于情绪识别的其他行为模态人体姿态更具有直观性、不易被隐藏且由于不受大脑皮层直接控制能更真实地反应原始情绪过程近年来图卷积网络越来越受到研究人员的关注而人体骨骼结构是一种天然的图数据为基于骨骼点的肢体情绪识别提供了一个新途径 等在考虑关节的非局部相关性以及输入的噪音时提出全局图卷积收缩网络()其中全局连接用于构建适用于情感识别的骨架
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 多模态 情绪 识别 研究进展
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。