2022情感计算白皮书.pdf

委员会顾问委员会朱世强之江实验室主任、浙江大学党委副书记任福继日本工程院院士、欧盟科学院院士、电子科技大学讲席教授、日本德岛大学荣誉教授戴琼海中国工程院院士、清华大学自动化系教授、清华大学信息科学技术学院院长李德毅中国工程院院士、国际欧亚科学院院士、指挥自动化和人工智能专家杨雄里中国科学院院士、发展中国家科学院院士、神经生物学家、复旦大学脑科学研究院学术委员会主任褚君浩中国科学院院士、中国科学院上海技术物理研究所研究员、复旦大学教授、华东师范大学教授蒋田仔欧洲科学院院士、中国科学院自动化研究所脑网络组研究中心主任马庆国国际欧亚科学院院士、亚太人工智能学会会士、浙江大学教授傅小兰中国科学院心理研究所所长、中国科学院大学心理学系主任 专家委员会赵新龙之江实验室党委副书记陈伟之江实验室主任助理、党委委员陈光之江实验室科研发展部部长林峰之江实验室人工智能研究院副院长李太豪之江实验室高级研究专家、跨媒体智能研究中心副主任、研究员曾令仿之江实验室之江-燧原联合创新研究中心副主任宗成庆中国科学院自动化研究所研究员、中国科学院大学岗位教授陶建华中国科学院自动化研究所研究员、模式识别国家重点实验室副主任、国家杰出青年基金获得者吕宝粮上海交通大学计算机科学与工程系教授、上海交通大学医学院附属瑞金医院广慈特聘教授吕钊安徽大学计算机科学与技术学院副院长、教授、安徽省杰出青年基金获得者王蕊中国科学院信息工程研究所研究员李勇辉中国科学院心理研究所研究员蔡曙山清华大学心理学与认知科学研究中心主任、教授肖仰华复旦大学计算机科学技术学院教授、复旦-爱数认知智能联合研究中心主任张效初中国科学技术大学生命科学与医学部教授、青年长江学者潘煜上海外国语大学国际工商管理学院院长、教授金佳上海外国语大学脑机协同信息行为重点实验室教授曾红广州大学教育学院心理学系教授罗思阳中山大学心理系副教授梅林公安部第三研究所研究员刘明华德勤中国副首席执行官、首席转型官倪殿令亚马逊云科技大中华区合作伙伴生态系统事业部总经理庄珺上海市科学学研究所产业创新研究室主任、研究员刘晶联合国工业发展组织全球创新网络项目上海全球科创中心副主任 编辑委员会裴冠雄之江实验室人工智能研究院跨媒体智能研究中心副研究员汪严磊德勤科学加速中心副总监贾永兴上海科学技术出版社副总编辑、张江科技评论主编李海英中国科学院文献情报中心学科情报分析员王晓野亚马逊云科技大中华区数据产品技术总监朱敏上海师范大学商学院商业数据系主任、副教授杨成宁上海师范大学商学院企业管理系讲师贲睍烨山东大学信息科学与工程学院教授唐益明合肥工业大学计算机与信息学院副研究员范存航安徽大学计算机科学与技术学院副教授董建敏之江实验室人工智能研究院跨媒体智能研究中心助理研究员程翠萍之江实验室人工智能研究院跨媒体智能研究中心助理研究员徐若豪之江实验室人工智能研究院跨媒体智能研究中心算法工程师情感计算白皮书序一情感被誉为人类社会生活的文法（Grammar of Social Living），情感计算旨在创建一种能感知、识别和理解人的情感，并能针对人的情感作出智慧、灵敏、自然反应的计算系统。情感计算是实现自然化、拟人化、人格化人机交互的基础性技术和重要前提，也为人工智能决策提供了优化路径，对开启智能化、数字化时代具有重大价值。近年来，中国成为情感计算领域最重要的崛起力量之一，并有越来越多的学者投入该领域的研究。同时，中国也成为情感计算赋能应用的主战场之一，为支撑经济高质量发展和数字化改革发挥了重要作用。这本白皮书的发布，旨在回应中国乃至全球学术界和产业界对了解和掌握情感计算最新发展动向的需求，给科学研究人员和行业实践人员提供较为完整的技术发展蓝图和应用趋势洞察，以助推情感计算的发展与转化。这本白皮书有几个鲜明的特点：一是以主流学术数据库为基础，之江实验室、中国科学院文献情报中心等单位对 19972022 年的 2 万余篇论文进行分析的数据，具有领域全周期、论文全量级、科研全过程的覆盖优势，梳理出的重要研究论文、专利和标准，有助于明晰关键共性技术和前沿引领技术，对把握情感计算领域学术发展动态具有指导性意义，对实现“高原造峰”和从“0”到“1”等不同创新路径均具有较大参考价值。二是白皮书描绘了情感计算的学科全景，包括重要研究机构、学术期刊、国际会议、代表性科学家、高水平学会等，并对合作生态进行了梳理，这对指导学科建设和重大科研基金立项具有导向作用。中国学者在学科领域内的进步明显，初步形成了高水平的学科人才梯队，且在典型学者和重要研究阵地中占比较高。但是，在学术期刊、国际会议等方面存在劣势，中国主导能力偏弱，这不利于学科话语权的提升，也与中国在该领域发文量排名世界第一的情况不匹配。这在一定程度上阻碍了中国科学家作为学术共同体的发展，不利于从跟随性走向引领性的地位变革。三是白皮书非常重视对情感计算成果转化及应用情况的研究。中国共产党二十大报告提出，“加快实施创新驱动发展战略。坚持面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康，加快实现高水平科技自立自强”。针对应用情况的定量分析和案例研究，有助于引导广大科技工作者面向经济主战场和重大实际需求开展科研攻关，同时促进相关从业人员对技术全景加深理解和认知，促进经济主体增加情感计算赋能应用的探索，加速数字经济转型升级和人工智能技术迭代应用，促进更多企业从产业链下游向产业链中上游的价值重塑。正是白皮书在以上三个方面的扎实工作，为情感计算未来趋势预测筑牢了基础。这本白皮书也专门设立章节，对技术走向和行业应用作了展望。未来将会怎样，不可准确预知，但对过去和现状的精准把握，为情感计算的发展脉络提供了踪迹。当今世界正在经历百年未有之大变局，这场变局不限于一时一事、一国一域，而是深刻而宏阔的时代之变。我坚信，中国在情感计算领域的影响力将继续迅速提升，我们乐见这种不可阻挡的力量为情感计算学术发展和应用赋能提供源源不断的动力。电子科技大学讲席教授日本德岛大学荣誉教授日本工程院院士欧盟科学院院士2022 年 11 月情感计算白皮书序二近年来，中国在人工智能技术领域的发展突飞猛进。上一代人工智能技术在研发、行业应用和内涵普及方面可谓“百花齐放”。经过一大批科学家和实践者的努力，在短短几年的时间里，中国就在人工智能发展的第一阶段追赶上了世界先进水平。中国发展人工智能等前沿信息技术不仅为了实现中华民族伟大复兴，也为了世界可持续发展和人类进步。德勤作为一家立足中国本土的国际性专业服务机构，正是感受到了这样的使命而欣然地加入新一代人工智能技术情感计算的开发策源和转化实践的队伍。与诸多科学家和实践者一样，我们也清楚地预见情感心智在整体智能技术群中的重要性。情感计算是一项涵盖心理学、认知科学、计算机科学、数学等多学科交叉的前沿技术，因此我们需要通过一个由多方角色组成的生态网络，通过实现各自的诉求来形成共赢，从而推动情感计算技术从研发向转化、普及等环节发展。为此，在之江实验室的发起和指导下，德勤通过多年创新积累的生态网络群组织包括上海科学技术出版社、中国科学院文献情报中心、英国工程技术学会、亚马逊云科技、上海师范大学等在内的大批专家学者，共同完成情感计算白皮书的撰写和发布工作。由于情感计算技术是过往鲜有人涉足的前沿技术领域，对当前全球情感计算技术的相关信息进行汇总、解读和分析工作自然也是困难重重，尤其是在面临日新月异的技术更替环境下，如何确保内容的时效性，并以最快的速度、最高的质量和最全的信息进行白皮书发布，成为本次任务的最大挑战。这样的任务实施起来如同发起和管理一项大科学工程，也充分考验了参与者彼此的协同和默契。在撰写白皮书的半年多时间里，参与指导和编写的近 50 位学界领军人物、学者专家情感计算白皮书和行业领袖能够在新冠肺炎疫情频发的不确定环境下，毅然打破地域限制，按时且高质量地完成白皮书的撰写任务，这令人感到兴奋和激动！白皮书从人类对自身情感研究的历史到通过信息技术的手段如何进行仿生实现情感计算，再到已经实现的场景应用，对情感计算技术进行介绍，实为一部情感计算技术发展和应用的简明百科。这样的内容安排，充分寄托了项目组对情感计算技术在科研和商业应用两个方面的期许。我们始终坚信，一项好的技术既离不开前沿科学的启蒙，也脱不开与社会经济发展的实质联系。白皮书的发布并不意味着项目组工作的结束，而是揭开了中国在情感计算技术方面技术研究和应用转化的序幕。我们衷心地期盼更多对情感计算技术有热情的个人和团队加入我们的大家庭，在新一代人工智能技术赋能社会安定、国家昌盛、人类发展等方面作出更多的贡献。全国政协委员德勤中国主席2022 年 11 月目录引言 1第一章理论概述 31.1人类社会的情感 31.1.1情感对人类的意义 31.1.2情感理论建模 51.2情感计算的沿革、定义和内容 81.2.1情感计算的发展历程 81.2.2情感计算的定义 91.2.3情感计算的研究内容 91.3情感计算的意义 12第二章技术综述152.1单模态情感计算 162.1.1文本情感计算 162.1.2语音情感计算 172.1.3视觉情感计算 182.1.4生理信号情感计算 202.2多模态情感计算 212.2.1研究背景和发展现状 222.2.2多模态数据集 222.2.3多模态融合策略 222.2.4问题与挑战 23第三章成果情况253.1情感计算领域研究趋势 263.1.1整体趋势 26情感计算白皮书3.1.2主要研究阵地（国家/地区分析）273.1.3主要发文期刊 293.1.4领域分布 293.2高水平国际会议 313.2.1ACM 多媒体国际会议 323.2.2AAAI 人工智能会议 323.2.3国际计算语言学年会 333.2.4IEEE 计算机视觉和模式识别会议 333.3高水平期刊 343.3.1 IEEE 情感计算汇刊 343.3.2 专家系统与应用 353.3.3 知识系统 353.3.4 信息处理与管理 363.4重要研究成果 363.4.1ESI 高被引论文和热点论文 363.4.2重要会议获奖论文 423.4.3重要期刊获奖论文 433.5代表性专利和标准 453.5.1代表性专利 453.5.2代表性标准 47第四章科研情况494.1学者分布及代表性科学家 494.1.1全球学者地图 494.1.2中国学者分布 504.1.3全球典型学者 524.1.4高被引学者 524.2高水平学会 524.2.1情感计算促进协会 524.2.2中国人工智能学会情感智能专业委员会 534.3高水平学术机构 534.3.1重要研究机构 53目录4.3.2典型研究机构 544.3.3新兴研究机构 564.4生态系统分析 564.4.1学者合作网络 564.4.2引用网络分析 574.4.3关键词共现分析 57第五章应用情况615.1总体分析 615.2行业应用 655.2.1教育培训领域 665.2.2生命健康领域 665.2.3商业服务领域 675.2.4工业设计领域 685.2.5科技传媒领域 685.2.6社会治理领域 69第六章未来趋势716.1下一阶段技术走向预见 716.1.1高质量、大规模数据集的构建 716.1.2零/少样本学习或无监督学习方法 726.1.3多模态融合技术创新 726.1.4多模型推理 726.1.5认知神经科学启发的情感计算 726.1.6跨文化情感识别 736.1.7数据与知识驱动的技术革新 736.2下一阶段行业应用展望 736.2.1智慧服务领域 736.2.2虚拟现实领域 746.2.3社会安全领域 746.2.4金融决策领域 756.2.5科艺融合领域 75情感计算白皮书主要参考文献76附录781.情感计算领域前 20 名全作者发文国家历年发文量 782.情感计算领域发文 Q1 期刊 803.情感计算领域发文量前 20 名的国家合作详情 904.情感计算领域主要代表产品及应用技术 92致谢941第一章理论概述引言情感计算（Affective Computing）是一个涉及计算机科学（含智能科学）、脑与心理科学（含心理学、神经科学）、社会科学（含社会学、经济学、管理学）、医学等的交叉学科领域，并逐步成为全球学术和工程热点。中国科学院科技战略咨询研究院发布的2021 年研究前沿热度指数报告显示，以“多模态情感计算”为核心的相关研究热度指数位列前 10 名。根据英国工程技术学会（The Institution of Engineering and Technology，IET）提供的文献进行计量分析显示，情感计算领域的发文量呈现高速增长态势，中国和美国的学者成为该领域最具代表性的研究力量。自然（Nature）旗下刊物发表的综述论文表明，20162020 年来自中国的研究力量迅速崛起，论文总数已超过美国，越来越多的科研机构和高科技企业正投身于情感计算的研究和实践。为了响应中国乃至全球学术界和产业界对了解和掌握情感计算最新发展动向的需求，向科学研究人员和行业实践人员提供较为完整的技术发展蓝图和应用趋势，以助推情感计算的发展与转化。由之江实验室人工智能研究院跨媒体智能研究中心发起，德勤科学加速中心、上海科学技术出版社、中国科学院文献情报中心和英国工程技术学会共同组成联合项目组，推动了情感计算白皮书（以下简称“白皮书”）的发布。由行业领袖和国内外知名学者组成的顾问委员会和专家委员会为白皮书的编制给予了专业性审查和指导。在人机共生的时代背景下，随着人类对情感内涵理解的不断深化，智能机器“双商（智商+情商）”理念的进一步普及，情感智能的迭代升级以及在数字经济驱动下的产业变革，多要素共同作用成为推动情感计算的学科发展、技术演化和行业进步的重要创新动力。在白皮书的编写过程中，项目组充分调研了情感计算及其关联学科的技术发展和迁移进程，在学术界和产业界专家的共同努力下，白皮书最终形成“集大成”和“思全局”的框架，以期使研究者和实践者能够对情感计算的最新发展有一个全面的认识，并以更广阔、更长远的视角思考情感计算的未来走向。2情感计算白皮书3第一章理论概述第一章理论概述情感计算是一个多学科交叉的研究领域，涉及计算机科学、脑与心理科学、社会科学等学科。计算机科学与机电科学侧重于提供各类信息技术手段和工程化能力，能够对情感的感知、识别、理解、反馈等实施数字化重构和计算实现，从而使机器能够拥有类人情感心智功能。脑与心理科学的心理及意识领域侧重于提供关于人类情感的基础定义、相关要素结构存在的意义等方面的理论，这为情感理论建模构筑了基石；脑与心理科学的另一分支认知神经科学则侧重于研究人类大脑对情感加工的机理以及建立与情感相关的心理要素功能网络，这为开发情感计算模型提供了关键的启发和策略的指导。社会科学和医学为情感计算的应用提供了充分的“用武之地”，是该类技术应用场景设计的策源地。由此可见，情感计算是一个多学科共建的领域，也是一个由行业实际需求推动技术进步和迭代的领域。1.1人类社会的情感1.1.1情感对人类的意义情感被誉为人类社会生活的文法（Grammar of Social Living），是人与人进行信息交流、关系维系和思想沟通的重要载体，是推动人类文明生生不息、多元繁荣的重要力量。根据物种进化理论，情感被认为是保障人类的基本生存能力、形成社会习性、支撑高级思维的心理要素。人类如果不具有情感，那么维持生存的将只有原始冲动和生存欲望，这样的物种几乎不可能发展出高度发达的社会文明。虽然情感在整个人类进化过程中发挥了重要作用，但是人们对情感功能的认知和重视经历了一个漫长的过程。时至今日，涉及情感的各种理论已具规模。关于这些理论的研究可以追溯到距今约 3 000 年的早期人类文明。这一历程可大致分为三个阶段，如图 1-1 所示。第一阶段的主要活动是尝试识别和厘清“情感”及其有关的概念。在早期东方文明体系下，古代中国的易经哲学和诸子百家哲学以及古代印度哲学都对情感作出了理解和阐述。例如，礼记礼运提出了“七情”的概念以及“何谓人情？喜、怒、哀、惧、爱、恶、欲，七者弗学而能”的系统性论述。在早期西方文明体系下，古希腊医生希波克拉底（Hippocrates，约公元前 460公元前 377 年）在古代生理医学体系下提出人类“体液说”。他认为，体液是人体性质的物质基础，以不同体液为性质主导的人会更容易表现出某种或某几种特定的情感。这与同时期人类的四种气质学说4情感计算白皮书（胆汁质、多血质、黏液质、抑郁质）似乎有潜在的映射和联系。第二阶段的主要活动是以科学的视角对上述概念进行验证，并明确概念之间的机能关系。该阶段的两大情感研究阵营分别是现代生理医学和科学心理学。在现代生理医学体系下，著名生物学家查尔斯达尔文（Charles Darwin）的著作人类和动物的表情（The Expression of Emotion in Man and Animals）被公认为与他的物种起源（On the Origin of Species）分量相当的“情感”研究巨作。达尔文在书中提出了人类所拥有的一般表情，如痛苦、哭泣、快乐、憎恨、愤怒等。在此基础上，他进一步阐述了基于这些表情的情感、思维过程以及相应的生理表现。这被认为是现代科学有关情感及其行为研究的开始。在科学心理学体系下，美国心理学家斯坦利沙赫特（Stanley Schachter）和 杰 尔 姆 辛 格（Jerome Singer）共同提出的激活归因情绪理论（Attribution Theory of Emotion），被认为是实现人工智能情感功能的理论基础。该理论认为情感既来自生理反应的认知评价，也来自对导致这些反应的情境的认知评价。这一解释为情感智能的实现提供了策略和思路。第三阶段是心理学、生理学和信息技术的融合阶段。在德国心理学家威廉冯特（Wilhelm Wundt）创立科学心理学后的半个多世纪里，世界各地的心理学流派如雨后春笋般涌现。这些流派对情感都有着不同视角的认知和理论。同时，随着现代生理医学的发展，在神经科学视角下情感的脑机制研究得到长足进步。美国心理学家保罗埃克曼（Paul Ekman）提出了如今被视作普遍标准的人类七大基本表情理论：快乐、悲伤、愤怒、厌恶、惊讶、蔑视和恐惧。由埃克曼领导开发的人类表情动作编码系统（FACS）被认为是机器视觉读懂人类表情的关键技术。1997 年，美国麻省理工学院媒体实验室（MIT Media Lab）罗莎琳德皮卡德（Rosalind Picard）提出情感计算的明确定义，这正式开启了实现情感智能的人工智能新时代。结合不同时期人们对情感性质和作用的认识，可以将情感对人类的意义归纳为以下五个方面。一是生存功能。人类为了适应环境作出有利于生存和发展的生理反应，如在危险环境中的紧张和应激、在受到侵扰和威胁时的愤怒和亢奋、在获得食物和生存必需品时的喜悦和兴奋。情感不断地强化人类适应和利用环境的能力，并形成习得性的生理反应，对个体的注意、记忆、感知等进行调节，从而在进化中持续保障人类生存权和发展权。图 1-1早期情感理论发展的三个阶段第二阶段第一阶段第三阶段法国启蒙运动到科学心理学诞生的科学启蒙阶段（公元 1718世纪到 19 世纪末）科学心理学诞生之后的心理学、生理学和信息技术的融合阶段（公元19 世纪末及以后）欧洲文艺复兴及其之前的探索思辨阶段（大约 公 元 1718 世 纪及以前）5第一章理论概述二是沟通功能。诺贝尔经济学奖获得者、美国心理学家赫伯特西蒙（Herbert Simon）认为，情感的识别和表达对于信息的交流和理解是必需的。情感对人类意图的准确表达和理解至关重要，同样的文字语言用不同的情感来表达，其内涵是完全不同的。因此，情感与语言密不可分。情感起到了关键的语义消歧作用，无论对信息的发出方还是信息的接收方都至关重要。这也是很多重要事项需要面对面交流的一个重要原因。在面对面场景下，相较于语音或文字沟通，表情、肢体动作等具有情感内涵的表达方式，有助于减少误解，增进交流和互信。三是决策功能。诺贝尔经济学奖获得者、美国心理学家丹尼尔卡尼曼（Daniel Kahneman）认为，大脑通过快（“系统一”）与慢（“系统二”）两种方式作出决策。常用的无意识的“系统一”主要依赖于情感、经验等迅速作出判断；有意识的“系统二”主要依赖于理性思辨。因此，情感广泛参与了人类的高级思维和决策过程，并深刻影响了决策结果和决策效率。四是动机功能。情感能够激发和维持个体的行为，对个体的资源投入程度、行为持久程度以及对行为结果的评估都会产生显著的影响。五是维系功能。情感是在人类社会化过程中阶层、族群、家庭等的维系纽带，是低成本维系人类社会关系的核心，是潜在的社会交往契约，并与个体的行为准则、道德约束等息息相关。因此，情感的性质和功能既决定了情感与人类的生存和发展密不可分，也对人类社会的进步有着重要意义。1.1.2情感理论建模有关情感的理论非常丰富，并且随着时间的推移被不断地扩展和丰富。早期的情感理论多是基于生理层面阐述的。通过图 1-2 不难看出，情感是一个非常复杂且涉及面很广的概念。中国古代就有对“七情”“情理法”等理论的论述，并把与情感和心智有关的概念统称为“情”。随着白话文的普及和西方现代科学体系的引入，人们从“情”的概念中逐渐分离出“情感”“情绪”“感情”等概念。本白皮书参考中国科学院心理研究所傅小兰关于中英文译法的说明，将“emotion”译为“情绪”，“affect”译为“情感”，“feeling”译为“感情”或“感受”。“emotion”一词来自拉丁文“e”（意为“向外”）和“movere”（意为“动”），从构词上来看，情绪含有移动、运动的意思，强调非常短暂但强烈的体验。反观感情和情感，英国心理学家迈克尔艾森 克（Michael Eysenck）和 马 克 基 恩（Mark Keane）认为，情感具有广泛的意义，表示情绪、心境和偏好等不同的内心体验。中国心理学家孟昭兰和黄希庭认为，情感是情绪过程的主观体验，而感情是情绪、情感这一类心理现象的笼统称呼。综合上述观点，本白皮书认为，情绪是情感性反应的过程，感情是情感性反应的内容，而情感涵盖上述词义，是情绪和感情等的笼统称谓。参考情感计算领域的做法以及孟昭兰的定义，即“多成分组成、多维量结构、多水平整合，并为有机体生存适应和人际交往，而同认知交互作用的心理活动过程和心理动机力量”，本白皮书将上述学术词汇统称为“情感”（在后续章节中不再区分上述概念）并进行定义。情感是一种包括认知、生理、体验、行为等多种要素的心理状态，是有机体应对和控制生存环境的进化产物。在情感计算领域，运用最多的理论模型是情感分类理论模型，主要包括离散情感模型和维度情感模型。离散情感模型将情感分为各个独立的标签，每一种情感之间没有关联性。美国心理学家卡罗尔伊扎德（Carroll Izard）使用因素分析法，建立了包括兴趣、惊讶、痛苦、厌恶、高兴、愤怒、恐惧、悲伤、害羞、轻蔑、忏悔在内的 11 种基本情感分类模型。埃克曼通过表情分析，得出了更6情感计算白皮书詹姆斯-兰格理论坎农-巴德理论评定-兴奋学说沙赫特-辛格理论为普遍接受的七种基本情感分类模型，即快乐、悲伤、愤怒、厌恶、惊讶、恐惧和蔑视。离散情感模型更符合人的认知与在日常生活中的表达形式，主要反映的是人类的基本情感类型，区分较为清晰，具有天然的可解释性。维度情感模型则是运用情感空间将不同的情感通过多维向量进行表示。在情感的二维分类模型中具有代表性的是美国心理学家詹姆斯罗素（Jmaes Russel）提出的环形情感分类模型（见图 1-3），也因其横纵轴结构（横轴表示效价，左右分别表示消极和积极情感；纵轴表示唤醒度，上下分别表示唤醒程度高和低）被称为 VA（Valence-Arousal）情感模型。情感的三维分类模型的种类很多，主要也是通过轴和极点来界定情感的类型，所有情感分布在每个轴两极间的不同位置，比较常用的有两种：由愉悦度（Pleasure）、激活度（Arousal）、优势度（Dominance）组成的情感三维模型；由愉悦度（Pleasure）、强度（Activation）、关注度（Attention）组成的情感三维模型。另一个著名的情感三维模型是美国心理学家罗伯特普拉奇克（Robert Plutchik）提出的基于情感进化理论的“情感轮”模型（见图 1-4），也被称为倒锥体情感三维模型；包括两极性（Polarity）、相似性（Similarity）、强度（Intensity）三个维度。不同于传统的情感维度模型，该模型是情感进化理论的一部分，系统阐释图 1-2早期情感理论情感是植物性神经系统活动的必然产物。在詹姆斯-兰格理论基础上进一步提出，除了外周神经系统以外，更为关键的是中枢神经系统的丘脑，这是影响情感产生和变化的中心系统。大脑皮层的兴奋程度也是情感唤醒的重要通路，大脑皮层和皮下组织协同作用产生了情感。该学说将情感的产生过程进行了划分，分别是情境刺激、情感评估和情感产生，并首次将认知理论引入情感研究领域，这为沙赫特-辛格理论的提出进行了铺垫。个体情感除了生理性的唤醒以外，更为关键的是认知唤醒。情感是周边环境刺激与个体生理状况结合后，通过大脑皮层表现出来的结果。情感信息的感官收集和判断处理是一个认知过程，相关模型被称为情感唤醒模型。情感是人与环境交互产生的结果，人会不断地对周围环境进行初评、次评和再评，这三次评价反映了情感的认知过程。认知-评价理论7第一章理论概述害怕愤怒唤醒不愉快愉快平静未唤醒轻松安逸满足开心兴高采烈兴奋激动惶恐紧张无力烦乱伤心憋闷厌烦疲乏厌恶悲痛幸福惊奇?图 1-4美国心理学家罗伯特普拉奇克提出的“情感轮”模型图 1-3美国心理学家詹姆斯罗素提出的环形情感分类模型8情感计算白皮书了八种基本情感，并提出了“其他情感（复合情感）是由基本情感组合而成”的重要论述。情感的四维分类模型由于过于抽象和复杂，并未被广泛接纳。目前，运用比较多的是情感二维分类模型和情感三维分类模型。在这些理论模型的基础上，研究者尝试对情感进行量化，转换成客观可表征的数据，以推动人机交互和情感体验研究的发展。1.2情感计算的沿革、定义和内容1.2.1情感计算的发展历程自 1956 年人工智能的概念被提出后，关于情感计算的研究日益活跃（见图 1-5）。图 1-5国外情感计算发展历程1956年1990年1998年 1999年 2004年1960年1997年20042007年2010年美国达特茅斯学院（Dartmouth College）开会研讨了如何用机器模拟人的智能。会上，人工智能（Artificial Intelligence，AI）的概念被首次提出，人工智能学科由此诞生。此后，人们开始通过研究人的智能活动规律，开发类人的智能系统，以使计算机能够模拟人的智能行为。前期的研究基本集中在人的理性和逻辑活动规律在机器的实现上。与此同时，心理学家对感性或情感的研究也在逐步深化美国心理学家彼得萨洛维（Peter Salovey）和约翰迈耶（John Mayer）发表的名为情感智能（Emotional Intelligence）的文章，描述了他们创建的情感智能框架。该文章认为，情感也是一种智能，强调情感的认知成分和处理能力美国人工智能促进协会（AAAI）分别召开了针对人工情感和认知的专业学术会议。同一时期，日本的“感性工学”逐步发展，即从工程学的角度实现对人的感性需求的满足，把情感信息的研究从心理科学角度过渡到心理科学、机电科学、信息科学等相关学科的交叉融合领域。在欧洲，许多大学成立了情感与智能关系的研究小组IEEE情感计算汇刊（IEEE Transactions on Affective Computing）创刊。它是情感计算领域的第一本期刊，是由全球最大的非营利性专业技术学会电气与电子工程师协会（IEEE）创办的美国社会心理学家丹尼尔卡茨（Daniel Katz）发表了关于态度功能的理论，揭示态度具有适应功能、自我防御功能、认知功能、价值表达功能等四种基本功能皮卡德出版了情感计算（Affective Computing）著作，对情感计算进行了系统的阐述。至此，这门交叉性学科开始得到广泛关注欧盟设立了一个名为HUMAINE的人机交互情感项目，旨在为能够记录、建模和影响个体情感的导向系统奠定基础。欧盟27所大学联合参与了该项目9第一章理论概述中国对情感计算的研究始于 20 世纪 90 年代。20 年来，中国情感计算研究蓬勃发展，从最初的独立研究向国际化、联盟化和体系化发展（见图 1-6）。1.2.2情感计算的定义“人工智能之父”马文明斯基（Marvin Minsky）曾被问及关于机器情感的问题，他认为这一问题的核心不在于智能机器能否有情感，而在于没有情感的机器能否实现智能。虽然他最先提出了让计算机具有情感能力的想法，但是学术界公认的第一个正式提出情感计算完整定义的是皮卡德。她所著的情感计算将情感计算定义为针对人的外在表现，能够进行测量和分析，并能对情感施加影响的计算。此外，也有一些学者提出了不同的见解。与皮卡德采用认知主义框架不同，瑞典计算机科学家克里斯蒂娜霍克（Kristina Hk）以及美国计算机科学家菲比森格斯（Phoebe Sengers）和保罗多罗希（Paul Dourish）等学者从现象学出发，认为情感计算的情感是在人与人、人与机器之间的交互过程中构建起来的。日本工程院院士任福继（Fuji Ren）认为，情感计算旨在通过开发能够识别、表达、处理人情感的系统和设备来减少计算机与人之间的交流障碍。中国科学院自动化研究所胡包刚及其团队认为，情感计算的目的是通过赋予计算机识别、理解、表达、适应人情感的能力来建立和谐的人机环境，并使计算机具有更高、更全面的智能。之江实验室人工智能研究院跨媒体智能研究中心李太豪认为，情感计算是赋予机器以感知、识别、理解情感并具有拟人化情感表达的能力。1.2.3情感计算的研究内容情感计算的研究内容主要包括五个方面（见图 1-7）。情感基础理论模型主要包括离散情感模型和维度情感模型两种类型（见图 1-8）。两种类型各有优劣，具体采用哪种模型，取决于实际应用任务和场景需求。在信号数据采集方面，语言文字作为人类最重要的沟通工具，在各种沟通载体上形成了海量的数据资源，为文本挖掘提供了基础。因此，语言文字信号获取的成本最低。但是，数据质量参差不齐，容易产生语法错误、文字乱码等问题，从而对情感图 1-6中国情感计算发展历程2005年2003年2021年20世纪90年代中国学者开始投身于情感计算的研究。中国的情感计算虽然起步较晚，但是发展势头强劲第一届“中国情感计算及智能交互学术会议”在北京举办中国中文信息学会情感计算专委会（筹）在北京成立首届“情感计算和智能交互国际学术会议”在北京召开。此外，多所大学在2000年前后逐步建立起相关的研究单元。其中，具有代表性的有之江实验室人工智能研究院跨媒体智能研究中心、清华大学人机交互与媒体集成研究所、中国科学院自动化研究所和哈尔滨工业大学社会计算与信息检索研究中心等10情感计算白皮书图 1-7情感计算的研究内容情感基础理论情感信号的采集情感分析多模态融合情感的生成与表达12453情感计算的研究内容目前主要依托心理学领域的离散情感模型和维度情感模型对情感进行界定，并由基本情感向复合情感延伸主要涉及文本、语音、视觉（如表情、手势等）、生理信号等多个方面，并建立相应的数据集基于多模态情感特征和融合算法，以提升情感分类准确率让机器人通过面部表情、语音语调、肢体动作等表现出情感状态运用机器学习和深度学习算法对情感信号进行建模与识别图 1-8情感基础理论模型维度情感模型离散情感模型能更好地与词汇和概念进行语义上的接轨，具有易于理解、可解释性强和界定清晰的优势，但其细粒度不高，对情感的量化描述能力有限是一个连续空间的回归问题，其优势在于具有很强的定量性、抽象性和归纳性，且情感数值向量具有连续性，但其不具备直观的可解释性，使得机器难以形成丰富的情感交互应对策略11第一章理论概述识别产生不利的影响。由于摄像头、麦克风等传感器成本较低且无须与用户直接接触，采集语音、面部表情等情感信号较为便利。这些领域的数据量十分庞大，相关的研究论文数量也很多，且不少数据直接来自实际场景。生理数据相较于文本、语音、表情等信号数据，其优势在于能够更加直接、客观、真实地反映个体的情感状态，较少受到个体主观意识的影响。因此，生理数据也成为情感计算领域的研究热点之一。目前，在情感计算领域，运用较多的生理数据包括脑电、皮肤电、呼吸、皮肤温度、心电、肌电、血容量脉冲、眼电等。由于需要佩戴较为复杂且成本较高的生理数据传感器，生理数据的获取较难在实际应用中进行推广。目前，实验室或研究所能够使用的生理数据规模普遍较小。针对文本数据、语音数据、视觉数据、生理数据，研究人员开发了相应的数据分析算法和工具（见图 1-9）。文本数据分析语音数据分析视觉数据分析生理数据分析 文本数据分析。传统的文本情感分析通过构建特定领域的情感词典，再根据情感词和文本的映射关系进行情感分析。但是，情感词典的特定属性限制了文本情感分析在多领域应用的能力。近年来，随着深度学习的发展，以基于 Transformer模 型 的 双 向 编 码 器 表 示（Bidirectional Encoder Representation from Transformers，BERT）语言模型和生成式预训练（Generative Pre-Training，GPT）语言模型为代表的预训练语言模型在多种情感分析任务中获得成功，这引起了学术界和产业界极大关注。语音数据分析。语音情感识别借助语言学和声学的相关技术，除了分析语法、语义之外，还会识别与情感状态有关的声学特征信息，如语速、语音、语调。当前，提取情感语音特征应用较为广泛的是 VGGish 模型和 wav2vec 模型。视觉数据分析。在表情、肢体动作、场景环境等视频和图片情感识别中，对面部表情的识别占据研究的主体。埃克曼等人提出的面部动作编码系统（Facial Action Coding System，FACS）是一个经典的基本表情识别模型，该模型虽然简单但应用广泛。基于深度神经网络的深度情感特征，利用人脸情感识别数据集训练的神经网络模型，如VGGNet 深度卷积神经网络，取得了不错的效果。生理数据分析。与上述文本、语音、表情信号相比，生理信号的识别难度更大。同时，生理信号具有独特的属性。例如，在对脑电数据进行计算时，需要开展较为繁杂的预处理流程，包括电极位置定位、带通滤波、转换参考、分析段截取、伪迹去除、坏电极插补等，随后要采取特征提取、特征降维等步骤，最后运用机器学习分类器对情感进行识别。自 2018 年以来，运用深度学习方法开展脑电数据情感计算的论文呈现较大幅度的增长态势，包括卷积神经网络（Convolutional Neural Network，CNN）、深度信念网络（Deep Belief Networks，DBN）、循环神经网络（Recurrent Neural 图 1-9数据分析算法和工具12情感计算白皮书Network，RNN）、栈式自动编码器（Stacked Auto Encoders，SAE）等在内的方法得到普遍运用。早期的情感计算一般都是单模态的，即在文本、语音、表情、肢体动作、生理信号等模态中对其中一种进行数据分析和情感识别。然而，人在表达情感的时候往往是通过多种方式进行联合表达的，因此使用单模态进行情感识别所获取的情感信息具有局限性。人的情感丰富、细腻，表达形式多种多样，这就需要融合多个信息源，综合处理，协调优化，以求尽可能精准地识别人类情感。多模态融合算法利用来自不同模态的信息整合成一个稳定的多模态表征，可以有效地解决这一问题。根据融合阶段的不同，常见的多模态融合方法可以分为基于特征级的早期融合、基于模型级的混合融合、基于决策级的后期融合。根据情感的分析识别结果，机器通过面部表情、情感回复生成、肢体动作等方式向用户传递带有情感温度的表达和回应。例如，利用特定的声音风格、综合具有情感标签的文本内容合成语音，让机器表达出特定的情感。这个过程将需要合成的文字内容和特定风格的声音输入神经网络，然后让神经网络合成特定风格的语音。如果