基于自注意力机制的中文金融事件元素抽取.pdf

第 卷第 期 年 月北京信息科技大学学报（自然科学版）（）文 章 编 号：（）：基于自注意力机制的中文金融事件元素抽取付安娜，刘旭红，齐林，崔展齐，于俊洋，刘秀磊（北京信息科技大学 数据科学与情报分析研究所，北京 ；北京信息科技大学 网络文化与数字传播北京市重点实验室，北京 ；北京信息科技大学 经济管理学院，北京 ；北京信息科技大学 计算机学院，北京 ；河南大学 软件学院，开封 ）摘要：针对中文金融事件元素抽取任务中多个代词指代同一个元素的问题，提出了基于自注意力机制的事件元素抽取模型。该模型在预处理阶段融入金融事件领域知识与事件类型知识，使得预训练模型可以根据事件类型信息获得更可靠的事件元素表示；然后，使用多头注意力机制挖掘新闻上下文不同元素指代词的指代含义，做到重叠元素间的指代消解；最后，使用双向长短期记忆网络与条件随机场挖掘新闻长文本的上下文特征表示，实现事件元素抽取。构建了中文金融事件语料库，通过与主流模型的对比实验验证了该模型的有效性。关键词：深度学习；金融事件抽取；语料库构建；事件元素抽取中图分类号：文献标志码：，（，；，；，；，；，）：，：；收稿日期：基金项目：国家重点研发计划（）；北京信息科技大学促进高校分类发展 重点研究培育项目（）；河南省科技攻关项目（）；河南省科技研发项目（）作者简介：第一作者：付安娜，女，硕士研究生；通信作者：刘秀磊，男，博士，教授。引言事件元素抽取是指在事件触发词抽取的基础上识别事件实例中的事件元素实体，并为事件元素分配事件角色。触发词抽取任务仅能确定事件类型，而对于事件的参与者，则需要由元素抽取任务确定 。事件北京信息科技大学学报（自然科学版）第 卷元素抽取包括事件元素角色定义及事件元素内容识别 。事件元素通常指与事件相关的属性或者实体，如时间、地点、机构、人物等。与命名实体识别任务不同的是，事件元素抽取任务需要对事件元素进行分类，判定事件元素的归属关系。事件元素抽取任务就是从结构化文本中抽取出 事件 ，事件元素角色名，事件元素角色值 的形式化三元组。不同的事件类型，其事件元素角色列表不同。将文本中抽取的事件元素结果与元素角色列表对应，可实现事件抽取 。事件抽取技术的发展主要经历了 个阶段：从早期基于模板匹配的方法，到基于统计机器学习的方法，再到现在比较流行的深度学习方法 。基于模板匹配的方法需要领域专家参与，通过挖掘数据规律，制定事件抽取模板。但由于模板的制定需要消耗大量人力，且领域要求较高，扩展性较差，所以出现了基于统计机器学习的事件抽取方法 。在消息理解会议（，）以及自动内容抽取（，）会议的推动下，事件抽取标准逐渐统一 。基于统计机器学习的事件抽取不需要领域专家知识，相比于模板匹配更加方便，扩展性强。随着机器性能的提升以及自动抽取需求日益高涨，研究者逐渐偏向于深度学习的研究。相比于统计机器学习，深度学习不需要依赖于工具构建特征工程，并且识别效果相比于机器学习也有不错的提升。因此，基于深度学习的事件抽取成为当前事件抽取的研究热点 。金璐钰 建立事件抽取规则，实现自然灾害类事件的元素抽取，并根据事件发生的时间与地点进行事件消歧。通过专家分析领域事件的特征，进一步手工构建大规模领域知识库，实现语料的事件抽取。对事件抽取进行模块化划分，将事件抽取任务分为触发词识别、元素抽取、属性分类和共指消解 个子任务，并使用 方法实现触发词识别、元素抽取与属性分类，使用 方法实现共指消解。郭知鑫 通过分析人物、地点等复杂实体在特征向量化组合模型中的局限性，提出了基于动态表征字向量的组合模型，提高事件实体识别效果。等 提出了一种新的联合多事件抽取（，）框架，该框架引入句法快捷弧增强信息表示，引入图神经网络构建事件图信息，有效地解决了一个句子对应多个事件的复杂事件抽取任务。高鸿博 提出了基于事件元素的注意力机制，提高事件触发词的抽取能力，以双仿射深度文法依赖树为基础，优化掩码机制，将实体、触发词和元素角色之间的约束关系输入模型提高元素角色抽取效果。虽然国内外对事件触发词抽取也取得了一些进展，但仍存在以下问题 ：事件数据集多为通用数据集，金融领域事件数据集较少；多个代词指代同一元素的问题难以解决。为此，本文提出一种基于自注意力机制的金融事件元素抽取模型。通过自注意力机制计算词语间的相关性，同时借助事件触发词的向量信息，辅助事件元素校正，消除代词歧义问题，提高事件元素抽取的准确率。相比于优化前的事件元素抽取模型，本文所提模型的事件元素抽取准确率和召回率都得到了提升。事件元素抽取模型 模型总体设计针对中文金融事件元素抽取中可能会遇到多个名词指代相同实体的问题，引入双向长短期记忆（，）网络强化事件元素上下文关键特征，得到事件元素全局序列信息，使用多头注意力机制在关注全局信息的同时又聚焦到语句的重点信息上，对不同形式相同含义的实体进行指代消解。最后将全局序列信息输入条件随机场，完成序列标签校验，输出中文金融事件元素抽取结果。本文模型框架如图 所示。图 事件元素抽取模型框架 在事件元素抽取模型中，除了使用基础的词向量、字符向量以及位置向量外，同时引入事件类型向量与中文金融事件外部信息向量，为中文金融新闻事件特定领域提供领域性词向量空间。将通用词向量、字符向量、位置向量、事件类型向量与中文金融事件专用术语外部信息向量拼接起来。通过文本向量化，对于长度为 的句子，获取其向量矩阵表示序列 ，其中 表示第 个句子第 个词的向量化表示。第 期付安娜等：基于自注意力机制的中文金融事件元素抽取 向量相关性计算在中文金融事件元素抽取时，希望模型在获取全局信息的同时又能聚焦于核心信息。在信息抽取过程中，尤其是在事件抽取任务中，事件元素往往与上下文词语有着紧密的联系，对于不同的上下文信息，事件元素与其关联程度也不一样。所以，事件元素抽取不仅要关注词语上下文的信息，也要关注事件元素与当前词语相关性信息，因此本文引入自注意力机制。如图 所示，通过自注意力机制计算词语间的相关性，可以看到“其”与“泰冶科技”的关联关系更强。通过代词消解，可以有效保留“泰冶科技”的属性信息，即“估值超十亿元”。图 自注意力机制关系热力图 自注意力机制的核心是计算词与词之间的向量相关性。个向量相关性越大，其点积的值就越大，基于点积的计算结果就可以获得不同词向量之间的相关性。图 展示了对词向量 进行自注意力计算的过程。图中，为 与变换矩阵 的乘积，、分别为（，）与变换矩阵、的乘积。词与词之间的注意力分数 ，的计算如式（）所示。，（，）（，）（）式中：，表示 与其他词的相关性。相关性计算完成后，通过 层归一化得到注意力分数。然后将不同的值向量乘以各自的注意力分数，并进行求和，得到输出向量。输出向量可以看作是整个输入序列对 的综合表示，反映了输入序列中所有词与该词的相关程度。图 自注意力机制 将多头自注意力机制拼接在一起，就可以使模型捕捉词语不同维度的上下文关系，丰富语义信息。事件元素特征提取在事件元素特征提取阶段通过双向长短期记忆网络提取事件元素的全局特征。事件元素特征提取过程如图 所示。如通过前向 获取“应用”“数说故事”“获得”“晟松资本”“融资”的前向向量序列 ，通过后向 获取“融资”“晟松资本”“获得”“数说故事”“应用”的后向向量序列 ，最后将前向向量序列和后向向量序列进行拼接得到 ，即，。通过上述流程得到了事件元素“应用数说故事”“晟松资本”的上下文信息，以及事件触发词“融资”与事件元素的关系。图 特征提取过程 北京信息科技大学学报（自然科学版）第 卷 事件元素标注本文事件元素标注采用 标注的方式。标注将每个元素标记为“”、“”或“”，其中“”表示该元素开始一个 类型的词片段，“”表示该元素在 类型词片段内，但不是开始词，“”表示该元素不属于任何预定义词片段类型。以“数说故事获得晟松资本融资”这句话为例，采用 标注的结果如图 所示。图 标注实例 输出标签需要考虑上下文的语义信息，对前后文的语义信息具有较强的依赖性，如“被投资方”后面一定是“被投资方”，不可能是其他标签，而本文应用条 件 随 机 场（，）获取标签间的依赖关系，可以输出最优预测序列，弥补 存在的不足。实验设置与结果分析 数据采集与预处理由于公开的金融事件语料库较少，因此，本文通过采集第一财经、凤凰网财经等微信公众号数据，新浪财经、央视财经等金融微博或头条数据，以及财经网、东方财富网等网站的 余篇新闻作为生语料。通过对生语料进行数据预处理、人工标注、机器转换等步骤的处理，提出融合词表信息与人工标注方式的中文金融领域语料库构建方法，生成中文金融事件语料库，具体流程如图 所示。图 语料生成流程 通过原始语料分析，共制定出股权变动、债券发行、公司上市、资产重组、兼收并购和重大合同 大类事件类型。通过对原始语料标注，最终得到 例金融事件。所有事件中，重大合同共有事件 例，占比 ；股权变动共有事件 例，占比 ；资产重组共有事件 例，占比 ；兼收并购共有事件 例，占比 ；债券发行共有事件 例，占比 ；公司上市共有事件 例，占比 。实验设计本文采用准确率、召回率、值作为中文金融事件抽取的评价指标。在训练过程中，设置事件元素注意力头数为 ，批尺寸为 ，学习率为 ，双向长短期记忆网络隐藏层节点数为 ，丢弃率为 。实验结果分析实验 ：多头注意力机制对中文事件元素识别模型的影响。在相同事件数据集及实验参数的前提下，以不添加注意力机制的 为测试模型，分别验证有无多头注意力机制对事件元素抽取结果的影响，实验结果如表 所示。表 多头注意力机制对抽取结果的影响 模型 值召回率准确率无多头注意力机制 有多头注意力机制 通过表 可以发现，添加多头注意力机制前，事件元素抽取的召回率仅为 ，而添加多头注意力机制之后，召回率提高了 百分点。通过分析实验结果可以看到，在未添加多头注意力机制时，模型会忽略很多关键信息，尤其是补充说明类信息，导致在事件元素抽取时查全率过低。而添加了多头注意力机制后，模型可以捕获到不同事件元素间的关联信息，从而提高了事件元素抽取的查全率。在事件元素抽取准确率上，添加了多头注意力机制比未添加多头注意力机制的识别准确率提高了 百分点，说明在提高准确率方面，多头注意力也起到了关键性作用。经过多头注意力机制的优化，模型第 期付安娜等：基于自注意力机制的中文金融事件元素抽取最终的 值提高了 百分点。实验 ：本文模型与主流事件元素抽取模型的性能对比。为了验证本文模型的有效性，将其与迭代扩张卷积神经网络（，）、双向门控循环单元（，）等其他几种主流模型在本文数据集上进行了事件元素抽取实验。因为在实验 中已经证明了自注意力机制的有效性，所以在对比实验中所有模型都默认添加了注意力机制。实验结果如表 所示。表 事件元素抽取模型性能对比 模型 值召回率准确率 由表 可以看出，本文所提的事件元素抽取模型具有一定的优势，相比于 与 两种主流模型，本文所提模型在 值上分别提高了 与 百分点。在事件元素抽取中，的抽取结果易收敛于局部最小值而非全局最小值的缺点表现得更加明显。相比于事件触发词抽取，事件元素的识别更需要考虑上下文的关联性，虽然添加了自注意力机制进行弥补，但是 本身存在的短板无法弥补。使用 进行全局向量计算，获取到各事件元素之间的初步关联关系，再采用自注意力机制加以修正，最终提高了事件元素的抽取效果。除此之外，种模型在加入条件随机场加入后，事件元素的识别效果都有提高。事件元素抽取是事件抽取的第二个阶段，其抽取效果极易受到上一阶段事件触发词抽取结果的影响。对于事件触发词抽取过程中未识别的事件类型，事件元素抽取阶段很难正确地预测出事件元素，导致最终模型在事件元素识别中召回率较低。除了错误传递问题，事件元素抽取过程中面对的数据鲜有规律可循，复杂事件中的事件元素识别也会影响最终的模型识别效果。结束语综上所述，本文提出的基于自注意力机制的事件元素抽取模型有助于中文金融新闻事件元素的抽取，相比于主流的事件元素抽取模型，本文所提模型具有一定的优势。本文在向量表示阶段添加了事件类型向量与中文金融事件专用术语等外部信息向量，使得模型能使用事件类型信息，提高事件元素的抽取效果。采用双向长短期记忆网络挖掘中文事件语料的上下文语义信息，并使用自注意力机制强化词语的向量相关性，最后添加条件随机场进行标签校验，使得模型的效果达到最优，相比于优化前的 ，值提高了 百分点。本文提出了基于多头事件元素自注意力机制的金融事件元素抽取方案，举例说明了基于双向长短期记忆网络的事件特征提取原理，提出了基于条件随机场的事件元素标注优化方法。相比于主流的事件元素抽取模型，所提模型取得了较好的实验结果。在未来的研究中可以尝试加入依存句法结构向量，辅助模型进行事件触发词抽取，并开展对复杂事件的抽取研究。参考文献：，：（），：，：，：，：，：，：，（）：，：，：（下转第 页）北京信息科技大学学报（自然科学版）第 卷 ，（）：孙梦薇，任璐，刘剑，等 切换拓扑下动态事件触发多智能体系统 固 定 时 间 一 致 性 自 动 化 学 报，（）：，（）：（），（）：（上接第 页），：，：，：，：，：金璐钰 基于框架的事件抽取关键技术研究 苏州：苏州大学，：，（）：，：，：，：，：郭知鑫 基于机器学习的智能法务系统中事件实体抽取的研究与实现 北京：北京邮电大学，：，（），：，：高鸿博 面向百科数据的军事事件抽取 大连：大连理工大学，：，（），：，：，：