基于注意力机制特征融合的中文命名实体识别_廖列法.pdf

第 49卷 第 4期2023年 4月Computer Engineering 计算机工程基于注意力机制特征融合的中文命名实体识别廖列法，谢树松（江西理工大学 信息工程学院，江西 赣州 341000）摘要：命名实体识别是自然语言处理领域中信息抽取、信息检索、知识图谱等任务的基础。在命名实体识别任务中，Transformer编码器更加关注全局语义，对位置和方向信息不敏感，而双向长短期记忆（BiLSTM）网络可以提取文本中的方向信息，但缺少全局语义信息。为同时获得全局语义信息和方向信息，提出使用注意力机制动态融合Transformer编码器和 BiLSTM 的模型。使用相对位置编码和修改注意力计算公式对 Transformer编码器进行改进，利用改进的Transformer编码器提取全局语义信息，并采用 BiLSTM 捕获方向信息。结合注意力机制动态调整权重，深度融合全局语义信息和方向信息以获得更丰富的上下文特征。使用条件随机场进行解码，实现实体标注序列预测。此外，针对 Word2Vec等传统词向量方法无法表示词的多义性问题，使用 RoBERTa-wwm预训练模型作为模型的嵌入层提供字符级嵌入，获得更多的上下文语义信息和词汇信息，增强实体识别效果。实验结果表明，该方法在中文命名实体识别数据集 Resume和 Weibo上 F1值分别达到 96.68%和 71.29%，相比 ID-CNN、BiLSTM、CAN-NER等方法，具有较优的识别效果。关键词：注意力机制；Transformer编码器；特征融合；中文命名实体识别；预训练模型开放科学（资源服务）标志码（OSID）：中文引用格式：廖列法，谢树松.基于注意力机制特征融合的中文命名实体识别 J.计算机工程，2023，49（4）：256-262.英文引用格式：LIAO L F，XIE S S.Chinese named entity recognition based on attention mechanism feature fusion J.Computer Engineering，2023，49（4）：256-262.Chinese Named Entity Recognition Based on Attention Mechanism Feature FusionLIAO Liefa，XIE Shusong（School of Information Engineering，Jiangxi University of Science and Technology，Ganzhou 341000，Jiangxi，China）【Abstract】Named Entity Recognition（NER）is the basis of information extraction and retrieval，knowledge mapping，and other tasks in the field of Natural Language Processing（NLP）.In the NER task，the Transformer encoder pays more attention to global semantics and is insensitive to position and direction information，while the Bidirectional Long-Short Term Memory（BiLSTM）network can extract direction information from text but lacks global semantic information.To obtain global semantic and direction information simultaneously，a model of a dynamic fusion of the Transformer encoder and BiLSTM，using an attention mechanism，is proposed.The Transformer encoder is improved by using relative position coding and a modified attention calculation formula.The improved Transformer encoder is used to extract global semantic information，and the BiLSTM is used to capture direction information.Using the attention mechanism，the weight is dynamically adjusted，and the global semantic and direction information are deeply fused to obtain richer context features.By decoding the Conditional Random Field（CRF），the entitys annotation sequence prediction is realized.Furthermore，in view of the inability of Word2Vec and other traditional word vector methods to express the polysemy of words，RoBERTa-wwm pretraining model is used as the embedding layer to provide character-level embedding，obtain more contextual semantic and vocabulary information，and enhance the effect of entity recognition.The experimental results show that the F1 value of the proposed method is 96.68%and 71.29%respectively on the Chinese NER benchmark datasets，Resume and Weibo.Compared with ID-CNN，BiLSTM，CAN-NER，and other methods，the proposed method has a better recognition effect.【Key words】attention mechanism；Transformer encoder；feature fusion；Chinese Named Entity Recognition（NER）；pretraining modelDOI：10.19678/j.issn.1000-3428.0064432基金项目：国家自然科学基金（71761018）。作者简介：廖列法（1975），男，教授、博士，主研方向为城市计算、电子商务、个性化推荐、自然语言处理；谢树松，硕士研究生。收稿日期：2022-04-11 修回日期：2022-05-27 Email：开发研究与工程应用文章编号：1000-3428（2023）04-0256-07 文献标志码：A 中图分类号：TP391第 49卷 第 4期廖列法，谢树松：基于注意力机制特征融合的中文命名实体识别0概述 命名实体识别（Named Entity Recognition，NER）是一项旨在文本中确定实体的边界并将实体准确归类的任务。命名实体识别任务是许多自然语言处理（Natural Language Processing，NLP）任务的基础，例如信息抽取、问答、信息检索、知识图谱等，备受研究人员的关注。命名实体（Named Entity，NE）1最早是在第六届信息理解会议上被提出，用于识别文本中人名、地名、组织机构名等。在早期，命名实体识别方法都是基于规则和统计学习构建的。传统方法虽然取得一定的效果，但是存在人工特征构建困难、高度依赖专业领域知识，以及模型难以迁移等问题。随着计算机的计算能力不断提高，基于深度学习的命名实体识别方法已逐步取代传统方法并成为主流。在基于深度学习的命名实体识别方法中，命名实体识别一般被视为序列标注任务，其一般框架2-3分为输入分布式表示、上下文编码器，以及标签解码器三部分。随着自然语言处理技术在中文领域的发展和应用，中文命名实体识别也受到国内外学者的广泛关注。与英文相比，中文词语之间不存在明显的分界，因此，中文命名实体识别更具有挑战性。中文命名实 体 识 别 任 务 首 先 进 行 中 文 分 词（Chinese Word Segmentation，CWS），然后采用词级别的向量表示作为输入。后续的研究表明，相比词级别的向量表示，字符级嵌入具有较优的性能4。这是因为中文分词不可避免地会出现错误，导致实体边界的预测存在问题。因此，使用字符级嵌入作为中文命名实体识别方法的输入成为研究人员的首选。基于字符级嵌入的方法虽然避免了中文分词产生的误差，但是同样会丢失词汇信息。而实体边界一般是词汇的边界，基于字符级嵌入的方法在对实体边界的预测时面临诸多挑战。近年来最流行的BERT（Bidirectional Encoder Representations from Transformer）预训练模型也不能解决该问题。因为BERT 模型是以字符为最小粒度进行切分，而不是词5，所以使用 BERT预训练模型仅能获得字符级嵌入，无法获得中文的词汇信息。而 RoBERTa-wwm模型作为 BERT 的一种改进模型，在中文文本中使用全词遮蔽策略和动态遮蔽策略，以获得一定的词汇信息和更多的语义信息，更适用于中文命名实体识别任务6。在对中文文本进行向量表示的研究取得一定进展的同时，将上下文编码器作为中文命名实体识别的重要 组 成 部 分 也 得 到 快 速 发 展。双 向 长 短 期 记 忆（Bidirectional Long-Short Term Memory，BiLSTM）网络作为中文命名实体识别任务中最常用的上下文编码器，具有较优的序列建模能力，能够充分地利用上下文特征，保留文本的顺序信息。虽然 BiLSTM 使用前向和后向的网络架构，但是仅把前向信息和后向信息拼接起来，对于序列中某个字或词，并没有同时与上下文相联系，缺少全局信息。Transformer网络具有较优的并行能力和全局建模能力，广泛应用在机器翻译、预训练模型等自然语言处理任务上7-8，Transformer架构和注意力机制也开始被应用在命名实体识别任务中9-10。然而，Transformer架构更加关注全局语义，对位置和方向信息不敏感11-12。在命名实体识别任务中，字符之间的相对方向和距离有助于模型识别实体。例如，“在”之 后 的 词 语，往 往 是 地 点 类 别 的 实 体。因 此，对Transformer编码器进一步改进是非常有必要的，使其适用于中文命名实体识别任务。Transformer编码器未能有效区分上下文信息来自上文或者下文。BiLSTM可以区别当前字词的上文和下文，但缺少全局语义信息。因此，本文提出基于注意力机制的特征融合模型 TBAC，结合 Transformer 和BiLSTM优势获取全局语义信息和方向信息。使用注意力机制动态融合Transformer编码器提供的全局信息和BiLSTM捕获的方向信息，提取有效的上下文特征，避免信息冗余。在上下文编码层中同时使用Transformer和 BiLSTM 作为编码器，采用相对位置编码和修改注意力计算公式对 Transformer 编码器进行改进。将RoBERTa-wwm预训练模型作为嵌入层得到的动态字符级嵌入增强模型识别效果，避免分词产生的错误信息和一词多义问题。1相关工作 1.1命名实体识别COLLOBERT 等13使用统一神经网络模型框架处理多项序列标注任务，其中包括命名实体识别。该框架将预训练词向量作为序列标注任务的输入，随后使用卷积神经网络进行上下文编码，最后使用条件随机场（Conditional Random Field，CRF）进行解码并输出。这是最早采用端到端对多任务联合训练进行序列标注任务的工作。HUANG 等14考虑当前词 的 上 下 文 信 息，将 BiLSTM 作 为 编 码 器，提 出BiLSTM-CRF模型并将其应用在命名实体识别任务中。BiLSTM-CRF 充分考虑当前词的上下文信息，是目前最主流的命名实体识别模型，因此，具有较优的 效 果。STRUBELL 等15采 用 卷 积 神 经 网 络（Convolutional Neural Network，CNN）作为上下文编码器，但是并没有使用传统的 CNN，而是采用膨胀卷积神经网络（ID-CNN）扩大感受野。相较于传统的 CNN，ID-CNN 能够捕捉更长的上下文信息。与BiLSTM 相比，ID-CNN 充分利用 GPU 的并行性提高运算效率，并没有降低准确率。近年来，基于注意力机制的 Transformer结构具有远距离捕捉上下文信息的能力和并行能力，广泛应用于自然语言处理领域。但是，在命名实体识别任务上，基于注意力机制的Transformer 结构的识别效果却远不如 LSTM 网络。2572023年 4月 15日Computer Engineering 计算机工程YAN 等16分析 Transformer的注意力机制，发现其在方向性、相对位置、稀疏性方面不适用于命名实体识别任务，通过改进注意力打分函数，使得 Transformer结构在命名实体识别任务上的性能得到大幅提升。大多数研究人员使用词汇等外部信息17-18来增强 中 文 命 名 实 体 识 别，ZHANG 等19提 出 基 于Lattice LSTM 的中文命名实体识别模型。该模型在获取字信息的基础上显式地融合了词的边界信息和语义信息。LI 等20提出 FLAT 模型，设计一种位置编码的方法，用于编码字和词的相对位置，以直接建模字符与所有匹配词汇信息间的交互，从而无损地引 入 词 汇 信 息。PENG 等21提 出 一 种 基 于 Soft-lexicon 编码字词信息的中文命名实体识别方法，把字和词的信息编码成联合表示，不仅利用潜在词的边界信息，还利用了词的语义信息。WU 等22提出MECT 模型，把字、词、汉字结构信息作为多元嵌入，并使用双流模型融合多元嵌入信息。这些研究在中文命名实体识别领域取得较优的效果，但是需要词汇信息或者其他外部资源，可迁移性较低。1.2词向量MIKOLOV 等23提出 Word2Vector，其核心思想是通过单词的上下文得到固定长度的分布式表示，也被称为“词嵌入”或者“词向量”。Word2Vector 包括通过上下文预测当前词（CBOW）和通过当前词预测上下文（Skip-gram）两部分。BERT 模型结构如图 1 所示，BERT 是 Google 以Transformer为主要框架的预训练语言模型。BERT使用 Masked语言模型（Masked Language Model，MLM）以及下一个句子预测（Next Sentence Prediction，NSP）2种预训练任务。MLM随机遮蔽输入句子的一部分单词，以预测被遮蔽的单词，类似于完形填空。NSP则是预测两句话是否具有上下文关系。BERT通过这 2个预训练任务，从海量文本中以自监督的方式训练生成融合上下文信息的词向量。LIU等24提出RoBERTa模型，使用动态遮蔽策略，即每次向模型输入一个文本序列时都会生成新的掩码模式，在预训练过程中，模型会逐渐适应不同的掩码策略，学习到不同的语言特征。实验结果表明，NSP任务不能有效提高 RoBERTa模型的性能，因此，RoBERTa模型不再进行NSP任务。在去除NSP任务后，还使用了更多的数据进行预训练，有效提高RoBERTA模型的性能。以 BERT 为代表的预训练模型是以字为最小粒度进行切分，没有考虑到中文分词。CUI 等25使用中文全词遮蔽（Whole Word Masking，WWM）策略进行改进，即对组成同一个词的汉字全部进行遮蔽。RoBERTa-wwm 通过中文全词遮蔽策略学习词语级别的语义，更加适用于中文命名实体识别。2本文模型 本文所提的 TBAC模型如图 2所示，主要由嵌入层、上下文编码层、特征融合层和解码层 4 部分组成。首先，将文本输入到嵌入层以获取字符级嵌入；然 后，在 上 下 文 编 码 层 分 别 使 用 Transformer 和BiLSTM 抽取上下文特征，一起送入到特征融合层并使用注意力机制进行融合；最后，在解码层使用条件随机场进行解码并输出标签。2.1嵌入层本文使用 Word2Vector 词向量和预训练模型作为嵌入层，其中，预训练模型使用哈工大讯飞联合实验室预训练的 RoBERTa-wwm模型。假设模型初始输入为句子S=(x1,x2,xn)。当使用 RoBERTa-wwm 模型时，输出为字符级嵌入R=(r1,r2,rn)。当使用 Word2Vector词向量时，同样得到 字 符 级 嵌 入 和 二 元 字 符 级 嵌 入，分 别 为c=(c1,c2,cn)和b=(b1,b2,bn)，其中，字符级嵌入以字为单位，二元字符级嵌入则以双字为单位，拼接起来得到最后的词向量，如式（1）所示：VVec=c；b（1）图 1BERT模型结构Fig.1Structure of BERT model图 2TBAC模型整体架构Fig.2Overall architecture of TBAC model258第 49卷 第 4期廖列法，谢树松：基于注意力机制特征融合的中文命名实体识别2.2改进的 Transformer编码器图2中上下文编码层左侧是Transformer编码器的结构，其中，包括多头自注意力层、前馈神经网络层，并且使用层归一化和残差连接。原始的Transformer编码器采用绝对编码的方式来生成位置编码，第t个字符的位置编码如式（2）所示：PPE,t,2i=sin()t/10 0002i/dPPE,t,2i+1=cos()t/10 0002i/d（2）其中：i 的取值范围为|0,d2|；d 为输入词向量维度。将得到的位置编码和词向量按位相加得到多头自注意力层的输入矩阵H Rl d，其中，l为序列长度。将H映射为Q、K、V，如式（3）所示：Q,K,V=HWq,HWk,HWv（3）其中：Wq、Wk、Wv表示维度为Rd dk的可变权重矩阵，dk为超参数。通过以下等式计算缩放点积注意力：AAttention(K,Q,V)=Softmax(QKTdk)V（4）当使用多头自注意力时，其计算如式（5）式（7）所示：Qh,Kh,Vh=HWhq,HWhk,HWhv（5）Dh=AAttention(Qh,Kh,Vh)（6）MMultiHead(H)=D1,D2,DhWm（7）其中：h 表示 Head 索引；D1,D2,Dh表示将多个Head的注意力进行拼接；Wm表示维度为Rd d的可变权重矩阵。多头自注意力层的输出 x将由前馈神经网络层进一步处理，如式（8）所示：FFFN(x)=max(0,xW1+b1)W2+b2（8）其 中：W1、W2、b1、b2为 可 学 习 的 参 数，W1 Rd dff，W2 Rdff d，b1 Rdff，b2 Rd，dff为一个超参数。本文采用相对位置编码16和修改注意力计算公式对原始的 Transformer编码器进行改进。首先将H映射为Q、K、V，K不进行线性变换，目的是打破对称性且加强距离感知，变换过程如式（9）所示：Q,K,V=HWq,Hdk,HWv（9）其中：Wq、Wv的维度为Rd dk，dk为其中一个 Head 的特征维度；Hdk为H分配给每个 Head的向量。其次，将绝对编码中的 cos函数用 sin函数代替，则新的相对位置编码如式（10）所示：Rt-j=|sin(t-j10 0002i/dk)cos(t-j10 0002i/dk)|T（10）其中：t为目标字符的索引；j为上下文字符的索引；i的取值范围为|0,dk2|。在计算注意力分数时，将词向量与相对位置编码分开计算，并且增加偏置项，计算过程如式（11）所示：Arel,t,j=QtKTj+QtRTt-j+uKTj+vRTt-j（11）其中：QtKTj表示两个字符的注意力分数；QtRTt-j表示第 t个字符在相对距离上的偏差；uKTj表示第 j个字符的偏差；vRTt-j表示相对距离和方向的偏置项；u和v表示可学习的参数。最后，在计算注意力时，不对点积进行缩放，计算过程如式（12）所示：AAttention(Q,K,V)=Softmax(Arel)V（12）在对注意力计算公式进行上述修改后，提升Transformer 编码器的位置感知和方向感知，使得Transformer适用于中文命名实体识别任务。2.3双向长短期记忆网络长短期记忆网络是一种特殊的循环神经网络（Recurrent Neural Network，RNN），可 以 缓 解 传 统RNN存在的梯度消失和梯度爆炸问题。在 LSTM 中引入遗忘门控制信息流，从而有选择地记忆信息。在中文命名实体识别任务中，对于目标字符，本文不仅需要上文的信息还需要下文的信息，因此，使用 BiLSTM 作为上下文编码器，其结构如图 2模型整体架构的上下文编码层右侧所示。BiLSTM 对于嵌入层输出的字符级嵌入分别采用前向和后向输入，通过计算得到的前向向量和后向向量，将 2 个向量进行拼接并作为隐藏层的输出，其实现如式（13）式（15）所示：?ht=LSTM(xt,?ht-1)（13）?ht=LSTM(xt,?ht-1)（14）ht=?ht；?ht（15）2.4特征融合层Transformer 可以建模任意距离的依赖关系，但是对位置和方向信息不太敏感。BiLSTM 可以充分地捕获方向信息，但是不能捕捉到全局信息。本文 借 鉴 门 控 机 制，使 用 注 意 力 机 制 动 态 融 合Transformer 编码器和 BiLSTM 抽取的上下文特征，实现优势互补的目的。注意力机制动态融合的实现方式如式（16）和式（17）所示：z=(W3ztanh(W1zxt+W2zxb)（16）x?=z xt+(1-z)xb（17）其中：Wz为可学习的权重矩阵；为 Sigmoid 激活函数；xt为 Transformer 编 码 器 输 出 的 向 量；xb为BiLSTM 输出的向量。向量 z的维数与 xt和 xb的维数相同，它是两个向量之间的权值，使得模型可以动态地确定从 Transformer编码器或 BiLSTM 中使用多少信息，从而记住重要信息，避免造成信息冗余。2.5解码层为利用不同标签之间的依赖性，本文使用条件随机场作为解码层。对于给定序列s=s1,s2,sT，相应标签序列是y=y1,y2,yT。y的概率计算如式（18）所示：P(ys)=t=1Tef()yt-1,yt,syY()st=1Tef()yt-1,yt,s（18）2592023年 4月 15日Computer Engineering 计算机工程其中：f(yt-1,yt,s)表示计算从yt-1到yt的状态转换分数以及yt的分数，其目标是P(ys)；Y（s）表示所有有效的标签序列。当解码时，使用维特比算法求得全局最优序列。3实验 3.1数据集本文实验使用 Weibo 数据集和 Resume 数据集，两者均为公开的中文命名实体识别数据集。Resume数据集是从新浪财经上收集并进行标注的中国股市上市公司高管的简历数据集，包括 8 种命名实体。Weibo数据集是基于新浪微博中的文本构建的，包含4 种 实 体。本 文 实 验 使 用 的 数 据 集 采 用 BMESO（Begin，Middle，End，Single，Outside）方法进行标注。2个数据集的统计信息如表 1所示。3.2实验设置本文实验使用精确率（Precision）、召回率（Recall）、F1值作为评估指标。本文实验使用PyTorch 1.10框架搭建模型，并使用NVIDIA的GeForce RTX 2080 Ti GPU进行加速，其主要的超参数如表 2所示。3.3结果分析为验证本文所提 TBAC 方法的有效性，本文在Weibo和 Resume数据集上与其他中文命名实体识别方法进行对比，其中，包括使用 Word2Vector 词向量的方法和使用预训练模型的方法。最后，通过消融实验验证模型各部分的必要性。对比模型如下：1）BiLSTM，使用 BiLSTM 网络作为编码器，将CRF作为解码器，是最经典的命名实体识别模型。2）ID-CNN，使用膨胀卷积神经网络代替BiLSTM网络作为编码器，充分利用GPU的并行性提高运算效率。3）Transformer，使用原始 Transformer 架构作为编码器，CRF作为解码器。4）Lattice LSTM，使用 LSTM 在上下文编码层建模字词图，显式融合词汇信息，最后使用 CRF作为解码器。5）CAN-NER26，使用具有局部注意力层的卷积神经网络和具有全局自注意力层的双向门控递归单元（Bi-GRU）作为编码器。6）FLAT，使用相对跨度编码的方法将所有潜在词汇融入到序列输入中，使用 Transformer编码器建模字符与词汇间的交互，引入词汇信息。7）MECT，将字、词、汉字结构信息作为多元嵌入，并使用 Cross-Transformer作为编码器。3.3.1基于 Word2Vector词向量的对比分析本节使用 BiLSTM、ID-CNN、Transformer、Lattice LSTM和CAN-NER这5种模型进行对比实验。这5种模型在中文语料库中使用 Word2Vector方法预训练得到的字符级嵌入和二元字符级嵌入，Lattice LSTM 使用外部词典进行词汇增强，CAN-NER使用分词信息。本节使用 Lattice LSTM 和 CAN-NER原文中的实验数据进行对比。基于 Word2Vector词向量模型的评价指标对比如表3所示。Transformer在Resume和Weibo数据集上的F1 值 分 别 为 92.89%和 47.66%，均 低 于 BiLSTM 和ID-CNN模型，说明原始 Transformer编码器不适合命名实体任务，本文有必要使用相对位置等方法改进Transformer编码器，发挥 Transformer编码器感知全局信息的优势。从表 3可以看出：本文模型在 Resume和 Weibo数据集上的F1值分别为95.26%和60.24%，均优于其他对比模型。在 Resume数据集上，本文模型 F1值比经典的 BiLSTM 和 ID-CNN模型分别提高 0.78和 1.12个百分点，比使用词汇信息的Lattice LSTM和CAN-NER分别提高0.8和0.32个百分点。在Weibo数据集上，本文表 1数据集的统计信息 Table 1Statistics information of datasets类型句子实体Weibo训练集1 3501 890验证集270390测试集270420Resume训练集3 8001 340验证集460160测试集480150表 2超参数设置 Table 2Hyperparameter setting超参数char_embeddingbigram_embeddingTransformer_LayersTransformer_HiddenSizeTransformer_HeadBiLSTM_LayersBiLSTM_HiddenSizebatch_size优化器学习率epochsdropoutResume数据集505022564112816SGD0.000 7500.15Weibo数据集50501128416416SGD0.000 81000.15表 3基于 Word2Vector词向量模型的评价指标对比 Table 3Evaluation indicators comparison among models based on Word2Vector word vector%模型ID-CNNBiLSTMTransformerLattice LSTMCAN-NERTBACResume数据集P93.6894.9892.7894.8195.0595.00R94.6093.9993.0094.1194.8595.52F1值94.1494.4892.8994.4694.9495.26Weibo数据集P66.7863.1764.4969.60R47.1350.4837.8053.11F1值55.2656.1247.6658.7959.3160.24260第 49卷 第 4期廖列法，谢树松：基于注意力机制特征融合的中文命名实体识别模型的F1值比经典的BiLSTM和ID-CNN模型分别提高 4.12 和 4.98 个百分点，比使用词汇信息的 Lattice LSTM 和 CAN-NER分别提高 1.45和 0.93个百分点。实验结果表明，本文提出的模型可以捕捉到更多的上下文特征信息，有效识别中文文本中的实体。在 Weibo 数 据 集 上 各 个 模 型 的 F1 值 相 较 于Resume 数据集相差更大，其原因可能为 Weibo 数据集使用的是社交媒体领域文本，存在大量不规则的语法和新词，导致识别难度增大。各个模型在 Weibo数 据 集 上 的 精 确 率 较 高，召 回 率 较 低，其 原 因 为Weibo数据集的识别难度较高。3.3.2基于预训练模型的对比分析本节使用FLAT、MECT和BiLSTM、ID-CNN这4种模型进行对比实验，实验数据来源于原文。FLAT和MECT使用BERT-wwm预训练模型进行微调。BiLSTM和ID-CNN使用RoBERTa-wwm预训练模型进行微调。本文模型TBAC分别使用BERT-wwm和RoBERTa-wwm进行对比实验。基于预训练模型的评价指标对比如表 4 所示。当使用 BERT-wwm 预训练模型时，本文模型 TBAC在 Weibo 数据集上的 F1 值比 FLAT 和 MECT 模型提高 2.09 和 0.21 个百分点，在 Resume 数据集上 F1 值比 FLAT和 MECT模型提高 0.53和 0.41个百分点。从表 4可以看出：TBAC模型在 Weibo和 Resume数据集上使用RoBERTa-wwm预训练模型的F1值分别为71.29%和96.68%，与使用BERT-wwm预训练的TBAC模型相比效果更好。这是因为RoBERTa预训练模型使用动态遮蔽策略和中文全词遮蔽策略，并使用更多的文本进行预训练，获得更多的词汇和上下文信息。与经典BiLSTM（RoBERTa-wwm）和ID-CNN（RoBERTa-wwm）模型相比，TBAC（RoBERTa-wwm）也取得更优的识别效果，表明 TBAC 模型可以提取更多的上下文语义特征。3.3.3消融实验分析为验证 TBAC 模型中各部分的有效性，本文进行消融实验。其中，BiLSTM 用 Transformer编码器代替 BiLSTM 网络，Transformer表示用 BiLSTM 网络代替 Transformer，Attention表示用直接拼接代替Attention进行特征融合。消融实验结果如表 5所示，相比 TBAC，BiLSTM 网络在 Resume 和 Weibo 数据集上分别降低 0.82 和 3.45 个百分点，表明 BiLSTM网络抽取的上下文特征和方向信息对于中文命名实体识别任务是重要的，使用 BiLSTM 网络代替改进后的 Transformer编码器后，相比 TBAC在 Resume和Weibo 数据集上 F1 值分别降低 0.64 和 5.86 个百分点，说明改进后 Transformer编码器带来的全局语义信息可以提高 F1 值。不使用注意力机制动态融合特征后 F1 值在 Resume 和 Weibo 数据集上相较于TBAC 分别降低 0.53 和 2.07 个百分点。实验结果表明，注意力机制能有效融合方向信息和全局语义信息，并且舍弃一部分冗余信息，提升模型识别效果。4结束语 本文提出基于注意力机制的特征融合模型，用于中文命名实体识别。考虑到原始的Transformer编码器具有全局建模能力，但是对位置和方向信息不敏感，因此，使用相对位置编码和修改注意力计算公式对Transformer编码器进行改进，同时利用BiLSTM进一步增强方向信息。采用注意力机制动态融合上下文特征，实现全局语义信息和方向信息深度融合。为获取更多的上下文信息并解决一词多义问题，将RoBERTa-wwm预训练模型作为字符级嵌入，提升模型识别效果。在Resume和Weibo数据集上的实验结果验证本文模型在中文命名实体识别任务中的有效性。实验结果表明，在没有使用词典等外部资源的情况下，本文所提的模型相比于 ID-CNN、BiLSTM、CAN-NER等深度学习模型具有较优的识别效果。下一步将采用融合词汇的方法来增加更多的上下文信息，以优化网络结构并降低时间复杂度，增强模型的识别效果。参考文献 1 邓依依，邬昌兴，魏永丰，等.基于深度学习的命名实体识别综述 J.中文信息学报，2021，35（9）：30-45.DENG Y Y，WU C X，WEI Y F，et al.A survey on named entity recognition based on deep learning J.Journal of Chinese Information Processing，2021，35（9）：30-45.（in Chinese）2 LI J，SUN A，HAN J L，et al.A survey on deep learning for named entity recognition J.IEEE Transactions on Knowledge and Data Engineering，2020，34（1）：50-70.3 宋旭晖，于洪涛，李邵梅.基于图注意力网络字词融合的中文命名实体识别 J.计算机工程，2022，48（10）：298-305.表 4基于预训练的中文命名实体模型的评价指标对比 Table 4Evaluation indexes comparison among Chinese named entity models based on pretraining%模型FLAT（BERT-wwm）MECT（BERT-wwm）TBAC（BERT-wwm）TBAC（RoBERTa-wwm）BiLSTM（RoBERTa-wwm）ID-CNN（RoBERTa-wwm）F1值Weibo数据集68.5570.4370.6471.2969.1567.68Resume数据集95.8695.9896.3996.6896.1995.61表 5消融实验结果 Table 5Ablation experimental results%模型TBACBiLSTMTransformerAttentionResume数据集P95.0094.6494.8294.61R95.5294.2394.4294.85F195.2694.4494.6294.73Weibo数据集P69.6065.2761.2669.08R53.1150.0048.8050.24F160.2456.7954.3358.172612023年 4月 15日Computer Engineering 计算机工程SONG X H，YU H T，LI S M.Chinese named entity recognition based on