基于句级别GAN的跨语言零资源命名实体识别模型.pdf

2023 08 10计算机应用,Journal of Computer Applications2023,43(8):2406-2411ISSN 10019081CODEN JYIIDUhttp：/基于句级别GAN的跨语言零资源命名实体识别模型张小艳*，段正宇（西安科技大学 计算机科学与技术学院，西安 710600）（通信作者电子邮箱）摘要：针对低资源语言缺少标签数据，而无法使用现有成熟的深度学习方法进行命名实体识别（NER）的问题，提出基于句级别对抗生成网络（GAN）的跨语言NER模型SLGAN-XLM-R（Sentence Level GAN Based on XLM-R）。首先，使用源语言的标签数据在预训练模型XLM-R（XLM-Robustly optimized BERT pretraining approach）的基础上训练NER模型；同时，结合目标语言的无标签数据对XLM-R模型的嵌入层进行语言对抗训练；然后，使用NER模型来预测目标语言无标签数据的软标签；最后，混合源语言与目标语言的标签数据，以对模型进行二次微调来得到最终的NER模型。在CoNLL2002和CoNLL2003两个数据集的英语、德语、西班牙语、荷兰语四种语言上的实验结果表明，以英语作为源语言时，SLGAN-XLM-R 模型在德语、西班牙语、荷兰语测试集上的 F1 值分别为 72.70%、79.42%、80.03%，相较于直接在XLM-R模型上进行微调分别提升了5.38、5.38、3.05个百分点。关键词：跨语言；命名实体识别；XLM-R；语言对抗训练；预训练模型中图分类号：TP391.1 文献标志码：ACross-lingual zero-resource named entity recognition model based on sentence-level generative adversarial networkZHANG Xiaoyan*，DUAN Zhengyu（College of Computer Science and Technology，Xi an University of Science and Technology，Xi an Shaanxi 710600，China）Abstract:To address the problem of lack of labeled data in low-resource languages，which prevents the use of existing mature deep learning methods for Named Entity Recognition（NER），a cross-lingual NER model based on sentence-level Generative Adversarial Network（GAN），namely SLGAN-XLM-R（Sentence Level GAN based on XLM-R），was proposed.Firstly，the labeled data of the source language was used to train the NER model on the basis of the pre-trained model XLM-R（XLM-Robustly optimized BERT pretraining approach）.At the same time，the linguistic adversarial training was performed on the embedding layer of XLM-R model by combining the unlabeled data of the target language.Then，the soft labels of the unlabeled data of the target language were predicted by using the NER model，Finally the labeled data of the source language and the target language was mixed to fine-tune the model again to obtain the final NER model.Experiments were conducted on four languages，English，German，Spanish，and Dutch，in two datasets，CoNLL2002 and CoNLL2003.The results show that with English as the source language，the F1 scores of SLGAN-XLM-R model on the test sets of German，Spanish，and Dutch are 72.70%，79.42%，and 80.03%，respectively，which are 5.38，5.38，and 3.05 percentage points higher compared to those of the direct fine-tuning on XLM-R model.Key words:cross-language;Named Entity Recognition(NER);XLM-R(XLM-Robustly optimized BERT pretraining approach);linguistic adversarial training;pre-trained model0 引言 命名实体识别（Named Entity Recognition，NER）是一项基本的信息提取任务，旨在识别文本中的命名实体，并将它归入预定义的实体类型（如人、组织、地点等）。作为信息提取的一个子任务，它是信息检索1、问题回答2和文本总结3等的关键构建模块。近年来深度学习方法在NER领域取得了不错的成绩，目前 流 行 的 方 法 在 预 训 练 语 言 模 型（Pre-trained Language Model，PLM）的基础上添加一个线性分类器，然后使用标签数据对整个PLM进行微调。深度学习方法的应用需要大量的标签数据，然而，除了几种高资源的语言，大部分的语言如藏语、维吾尔语、蒙古语等的标签数据都是有限的，而且人工标注数据通常费时且昂贵4。因此，随着深度学习的发展，在目标语言中没有或有极少标签数据的场景下，研究如何将高资源语言中的数据或知识迁移到低资源语言获得了越来越多的关注。针对跨语言低资源命名实体识别中的标签数据稀缺问题，近年来许多学者进行了研究，现有的方法主要分为数据迁移方法和模型迁移方法。数据迁移方法是将源语言的标签数据通过映射、翻译等文章编号：1001-9081（2023）08-2406-06DOI：10.11772/j.issn.1001-9081.2022071124收稿日期：20220801；修回日期：20221104；录用日期：20221111。作者简介：张小艳（1967），女，陕西西安人，教授，硕士，主要研究方向：人工智能、软件工程及开发技术、企业信息化建设；段正宇（1998），男，安徽安庆人，硕士研究生，主要研究方向：深度学习、自然语言处理。第 8 期张小艳等：基于句级别GAN的跨语言零资源命名实体识别模型方法，转换成目标语言的标签数据。Sun等5直接将低资源语言翻译成英语，并提出了反向注意力知识迁移机制来从预训练模型中获得语言对齐的语义特征。但直接翻译造成的单词词序不一致会影响模型的表现，因此 Liu等6提出了 MulDA（Multilingual Data Augmentation framework for low-resource cross-lingual NER）模型，首先将实体标签以线性化的形式嵌入到句子中构建新的句子集，接着使用机器翻译将新的句子集翻译成目标语言的句子，并根据实体标签重构成目标语言的数据集，保证标签序列与句子词序的对应。同样地，Jain等7首先利用机器翻译系统对句子和实体进行翻译，接着使用正交矩阵和音标相似度匹配实体，最后通过数据集的分布式统计结果确定最终的翻译的语料完成数据的迁移。Ding等8将线性化嵌入方法应用到了有少量标签数据的目标语言上，提出了数据增强模型 DAGA（Data Augmentation with a Generation Approach for low-resource tagging tasks），将实体标签嵌入到句子中，并进行同种类型实体的替换来扩充数据现有目标语言标签数据集。模型迁移方法通过提取源语言上语言无关的特征训练模型，或充分利用目标语言上的无标签数据来提升模型在双语之间的对齐能力，之后直接在目标语言上使用训练好的模型进行推理预测。跨语言非监督的模型的建立是模型迁移方法的热点，Bari等9基于人类学习第二语言的可理解输出理论，不使用目标语言的任何的平行语料、跨语言词典、标签数据，建立了非监督的跨语言NER模型。随着预训练模型的发展，开始有研究者将目光放在大型跨语言预训练模型上，而非自行进行非监督训练构建模型。Keung等10基于多语言BERT（multilingual Bidirectional Encoder Representations from Transformers，mBERT）模型11，以英语作为源语言，判别语言是否属于英语的对抗训练，表明对抗学习能够提升mBERT上英语与其他语言之间的对齐。Wu等12扩展了元学习理论到跨语言NER中，使用少量的标注数据，结合元学习训练一个多语言模型的初始化参数，以快速地将模型调整到给定的语言场景中，并通过计算句子相似度建立多种伪码NER任务来进行元学习。Pfeiffer 等13提出基于适配器的框架 MAD-X（Multiple ADapters for cross-lingual transfer），通过学习模块化语言和任务表示，可以实现对任意任务和语言的高可移植性和参数的有效传输。Wu等14认为以前大部分的工作都过度依赖于标签数据，没有充分使用到无标签的目标语言数据，因此将教师学生网络应用在跨语言NER任务上，将源语言上训练的NER模型作为教师模型，使用目标语言上的无标签数据训练学生模型，使教师模型与学生模型的输出保持一致。部分研究者研究两种方法对跨语言模型的贡献，结合两种迁移方法来提高跨语言模型的表现。Wu等15提出模型迁移和数据迁移互相之间有辅助作用，前者可以获得语言无关的特征，但是却无法获取目标语言的特定任务的信息，后者可以通过翻译来扩展数据，但是数据迁移方法对上下文信息的挖掘会因为不准确的翻译而削弱，因此提出了 UniTrans（Unify both model and data Transfer for cross-lingual NER）模型，结合了上述两种迁移方法，采用知识蒸馏利用无标签的目标语言数据。同样地，Yi等16使用源语言的标注数据生成目标语言的伪码数据来进行数据迁移，使用不同的伪码数据训练多对教师-学生模型来进行模型迁移。Fu等17将问题限定在源语言标签数据也稀少的更苛刻情况下，结合翻译对比学习和标签对比学习将数据从源语言迁移到目标语言，使用知识蒸馏来对原始模型和数据中的知识进行提取。上述研究中基于多语言PLM的跨语言NER模型取得了不错的效果。然而，由于多语言预训练是在多种语言上以非监督训练的方式训练而来，在进行跨语言NER时会引入多种语言的噪声，因此这类方法依然存在着PLM在双语之间对齐效果不佳的问题。因此，本文采用预训练模型XLM-R（XLM-Robustly optimized BERT pretraining approach）18作为基础模型，采用对抗神经网络提取与语言特征进行模型迁移，提升模型在双语之间的对齐能力，采用二次微调方法挖掘目标语言中的信息，进行数据迁移，提出了基于句级别语言对抗生成网络（Generative Adversarial Network，GAN）的跨语言命名实体识别模型 SLGAN-XLM-R（Sentence Level GAN based on XLM-R）。首先使用源语言对NER模型进行微调，同时使用源语言的标签数据和目标语言的无标签数据进行对抗训练，提升模型在两种语言之间的对齐能力；接着在目标语言上，使用NER模型对目标语言数据进行推理，获得目标语言的软标签数据；最后混合源语言的标签数据和目标语言的软标签数据，对模型进行二次微调来提取目标语言无标签数据中的知识，提升模型在目标语言上的表现。本文基于XLM-R模型提出了句级别语言对抗学习模型架构，使多语言模型在双语之间的对齐效果优于现有的词级别的对抗学习架构；设计并实现了SLGAN-XLM-R跨语言命名实体识别模型。在 CoNLL2002数据集19和 CoNLL2003数据集20上，以英语作为源语言，德语、西班牙语、荷兰语作为目标语言进行了实验。1 SLGANXLMR模型 1.1模型整体架构本文提出的跨语言命名实体识别模型的核心是基于XLM-R18的句级别对抗生成网络。模型整体由三部分组成：XLM-R特征提取层、SLGAN&NER层和模型微调层。XLM-R特征提取层使用预训练模型XLM-R作为特征提取器提取多语言输入语料中的特征向量；SLGAN&NER层在特征提取层上添加线性分类器建立NER模型，同时将XLM-R模型作为生成器，训练一个判别器模型判别输入的语料是否属于源语言，提高模型在双语之间的对齐能力；模型微调层的作用是使用对齐后的多语言NER模型，结合目标语言的无标签数据，生成目标语言的软标签数据，并与源语言的有标签数据混合，对多语言NER模型进行微调，得到最终的跨语言命名实体识别模型。模型的整体架构图如图1所示。图1SLGAN-XLM-R神经网络模型的整体结构Fig.1Overall structure of SLGAN-XLM-R neural network model2407第 43 卷计算机应用1.2XLM-R特征提取层XLM（Cross-lingual Language Model pretraining）模型21是Facebook于2019年提出的多语言预训练模型，整体思路基于BERT11，通过共享词表的方式克服了BERT在多语言上的信息不互通难题，将不同的语言放在一起采用新的训练目标进行训练，让模型能够掌握更多的跨语言信息。在其他下游任务上，训练语料较为稀少的语言可以利用其他语料上学到的信息。XLM提出了3个预训练任务，分别是因果语言建模任务（Causal Language Modeling，CLM）、掩 码 语 言 建 模 任 务（Masked Language Modeling，MLM）和 翻 译 语 言 建 模 任 务（Translation Language Modeling，TLM）。CLM 任 务 是 一 个Transformer语言模型，该模型被训练来对给定句子预测后一个单词的概率；MLM任务是使用由任意数量的句子组成的文本流，随机将其中的单词替换成掩码单词，并预测掩码单词可能代表的词的概率；TLM任务是MLM的扩展，不考虑单语种的文本流，而是将并行的翻译对拼接起来，在源语言句子和目标语言句子中随机将一些词替换成掩码单词，在预测掩码位置可能代表的词时，首先从句子的上下文入手，当通过上下文不足以推断出被遮蔽的单词时，注意对应的翻译的内容，引导模型将源语言和目标语言进行对齐。其中CLM和MLM在单语种数据集上采用无监督的方式训练，TLM使用平行语料以有监督的方式训练。XLM-R模型18建立在XLM模型和RoBERTa模型22的基础上，相较于XLM模型进行了以下改进：1）增加了语种数和训练集的数，使用超过2 TB的100多种语言数据，以自监督的方式训练跨语言表征；2）在微调期间，基于多语言模型的能力来使用多语言的标注数据，以提升下游任务的性能；3）调整了模型的参数，删除了TLM任务，以抵消使用跨语言迁移来将模型扩展到更多语言时限制了模型理解每种语言的能力的不利因素。在本文所构建的模型中，使用XLM-R模型作为特征提取层23，计算过程如式（1）（3）所示：h0=XEmbedding(X)（1）mtxe=LN(ht-1+MH(ht-1，ht-1，ht-1)；t 1（2）ht=LN(mtxe+FFN(mtxe)（3）其中：XEmbedding()表示XLM-R模型的嵌入函数，包含词嵌入和位置嵌入，X=xi1 i N是句子经过子词切分后的输入；MH()表示多头注意力函数；ht表示XLM-R模型第t层的输出。LN()表示层归一化函数；FNN()表示前馈神经网络；mtxe表示XLM-R模型第t层多头注意力层的输出。通过式（1）（3）得到XLM-R模型的最终输出的特征向量h。1.3SLGAN&NER层本文中的NER模型是在特征提取层的基础上添加了线性分类层，将特征向量h作为输入，使用softmax()函数来预测单词x所属的实体类别，具体计算过程如式（4）所示：P(YNER)=softmax(WNERh+bNER)（4）其中：P(YNER)R|C|是单词x所属实体类别的概率分布，C是实体类别标签的集合，表示学习的参数，|C|表示集合中标签种类数。WNER Rde|C|和bNER R|C|是需要学习参数，de是特征向量h的维度。本文中的语言对抗模型将XLM-R作为生成器，训练一个句级别的判别器模型判断XLM-R中生成的特征向量是否属于源语言，提高了模型在两种语言之间的对齐能力。判别器由3个线性转换和1个ReLU函数组成，用来对特征向量进行分类，最后使用sigmoid()函数预测向量是否属于源语言的概率分布，具体过程如式（5）（7）所示：hd1=WDIS1ReLU(WDIS2h)（5）hd2=squeeze(hd1)（6）P(YDIS)=(WDIS3hd2)（7）其中：WDIS1 Rdd 1，WDIS2 Rde dd，WDIS3 Rdl 1，dd表示判别器的隐藏层维度，dl表示按最大长度对齐后的每个句子的长度，squeeze()函数是将隐藏层输出hd1的最后一维展开，即将hd1 Rdl 1转化成hd2 Rdl，代表sigmoid()函数，用于获取当前h是否属于源语言的概率分布。对于语言对抗训练，存在3个损失函数，即特征提取层损失函数LE、语言判别器损失函数LDIS和 NER 任务损失函数LNER。在实际的训练过程中，参考文献 24，并没有将3个损失函数进行求和反向传播，而是在训练NER模型时，特征提取层的参数和NER分类器的参数随着LNER的反向传播更新，在进行语言对抗训练时，特征提取层参数随着LE的反向传播进行更新，语言判别器的参数随着LDIS的反向传播进行更新，各损失函数计算方法如式（8）（10）所示：LE=-1Ni 1，N lg P(YDISi=yDISi)+lg P(YDISi=yDISi)（8）LDIS=-1Ni 1，N lg P(YDISi=yDISi)+lg P(YDISi=yDISi)（9）LNER=-1Ni 1，N lg P(YNERi=yNERi)（10）其 中：yDIS0，1表 示 语 言 分 类 任 务 的 正 标 签 集 合；yDIS0，1表示语言分类任务的负标签的集合；对于给定的句子X，yNER RN|C表示真实的实体标签序列。1.4模型二次微调层由于目标语言标签数据的缺乏，本文使用经过语言对抗训练对齐后的命名实体识别模型对现有的目标语言的无标签数据集DTarunlabeled进行推理预测，获取无标签数据软标签数据集DTarsoftlabeled，推理计算流程如式（11）（12）所示：hT=E(XT)（11）P(YT)=softmax(WNERhT+bNER)（12）其中：XT DTarunlabeled表示目标语言数据集中的句子；E()表示式（1）（3）中的特征向量获取过程，使用softmax()函数获取输入的句子在各实体标签上的概率分布，最终获得对于给定的句子的预测的实体标签序列。接着将目标语言软标签数据集DTarsoftlabeled和源语言数据集DS连接混合，组成新的数据集D，即D=DTarsofrlabeled，DS。最终根据式（4）在D上对模型再次训练微调。2 数据集及评估方案 2.1数据集统计及标注情况本文在 4个不同的语言上进行了实验，分别是英语、德语、西班牙语和荷兰语，其中西班牙语和荷兰语数据来自CoNLL2002 数 据 集19，英 语 和 德 语 来 自 CoNLL2003 数 据集20。数据集的统计信息如表1所示。2408第 8 期张小艳等：基于句级别GAN的跨语言零资源命名实体识别模型两个数据集采用的标注方案是均为BIO，B表示实体的开始单词，I表示实体除开始单词以外的其他单词，O表示非实体。数据集包含4种实体，分别是人名（Person，标注符号为PER）、组织或公司（Organization，标注符号为ORG）、地点（Location，标注符号为LOC）和其他实体（Miscellaneous，标注符号为MISC），因此在数据集中包含9种不同的标签。实体标注方案如表2所示。本文使用英语作为源语言，以其他三种语言作为目标语言。使用源语言的训练集中的标签数据和目标语言的无标签数据训练模型，在目标语言的测试集上对模型的效果进行验证评估。本文训练和评估中用到的标注数据集有英语训练集、德语测试集、西班牙语测试集、荷兰语测试集，各数据集中各类型的实体的统计数目关系如图2所示。2.2评估标准本文主要采用 F1值对模型各种语言的表现进行评估。首先需要计算准确率P和召回率R，最后根据公式计算F1的值。其公式具体如式（13）（15）所示：P=TPTP+FP 100%（13）R=TPTP+FN 100%（14）F1=2P RP+R 100%（15）其中：TP表示预测为正样本，实际为正样本数；FP表示预测为正样本，实际为负样本数；FN表示预测为负样本，实际为正样本数。3 实验与结果分析 3.1实验环境与模型参数设置本文选择64位Ubuntu 18.04.6 LTS操作系统，处理器为Intel Xeon Gold 6240 CPU 2.60 GHz，显卡为 NVIDIA Tesla V100（32 GB）的硬件设备，并选择Python 3.7.6作为实验代码语言，选择PyTorch 1.9.0作为神经网络模型的构建平台实验。在数据预处理阶段，使用WordPiece算法25 将输入的单词序列切分成最小子词序列，并将对应的标签序列扩充，保证实体单词切分成的每个子词都具有当前单词的标签。同时为了进行语言对抗训练，给每个句子都构造了语言类别标签。以英语句子为例，其预处理过程如表3所示，可以看出在切分子词时，将rejects单词切分成了re、ject、s三个部分，因此需要拓展对应的标签序列，并给三部分都赋予同样的标签，确保不改变原始的标签与单词对应结构。最后添加了句子语言类别标签，0表示当前句子是源语言，1表示当前句子是目标语言。在进行预处理后，将句子输入XLM-R特征提取层获取特征向量，作为模型训练的基础。在模型训练阶段，使用 XLM-R18系列模型中的 xlm-roberta-base作为基础模型，其基本结构与BERT11相同，具有12个transformer层、12个注意力机制头和768个隐藏层单元。在进行命名实体识别模型训练时，在XLM-R模型的基础上建立了线性分类器，所有的模型的批次大小的设置都是32，最大的句子长度为128，使用AdamW26作为优化器对模型训练，模型的学习率为6E-5。在进行SLGAN训练时，判别器的隐藏层数为16，对抗生成器的学习率为6E-7，对抗判别器的学习率为5E-3。在二次微调阶段，将源语言标签数据和目标语言软标签数据在句子层面随机混合，使用对抗训练对齐后的NER模型进行微调，微调时优化器的学习率为6E-5，没有冻结任何一层。表1数据集统计信息Tab.1Statistics of datasets语言英语 en（CoNLL2003）德语 de（CoNLL2003）西班牙语 es（CoNLL2002）荷兰语 nl（CoNLL2002）类型句子实体句子实体句子实体句子实体训练集14 98723 49912 70511 8518 32318 79815 80613 344验证集3 4665 9423 0684 8331 9154 3512 8952 616测试集3 6845 6483 1603 6731 5173 5585 1953 941表2实体标注方案Tab.2Named entity labeling scheme实体类型人名组织或公司地点其他实体非实体标注符号B-PERI-PERB-ORGI-ORGB-LOCI-LOCB-MISCI-MISCO实体描述人名开始单词人名其他单词组织名的开始单词组织名的其他单词地名开始单词地名结束单词其他实体开始单词其他实体结束单词其他非实体示例终（B-PER）南（I-PER）山（I-PER）华（B-ORG）为（I-ORG）西（B-LOC）安（I-LOC）市（I-LOC）疫（B-MISC）苗（I-MISC）你（O）好（O）图2各数据集实体数目统计信息Fig.2Statistics of the number of entities in each dataset表3数据预处理示例Tab.3Example of data pre-processing类别原始句子原始标签预处理后句子预处理后实体标签预处理后语言标签样例EU rejects German call to boycott British lambB-ORG O B-MISC O O O B-MISC O O_EU_rejects_German_call_to_boycott_British_lambB-ORG O O O B-MISC O O O O O B-MISC O O O O02409第 43 卷计算机应用3.2实验与结果分析为了验证所提出的模型的效果，参考文献 10 在同一实验环境下，仅以英语作为源语言，以德语、西班牙语和荷兰语作为目标语言，计算模型在从英语迁移到其他语言的准确率和召回率，最终计算成F1值，实验结果如表4所示。表4显示，在文献 28 和文献 29 提出的基于翻译映射的模型中，文献 28 模型效果最好，对德语、西班牙语、荷兰语的识别结果的F1值分别为57.23%、64.10%、63.37%，但相较于文献 27、文献 7、文献 30、文献 9 提出的基于模型迁移的模型略差。在基于模型迁移的模型中，文献 30 模型效果更好，对应的 F1 值分别为 69.56%、74.96%、77.57%。文献 10 中提出的词级别语言对抗训练模型的效果优于其他基于翻译映射和基于模型迁移的模型，对德语、西班牙语、荷兰语的识别结果的F1值分别为71.9%、74.3%、77.6%。而本文提出的句级别的语言生成对抗模型 SLGAN+NER 在西班牙语、荷兰语上的识别F1值分别为78.32%、78.71%，平均值为75.51%，均高于文献 10 模型，表明本文提出的句级别的语言GAN模型与前人提出的基于翻译映射、基于模型迁移与基于词级别语言对抗训练的模型相比，整体性能有较大的提升。主要原因是对于词表有共同单词的语言来说，单从一个单词很难判断是否属于哪个语言，这对语言对抗训练的准确率有较大影响，从而直接影响到模型在双语之间的对齐效果，而句级别的对抗训练更能够融合整个句子的信息，相较于词级别的对抗训练模型能取得更好的识别效果。同时，在使用推理后的软标签进行二次微调后，模型的F1值有了不同程度的提升。这是因为跨语言的预训练模型XLM-R在是在100多种语言上训练的，其中包含了多种语言的知识。当以 XLM-R 作为特征提取层，进行语言对抗训练时，能够更准确地区分源语言和目标语言，能更准确地提取其中与语言无关的信息，这些信息对跨语言迁移十分重要。当在对齐后的模型上进行二次微调时，模型利用了目标语言上的无标签数据来产生软标签数据，虽然使用软标签数据时会引入噪声，但是通过实验结果可以看出，目标语言软标签数据能对模型的效果有进一步提升。而如何消除软标签数据中的噪声，这也是下一步可以深入研究的方向。为了验证XLM-R模型相较于其他PLM的优势，本文还进行了mBERT11和XLM-R两个不同的PLM间的对比实验，对比了模型在各语言上的F1值结果，结果如表5所示。从表5中可以看出，当使用mBERT作为基线模型时，使用对抗训练能够分别在德语、西班牙语、荷兰语的识别结果F1值上提升1.63、2.73、2.97个百分点，而使用二次微调后的F1值能够在直接微调的基础上分别提升5.38、5.38、3.05个百分点。实验结果表明，本文提出的句级别的对抗训练模型在不同的PLM上都是有效的，都能不同程度提升模型在各语言上的表现。而当使用XLM-R作为基线模型时，进行直接微调、对抗训练、二次微调后的结果均高于使用mBERT进行二次微调的结果，分别在德语、西班牙语、荷兰语上提升了 6.40、4.96、7.07个百分点。这是因为XLM-R模型在设计时共用了词典，避免了 mBERT 中存在的多语言信息不互通问题，相较于mBERT，还采用多种任务和训练方式，能够更好地捕捉多语言之间的信息。实验结果表明，本文采用XLM-R模型作为基础模型，能够在跨语言命名实体识别任务上取得更好的效果。4 结语 本文对跨语言命名实体识别进行了研究，基于XLM-R模型提出了句级别语言对抗学习模型，设计并实现了SLGAN-XLM-R跨语言命名实体识别模型，在两个数据集的四种语言上进行了实验。实验结果表明，本文提出的句级别语言对抗学习模型优于现有词级别的对抗学习模型，结合模型推理软标签和二次微调，在低资源语言上进行跨语言命名实体识别能达到较好的效果。但是二次微调时推理使用软标签会给模型效果带来一定的负面影响，后续可以在减少噪声的引入上进行更深一步的研究，以达到更好的识别效果。参考文献（References）1 BANERJEE P S，CHAKRABORTY B，TRIPATHI D，et al.A information retrieval based on question and answering and NER for unstructured information without using SQLJ.Wireless Personal Communications，2019，108（3）：1909-1931.2 FABBRI A，NG P，WANG Z G，et al.Template-based question generation from retrieved sentences for improved unsupervised question answering C/Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：ACL，2020：4508-4513.3 NALLAPATI R，ZHOU B W，DOS SANTOS C，et al.Abstractive text summarization using sequence-to-sequence RNNs and beyondC/Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning.Stroudsburg，PA：ACL，2016：280-290.4 KRUENGKRAI C，NGUYEN T H，ALJUNIED S M，et al.Improving low-resource named entity recognition using joint sentence and token labelingC/Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：ACL，2020：5898-5905.5 SUN L F，YI L H，CHEN H X，et al.Back attention knowledge transfer for low-resource named entity recognition EB/OL.（2021-06-18）2022-09-20.https：/arxiv.org/pdf/1906.01183.pdf.表4不同跨语言模型的F1值识别结果对比单位：%Tab.4F1 scores comparison of recognition results of different cross-lingual language modelsunit：%模型文献 27 模型文献 28 模型文献 29 模型文献 7 模型文献 9 模型文献 30 模型文献 10 模型本文模型（SLGAN+NER）本文模型（SLGAN-XLM-R）德语48.1258.5057.2361.5065.2469.5671.9069.5172.70西班牙语60.5565.1064.1073.5075.9374.9674.3078.3279.42荷兰语61.5665.4063.3769.9074.6177.5777.6078.7180.03平均值56.7463.0061.5768.3071.9373.5774.6075.5176.00表5不同PLM的F1值识别结果对比单位：%Tab.5F1 scores comparison of recognition results of different PLMsunit：%模型mBERTXLM-R训练方式直接微调对抗训练二次微调直接微调对抗训练二次微调德语62.3463.9766.3067.3269.5172.70西班牙语69.7072.4374.4674.0478.3279.42荷兰语68.5271.4972.9676.9878.7180.032410第 8 期张小艳等：基于句级别GAN的跨语言零资源命名实体识别模型6 LIU L L，DING B S，BING L D，et al.MulDA：a multilingual data augmentation framework for low-resource cross-lingual NERC/Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing（Volume 1：Long Papers）.Stroudsburg，PA：ACL，2021：5834-5846.7 JAIN A，PARANJAPE B，LIPTON Z C.Entity projection via machine translation for cross-lingual NERC/Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language