基于深度学习的命名实体识别方法研究.pdf

第 22卷 第 10期2023年 10月Vol.22 No.10Oct.2023软 件 导 刊Software Guide基于深度学习的命名实体识别方法研究关菁华，黄启亮，吕泽华，谭梦琪（大连外国语大学 软件学院，辽宁 大连 116044）摘要：命名实体识别作为自然语言处理研究的基础，主要任务是识别文本中的地名、人名、组织机构名等专有名词。针对BERT模型的不足，以轻量化模型为目的进行改进，在保证精度的前提下，减少模型训练时间并提高特征提取能力。采用Albert和RoBERTa-WWM代替BERT，并结合BiLSTM-CRF模型分别进行实验。实验结果表明，Albert在采用跨层参数共享机制减少大量参数的情况下，不仅各项评价指标与BERT相差无几，并且很大程度上减少了对资源的使用。RoBERTa在采用动态掩码和全词掩盖后，F1值提升5%左右，RoBERTa的动态掩码和全词掩盖更符合中文命名实体识别研究。关键词：命名实体识别；深度学习；序列标注；预训练模型DOI：10.11907/rjdk.221500开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP18 文献标识码：A文章编号：1672-7800（2023）010-0090-05Named Entity Recognition Method Research Based on the Deep LearningGUAN Jinghua，HUANG Qiliang，LYU Zehua，TAN Mengqi（School of Software，Dalian University of Foreign Languages，Dalian 116044，China）Abstract：As the basis of natural language processing research，named entity recognition is the main task of recognizing proper nouns such as place names，personal names and organization names in text.Aiming at the shortcomings of BERT model，the paper improved the lightweight model，reduced the training time of the model and improved the feature extraction ability on the premise of ensuring the accuracy.Albert and RoBERTa-WWM were used instead of BERT，and combined with BiLSTM-CRF model，experiments were carried out respectively.The experimental results show that when the cross-layer parameter sharing mechanism is adopted to reduce a large number of parameters，Albert not only has the same evaluation indexes as BERT，but also reduces the use of resources to a great extent.After using dynamic mask and full word masking，F1 value increased by about 5%.RoBERTas dynamic mask and full word masking are more consistent with the research on Chinese named entity recognition.Key Words：named entity recognition；deep learning；sequence labeling；preliminary training model0 引言随着大数据时代的快速发展，数据呈爆炸式增长。这一现象使得有意义的信息提取成为一项重要且关键的任务，因此自然语言处理中，信息提取技术应运而生。命名实体识别（Named Entity Recognition，NER）1作为自然语言处理研究的基础，近年来备受关注，其主要任务是识别文本中的地名、人名、组织机构名等专有名词2，其识别效果对后续的机器翻译、事件抽取、知识图谱构建等任务影响很大。中文比英语在命名实体识别上更加复杂，英语中的命名实体有着明显边界，例如地名人名的首字母大写等，对于中文而言，命名实体没明显边界、构成结构复杂、类型多种多样且不断有新的命名实体涌现，因此中文命名实体识别依然是一个重要且值得深入研究的课题。1 相关工作从目前研究情况看，低资源语言（例如藏语、蒙古语）3受关注范围较广，而且中文命名实体识别在国内一收稿日期：2022-05-06基金项目：辽宁省社会科学规划基金项目（L17BTQ005，L18BTQ004）；大连外国语大学科研基金项目（2021XJYB18，2016XJJS30）作者简介：关菁华（1979-），女，博士，大连外国语大学软件学院副教授，研究方向为自然语言处理；黄启亮（2001-），男，大连外国语大学软件学院学生，研究方向为软件工程；吕泽华（2002-），男，大连外国语大学软件学院学生，研究方向为计算机科学与技术；谭梦琪（1998-），女，大连外国语大学软件学院硕士研究生，研究方向为文本细粒度情感分析。本文通讯作者：黄启亮。第 10 期关菁华，黄启亮，吕泽华，等：基于深度学习的命名实体识别方法研究直备受科研人员的高度重视。目前，命名实体识别实现方法主要有传统的统计模型和神经网络模型。NER方法4-6主要分为以下4类：（1）基于规则的方法。依赖于手工制定的规则，可以基于特定领域的地名词典、语法规则。著名的基于规则的NER 方法有 lase-ii、NetOwl、Facile、SAR、FASTUS 和 LTG，这些方法主要基于手工制定的语义和语法识别实体，由于特定领域的规则加上词典的不完整性，这些方法往往具有高精确度、低召回率等特点，领域迁移十分困难。（2）无监督方法。主要基于聚类的方法，根据文本相似度分析得到不同的文本簇，表示不同的实体组别。（3）基于特征的监督学习方法。通过监督学习将NER任务转换为多分类任务或者是序列标签任务，因此这类方法依赖于特征工程。特征工程使用一个特征向量表示文本中的词，进而可以使用许多机器学习算法隐马尔科夫模型（Hidden Markov Model，HMM）7-8、条件随机场（Conditional Random Field，CRF）9和支持向量机（Support Vector Machine，SVM）10等。（4）基于深度学习的方法。与其他方法相比，基于深度学习的NER模型目前已经处于主导地位并取得了最先进的成果。深度学习可以通过分布式向量表达，更好地自动发现隐藏的特征从而实现端到端的训练，并建立更复杂的NER模型。标准的基于深度学习的 NER 模型11-12由输入层、编码层和解码层 3层结构组成。输入层使用词级别或者字符级别的向量表示。词级别表示的常用词嵌入方法有：Word2vec13-14、Glove、fastText、SENNA。字符级别表示的常用字符嵌入方法有：基于CNN15和基于RNN16，字符嵌入可缓解未登录词（OOV）问题。随着近几年预训练模型在自然语言处理上的重大突破，基于神经网络的深度学习模型在命名实体识别任务中表现得更加优秀。在预训练模型被提出前，以Word2vec为代表的词向量技术是最常用的文本特征表达方法，直到ELMo17提出了与上下文相关的文本特征表示方法后，预训练模型才得到发展并在NER任务中大放异彩。基于深度学习的命名实体识别研究已经持续了多年，现已进入相对成熟的阶段，Bert-BiLSTM-CRF18是NER模型中使用较多且效果不错的模型之一，其中Bert（Bidirectional Encoder Representation from Transformers，BERT）模型在预处理时将进行2项任务，分别是Masked LM（Masked Language Model，MLM）和下一句预测（Next Sentence Prediction，NSP），其中MLM会对每个序列进行静态掩盖，在一个序列中随机静态掩盖掉15%的标签，虽然在统计学意义上依旧可以学习到特征，但实际上破坏了中文特有的词结构（例如 MASK 球）。MLM任务在每个Epoch中，对于同一个序列掩盖的标签是相同的，如果训练数据较小，就会破坏词之间的相互依赖关系。虽然基于Bert的NER模型可以达到很好的效果，但其不足之处在于规模太大，需要很强的计算能力，导致资源占用过多、训练时间过长，而且很难在便携式设备上进行训练。为了解决上述问题，本文结合中文特有的词结构19和语言学特征，使用不同的自注意力机制预训练模型并结合BiLSTM-CRF20模型在保证精确度的前提下进行微调实验。使用一种鲁棒优化的BERT预训练方法全词掩盖（A Robustly Optimized BERT Pretraining ApproachWhole Word Masking，RoBERTa-WWM）21，将全词掩盖预训练模型作为预训练的输入进行实验，此预训练模型将在每个Epoch的相同序列中动态地选择15%的词进行掩盖，而不是在字符级上进行15%的掩盖，这更符合中文语言的词结构，提高了模型对特征能力的提取。由于BERT是超大规模预训练模型，在便携式设备上训练时间长、占用资源过多，因此使用其轻量化模型ALBERT22进行研究，在保留精度的前提下提高模型训练速度。2 Albert-BiLSTM-CRF 与 RoBERTa-BiLSTM-CRF2.1Albert预训练模型在NLP任务中，好的预训练模型至关重要，从目前的Bert、XLNet23、RoBERTa 看，性能越好的模型，其参数量也越大。如果想要扩大预训练模型的规模，会遇到内存限制。为了解决此问题，Albert降低了参数量，提升了参数使用效率。为了更好地发挥参数的功能，它使用了2种减少参数量的方法。跨层参数共享：在 Albert中，全连接层和注意力层参数全部共享，很大程度上减少了参数量；Embedding因式分解：利用矩阵分解的思想，在嵌入词向量后添加一个全连接层，将E映射到H维度，因此Albert模型的Embedding层设置为128维，利用全连接层进行映射，使得映射后的维度与Hidden层的维度相同，将参数量从O（VH）减少到O（VE+EH）。Albert在预处理时会进行2项任务，分别是Masked LM和句子顺序判断（Sentence Order Prediction，SOP）。Albert与 Bert的 MLM 任务相同，均是随机遮罩进行预测。但在后续研究中发现，Bert模型中的NSP任务并不能使模型学习到句子间的连贯性信息，在下游任务中进行NSP任务反而会使模型性能下降。因此Albert使用了SOP，此任务会进行句子顺序的预测，使得模型可以学习句子之间的连贯性信息并在一定程度上解决NSP任务。2.2RoBERTa-WWM预训练模型RoBERTa-WWM模型是Bert模型的优化版本，主要在Bert模型上进行以下调整：（1）采用更大的模型参数和训练数据。训练时间更长，batch size更大，训练数据更多，模型参数量更大。（2）对训练方法进行改进。由于NSP任务对模型没有实质性的性能优化，因而 RoBERTa-WWM 移除了 NSP 912023 年软 件 导 刊任务。（3）加长训练序列。训练序列更长，有助于提升模型性能。（4）动态掩码与全词掩盖。每次向模型输入一个序列时，就进行一次随机掩码，随着数据的输入，模型会适应不同的掩码策略，从而学习到不同的语言特征。全词掩盖针对中文特有的词结构进行全词掩码，使得模型可以更好地学习到中文语言复杂的语言特征。（5）文本编码（Byte-Pair Encoding，BPE）。该编码方式是字符级和单词表示的混合，可以处理自然语言语料库中常见的大量词汇且不依赖于完整单词，而是依赖于子词（sub-word）单元。子词单元是根据自然语言语料库进行统计分析而得，是一种统一的编码方式。2.3BiLSTMRNN的结构能够很好地利用序列之间的关系，可以动态地获取序列间的信息并对其进行记忆保存，但是 RNN在实现时容易出现梯度消失问题。LSTM 模型是在 RNN模型上加入门限机制和记忆单元从而解决了梯度消失问题。在后续研究中发现，无论是 RNN 还是 LSTM，都是从前向后传递信息，在NER任务中，现在的词性也会与后面的词有关，类似于BRNN的双向LSTM被提出以解决此问题，其结构如图1所示。双向的LSTM也称BiLSTM，它将训练2条LSTM，一条从左到右，另一条从右到左，随后进行状态序列拼接并输出。在t时刻，给定输入xt，LSTM的隐藏层输出表示具体计算过程如下：ft=Wf ht-1，Xt+bf（1）it=Wi ht-1，Xt+bi（2）Ct=tanhWC ht-1，Xt+bC（3）Ct=ft*Ct-1+it*Ct（4）ot=(Woht-1，xt+bo)（5）ht=ot*tanh(Ct)（6）其中，W为模型参数矩阵，b为偏置向量，为记忆单元的状态，和tanh为2种不同的激活函数，ft、it、ot分别是遗忘门、输入门、输出门，Xt、ht分别为状态向量和输入向量。这种门限机制可以有效捕获序列前后信息从而解决梯度消失问题。2.4CRFBiLSTM 可以学习到上下文信息，但是并不能使模型学习到前后标签的约束关系。由于CRF中有着特征转移矩阵，可以使模型学习到标签之间的顺序和一些约束规则，可以更好地对标签进行预测。2.5 Albert-BiLSTM-CRF 与 RoBERTa-BiLSTM-CRF 命名实体识别模型Albert-BiLSTM-CRF 与 RoBERTa-BiLSTM-CRF 均是将预训练模型与BiLSTM网络和CRF模型结合起来的 2种模型，模型结构如图2所示。由图2可以看出，命名实体模型是以BERT等预训练模型作为输入，经过BiLSTM层对每个序列分别进行向前和向后处理，使模型学习到上下文关系后，输出给CRF层进行序列前后标签约束关系的学习。3 实验与分析3.1实验数据及评价指标实验数据来源于开源的新闻网站，实验采用BIO序列标注模式，对每个字符进行标注，B表示实体类型的第一个词，I表示实体类型其余的词，O表示非实体类型。本次任务分为 7 种实体类型，如表 1 所示。数据共有 216 547字，其中CW标签有3 295个，ORG标签有9 010个，LOC标签有2 903个，FNAME标签有840个，LNAME标签有3 820个，DATE标签有17 425个，其余为O标签，训练集与验证集以7 3的比例划分。对于每一种实体类型，本次实验都采用准确率（Precision，P）、召回率（Recall，R）和F1值（F1-score）作为衡量模型性能的标准。各指标计算公式如下：P=TPTP+FP 100%（7）R=TPTP+FN 100%（8）LSTMLLSTMRLSTMLLSTMRhL0hL1LSTMLLSTMRhL2hR0hR1hR2拼接hc Fig.1BiLSTM model structure图1BiLSTM 模型结构雷神山院医Encoder特征表示层(BERT,ALBERT,RoBERTa)LSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLSTMLayerB-ORGI-ORGI-ORGI-ORGI-ORGBiLSTMCRF Fig.2Pre-trained model-BiLSTM-CRF model structure图2预训练模型-BiLSTM-CRF 模型结构 92第 10 期关菁华，黄启亮，吕泽华，等：基于深度学习的命名实体识别方法研究F1=2PRP+R 100%（9）其中，TP表示预测为正类且样本为正类，FP表示预测为正类且样本为负类，FN表示预测为负类且样本为正类，TP+FP表示预测为正类的样本数，TP+FN表示实际为正类的样本数。3.2模型搭建与参数设置本文提及的模型采用Pytorch框架进行搭建。Pytorch是由Facebook人工智能研究院基于Torch开发的深度学习框架，其被广泛应用于深度学习模型的研究与应用。在RoBERTa-BiLSTM-CRF 模型上，相较于张芳丛等24的研究，其在数据方面有着明显区别。此外，在 Albert-BiLSTM-CRF模型上，相比网络开源代码所使用的框架keras，本次实验使用Pytorch框架实现。本次研究采用谷歌发布的 Bert_Large 预训练模型结合 BiLSTM 和 CRF 作为 baseline，该预训练模型嵌入层数和隐藏层数为 24层，嵌入层维度和隐藏层维度为1 024，注意力头数为16。本研究采用的另外 2 个预训练模型分别为 Albert_Base 和 RoBERTa_Base-WWM。模型具体参数如下：Albert_Base 的嵌入层数和隐藏层数为12层，隐藏层维度为768，嵌入层维度为128，注意力头数为12；RoBERTa_Base-WWM 的嵌入层数和隐藏层数为24层，嵌入层维度和隐藏层维度为1 024，注意力头数为16。预训练模型-BiLSTM-CRF模型训练参数如下：最大序列长度（max_seq_length）为 128，batch size为 16，dropout 设置为 0.5。在 Albert 上分别采用 batch size为8和16进行实验。3.3实验结果与分析本实验设置不同的epoch值，在一定时间内记录不同模型的准确率、召回率、F1值，并进行训练结果比较，实验结果如表2所示。此外，还记录了不同模型在各标签上的效果，实验结果如表3表5所示。从表 2和表 3可以看出，Albert-BiLSTM-CRF 与 Bert-BiLSTM-CRF在F1值上相差1.1%，将Albert-BiLSTM-CRF的batch size减小到8时模型有着明显的性能提升并且超过了 Bert-BiLSTM-CRF，在 Albert-BiLSTM-CRF 上可以适当减小batch size以得到更优结果。Albert_Base消耗的资源仅为Bert_Large的1/4，并且在相同时间下最终效果提升了至少 2%，Albert_Base 与 RoBERTa_Base-WWM 相比，资源消耗减少了一半但是F1值仅减少了不到3%，并且不到3G的资源消耗在如今的便携式设备基本上都可以进行训练。RoBERTa-WWM-BiLSTM-CRF 在采取更符合中文词特征的全词掩盖和动态掩盖后F1值提升了5%，这体现了全词掩盖和动态掩码在中文命名实体识别研究上的优越性。Albert采用的参数共享机制在减少大量参数后，各项评价指标和Bert模型相差无几。实验表明，Bert模型中有大量的参数冗余导致训练效率低于Albert。由表 4表 6可知，Bert-BiLSTM-CRF 在 DATE和 LABEL标签上相较于其他标签差距较大，其中DATE标签的Table 3Consumption of resources by different models表3不同模型对资源的消耗情况模型Bert（Large）-BiLSTM-CRFAlbert（Base）-BiLSTM-CRFRoBERTa_WWM（Base）-BiLSTM-CRF使用的内存/GB3.353.293.32使用的GPU/GB10.422.714.65Table 6P，R，F1 value of each label of RoBERTa-BiLSTM-CRF表6RoBERTa-BiLSTM-CRF的各标签的准确率、召回率、F1值标签CWDATEFNAMELNAMELABELLOCORG准确率/%98.2197.1997.7897.7595.8298.3595.65召回率/%99.3294.5398.8897.3996.9799.6795.65F1值/%98.7695.8498.3297.5796.3999.0095.65Table 2Comparison of P，R and F1 value of different models表2不同模型的准确率、召回率、F1值对比模型Bert-BiLSTM-CRFAlbert-BiLSTM-CRF（batch16）Albert-BiLSTM-CRF（batch8）RoBERTa_WWM-BiLSTM-CRF准确率/%91.0689.7993.4696.63召回率/%92.7591.8394.6497.16F1值/%91.9090.8094.0496.90Table 1Entity type definition表1实体类型定义实体类型日期（DATE）组织机构（ORG）地名（LOC）专有名词（LABEL）姓氏（FNAME）名字（LNAME）职位、职业、称号（CW）案例12月10日上海警方南京嫌疑人赵（国庆）（刘）大庆部长Table 4P，R，F1 value of each label of Bert-BiLSTM-CRF表4Bert-BiLSTM-CRF的各标签的准确率、召回率、F1值标签CWDATEFNAMELNAMELABELLOCORG准确率/%95.7092.8997.0596.6589.2996.0894.55召回率/%95.7081.6498.5097.0191.7898.3394.35F1值/%95.7086.9097.7796.8390.5297.1994.45Table 5P，R，F1 value of each label of Albert-BiLSTM-CRF表5Albert-BiLSTM-CRF的各标签的准确率、召回率、F1值标签CWDATEFNAMELNAMELABELLOCORG准确率/%91.9891.9297.7179.1596.3094.0093.95召回率/%93.4493.3695.8883.5897.5394.3194.57F1值/%92.7092.6496.7981.3196.9194.1694.26 932023 年软 件 导 刊F1值仅有86.90%。Albert-BiLSTM-CRF在LNAME标签上的效果最差，仅有81.31%，与其他标签相比相差不止10%，但是在 LABEL 标签上效果很好。RoBERTa-WWM-BiLSTM-CRF 在各标签上平均高达 97%，但相较自身 ORG、DATE和LABEL标签效果还有待提升。总体看来，RoBERTa-WWM-BiLSTM-CRF 在各标签的效果相较于其他 2个模型有不小提升，而Bert-BiLSTM-CRF和Albert-BiLSTM-CRF在特定标签上 F1值未达到预期效果，由此看来动态掩码任务和全词掩盖任务在识别特定标签上具有一定的优越性。4 结语本文针对Bert-BiLSTM-CRF模型消耗资源过多、训练时间过长的问题进行模型改进，采用Albert预训练模型以减少模型参数量，降低资源消耗，并提升了实体识别能力。同时，基于Bert预训练模型在预训练任务上的不足，采用RoBERTa-WWM 预训练模型代替 Bert 进行研究，实验表明，动态掩码和全词掩盖在中文命名实体识别上有着不小的提升，并且 Albert消耗的资源很少，可以在便携式设备上进行训练。后续工作中，将考虑进行数据增强、数据优化和领域迁移以提升模型性能和泛化能力。参考文献：1 ZHAO J S，SONG M X，GAO X.Reviewed of natural language processing development and application J.Information Technology and Informatization，2019，47（7）：142-145.赵京胜，宋梦雪，高祥.自然语言处理发展及应用综述 J.信息技术与信息化，2019，47（7）：142-145.2 SANG K，FIEN D M.Introduction to the CoNLL-2003 shared task：language-independent named entity recognitionJ.IEEE TransactionsonWireless Communications，2003，21（8）：142-147.3 JIANG S Y，LI S S，FU S H，et al.An overview of natural language processing for Indonesian and Malay J.Pattern Recognition and Artificial Intelligence，2020，33（6）：530-541.蒋盛益，李珊珊，符斯慧，等.印尼语、马来语自然语言处理研究综述J.模式识别与人工智能，2020，33（6）：530-541.4 CHEN S D，OUYANG X Y.Overview of named entity recognition technology J.Radio Communications Technology，2020，46（3）：251-260.陈曙东，欧阳小叶.命名实体识别技术综述 J.无线电通信技术，2020，46（3）：251-260.5 LIU L，WANG D B.A review on named entity recognition J.Journal of the China Society for Scientific and Technical Information，2018，37（3）：329-340.刘浏，王东波.命名实体识别研究综述 J.情报学报，2018，37（3）：329-340.6 XI X F，ZHOU G D，A survey on deep learning for natural language processing J.Acta Automatica Sinica，2016，42（10）：1445-1465.奚雪峰，周国栋.面向自然语言处理的深度学习研究 J.自动化学报，2016，42（10）：1445-1465.7 BENGIO Y，SCHWENK H，SENECAL J S.Neural probabilistic language modelsJ.Journal of Machine Learning Research，2001，3（6）：1137-1155.8 HE C G.The research of Markov model forecasing method and applicationD.Hefei：Anhui University，2011.何成刚.马尔科夫模型预测方法的研究及其应用 D.合肥：安徽大学，2011.9 JIANG F.The research of Chinese word segmentation based on CRF D.Dalin：Dalian University of Technology，2006.姜锋.基于条件随机场的中文分词研究 D.大连：大连理工大学，2006.10 BORTHWICK A E.A maximum entropy approach to named entity recognition M.New York：New York University，1999.11 DENG Y Y，WU C X，WEI Y F，et al.A survey on named entity recognition based on deep learning J.Journal of Chinese Information Processing，2021，35（9）：30-45.邓依依，邬昌兴，魏永丰，等.基于深度学习的命名实体识别综述 J.中文信息学报，2021，35（9）：30-45.12 YUAN M.Communication and information system D.Chengdu：University of Electronic Science and Technology of China，2021.袁孟.基于深度学习的中文命名实体识别研究 D.成都：电子科技大学，2021.13 MIKOLOV T，CHEN K，CORRADO G，et al.Efficient estimation of word representations in vector space DB/OL.https：/arxiv.org/pdf/1301.3781.pdf.14 MIKOLOV T，SUTSKEVER I，CHEN K，et al.Distributed representations of words and phrases and their compositionalityC/Conference and Workshop on Neural Information Processing Systems，2013：3111-3119.15 ZHOU F Y，JIN L P，DONG J.Review of convolutional neural networkJ.Chinese Journal of Computers，2017，40（6）：1229-1251.周飞燕，金林鹏，董军.卷积神经网络研究综述 J.计算机学报，2017，40（6）：1229-1251.16 YANG L，WU Y X，WANG J L，et al.Research on recurrent neural network J.Journal of Computer Applications，2018，38（S2）：1-6，26.杨丽，吴雨茜，王俊丽，等.循环神经网络研究综述 J.计算机应用，2018，38（S2）：1-6，26.17 PETERS M E，NEUMANN M，IYYER M，et al.Deep contextualized word representations DB/OL.https：/arxiv.org/pdf/1802.05365.pdf.18 WANG Z N，JIANG M，GAO J L，et al.Chinese named entity recognition method based on BERT J.Computer Science，2019，46（S2）：138-142.王子牛，姜猛，高建瓴，等.基于BERT的中文命名实体识别方法 J.计算机科学，2019，46（S2）：138-142.19 HE Y Y.Chinese participle algorithm research based on word table structure D.Beijing：China University of Geosciences，2007.贺艳艳.基于词表结构的中文分词算法研究 D.北京：中国地质大学，2007.20 HUANG Z，XU W，YU K.Bidirectional LSTM-CRF models for sequence tagging DB/OL.https：/arxiv.org/pdf/1508.01991.pdf.21 WANG S Y，YUAN K.Text sentiment classification method of college students forum based on RoBERTa-WWMJ.Computer Engineering，2022，48（8）：292-298，305.王曙燕，原柯.基于 RoBERTa-WWM 的大学生论坛情感分析模型J.计算机工程，2022，48（8）：292-298，305.22 ZHI S Y，WU Z R，CHEN T，et al.ALBERT-BiLSTM-Att models for sentiment analysis of Weibo comments J.Computer Era，2022，40（2）：19-22.支世尧，吴贞如，陈涛，等.基于ALBERT-BiLSTM-Att的微博评论情感分析研究 J.计算机时代，2022，40（2）：19-22.23 LI Z J，FAN Y，WU X J.Survey of natural language processing pre-training technique J.Computer Science，2020，47（3）：162-173.李舟军，范宇，吴贤杰.面向自然语言处理的预训练技术研究综述J.计算机科学，2020，47（3）：162-173.24 ZHANG C F，QIN Q L，JIANG Y，et al.Named entity recognition for Chinese EMR with RoBERTa-WWM-BiLSTM-CRF J.Data Analysis and Knowledge Discovery，2022，6（Z1）：251-262.张芳丛，秦秋莉，姜勇，等.基于RoBERTa-WWM-BiLSTM-CRF的中文电子病历命名实体识别研究 J.数据分析与知识发现，2022，6（Z1）：251-262.（责任编辑：孙 娟 周星宇）94