基于多任务学习的同行评审细粒度情感分析模型.pdf

2024 年 第 45 卷 第 1 期（总第 213 期）Vol.45 No.1 2024（Sum No.213）中 北 大 学 学 报（自然科学版）JOURNAL OF NORTH UNIVERSITY OF CHINA（NATURAL SCIENCE EDITION）基于多任务学习的同行评审细粒度情感分析模型朱金秋，檀健，韩斌彬，殷秀秀（南京邮电大学 理学院，江苏 南京 210023）摘 要：学术论文同行评审能够直接反映审稿人对论文的主观评价，对审稿文本进行情感分析有利于挖掘审稿人对论文多维度的评价信息。现有的情感分析模型仅能挖掘专家单一的评审维度和相应的情感倾向，本文提出了一种基于多任务学习的同行评审细粒度情感分析模型。该模型在多任务学习框架下，通过在BERT-LCF模型的基础上增加BiLSTM-CRF模块，使其具备了同时完成属性词抽取和细粒度情感分析任务的能力。与传统的基于Pipeline模式的单任务细粒度情感分析模型相比，本模型在保证精度的情况下可以同时完成评审属性提取和情感分析任务。在这两项任务中，所提出模型的F1分数分别达到了89.01%和90.71%。对比实验证明，在多任务场景下，引入BiLSTM-CRF模块对评审文本属性词提取任务有一定的提升作用。关键词：同行评审；多任务学习；属性词抽取；细粒度情感分析；BiLSTM-CRF中图分类号：TP391.1 文献标识码：A doi:10.3969/j.issn.1673-3193.2024.01.014引用格式：朱金秋，檀健，韩斌彬，等.基于多任务学习的同行评审细粒度情感分析模型 J.中北大学学报（自然科学版），2024，45（1）：105-113.ZHU Jinqiu，TAN Jian，HAN Binbin，et al.Finegrained sentiment analysis model of peer review based on multitask learning J.Journal of North University of China（Natural Science Edition），2024，45（1）：105-113.FineGrained Sentiment Analysis Model of Peer Review Based on MultiTask LearningZHU Jinqiu，TAN Jian，HAN Binbin，YIN Xiuxiu（School of Science，Nanjing University of Posts and Telecommunications，Nanjing 210003，China）Abstract：The peer review of academic papers can directly reflect the subjective evaluation of reviewers on the papers，and the extraction of sentiment information from the review text is beneficial to mining rich information of reviewers evaluation on each dimension of the papers.The existing sentiment analysis task could only extract the single review dimension and sentiment of experts.A fine-grained sentiment analysis model for peer review is proposed based on multi-task learning.The model is equipped with the ability to accomplish both attribute word extraction and fine-grained sentiment analysis tasks by adding the BiLSTM-CRF module to the BERT-LCF model in a multi-task learning framework.Compared with the traditional single-task fine-grained sentiment analysis model based on the Pipeline model，the proposed model can complete the review attribute extraction and sentiment analysis tasks simultaneously while ensuring the accuracy of the model.In the two tasks，F1-score of the proposed model reaches 89.01%and 90.71%，respectively.In addition，the introduction of BiLSTM-CRF module has a certain enhancement 文章编号：1673-3193（2024）01-0105-09收稿日期：2023-02-27作者简介：朱金秋（1995-），男，硕士生，主要从事自然语言处理的研究。通信作者：檀健（1989-），男，副教授，博士，主要从事分析数学、机器学习中的数学理论的研究。Email：。2024 年第 1 期中 北 大 学 学 报（自然科学版）effect on the review text attribute word extraction task in a multi-task scenario，as demonstrated by comparison experiments.Key words：peer review；multi-task learning；attribute word extraction；fine-grained sentiment analysis；BiLSTM-CRF0引 言随着科学技术的飞速发展，科技领域的论文产出呈井喷式的增长，尤其在计算机和人工智能领域，这给论文的评审带来了巨大挑战。同行评审（Peer review）作为学界主流的评审方式，为论文评审和裁定的公平性提供了保障1。尽管如此，同行评审过程中的随机性、不一致性造成的评分偏差在学术界引起了广泛的讨论2。Ragone等3发现，评审人员水平的参差不齐会造成同行评审过程中无法发现论文的主要缺陷。正是这些同行评审制度问题的存在，使得目前学界越来越重视对同行评议数据领域的研究。以OpenReview为代表的线上论文公开评审平台的出现，促使同行评议日趋公开透明化，为学术论文评价领域研究提供了大量的开源数据支撑。情感分析作为自然语言处理领域的成熟技术，对于分析和挖掘专家在论文评审文本数据的主观评价信息方面有着巨大的优势。然而，专家评审文本往往包含对论文多个方面的评价，传统的情感分析模型无法深入挖掘句子中多维度情感信息。如图 1 所示，该句子反映了评审对论文评价的两个维度情感倾向：writing（论文写作）和novelty（创新性）。相比于细粒度情感分析模型，传统粗粒度情感分析模型会因为只能识别句子的整体情感而造成情感判别的偏差。为了自动化地精确提取专家评审维度和情感，本文引入细粒度情感分析技术，提出一种同行评审细粒度情感分析模型BLBC（BERT-LCF-BILSTM-CRF-Joint model）。该模型利用多任务学 习 框 架，在 BERT-LCF 的 基 础 上 融 入BiLSTM-CRF 模块，实现了同时提取专家评审维度和相应情感倾向的功能。1相关工作常见的细粒度情感分析模型主要采用深度学习方法，如 TD-LSTM4（Target-dependent long short term memory）、ATAE-LSTM5（Attention-based LSTM with aspect embedding）和 IAN6（Interactive attention networks）。这些模型都利用了长短期记忆网络（Long short term memory）和注意力机制（Attention），在文本序列建模的基础上，通过注意力机制将情感极性的预测聚焦于与之对应的属性词上。随着大规模预训练模型的兴起，在细粒度情感分析领域，以BERT为输入层的模型取得较高的性能提升。基于 BERT 开发的BERT-PT7（BERT post-training）、BERT-SPC8和 BERT-LCF9（BERT local context focus），都是在传统的BERT输入序列末尾通过拼接属性词的方式，使得BERT模型更关注属性词序列的相关信息，以此提高该属性情感倾向的预测效果。然而，由于此类数据的标注是一个既费时又费力的工作，大多数研究往往不会提供语句里属性词的标记。因此，现有的细粒度情感分析任务很少会去考虑属性词的抽取任务，造成其在专有领域的应用性研究较少。在同行评审文本研究方面，关于专家评审情感信息的提取主要还是使用粗粒度情感分析模型。Wang 等10引入多实例学习和注意力机制，分别对评审文本中每个短句的情感得分进行建模以提升论文接受预测的效果。Ghosal等11利用文档编码器和情感编码器分别提取论文内容信息和评审文本中的情感信息，同时完成论文接收预测和评分预测。林原等12提出了一种观点注意力机制，通过增加包含情感信息的观点句权重的方式来提高模型预测论文接收的效果。现有的细粒度情感分析在同行评审领域的应用主要通过人工划分好的论文评价维度分别对文本进行建模，但无法直接提取单个句子中内部属性词的情感分布。Yuan等13利用序列标注模型，实现了可自动化标注论文评审单个句子中的维度图 1细粒度情感语句示例Fig.1Example of fine-grained sentiment statements106（总第 213 期）基于多任务学习的同行评审细粒度情感分析（朱金秋等）词及情感。Chakraborty等14从同行评审文本拆分的短句中标注了论文创新性、清晰性等9个论文评价维度以及其相应的情感极性，并以此分别对维度和情感进行建模。张明阳等15和Chakraborty等9类似，通过关键词匹配的方式，从论文的创新性、动机性等维度进行标注，并对单个句子中的单属性情感进行识别。类似地，这些研究虽然形式上加上了对文本评价维度的识别，但并没有考虑一个句子包含多个属性词或多个评价维度的情况，其本质上还是一个粗粒度的多标签分类和标注问题。不仅如此，如果要同时识别评审维度和情感倾向，需要构建两个 Pipeline模型，这极大地增加了模型占用空间和复杂度16。综上所述，尽管情感信息的引入对同行评审文本接收预测有正向影响，但现有的研究均为基于粗粒度的情感分析建模，且现有的同行评审细粒度情感分析研究本质上也是通过文本分类或序列标注模型，以实现判断评审文本中单一的情感倾向的功能。本文提出了一种端到端的多任务细粒度情感分析模型BLBC，该模型可以同时提取句子中论文评审属性词以及其相应的情感倾向。2模型构建BLBC模型任务为给定一个包含属性的同行评审句子序列S=w1,wm,wm+1,wm+k,wn，其中，wi为句子中的单词，wmwm+k为属性词序列，n为句子的长度，输出为 属性词，情感极性，模型结构如图 2 所示。2.1BERT共享输入层BERT（Bidirectional encoder representation from transformers）是一种基于大规模预训练的语言表征模型，能表征文本丰富的语义信息17。输入层采用基于BERT共享层的词嵌入方式，使用BERT-BASE（如图 3）和预训练模型 BERT-SPC（如图4），分别构建属性抽取输入表征模型和情感分析输入表征模型，用以提取全局和局部上下文信息。这两个模型的输入都由词向量、块向量和位置向量组成，区别在于输入形式不同。在BERT 输入层中，以两个独立的 BERT 进行编码。全局输入序列为Inputg，局部输入序列为Inputl，其 中，w1,wm为 输 入 句 子 序 列，q1,qn为句子中的属性词序列。Inputg=(CLS,w1,wm,SEP,q1,qn,SEP),（1）Inputl=(CLS,w1,wm,SEP)。（2）输入序列经过BERT编码后得到全局和局部上下文特征，分别为Og,Ol。Og=BERT1(Inputg)，（3）Ol=BERT2(Inputl)。（4）图 2BERT-LCF-BILSTM-CRF-Joint多任务细粒度情感分析模型Fig.2BERT-LCF-BILSTM-CRF-Joint multi task fine grained emotional analysis model图 3BERT-BASE输入特征Fig.3BERT-BASE input feature1072024 年第 1 期中 北 大 学 学 报（自然科学版）2.2局部语义注意力层全局上下文往往包含过多的信息，提取评审句子中的局部关键信息比使用全局信息对于训练模型更有效。局部语义注意力层（Local context attention）通过局部下文聚焦机制LCF（Local context focus），以加权的方式增加属性词附近的单词权重，降低距离属性词较远的单词权重。LCF以属性词为中心，分别计算各个非属性词与属性词 的 相 对 语 义 距 离 SRD（Semantic-relative distance），最后，采取上下文特征动态加权 CDW（Context dynamic weighted）的方式将更多的注意力聚焦在设置的属性词相对语义范围内。其中，属性词的相对语义距离di为di=|i-pt|-|m2|，（5）式中：i(1in)表示词在句子中的位置；pt表示属性词的中心位置；m表示属性词的长度。若句子序列中各非属性词与属性词的相对语义距离di超过设定的阈值a，则对其进行权重衰减。若在设定的阈值内，则权重为1，权重计算方式为wi=E,di,n-()di-nE,di,（6）W=w1,w2,wn,（7）OCDWl=OlW,（8）式中：E为元素全为1的向量；n为句子序列的长度；表示 Hadamard 积；W为动态权重矩阵。对BERT编码后特征Ol进行局部注意力加权，得到上下文动态加权特征OCDWl。2.3多头自注意力机制多头自注意力机制（Multi-head self-attention，MHSA）是在缩放点积注意力的基础上构建的，能避免评审文本中上下文的长距离依赖对学习语义特征造成的负面影响18。设X为输入特征，单头注意力(缩放点积注意力)Attention(Q,K,V)计算公式为Attention(Q,K,V)=Softmax(Q,KTdk)V,（9）Q=XWq,K=XWk,V=XWv,(10)MHSA(X)=tanh(concatH1,HhWMH),（11）式 中：Q,K,V由 输 入 矩 阵 线 性 变 换 得 到；WqRdhdq,WkRdhdk,WvRdhdv为可学习的权重参数；dh为隐藏层大小，dq=dk=dv=dh。多头自注意力得分如式（11），由多个并行的单头注意力Hi拼接，并经过 tanh 函数激活得到。其中，h为单头注意力的个数，WMH为可学习权重矩阵。上一层的浅层局部语义特征和全局语义特征经过多头注意力MHSA编码后得到深层语义特征，即OMHSAl=MHSA(OCDWl)，（12）OMHSAg=MHSA(Og)。（13）2.4特征融合层特征融合层融合了局部上下文信息和全局上下文信息，以增强特定属性词的文本表征能力，输出特征Xpolarity计算公式为Xpolarity=Wf(concatOCDWl；OMHSAg)+bf，（14）式中：WfRdh2dh与bfRdh为可学习的权重矩阵与偏置项。2.5BiLSTM-CRF层BiLSTM-CRF 为属性词序列标记模型，如图 5 所示。在对输入特征进行双向 LSTM 编码后，条件随机场 CRF（Conditional random fields）可以学习前后文属性词标签之间的约束关系，以降低属性词提取的错误率，得到具有最大概率的合 理 序 列19。在 CRF 中，设 全 局 特 征 经 过图 4BERT-SPC输入特征Fig.4BERT-SPC input feature108（总第 213 期）基于多任务学习的同行评审细粒度情感分析（朱金秋等）BiLSTM（Bidirectional long short-term memory）编码后为Xterm，其对应的属性词标签预测结果Yt的得分Score(Xterm,Yt)计算方式为Xterm=BiLSTM(OMHSAg)，（15）Score(Xterm，Yt)=i=0nAyi，yi+1+i=1nPi，yi，（16）式中：A为转移概率矩阵;Ayi,yi+1表示标签yi转移到yi+1的概率;Pi,yi表示第i个词标记为标签yi的概率。2.6情感分析输出层本文提出的多任务细粒度情感分析有两个输出层，二者分别用Softmax激活函数进行指数归一化来预测属性词情感极性分布概率Yp和属性词标签的分布概率Yt。Yp=Softmax(Xpolarity)，（17）Yt=Softmax(Score(Xterm，Yt)。（18）使用交叉熵损失函数作为情感极性预测任务和属性词抽取任务的损失函数。此时，模型训练的联合损失为L=-(1-)Lpolarity-Lterm+2，（19）Lpolarity=-c=1Cyplog yp，（20）Lterm=-n=1Nk=1Kytlog yt，（21）式中：Lpolarity为情感极性预测任务的损失；Lterm为属性词抽取任务的损失；为联合损失的调整系数；为L2正则项系数；表示模型的参数集；C表示情感标签类型的数量；N表示上下文单词的数量；K表示属性词标签类型的数量。3实验过程及结果3.1论文评审维度和显式关键词设置对论文评审文本进行细粒度情感分析，需划定论文的评价维度。本文主要采取对评价短句中“显式词语”进行人为归纳的方式，以反映论文的各个评价属性。本文综合以往研究，汇总了一套显式关键词设置，部分词表如表 1 所示，将论文评审的总体维度划分为清晰性、对比、创新性、动机和实验设计。3.2数据准备本文所使用的数据集为 OpenReview 平台爬取的数据，并采用人工标注的方式标注了包含3 488个属性词及相应情感倾向的同行评审文本句子，其中积极情感为 1 384 个，消极情感为2 104个。通过随机划分训练集与测试集的方式，最终得到训练样本 2 740 个，测试样本 748 个。图 6 展示了实验样本的句子长度，发现本文标注句子的长度集中分布在15个30个单词。选取数量最多的属性词类别，绘制它们在不同情感倾向的分布情况，如图 7 所示。评价论文创新维度和论文动机性维度的词数量最多，如 Idea，Novelty，Motivation，Motivated等，且它们在情感倾向的分布上有着不平衡的特点。图 5BiLSTM-CRF模型Fig.5BiLSTM-CRF model表 1论文评审维度和部分显式关键词设置Tab.1Paper review dimensions and part of explicit keyword settings评价维度Clarity(清晰性)Comparison(对比)Originality(创新性)Motivation(动机)Experiment design(实验设计)关键词Presentation,Writing,Written,Clarity,Details,Structure,Organization，Comparison,Compared,Baselines,Related work，Originality,Novel,Novelty,Originallity,Ideal,Contribution，Motivation,Motivated,Motivate,Meaning，Analysis,Evaluation,Results,Experiments,Dataset,Performance，图 6句子长度分布图Fig.6Sentence length distribution1092024 年第 1 期中 北 大 学 学 报（自然科学版）本文实验数据的标注形式以表 2 为例，其中，属性词标签为yt B,I,O，B表示属性词/短语的开始词，I 表示属性词/短语的中间词，O表示非属性词。情感标签为yp NEG,POS，分别表示审稿人评审文本中对属性词的情感倾向，正面为 POS，负面为 NEG。表 2 中 Novelty与 Results 为属性词，其对应的情感均为负面情感，而其他单词用占位符1代替。3.3实验设计为了验证本文提出的多任务模型在科技论文同行评审数据集上属性抽取和细粒度情感预测的效果，进行了对比实验，如表 3 所示。实验主要分为3组，两组单任务对比模型，一组多任务对比模型。单任务对比模型主要基于Pipeline模式，即先进行单独的属性词抽取，再根据给定的属性词进行情感分析；多任务对比模型为同时提取属性词和情感的多任务对比实验。3.4实验参数设置本实验参数设置如表 4 所示，其中，BERT和GLOVE分别表示所使用的预训练词嵌入模型，它们的词嵌入维度大小（Embedding size）分别为768与300。Learning rate为模型初始学习率。考虑到模型训练过程中的鲁棒性以及减少参数调整的多余操作，选择带有自适应功能的Adam作为本实验的优化器。为了防止模型过拟合，Dropout和L2分别设置为0.1与10-5。图 7Top10属性词分布图Fig.7Top10 aspect word distribution表 2同行评审文本细粒度情感标签标注示例Tab.2Examples of fine-grained sentiment labels for peer-reviewed text标签ytyp输入thereO-1isO-1aO-1lackO-1ofO-1noveltyBNEGandO-1noO-1significantO-1resultsBNEG表 3对比实验设计Tab.3Comparison experiment design实验组实验一(单任务)属性词抽取任务实验二(单任务)细粒度情感分析任务实验三(多任务)基于多任务学习的属性词抽取与细粒度情感分析对比模型BiLSTMCRF：GLOVE词向量作为输入，使用BiLSTM编码，最后接条件随机场CRF。BERTlinear：BERT词向量作为输入，最后接Softmax层。BERTCRF：BERT词向量作为输入，最后接条件随机场CRF。BERTBiLSTMCRF：BERT词向量作为输入，BiLSTM进行上下文编码，最后接条件随机场CRF。ATAELSTM：GLOVE词向量作为输入，将属性词和上下文单词拼接送入LSTM和注意力机制进行学习属性词情感。BERTBASE：输入序列以BERT词向量作为输入，最后接入Softmax激活函数输出层。BERTSPC：在BERTBASE的基础上，将输入序列换为属性词拼接后的BERT输入序列。BERTAEN：在BERT的基础上融入注意力编码网络，建立上下文和属性词的关系。BERTLCF：在BERT的基础上利用局部上下文机制学习局部上下文信息，同时融合BERTSPC的全局上下文信息进行情感预测。BERTBASEJoint（模型1）：输入序列以BERT编码，共享其BERT词嵌入向量，用两个Softmax激活函数输出层同时完成属性抽取与细粒度情感分析。BERTLCFlinearJoint（模型2）：在BERTLCF的基础上，利用BERT全局上下文信息通道加入一个属性抽取的Softmax激活函数输出层。BERTLCFCRFJoint（模型3）：在模型2的基础上，属性抽取的Softmax输出层前加入一个条件随机场。ATEPCLCF20（模型4）：基于属性抽取和情感分析的联合学习模型。BLBC（our）：在模型3的基础上，属性抽取的Softmax输出层前加入一个BiLSTMCRF层。110（总第 213 期）基于多任务学习的同行评审细粒度情感分析（朱金秋等）3.5实验结果分析3.5.1基于pipeline单任务模型的对比实验为了验证实验结果的有效性，本文选取了细粒度情感分析领域两个常见的评价指标Acc（Accuracy）和F1得分（F1-Score），其中，Acc表示所有样本中正确分类的指标，F1综合考虑了模型的精确率和召回率，能有效评价不平衡样本数据集模型的效果。表 5 中两组对比模型分别统计了它们在各项单任务中的预测效果，其中，“”表示单任务模型无法完成一项任务的占位符。在属性抽取模型中，基于GLOVE静态词向量的BiLSTM-CRF虽然利用了BiLSTM提取句子上下文语义特征，但其性能明显弱于BERT类的模型。同样是引入条件随机场，BERT-CRF比BiLSTM在F1上提高了7.44%。在BERT 类模型中，各模型的预测性能差距不大，BERT-BiLSTM-CRF仅比BERT-linear在F1上提高了0.54%。在细粒度情感分析模型方面，基于GLOVE的 ATAE-LSTM 预测性能最差。在 BERT 类模型中，BERT-BASE 由于没有考虑属性词信息，F1仅为82.59%。在输入序列中增加属性词信息的 BERT-SPC 在 F1 上 比 它 提 高 了 8.3%。BERT-AEN 基于注意力编码网络，在 BERT 的基础上建立了上下文和评审属性词之间的联系，使得其在 F1得分上高于BERT-SPC。在BERT-SPC 的基础上集成局部注意机制的 BERT-LCF表现最佳，F1达到92.0%。3.5.2基于多任务模型的对比实验表 6 为本文提出的多任务属性抽取和情感分析联合模型BLBC及其他多任务模型的对比。结果表明，多任务模型能同时完成属性词提取和细粒度情感分析任务。由于在单任务对比实验中，基于GLOVE的模型均表现不佳，本文多任务对比模型均以 BERT 为基础。BERT-BASE-Joint模型由于没有属性词信息的拼接，在细粒度情感分析任务中表现较差，F1 仅为 82.41%。基于BERT-LCF网络框架的多任务模型在该任务里表现优异，F1 达到 90.71%。在属性词提取方面，多任务场景下 BLBC 通过引入 BiLSTM-CRF 模块，有助于提升多任务中的属性词提取，F1达到了 89.01%。ATEPC-LCF 相比 BERT-LCF-CRF-Joint加强了其在细粒度情感分析上特征提取的能力，但在属性抽取能力上与其他基于BERT 的 非 CRF 基 准 模 型 一 样 差，F1 仅 为87.25%。这与单属性提取任务对比实验中得出的结论一致。4案例研究为了验证所提出的多任务细粒度情感分析模型在同行评审上的预测效果，选取了一篇2019年ICLR公开的论文评审文本，旨在通过可视化的方式展示模型预测结果。评审文本示例及其细粒度情感分析结果如表 7 和图 8 所示。表 7 列出了属表 5单任务模型实验结果Tab.5Single task model experiment results单任务模型BiLSTMCRFBERTlinearBERTCRFBERTBiLSTMCRFATAESTMBERTBASEBERTSPCBERTAENBERTLCF属性词提取任务F1/%80.6288.0688.5389.07-细粒度情感分析任务Acc/%-70.3983.6991.1891.3192.36F1/%-70.1882.5990.8990.9692.00表 4实验参数设置Tab.4Experimental parameter settings参数BERTBERT embedding sizeGLOVEGLOVE embedding sizeLearning rate优化器DropoutEpochsBatch sizeL2设定值Bertbaseuncased768glove.840B.300d30010-5Adam0.1103210-5表 6多任务模型实验结果Tab.6Multi task model experiment results多任务模型BERTBASEJointBERTLCFlinearJointBERTLCFCRFJointATEPC LCFBLBC属性词提取任务F1/%87.1987.3088.3887.2589.01细粒度情感分析任务Acc/%83.0689.6590.4690.9090.99F1/%82.4189.3290.0890.5790.711112024 年第 1 期中 北 大 学 学 报（自然科学版）性词及其情感极性，其中，正向情感为“+”，负向情感为“”。图 8 为评审文本原文，评审文本最后一行为属性词所属的细粒度评审维度，即综合情感倾向。在所示案例中，多任务模型中的属性抽取任务对每个单词的所属属性标签进行了预测，得到Idea，Presentation，Methodology，Explanation 等 属 性词。根据表 1 指定的评审维度和属性词设置（用颜色区分），最终得到评审对该论文的创新性评价为正向，对论文内容的呈现（清晰性）以及实验设计的评价为负向。5结 论对科技论文评审文本的情感分析任务研究主要集中于粗粒度的建模，如粗粒度的论文评审情感分析以及根据审稿文本预测论文接收情况等任务。在细粒度情感分析方面，传统的 Pipeline模式会造成多任务的误差传递和参数冗余。本文以OpenReview同行评审文本数据集为研究对象，提出了一种基于多任务学习的细粒度情感分析方法。相比于以往对同行评审文本粗粒度的建模，本模型可以更细粒度地发掘审稿人对论文各评价维度的情感倾向，为论文智能化评审提供决策辅助。与此同时，该模型真正实现了端到端的评审文本属性词提取和情感极性预测任务，并取得了优 异 的 效 果，其 属 性 词 提 取 任 务 的 F1 达 到89.01%，细粒度情感极性预测任务的F1达到了90.71%。参考文献：1BENOS D J，BASHARI E，CHAVES J M，et al.The ups and downs of peer reviewJ.Advances in Physiology Education，2007，31（2）：145-152.2BORNMANN L，DANIEL H D.Reliability of reviewers ratings when using public peer review：a case study J.Learned Publishing，2010，23（2）：124-131.3RAGONE A，MIRYLENKA K，CASATI F，et al.On peer review in computer science：Analysis of its effectiveness and suggestions for improvement J.Scientometrics，2013，97（2）：317-356.4TANG D，QIN B，FENG X，et al.Effective LSTMs for target-dependent sentiment classification J.2015，表 7同行评审文本细粒度情感分析示例Tab.7Example of fine-grained sentiment analysis of peer-reviewed text属性词IdeaWrittenPresentationMethodologyExplanationResultsDiscussionsPerformance情感极性+-图 8同行评审文本示例及其细粒度情感分析结果Fig.8Example of peer-reviewed text and its fine-grained sentiment results112（总第 213 期）基于多任务学习的同行评审细粒度情感分析（朱金秋等）arXiv：1512.01100.5WANG Y，HUANG M，ZHU X，et al.Attention-based LSTM for aspect-level sentiment classificationC/2016 Conference on Empirical Methods in Natural Language Processing.2016：606-615.6MA D，LI S，ZHANG X，et al.Interactive attention networks for aspect-level sentiment classification C/26th International Joint Conference on Artificial Intelligence.2017：4068-4074.7XU H，LIU B，SHU L，et al.BERT post-training for review reading comprehension and aspect-based sentiment analysis C/NAACL-HLT.2019：2324-2335.8SONG Y，WANG J，JIANG T，et al.Attentional encoder network for targeted sentiment classificationJ.arXiv：1902.09314，2019.9ZENG B，YANG H，XU R，et al.LCF：A local context focus mechanism for aspect-based sentiment classification J.Applied Sciences，2019，9（16）：3389.10WANG K，WAN X.Sentiment analysis of peer review texts for scholarly papersC/The 41st International ACM SIGIR Conference on Research&Development in Information Retrieval.2018：175-184.11GHOSAL T，VERMA R，EKBAL A，et al.Deepsentipeer：Harnessing sentiment in review texts to recommend peer review decisions C/The 57th Annual Meeting of the Association for Computational Linguistics.2019：1120-1130.12林原，王凯巧，杨亮，等.基于pu-learning的同行评议文本情感分析 J.计算机工程与应用，2023，59（3）：143-149.LIN Yuan，WANG Kaiqiao，YANG Liang，et al.Sentiment analysis of peer review texts based on pu-Learning J.Computer Engineering and Applications，2023，59（3）：143-149.（in Chinese）13YUAN W，LIU P，NEUBIG G.Can we automate scientific reviewing？J.Journal of Artificial In