基于BERT模型的方面级情感分析.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第16期No.162023年8月Aug.2023收稿日期：2022-04-16稿件编号：202204111作者简介：李 壮（1996），男，山西吕梁人，硕士研究生。研究方向：自然语言处理。方面级情感分析1是针对给定文本的特定方面进行细粒度情感分析的任务，是情感分析领域2中的重要分支。传统机器学习方法依赖于人工特征提取的质量，导致分类精度较低。近年来，深度学习凭借良好的特征提取能力，在该领域中得到广泛应用3-5。经研究，注意力机制可有效提升情感分类效果6，因此成为该领域的常用方法7-9。Li10等人发现对输入信息进行加权处理，可有效提升方面级特征提取能力。此外，相关学者提出 GPT11和 ELMO12提升分类效果，但两种模型均需大量人工标注数据集进行训练。He13等人则利用迁移学习将文档级知识转移到方面级情感分类任务中，并有效提升分类精度。然而，以上研究均未考虑到该领域数据集较少，且目前工作迁移层次不够深的问题。为了丰富方面级数据的获取形式并提高分类精度，文中提出了 BERT-DTL-HAN 模型，该模型结合层次注意力网络14，可以将同领域句子级别的情感知识深层次迁移15到方基于BERT模型的方面级情感分析李 壮，李鸿燕（太原理工大学 信息与计算机学院，山西 晋中 030600）摘要：针对传统的方面级情感分析模型不能很好表征深层次的字词向量信息，且无法解决该领域由于人工标注的高成本方法，使得数据集普遍较少而导致的分类效果较差的问题，提出 BERT-DTL-HAN方面级情感分析模型。模型通过 BERT结构在获得含有丰富语义信息字词向量信息的同时，结合深层次迁移学习和层次注意网络机制将数据量大的句子级别情感分析数据集，通过单词编码层和片段编码层两个维度深层迁移到数据量小的方面级情感分析任务中，并在三个领域的数据集上进行实验。对比该领域内的三个最佳基准模型，其准确率分别提升1.40%、0.96%和0.93%。关键词：情感分析；深度学习网络；BERT模型；迁移学习；注意力机制中图分类号：TN91文献标识码：A文章编号：1674-6236（2023）16-0138-05DOI：10.14022/j.issn1674-6236.2023.16.029Aspectlevel sentiment classification based on BERT modelLI Zhuang，LI Hongyan（School of Information and Computer，Taiyuan University of Technology，Jinzhong 030600，China）Abstract:The traditional aspectlevel sentiment analysis model can not well represent the deeplevelword vector information，and can not solve the problem of poor classification effect due to the high cost ofmanual annotation method，which makes the data set generally less.Aiming at these two problems，thispaper proposes a BERT-DTL-HAN aspect emotion analysis model.Model by BERT structure containsrich semantic information of words vector information at the same time，combined with deep migrationmechanism and hierarchical network learning a large quantity of data to sentence level sentiment analysisdata set by encoding layer and section code words deep migration to the small amount of data of twodimensions emotional level analysis task，and in three areas of experimental data set.Compared with thethree best benchmark model in this field，the accuracy of the model is improved by 1.40%，0.96%and0.93%respectively.Keywords:emotionanalysis；deeplearningnetwork；BERTmodel；transferlearning；attentionalmechanism-138面级任务中，通过与基准模型进行对比实验，证明该方案的可行性和有效性。1BERT-DTL-HAN模型1.1模型结构文中提出的模型是基于 BERT16作为预训练模 型，结合深度迁移学习（Deep Transfer Learning，DTL）方法和层次注意力网络（Hierarchical AttentionNetworks，HAN）的细粒度情感分析模型。BERT-DTL-HAN模型结构如图1所示。图1BERT-DTL-HAN模型结构图模型包含四个部分，分别为基于 BERT 模型的文本嵌入层、进行深层次迁移学习的单词编码层和片段编码层，以及进行情感极性分类的输出网络层。1.2文本嵌入层文本嵌入层将输入的文本语料转换为深度学习模型输入的词向量的数学形式，并进行中文语料预处理的工作。传统语言模型如独热编码和 Word2Vec，仅可实行单向特征提取，且特征向量维度单一。为了解决传统的词嵌入方法不能很好地表征深层次的字词向量信息，文中引入了图 2所示的 BERT 模型，该模型可以进行词义向量、分段向量和位置向量三个维度的特征提取，且采用双向 Transfoemer结构获取上下文特征信息。图2BERT模型图以“My dog is cute”为例句，其词向量、分段向量和位置向量三个维度的向量信息如图3所示。图3BERT模型输入图三个维度大小相同，其中位置向量是通过三角函数对输入文本中各个位置分别进行编码得到的，计算公式如下式：PE(pos,2i)=sin pos10 0002idp（1）PE(pos,2i+1)=cos pos10 0002idp（2）式中，pos表示第 pos个词，i表示在词向量嵌入模型中的第i维。文本嵌入层通过 BERT 模型进行预训练时，序列长度被控制在 BERT 能处理的最大序列长度 512以内，其中长度不足 512的用 0填充，以方便进行模型进行矩阵运算。1.3单词编码层单词编码层采用双向长短时记忆网络（LongShort-Term Memory，LSTM）编码，该网络包含前向LSTM 和后向 LSTM，可以从单词层面的两个方向读取方面级的特征信息。单词编码层将句子级别的特征信息深层迁移到单词层面。正向 LSTM 建模定义李 壮，等基于BERT模型的方面级情感分析-139电子设计工程 2023年第16期为 hit，后向 LSTM 建模定义为 hit，总建模为hit，建模的具体公式如下：hit=LSTM(xij,LSTMw)（3）hit=LSTM(xij,LSTMw)（4）hit=hit,hit（5）其中，xij表示输入文本中第 i个句子中第 j个单词的编码信息，LSTMw表示用于单词编码器的 LSTM的参数。单词层次注意力机制的构建公式如下：uit=tanh(Kithit+Rit)（6）vi=exp(uTituw)texp(uTituw)（7）oi=ivithit（8）式中，Kit为权重参数，Rit为偏置参数，uw为单词编码模型学习得到的向量，oi为单词编码层的输出。1.4片段编码层片段编码层也采用双向LSTM架构，实现对片段层次的特征信息的双向编码。片段编码层将句子级别的特征信息深层迁移到片段层面。片段编码器的正向建模定义为hi，后向建模定义为hi，总建模定义为hi。建模的具体公式如下。hi=LSTM(xij,LSTMw)（9）hi=LSTM(xij,LSTMw)（10）hi=hi,hi（11）其中，xij表示输入文本中第 i个句子中第 j个片段的编码信息，LSTMw表示用于片段编码器的LSTM的参数。片段层次注意力机制的构建公式如下：ui=tanh(Wihi+bi)（12）vi=exp(uTius)texp(uTius)（13）S=ivihi（14）式中，Wi为权重参数，bi为偏置参数，us为片段编码模型学习得到的向量，S为片段编码器注意力层输出。1.5输出网络层输出网络层采用全连接和 softmax 函数进行情感分类和归一化处理，模型的最终输出向量为Z，公式如下：Z=softmax(WS+b)（15）式中，W为权重参数，b为偏置参数。采用Adam优化方法进行参数更新，并使用最小化交叉熵损失函数作为目标函数优化模型的情感分类效果，公式如下：loss=-iBiLyjilnyji+2（16）式中，B 为训练集的数据量，L 为情感具体分类的个数，实验中数据量的大小为3，y为预测类别数，y为实际类别数，2为交叉正则项。2实验结果与分析2.1实验数据集文中采用了三个领域的公开数据集，分别为餐馆（Restaurant）评论数据集和笔记本电脑（Laptop）数据集以及推特（Twitter）数据集，数据集被划分为训练集和测试集，具体数据如表1所示。表1实验数据集数据集LaptopTwitterRestaurant积极样本数量/个训练集1 0321 6782 349测试集337183694消极样本数量/个训练集9201 640786测试集1341822052.2评价指标实验的评估标准采用二分类问题中常用标准ACC（Accuracy，准确率）和 F1 值。其中 ACC 标准计算的是正确分类样本数占总样本数的比例，计算公式如下：a=TP+TNTP+TN+FP+FN（17）F1值为精确率和召回率的调和均值，两者公式换算如下：F1=2TPTP+FP+TP+FN（18）其中，TP 为模型预测为积极情绪，样本本身为积极情绪的样本个数；TN 为模型预测为消极情绪，样本本身为消极情绪的样本个数；FP为模型预测为积极情绪，但样本本身为消极情绪的样本个数；FN为模型预测为消极情绪，但样本为积极情绪的样本个数。2.3实验环境文中实验具体的环境如表2所示。2.4实验过程将文中提出的 BERT-DTL-HAN 模型在三个领-140域的数据集中与七个基准模型进行广泛性实验。为验证单词编码层和片段编码层深层迁移学习的有效性，采用准确率和 F1值作为评价指标。文中分别对无迁移学习、只迁移单词层面、只迁移片段层面和单词级别以及片段级别均迁移四种情况进行了对照实验，实验结果如表3所示。表3不同迁移级别的实验结果迁移级别无迁移单词级别迁移片段级别迁移单词+片段迁移Laptop准确率（%）74.6378.2677.6380.13F1（%）67.3270.4968.3239.54Twitter准确率（%）72.5675.6374.3276.67F1（%）68.4369.5669.1470.31Restaurant准确率（%）82.9484.3683.6884.76F1（%）76.5678.6276.8078.89为了研究模型情感极性分类的有效性，设置七组模型进行性能对比，相关的基准模型均为方面级情感分析任务常用模型，文中提出的模型与各个基准模型在三个领域数据集中的准确率数据记录如表 4所示。表4准确率实验结果对比模型MajorityFeature+SVMMemNetLSTMTD-LSTMRAMSVMBERT-DTL-HAN准确率（%）Laptop62.6871.2369.5467.9869.1075.3670.6972.63Twitter63.1673.2068.7268.2071.2468.7568.7474.16Restaurant65.8178.9477.4975.2376.0479.6380.1381.062.5实验结果表 3实验结果表明，在三个领域的数据集中，进行单词级别或片段级别深层迁移学习的模型准确率和 F1 值均优于无迁移的模型。相比较于片段级别迁移，单词级别对模型的准确率提升更为明显，其中单词+片段迁移（全迁移）模型的情感分类效果最好。该实验证明了结合深层次迁移学习和层次注意网络机制将数据量大的句子级别情感分析数据集迁移到数据量小的基于方面级情感分析任务中的可行性和有效性。表 4实验结果表明，BERT-DTL-HAN 模型在三个数据领域中相较于七个基准模型都取得了最好的实验结果。在笔记本电脑评论语料数据集中，相对于基准模型中最优结果模型Feature+SVM，准确率提升了 1.40%；在推特评论语料数据集中，相比较于基准模型中的最优结果模型 Feature+SVM 模型，其准确率提升了 0.96%；在餐馆评论数据集中本模型的效 果 相 较 于 基 准 模 型 的 最 优 结 果 SVM 模 型 的80.13%提升了0.93%。3结束语针对由于数据集偏小且特征提取不足而导致方面级情感分析分类效果不佳问题，文中构建了一种BERT-DTL-HAN 模型，模型首先通过 BERT进行预处理获得多维度的词向量信息，再通过深层次迁移学习将数据量丰富的句子级别信息迁移到数据量较小的方面级情感分析任务中，最后通过层次迁移网络增强对方面级特征信息的提取。实验结果表明，该模型有效解决了基于方面级情感分析任务中数据量小和方面级特征获取不足的问题，其分类精度也优于对比实验中的一众基准模型。在后续的工作中，将会尝试进一步增强深度迁移学习的维度来更高效地丰富基于方面级情感分析的数据集并进一步优化模型的分类效果。参考文献：1 Zhou J,Huang J X,Chen Q,et al.Deep learning foraspect-level sentiment classification:Survey,vis-ion and challengesJ.IEEE Access,2019:78454-78483.2 Hu Q,Zhou J,Chen Q,et al.SNNN:promoting wordsentimentandnegationinneuralsentimentclassificationC.Proceedings of AAAI,2018:3255-3262.3 刘全,梁斌,徐进,等.一种用于基于方面情感分析的深度分层网络模型J.计算机学报,2018,41(12):2637-2652.4 郑诚,曹源,薛满意.面向方面级情感分类的多层表2实验环境硬件CPU型号GPU型号电脑内存操作系统Python版本编程软件参数Intel(R)Graphics 630NVIDIA GTX 1050 Ti16 GBWindows11Python3.7.6Pycharm 2020.1.4李 壮，等基于BERT模型的方面级情感分析-141电子设计工程 2023年第16期注意网络J.计算机工程与应用,2020,56(19):176-181.5 毛腾跃,郑志鹏,郑禄.基于改进自注意力机制的方面级情感分析J.中南民族大学学报(自然科学版),2022,41(1):94-100.6 Lei Z,Yang Y,Yang M.Saan:A sentiment-awareattention network for sentiment analysisC.Proce-edings of SIGIR,2018:1197-1200.7 石磊,王毅,成颖,等.自然语言处理中的注意力机制研究综述J.数据分析与知识发现,2020,4(5):1-14.8 王拂林,刘丹,昌茜.基于自注意力机制的方面情感分类J.计算机应用研究,2020,37(11):3227-3231.9 杜成玉，刘鹏远.基于螺旋注意力网络的方面级别情 感分析模型J.中文信息学报,2020,34(9):70-77.10Li X,Bing L,Lam W,et al.Transformation networksfor target-oriented sentiment classificationC.Pro-ceedings of ACL,2018:946-956.11Hu Z,Dong Y,Wang K,et al.Gpt-gnn:Generativepre-training of graph neural networksC.Proc-eedings of the 26th ACM SIGKDD InternationalConferenceonKnowledgeDiscovery&DataMining,2020:1857-1867.12Sarzynska-Wawer J,Wawer A,Pawlak A,et al.Det-ecting formal thought disorder by deep context-ualized word representationsJ.Psychiatry Resea-rch,2021(304):114135.13He R,Lee W S,Ng H T,et al.Exploiting documentknowledge for aspect-level sentiment classificationC.Proceedings of ACL,2018:579-585.14李辉,黄钰杰,李金秋.基于HAN的双通道符合模型的文本情感分类J.传感器与微系统,2021,40(8):121-125.15张绍涵.基于深度迁移学习的在线评论文本情感分析研究D.大连:东北财经大学,2019.16Devlin J,Chang M W,Lee K,et al.Bert:Pre-trainingofdeepbidirectionaltransformersforlanguageunderstandingJ.arXiv preprint arXiv:1810.04805,2018.(通信作者：李鸿燕，)（上接第137页）化系统架构与功能研究J.南京理工大学学报,2020,44(1):87-93.6 穆海宝,赵浩翔,张大宁,等.变压器油纸绝缘套管多参量智能感知技术研究J.高电压技术,2020,46(6):1903-1912.7 刘吉臻,王庆华,房方,等.数据驱动下的智能发电系统应用架构及关键技术J.中国电机工程学报,2019,39(12):3578-3587.8 曾军,刘雪冰,马庆峰,等.考虑全局风险均衡度的电力通信网最优安全链路选择方法J.数学的实践与认识,2020,50(3):203-210.9 杨东宁,张志生,张万辞,等.基于机器学习的电力互联网攻击信息识别方法研究J.电子设计工程,2020,28(17):66-69,74.10张涛,赵东艳,薛峰,等.电力系统智能终端信息安全防护技术研究框架J.电力系统自动化,2019,43(19):1-8,67.11龚军,胡丰荣.基于过流态势智能感知的自适应信号控制优化分析探究J.公路交通科技(应用技术版),2019,15(11):292-296.12侯春,王朝,李克铖.一种基于直序扩频的SRD系统电力线通信策略J.电力电子技术,2020,54(11):59-61.13贾惠彬,盖永贺,李保罡,等.基于强化学习的电力通信网故障恢复方法J.中国电力,2020,53(6):34-40.14杨维,孙德艳,张晓慧,等.面向电力智能问答系统的命名实体识别算法J.计算机工程与设计,2019,40(12):3625-3630.15罗昊,苏盛,杨浩,等.基于FPGA的电力巡线无人机硬件加密通信方法J.中国电力,2019,52(7):11-16.16陈振辉,陈辉煌.电力通信光传送网子载波调制方式优化分配方法J.光通信技术,2019,43(2):14-17.-142