基于相似度融合的中文文本相似性度量方法研究.pdf

2023 年第 10 期36计算机应用信息技术与信息化基于相似度融合的中文文本相似性度量方法研究温 雨1 王 琦2 严武军1 WEN Yu WANG Qi YAN Wujun 摘要 中文文本之间可能具有复杂的上下文关系，比较容易出现语义混淆、语序混乱等问题，而使用传统的度量文本相似性的方法很难捕捉到这些关系，所以对于中文文本的结构特点等造成度量中文文本相似性存在的不足，采用了一种基于相似度融合的方式计算两个文本的相似度。首先通过提取文本字面特征构建结构相似度模型；然后通过语义特征构建语义相似度模型，根据相应判断文本相似性的逻辑，采用层次分析法确定权重，从而提高中文文本的相似度。经过对比实验结果表明，所提出的模型在短文本方面的准确率达到了 81.966 5%。关键词 相似度融合；文本相似性；字面特征；语义特征；对比实验；层次分析法 doi：10.3969/j.issn.1672-9528.2023.10.0071.太原师范学院 山西晋中 030600 2.运城学院 山西运城 044000 基金项目 山西省高等学校教学改革创新项目（JG20220980）0 引言在自然语言处理过程中，文本相似性的度量占据着举足轻重的地位，在实际工程应用中也具有深远的意义，已经在互联网中得到了广泛的应用。但是由于中文文本语义表达复杂、文本长度差异较大，仅依靠文本的表面结构难以准确判断两个中文文本之间的相似性，准确性和鲁棒性也比较差，因此需要分别从文本结构和语义两方面来建立模型，从而提高两个文本相似性的准确率，同时也需要建立大规模的中文文本数据集，提高相似性度量模型的泛化能力。随着自然语言处理技术的快速发展，文本相似性度量计算在机器翻译、自然语言生成、问答系统、信息检索、智能客服、情感分析等多个领域中得到广泛应用。为了解决文本结构和语义方面度量中文文本相似性存在的不足，许多学者专家都在这一方面进行了一系列的研究。目前使用较多的主要有以下三种方法：基于字符串匹配的方法、基于统计的方法和基于深度学习的方法。基于字符串匹配的相似性度量方法基本思想是通过比较两个文本之间的字符或者字符串的匹配情况来判断文本相似性。常用的方法包括编辑距离（levenshtein distance）、最长公共子序列（longest common subsequence）等。Chakraborty D 等人1将每个字符串分解为多个短的子序列，并计算每个子序列之间的编辑距离，然后将这些子序列组合成原始字符串，并计算这些组合的编辑距离。通过这种方式，降低了计算编辑距离的时间复杂度。Yang S K 等人将 LCS 算法和SimHash 计算相结合，用于评估文章的文本相似度。该方法通过将文章分解为句子的单词子序列，并通过 SimHash 比较进行管理和配对，从而降低了 LCS 算法所需的时间和空间规模，准确地确定比较文章的相似部分和相似度得分的目标。基于统计的相似性度量方法基本思想是通过大量的数据分析文本的频率、分布、共现等统计特征来计算文本相似性。常用的方法包括余弦相似度（cosine similarity）、LDA（latent dirichlet allocation）主题模型等。Thongtan T 等人2利用余弦相似度代替点积来计算输入向量和输出向量之间的相似度度量，其精度达到了 93.68%。Park K 等人3将余弦相似度与传统的分类器（如 MNB、SVM 和 CNN）相结合，以提高分类器的准确性，并从混淆矩阵的准确性方面评估了增强分类器的性能，取得了不错的结果。Priyantina R A 等人4将 LDA、语义相似度和 LSTM 结合起来进行情感分析，不仅可以识别评论的情感极性，还可以提取评论的主题和关键词，对信息的挖掘和分析具有较高价值，获得更好的性能。此外，基于统计的相似性度量方法还包括概率潜在语义分析模型5以及隐含狄利克雷分布模型6等。基于深度学习的相似性度量方法基本思路是通过深度神经网络模型来学习文本的表示，然后通过计算表示之间的相似度来衡量文本之间的相似性，主要可以分为有监督的方法和无监督的方法。基于有监督学习的方法主要是 LSTM、BERT、Sentence BERT 等。Palangi H 等人7提出了一种基于 LSTM 的模型，首先通过词嵌入将每个单词转化为向量表示，然后将这些向量输入到 LSTM 中进行语义建模，最后根据查询和文档之间的相似度进行文档排序，得到检索结果。Devlin J 等人8介绍了一种新型的预训练模型 BERT，它是一种基于 Transformer 编码器的深度双向模型，能够在多个自 2023 年第 10 期37计算机应用信息技术与信息化然语言处理任务上取得最先进的性能。Reimers N 等人9提出了一种基于 BERT 模型的双塔网络，称为 Siamese BERT网络，用于计算两个句子之间的相似度，该网络包含两个共享的 BERT 编码器，分别用于编码两个输入句子，编码器的输出向量通过余弦相似度计算得到两个句子之间的相似度得分。基于无监督学习的方法主要是 Doc2vec。Le Q 等人10提出了Doc2vec方法，此方法是基于Word2Vec11的思想而来的，它通过学习文档中所有单词的分布式表示来得到文档的向量表示，可以将整个文档的语义信息表示为一个向量，从而具有更好的表示能力和泛化能力，具有很高的应用价值。1 模型介绍1.1 结构相似度模型结合数据集的特点，本文在结构方面采用改进编辑距离算法（levenshtein distance）来构建模型。传统的编辑距离是指在两个字符串之间，由一个字符串转化成另一个字符串所需要的最少编辑操作次数，如果它们的编辑距离越大，则说明两个字符串越不相似；编辑距离越小，两个字符串越相似。编辑操作主要包括三种：将一个字符替换成另一个字符、插入一个字符或者删除一个字符。但是传统的编辑距离算法主要存在以下两个问题。一是传统的算法只能处理相邻位置的字符替换、删除和插入操作，不能处理长距离错位的情况。针对此问题，本文在计算编辑距离之前对字符串做了一个有序排序进行优化。二是传统的算法需要维护一个二维矩阵来记录每一步的编辑操作，因此在处理长字符串时，算法的空间消耗也比较大。针对此问题，本文采用了滚动数组来优化空间消耗大的问题，实现了将原本需要 O(mn)的空间复杂度优化为 O(min(m,n)，其中 m 和n 分别是两个字符串的长度。在本文中，假设每经过一次变化（替换、插入、删除）所花费的代价 cost 都是 1。所以，对传统的编辑距离算法进行改进，改进编辑距离算法的详细过程如下。（1）初始化两个字符串 s1和 s2，对字符串 s1和 s2有序排序。（2）初始化一个大小为 2 的数组 dp，其中 dp0 表示上一行的编辑距离，dp1 表示当前行的编辑距离。（3）将字符串s1和字符串s2的每一个字符进行两两比较，如果 s1i=s2j，则 cost=0；如果 s1i!=s2j，则 cost=1。（4）遍历 s1的每个字符，同时在 s2上进行操作，计算出当前字符对应的编辑距离，并更新 dp1。具体来说，假设已经计算出了 dp0j-1、dp0j、dp1j-1 三个值，分别表示 s1的前 i-1 个字符和 s2的前 j-1 个字符的编辑距离，s1的前i-1 个字符和 s2的前 j 个字符的编辑距离，以及 s1的前 i 个字符和 s2的前 j-1 个字符的编辑距离，那么可以根据以下三种情况来更新 dp1j。如果 s1i=s2j，那么 dp1j=dp0j-1。因为此时不需要进行任何操作，所以 cost=0，编辑距离不会变化。如果 s1i!=s2j，那么 dp1j=min(dp0j-1,dp0j,dp1j-1)+1。其中 dp0j-1 表示将 s1的前 i 个字符替换成s2的前 j 个字符，dp0j 表示将 s1的前 i-1 个字符和 s2的前 j个字符中的任意一个删除，dp1j-1 表示将 s1的前 i 个字符和s2的前j-1个字符中的任意一个插入。此时进行了变换操作，即 cost=1，取这三个值的最小值加 1 即可得到当前字符对应的编辑距离。在每次更新完 dp1j 后，需要将 dp1j 的值赋给dp0j，然后将 dp1j 的值重置为 0，以便下一次循环使用。（5）重复步骤（4），直到遍历完 s1，dp1n 就是 s1和 s2的编辑距离，其中 n 是 s2的长度。编辑距离公式为：（1）式中：i 表示字符串 s1的下标；j 表示字符串 s2的下标。计算出编辑距离后，建立结构相似度模型，相似度计算方法为：（2）式中：s1和 s2表示两个字符串；len(s1)、len(s2)分别表示字符串 s1和 s2的长度；Leva,b(i,j)表示字符串 s1和 s2的编辑距离；Lev_sim 表示编辑距离相似度。1.2 语义相似度模型Sentence BERT（SBERT）是通过对 BERT 进行微调来实现文本编码的模型，从而计算句子之间的相似度。它使用了一种叫做 siamese（孪生）网络结构，可以将不同长度的文本段落映射到一个相同长度的向量空间中，使得语义相似的文本在向量空间中距离较近，不相似的文本距离较远。与BERT 不同的是，SBERT 使用了两个相同的神经网络来处理不同的文本段落，其中一个网络是用来处理参考文本，另一个网络是用来处理需要比对的文本。这两个网络共享权重，使得它们能够产生具有相同语义的向量表示。因此，SBERT广泛应用于文本匹配、文本分类、聚类和信息检索等领域，因为它能够很好地处理语义相似度问题，同时能够很好地处理长文本和短文本的不同。Sentence BERT 在训练阶段将 u，v，|uv|（其中 u、v是经过池化后的句向量，|uv|是指 uv 的每个元素都取绝对值后构成的向量）拼接起来作为特征，然后在后面接一个全连接层，而在预测阶段，先计算句向量，经过池化然后计算 cos 值作为相似度。训练阶段如图 1 所示，预测阶段如图2 所示。2023 年第 10 期38计算机应用信息技术与信息化 图 1 训练阶段 图 2 预测阶段所以在 Sentence BERT 中，存在训练和预测不一致的问题。基于此问题，为了与预测阶段保持一致，在训练阶段，本文对池化后的句向量同样采用了用 cos 值计算损失。其训练过程和预测过程如图 3 和图 4 所示。图 3 训练阶段 图 4 预测阶段2 实验分析与结果2.1 实验环境实验中计算机硬件相关配置：AMD Ryzen 75 800 H 处理器，16 GB 内存，NVIDIA GTX 1650 显卡。实验中计算机软件相关配置：Windows 11 操作系统，Python 3.8，Torch 1.12.0，CUDA 11.3。2.2 实验数据集现阶段公开的数据大多数是二分类任务，并且由于中文文本语言的多样性和复杂性导致相同或相似的文本数据在语料库中可能很少出现。因此本实验通过人工收集数据集来训练和评估中文文本相似度模型。本实验收集了在教师资格证模拟考试当中的学生作答的数据共 518 份，经过人工整理、修改和校准学生作答结果以及参考答案的数据，共计得到有效数据 484 组。取得数据后本文依据参考答案对学生作答的结果进行标注，共分为 0 10 个等级，越接近于 0 表示两个文本的相似性越低，越接近于10表示两个文本的相似性越高。同时，在建立模型之前，先对数据进行预处理，根据数据集的特点同时经过人工标注，得到停用词列表共 756 个，用户自定义词典共 187 个。2.3 评价指标本实验采用 Spearman 系数对结果的准确率进行评估。Spearman 系数是一种衡量两个变量之间非线性关系强度的统计量，常用于衡量两个变量之间的相关性，通常用符号 表示。Spearman 系数的取值范围在-1 到 1 之间，在实际应用中，1 表示两个变量呈完全正相关，越接近 1 表示两个文本越相似；-1 表示两个变量呈完全负相关，越接近-1 表示两个文本越不相似；0 表示两个变量之间没有任何相关性。计算 Spearman 系数的方法是先将两个变量的数据从小到大排序，并用排序后的顺序替换原始数据，然后计算两个变量排序后的等级之间的 Pearson 相关系数。由于 Spearman 系数基于等级而不是原始数据，因此它可以处理各种类型的数据，包括分类数据、等距数据和等比数据等。具体计算公式为：（3）式中：表示 Spearman 系数；d 表示两个变量在排序中的差距（即排名差），即 d=rank(x)-rank(y)；n 表示样本大小。2.4 参数设置本文设置的 batch_size=8，num_epochs=4，文本最大序列 max_seq_length=128，学习率 learning_rate=2e-5。2.5 实验效果根据数据集的特点，创建停用词列表和用户自定义字典，对编辑距离算法进行改进，并对数据集在改进前后结果做出了对比，实验结果如表 1 所示。表 1 结构相似度实验结果改进前改进后Spearman 系数72.75782.076从表 1 中可以看出，改进后的编辑距离算法比改进前提高了 9.319%，取得了较好的结果。本文在 4 个中文预训练模型上进行实验效果对比，中文预训练模型分别为 chinese-roberta-wwm-ext、chinese-macbert-base、bert-base-chinese 和 mengzi-bert-base。在模型中，一共有五种池化方式，分别是 FIRST_LAST_AVG、LAST_AVG、CLS、POOLER、MEAN，模型结构（model architecture）分别采用 Sentence BERT 和 cos 值计算损失后 Sentence BERT。实验结果分别如表 2 和表 3 所示，从表 3 可以看出，chinese-roberta-wwm-ext 的 MEAN 向量取得了最好的效果。表 2 采用 Sentence BERT 训练结果FIRST_LAST_AVGLAST_AVGCLSPOOLER MEANchinese-rober-ta-wwm-ext58.88360.01573.01043.46258.772chinese-mac-bert-base56.82762.99753.85646.26353.621bert-base-chinese64.15151.15860.80836.52864.484mengzi-bert-base55.98656.56956.52240.90159.533 2023 年第 10 期39计算机应用信息技术与信息化表 3 采用 cos 值计算损失后 Sentence BERT 训练结果FIRST_LAST_AVGLAST_AVGCLSPOOLER MEANchinese-rober-ta-wwm-ext68.78778.00873.84355.05781.930chinese-mac-bert-base73.66974.54066.32232.63178.224bert-base-chinese74.53769.12251.32237.19175.952mengzi-bert-base73.62866.62945.51833.58172.268本实验采用层次分析法（AHP）确定结构相似度和语义相似度的权重系数。层次分析法是一种决策工具，可帮助个人和组织通过将复杂决策分解为更小、更易于管理的部分来做出复杂决策，具体计算过程如下。（1）根据结构相似度和语义相似度建立层次结构模型。（2）在中文文本中，相较而言，语义相似度要比结构相似度的重要程度要高，根据层次分析法，按照比例标度表及其倒数作为标度，得到的判断矩阵如表 4 所示。表 4 判断矩阵相似度结构相似度语义相似度结构相似度11/3语义相似度31（3）层次单排序及其一致性检验。根据表 4 可得到判断矩阵 A：A=133/11A （4）通过计算可以得出，矩阵 A 的特征值最大为 2，对应的特征向量为 p=1,3T，因为二阶判断矩阵是通过对每个成对比较矩阵的列取几何平均来创建的，在 AHP 过程中已经保证了每对比较矩阵的一致性，因此也保证了复合二阶判断矩阵的一致性。由（3）可以得出：判断矩阵具有一致性，因此将判断矩阵所对应的特征向量 p 作为相似度权值，对 p 做归一化处理后，得到相似度权值向量为 q=0.25,0.75T，即结构相似度的权重为 0.25，语义相似度的权重为 0.75。（5）式中：text表示文本相似度的 Spearman 系数，structural表示结构相似度的 Spearman 系数，semantic表示语义相似度的Spearman 系数。3 结语文本相似性的度量作为自然语言处理常见的一项任务，它不仅应用广泛，也是 NLP 领域的研究热点之一，具有重要的理论和实践意义。本文通过利用改进编辑距离算法和 Sen-tence BERT 算法分别建立文本结构相似度模型和语义相似度模型，最后通过层次分析法确定二者权重，对比实验结果表明，本文的方法对于中文文本相似性度量有很好的效果。参考文献：1 CHAKRABORTY D,DAS D,GOLDENBERG E,et al.Approximating edit distance within constant factor in truly sub-quadratic timeJ.Journal of the ACM(JACM),2020,67(6):1-22.2 THONGTAN T,PHIENTHRAKUL T.Sentiment classification using document embeddings trained with cosine similarityC/Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.Stroudsburg,PA:Association for Computational Linguistics.2019:407-414.3 PARK K,HONG J S,KIM W.A methodology combining cosine similarity with classifier for text classificationJ.Applied artificial intelligence,2020,34(5):396-411.4 PRIYANTINA R A,SARNO R.Sentiment analysis of hotel reviews using Latent Dirichlet Allocation,semantic similarity and LSTMJ.Int.J Intell Eng Syst,2019,12(4):142-155.5 HOFMANN T.Unsupervised learning by probabilistic latent semantic analysisJ.Machine learning,2001,42(1-2):177.6 BLEI D M,NG A Y,JORDAN M I.Latent dirichlet allocationJ.Journal of machine learning research,2003,3(4/5):993-1022.7 PALANGI H,DENG L,SHEN Y,et al.Semantic modelling with long-short-term memory for information retrievalJ.arXiv preprint arXiv:1412.6629,2014.8 DEVLIN J,CHANG M W,LEE K,et al.BERT:Pre-training of deep bidirectional transformers for language understandingJ.arXiv preprint arXiv:1810.04805,2018.9 REIMERS N,GUREVYCH I.Sentence-BERT:Sentence embeddings using siamese BERT-networksJ.arXiv preprint arXiv:1908.10084,2019.10 LE Q,MIKOLOV T.Distributed representations of sentences and documentsC/International Conference on Machine Learning.New York:Curran Associates,Inc.,2014:2931-2939.11 JATNIKA D,BIJAKSANA M A,SURYANI A A.Word2vec model analysis for semantic similarities in english wordsJ.Procedia computer science,2019,157:160-167.【作者简介】温雨（1998），女，山西长治人，硕士，研究方向：智能数据分析与应用。王琦（1978），男，山西运城人，硕士，副教授，研究方向：软件开发、数据分析。严武军（1973），男，山西侯马人，硕士，副教授，研究方向：大数据、人工智能、智慧教育。（收稿日期：2023-04-12 修回日期：2023-05-17）