基于带噪声数据集的强鲁棒性隐含三元组质检算法 (1).pdf

第 51 卷收稿日期：2022年11月3日，修回日期：2022年12月10日基金项目：辽宁省教育厅高等学校基本科研项目面上项目（编号：20220056）；计算机体系结构国家重点实验室开放课题（编号：CARCH201921）资助。作者简介：王梓铭，男，硕士研究生，研究方向：知识图谱。张思佳，女，博士，副教授，研究方向：自然语言处理、海洋渔业领域知识与管理等。安宗诗，女，研究方向：自然语言处理。基于带噪声数据集的强鲁棒性隐含三元组质检算法王梓铭1张思佳1，2安宗诗1（1.大连海洋大学信息工程学院辽宁省海洋信息技术重点实验室大连116023）（2.设施渔业教育部重点试验室（大连海洋大学）大连116023）摘要知识图谱三元组质检的难点是区分真实三元组和噪声三元组，常用开源知识图谱不包含噪声三元组，目前已有三元组质检算法极少考虑到知识图谱中由于关系传递存在的大量隐含三元组对质检效果的影响，且没有有效利用实体之间的空间语义关联导致对实体特征提取不充分。针对以上问题，提出带噪声数据集的强鲁棒性隐含三元组质检算法（Implied triplet quality inspection，ITQI），首先基于开源数据集制作Neo4J知识图谱；然后基于有向图最长路径搜索算法搜索所有可能的搜索路径，根据知识图谱的关系传递性来构建具有隐含关系的三元组，对源三元组进行扩充能够极大增加有效三元组的个数；最后通过随机采样构建三种类型的噪声三元组。采用TransR预训练得到扩充后的真实三元组的初始特征，然后使用残差网络提取三元组的静态特征、并使用多层BiLSTM提取三元组的内部关联特征，将以上三种特征聚合，得到三元组的融合特征对三元组进行二分类达到三元组质检的目的。论文算法在FB15K数据集上进行实验，实验结果表明论文算法质检效果优于对比算法且鲁棒性最强。关键词三元组质检；噪声数据集；知识图谱；预训练；特征融合中图分类号TP391DOI：10.3969/j.issn.1672-9722.2023.05.012Strong Robustness Implied Triplet Quality Inspection AlgorithmBased on Noisy DatasetWANG Ziming1ZHANG Sijia1，2AN Zongshi1（1.Liaoning Provincial Key Laboratory of Marine Information Technology，College of Information Engineering，Dalian OceanUniversity，Dalian116023）（2.Key Laboratory of Environment Controlled Aquaculture（Dalian Ocean University），Ministry of Education，Dalian116023）AbstractThe difficulty of knowledge graph triplet quality inspection is to distinguish between real triples and noise triples，commonly used open source knowledge graphs do not contain noise triples，at present，there are triples quality inspection algorithms that rarely consider the impact of a large number of implicit triples on the quality inspection effect due to relationship transmission in the knowledge graph，and do not effectively use the spatial semantic association between entities to lead to insufficient extraction of entity features.To solve the above problems，a robust triplet quality inspection（ITQI）algorithm with noisy dataset is proposed，and Neo4J knowledge graph is first made based on open source dataset.Then，based on the longest path search algorithm ofthe directed graph，all possible search paths are searched，and triples with implicit relationships are constructed according to the relational transitivity of the knowledge graph，and the expansion of the source triples can greatly increase the number of effective triples.Finally，three types of noise triples are constructed by random sampling.TransR pre-training is used to extract the static features of the triplet，and then the residual network is used to extract the static features of the triplet，and the internal association features of the triplet are extracted by using multi-layer BiLSTM，and the above three features are aggregated to obtain the fusion features of the triplet and classify the triplet to achieve the purpose of triplet quality inspection.The experimental results show that thequality inspection effect of the proposed algorithm is better than that of the comparison algorithm and has the strongest robustness.Key Wordstriplet quality inspection，noise dataset，knowledge graph，pre-training，feature fusionClass NumberTP391总第 403 期2023 年第 5 期计算机与数字工程Computer&Digital EngineeringVol.51 No.510422023 年第 5 期计算机与数字工程1引言知识图谱的基本存储单元是三元组，三元组由头部实体、关系和尾部实体组成。三元组之间通过关系联系在一起从而构成一张巨大的有向图。DBpedia1、NELL2等大型知识库均是从多个网站上爬取，清洗制作得到的，其复杂的知识结构往往难以有效的进行质检和分析。制作知识图谱过程中往往会引入一些噪声数据，如虚假的关系，错误的实体，甚至无中生有的三元组。由于制作知识图谱过程各种不可避免引入噪声三元组，这些三元组破坏了知识图谱的网络结构，使得知识难以得到有效的展示，基于知识图谱的知识推荐和搜索会产生致命错误。为对知识图谱进行有效质检，Ruobing Xie3等提出的三元组置信度算法，三元组的置信度可在图谱构建前后进行，置信度计算的结果隐含了知识图谱的内部特征和三元组之间的隐含信息。Shengbin Jia4等基于深度学习模型将三元组的内部语义特征、节点的全局语义依赖信息、以及三元组组成要素之间的可信度整合在一起，构建强鲁棒性的噪声三元组质检算法，其性能远远超出了传统的TransE5、TransR6等算法。Yu Zhao7等将头尾结点实体词向量表示进行了一定的扩充，主要是考虑到实体本就包含了丰富的语义信息。Shengbin Jia和Yu Zhao等均将Trans系列算法作为基础算法，在多个层次上对实体和关系向量进行整合达到较好的结果。但是目前的知识图谱质检存在如下问题：1）大多数学者均是基于常见的开源知识图谱设计质检算法，人为构建噪声数据集，将知识图谱的质检转换成常见的分类任务，噪声数据集的构建缺乏有效的方法；2）复杂的知识图谱如 FB15K-237知识图谱包含237种关系，三元组之间具有复杂的关系传递8，仅以孤立的三元组作为正样本，会极大削弱知识图谱包含的知识。本文提出的算法能够有效解决以上问题，主要创新点如下：1）提出基于搜索深度的关系强弱表征方法。复杂知识图谱节点之间通过关系进行链接，基于链接深度，本文将每个三元组赋予预置权重，表征三元组为真实的置信度；2）使用基于有向图的深度搜索算法，搜索所有可能的路径，基于搜索路径构建新的三元组，用以扩充源三元组的规模；3）基于扩充的三元组构建噪声三元组，本文构建的噪声三元组有三种，分别是替换头实体、替换关系和替换尾实体。由于本文已将源三元组进行了大量的扩充，能够极大避免构建的噪声三元组的任何一对实体之间不存在隐含的传递关系；4）本文使用基于TransR对扩充后的真实三元组进行预训练，得到实体和关系的初始表达，然后使用多种深度学习算法对三元组建模，特征融合最后完成质检。2隐含三元组本文中隐含三元组是指复杂知识图谱中，实体之间的关系传递导致实体之间存在间接关系，基于关系传递构建的新三元组被称为隐含三元组。为更准确的挖掘知识图谱节点之间的隐含语义关系，本文首先对数据集进行预处理，得到隐含三元组数据集，对源图谱中的三元组进行扩充。首先基于 FB15K-237 数据集构建 Neo4J数据库。以实体为搜索起点，搜索以该实体为起点的最长有向路径。遍历数据集的所有实体，得到所有搜索路径，然后删除被包含的子路径，最终得到互不包含的所有路径，并构建实体-关系矩阵E。基于实体关系矩阵利用关系传递方向构建隐含三元组。实体-关系矩阵E如式（1）所示。E=sig00.sig0Dsig10.sigD0.sigDDEntityEntityRD（1）其中，sigij=01，D是数据集中不重复实体的数目，sigij是实体Eni与Enj之间的关系，sigij=0，表示这两个实体之间无关联，sigij=1，表示这两个实体之间有关联。由于该矩阵是基于有向图搜索得到的，三元组与三元组被认为是不同的三元组。基于矩阵E可还原任何一条搜索路径，搜索路径表示如式（2）所示。DPath（2）由于每一条搜索路径均要求相邻节点之间存在有向边，且由头部实体指向尾部实体，故本文基于有向搜索路径构建基于搜索深度的三元组置信度矩阵，该置信度矩阵用来标识每一个三元组中头部和尾部实体关联强弱。考虑到某些实体可能同时包含于多条搜索路径，且由于深度不同造成置信度计算混乱，为解决这个问题，本文只以矩阵E标1043第 51 卷识的最长搜索路径为基准计算构建的隐含三元组的置信度，每条最长搜索路径之间相互独立。置信度计算方式如式（3）所示。rlogk=0Fdkpk1LdkpkLD（3）其中，F 指包含三元组的最长搜索路径个数，dk指当前三元组在当前所属三元组中的搜索深度，pk是当前搜索路径总长度，即包含三元组的个数，L 是所有最长搜索路径的最大长度，通过参数L将所有的置信度进行归一化。3ITQI算法3.1三元组构建及初始化正三元组。本文中，正三元组指头部和尾部实体间存在直接或传递关系而构成的三元组。正三元组的来源有两种：1）训练集提供的原始三元组；2）基于式（1）生成的隐含三元组。噪声三元组。噪声三元组是指不与正三元组有交集，并且不包含于扩充的知识图谱的假三元组。为充分检验本文算法对知识图谱的质检效果，本文集每个原始数据集构建三套噪声数据集，分别是HR_FAKE_T、H_FAKER_T、FAKEH_R_T。HR_FAKE_T是在正三元组基础上随机替换尾部实体、H_FAKER_T是在正三元组基础上随机替换关系、FAKEH_R_T是在正三元组基础上随机替换头部实体。三套噪声数据集的构建过程如算法1所示。算法1 噪声数据集构建/假设关系集合OR，正三元组集合OP，不重复三元组集合OT，不重复实体集合OE/假设原始数据集搜索路径集合OS，3套噪声数据集规模分别是j1，j2，j31）输入：OR、OP、OT、OS、OE、j1、j2、j32）输出：HR_FAKE_T、H_FAKER_T、FAKEH_R_T3）For k in random（OP）/*Work in OP*/4）If length HR_FAKE_T j15）temp=Check（k.h，random（OE），k.t，0）6）HR_FAKE_Ttemp7）Else pass8）If length FAKEH_R_T j29）temp=Check（random（OE），k.r，k.t，1）10）FAKEH_R_Ttemp11）Else pass12）If length H_FAKER_T j313）temp=Check（k.h，random（OR），k.t，2）14）H_FAKER_Ttemp15）Else pass算法1中，Check函数分别实现对三种噪声三元组的选择，伪代码如算法2所示。算法2 Check（选择噪声三元组）1）输入：RTRIP、OR、OE、OS、find=True/*RTRIP 是传进来的随机三元组*/2）输出：噪声三元组3）While not in OE4）For triplets in OS5）If in triplets6）find=False Break7）If find is True8）Return 9）Else10）If RTRIP.flag=011）RTRIP=（RTRIP.h，random（OE），RTRIP.t，0）12）If RTRIP.flag=113）RTRIP=（random（OE），RTRIP.r，RTRIP.t，1）14）If RTRIP.flag=215）RTRIP=（RTRIP.h，random（OR），RTRIP.t，2）算法1和算法2实现了三种类型噪声数据集的选择和过滤，过滤条件包含两个：1）新产生的噪声三元组不应出现在经扩展的正三元组集合；2）新产生的噪声三元组不应出现在实体-关系关联矩阵E中。通过以上两种过滤方法，能够极大地避免噪声三元组的头部和尾部实体之间不存在传递关系。将正三元组和噪声三元组合并得到新的数据集。由于FB15K-237数据集内存在大量的1 N和N N的关系，本文基于TransR算法训练正三元组，得到实体和关系的向量表示，然后遍历三个数据集的噪声三元组，使用 TransR训练好的模型参数初始化所有的噪声三元组。所有正三元组的嵌入与其置信度进行内积，得到加权特征向量。3.2ITQI算法基本框架ITQI 算法的基本框架如图 1 所示。其中，Po-TransR 表示基于 TransR 算法初始化的正三元组，N-Random表示噪声三元组。噪声三元组和正三元组均使用相同的维度的向量进行初始化。DeepPath是基于实体-关系矩阵构建的搜索路径。ITQI算法包含两个主要分支：当前批次样本的搜索路径矩阵建模和三元组质检分类建模。当前批次样本的搜索路径矩阵建模。此分支的输入是经向量化的三元组，输出是当前批次三元组中每个实体与其他实体之间的关联关系矩阵。一个批次样本中，每个实体与其他实体间均在在两王梓铭等：基于带噪声数据集的强鲁棒性隐含三元组质检算法10442023 年第 5 期计算机与数字工程种互斥关联：存在间接关系或直接关系；不存在任何关系。ITQI算法采用TextCNN以及多层BiLSTM构成实体间互斥关系预测模型，学习实体间的直接关联和间接关联关系。图1算法的基本框架三元组质检分类建模。此分支的输入仍然是经向量化的三元组，输出是当前批次三元组的质检结果：真三元组、假三元组。考虑到本文对知识图谱进行深度预处理时已经得到了一定规模的有向搜索路径，实体间的时空语义关联对实体向量的深层表示具有一定意义。王斌9等人使用TransE训练三元组得到三元组的向量表示，基于三元组的向量分布及有向子图直接求解三元组的局部特征、全局特征以及包含语义的路径特征。本文使用多层BiLSTM实现对原始输入的空间语义关系进行建模，学习实体之间的局部关联关系；然后使用BiLSTM提取三元组的内部特征，最后使用局部损失和内部损失共同优化网络参数。局部特征建模输入如式（4）所示。EPinput=En00.sig0aEn10.EnB0.sigBaEntityEntity（4）其中，B指BatchSize，及当前训练的输入批次大小，a是所有批次样本的关联深度，且aB，局部特征建模的目标输出标签如式（5）所示，标签含义如式（6）所示。EPtarget=sigEn00.sigEn0asigEn10.sigEnB0.sigEnBaEntityEntity（5）sigEnij=0，EniEnj1，EniEnj（6）符号表示实体Eni和实体Enj之间不存在关联关系，两者的关联标签为 0，符号表示实体Eni和实体Enj之间存在关联关系，两者的关联标签为1。本文算法中，局部特征建模过程中，通过多标签分类算法实体间关联关系的训练和预测，将不存在关联关系的实体进行区分，使用二分类方式实现真假三元组的质检。将两者的损失进行聚合共同优化网络参数。局部特征建模过程中实体关联关系损失如式（7）所示。LEP=1Bj=0Bk=0ac=02-yilogpi（7）三元组质检为常见的二分类交叉熵损失1011，与式（7）合并之后得到总损失，见式（8）所示。L=1Bj=0B-y-jlogp-j+k=0ac=02yjlogpj（8）其中，y-表示三元组质检标签p-j表示神经网络对每个三元组质检分类概率；yj表示局部特征建模过程中实体关联关系标签，pj表示神经网络对每个实体关联关系预测概率。4ITQI算法对比实验4.1实验环境本文提出的 ITQI 算法可在 GPU 快速部署运行，与其他算法在CPU上进行对比实验，对比实验的配置如表1所示。实验基本设置如表2所示。表1实验硬件条件参数名称计算机品牌操作系统内存硬盘大小CPU核个数GPU核个数参数值ThinkPadUbuntu18.0416GB1000GB4核1个1045第 51 卷表2实验条件设置参数名称批次大小学习率截断损失BiLSTM隐含层节点优化函数参数值500.001100200AdamOptimizer4.2数据集本文使用 FB15K-237数据集共有 14541种实体类别、237个关系、训练集272115组数据、验证集17535组数据和测试集20466组数据。本文第3.2节使用基于有向最长路径搜索算法将所有实体之间有无关联关系映射至实体关系关联矩阵E，实体之间有直接关系或间接关系的均被认为能够构建为正三元组，基于矩阵E，极大的扩展了原有的正三元组，拓展后训练集的数据规模增加75179个三元组。噪声三元组依据算法1和算法2进行构建，其三元组规模分别与各数据集的训练集、测试集和验证集规模基本相同。本文实验所使用的对比算法如表5所示。评估指标分别是：Accuracy、Precision、Recall-Score、F1-Score、Quality。这四个评估指标的计算公式直接调用Sklearn.metrics封装好的计算公式计算这四个指标值。Quality指标时衡量三元组质检质量的评估指标，本文借鉴 Shengbin Jia 等提出的计算Quality指标公式，将0.5作为三元组质检的分界线，即预测为正的三元组其概率如果小于0.5则认为预测错误，预测为正的三元组其概率如果大于0.5则认为预测错误。对比试验与现有的较好模型TransE、TransR、TransD12、TransH13、PTransE14、KGTtm15、MLP和Bilinear16进行对比。4.3实验本文算法首先在FB15K-237数据集上进行质检实验，实验对象分别如下：1）正三元组+HR_FAKE_T；2）正三元组+H_FAKER_T；3）正三元组+FAKEH_R_T。其 中 HR_FAKE_T、H_FAKER_T 及 FAKEH_R_T等三个噪声数据集的创建已在前文进行详细介 绍，三 组 实 验 的 评 估 指 标 分 别 是 Accuracy、F-Score、Precision、Recall实验结果如图 2所示，实验结果汇总如表6所示。表6三个数据集上的实验结果数据集正三元组+FAKEH_R_T正三元组+H_FAKER_T正三元组+HR_FAKE_TAccuracy0.9920.9880.994F10.9940.9900.984Precision0.9920.9890.995Recall0.9960.9880.991Quality0.9710.9460.967从本文算法在三个数据集上的实验结果可看出，本文实验具有较好的鲁棒性，四种评估指标下的实验结果均较高。为验证本文提出的ITQI算法对实体间隐含关系学习的有效性以及对隐含三元组识别的准确性，ITQI算法与Shengbin Jia等提出的算法及其对比试验结果进行对比，评估指标为Recall及Quality，ITQI算法与对比算法实验结果如表7所示。表7对比实验结果算法MLP-Bilinear-TransE-TransH-TransD-TransR-PTransE-KGTtm-本文算法数据集及评估指标正三元组+HR_FAKE_TRecall0.9700.9360.9600.9350.9420.9640.9440.9870.991Quality0.7910.8280.7960.8260.8380.8720.8410.9430.967正三元组+FAKEH_R_TRecall0.9120.9040.9270.9270.9090.9210.9730.9770.988Quality0.7350.8070.7590.8110.8240.8290.8880.9230.946正三元组+FAKEH_R_TRecall0.9780.9730.9590.9550.9540.9720.9570.9940.996Quality0.8440.9070.7860.8500.8530.8680.8630.9590.971注：-标注的算法使用的正三元组为数据集提供的原始三元组，本文算法使用拓展三元组。从 表 7 可 看 出，本 文 所 提 算 法 ITQI 在FB15K-237数据集的三个扩展集上的实验结果优于其它算法在原始数据集上的实验结果。相对于其它对比算法的平均召回率和质检质量均值而言，本文算法在三个拓展集的召回率最大提升6.09%、最 小 提 升 2.92%；Quality 指 标 下 的 最 大 提 升15.09%，最小提升 12.09%；和KGTtm-、PTransE-以及TransR-相比，本文算法召回率最大提升7.275%，最小提升0.201%；Quality指标上最大提升14.98%，最小提升1.251%。基于以上对比结果，本文算法在两个对比指标上的平均提升率和在单个对比算法上的提升率均为正，实验表明本文算法具有一定的优势。王梓铭等：基于带噪声数据集的强鲁棒性隐含三元组质检算法10462023 年第 5 期计算机与数字工程5结语针对现有三元组质检算法极少考虑到知识图谱中由于关系转递存在的大量隐含三元组对质检效果的影响，本文提出基于带噪声数据集的强鲁棒性隐含三元组质检算法 ITQI，首先对 FB15K-237数据集进行了扩充得到更大规模的三元组，并使用算法1和算法2分别生成三组噪声数据集。通过本文算法与对比算法在数据集上的实验表明，本文算法具有更高的准确率，且优于其它算法。从评估指标对比结果来看，本文算法在正三元组+FAKEH_R_T这类数据集上有更高的召回率，三元组的质检质量更高。参 考 文 献1 Perevalov A，Diefenbach D，Usbeck R，et al.QALD-9-plus：A multilingual dataset for question answeringover DBpedia and Wikidata translated by native speakersC/2022 IEEE 16th International Conference on Semantic Computing（ICSC）.IEEE，2022：229-234.2Oh B，Seo S，Hwang J，et al.Open-world knowledgegraph completion for unseen entities and relations via attentive feature aggregationJ.Information Sciences，2022，586：468-484.3Xie R，Liu Z，Lin F，et al.Does william shakespeare really write hamlet？knowledge representation learning withconfidenceC/Proceedings of the AAAI Conference onArtificial Intelligence，2018.4Jia S，Xiang Y，Chen X，et al.Triple trustworthiness measurement for knowledge graph C/The World Wide WebConference，2019：2865-2871.5Song D，Zhang F，Lu M，et al.Dtranse：Distributed translating embedding for knowledge graph J.IEEE Transactions on Parallel and Distributed Systems，2021，32（10）：2509-2523.6Lin Y，Liu Z，Sun M，et al.Learning entity and relationembeddings for knowledge graph completion C/Proceedings of the AAAI conference on artificial intelligence，2015：2181-2187.7Zhao Y，Liu J.Scef：A support-confidence-aware embedding framework for knowledge graph refinement J.ArXiv Preprint ArXiv：1902.06377，2019.8宋玮琼，韩柳，羡慧竹，等.基于GCN的配电网知识图谱构建及应用 J.电子设计工程，2022，30（7）：5.SONG Weiqiong，HAN Liu，XIAN Huizhu，et al.Construction and application of knowledge graph of distribution network based on GCN J.Electronic Design Engineering，2022，30（7）：5.9王斌，李雨繁，赵元，等.一种知识图谱三元组的质检方法，CN112819162A P.2021.WANG Bin，LI Yufan，ZHAO Yuan，et al.A quality inspectionmethod for knowledge graph triples，CN112819162A P.2021.10Lu J，Steinerberger S.Neural collapse under cross-entropy loss J.Applied and Computational Harmonic Analysis，2022，59：224-241.11Liu J W，Wang Y F，Lu R K，et al.Multi-view non-negative matrix factorization discriminant learning via crossentropy lossC/2020 Chinese Control And DecisionConference（CCDC）.IEEE，2020：3964-3971.12Wu C，Liu S，Zeng Z，et al.Knowledge graph-basedmulti-context-aware recommendation algorithmJ.Information Sciences，2022，595：179-194.13Saeedizade M J，Torabian N，Minaei-Bidgoli B.KGRefiner：Knowledge Graph Refinement for Improving Accuracy of Translational Link Prediction Methods J.ArXivPreprint ArXiv：2106.14233，2021.14Zhang T，Liu F，Shen Y，et al.Learning from High-Degree Entities for Knowledge Graph Modeling C/Collaborative Computing：Networking，Applications and Worksharing：14th EAI International Conference，2019：504-517.15Liang M，Wang H，Liu C，et al.A new method for theevaluation of measurement uncertainty in strict accordance with measurement model：Determination of totalthyroxine in human serum by triple isotope dilution massspectrometry J.Talanta，2022，246：123494.16Baena-Miret S，Carro M J，Luque T，et al.Bilinear Fourier Multipliers of Bounded VariationJ.InternationalMathematics Research Notices，2022.1047