结合静态事实和重复历史事实的动态知识图谱推理方法.pdf

DOI:10.3785/j.issn.1008-973X.2023.10.001结合静态事实和重复历史事实的动态知识图谱推理方法林栋1，李永强1，仇翔1，冯远静1，谢碧峰2(1.浙江工业大学信息工程学院，浙江杭州310012；2.杭州峰景科技有限公司，浙江杭州310000)摘要：针对现有的动态知识图谱推理方法容易忽略动态知识图谱中存在着大量静态信息和重复历史事实的问题，提出结合静态事实和重复历史事实的动态知识图谱网络方法.该方法利用动态知识图谱中实体间隐藏的静态联系来构成静态事实，并协助动态知识图谱推理；利用历史事实构建历史词表，在预测未来时对历史词表进行查询；对历史中未发生的事实进行惩罚，提高重复历史事实的预测概率.在 2 个公开的数据集上进行动态知识图谱推理实验，对比实验时选用目前主流的 5 个模型作为基线.在实体预测实验中，平均倒数排名(MRR)达到 0.4891和 0.5303，Hits10 达到 0.5887 和 0.6165，证明了所提方法的有效性.关键词：动态知识图谱；静态事实；重复历史事实；历史惩罚；实体预测中图分类号：TP391文献标志码：A文章编号：1008973X（2023）10191508Dynamic knowledge graph inference method combining static factsand repeated historical factsLINDong1,LIYong-qiang1,QIUXiang1,FENGYuan-jing1,XIEBi-feng2(1.School of Information Engineering,Zhejiang University of Technology,Hangzhou 310012,China;2.Hangzhou Fengjing Technology Company,Hangzhou 310000,China)Abstract:Astatic-historicalnetwork(Sta-HisNet)methodcombiningstaticfactsandrepeatinghistoricalfactswasproposed,aimingattheproblemthatexistingdynamicknowledgegraphreasoningmethodstendtooverlookthevastamountofstaticinformationandrepeatinghistoricalfactspresentinthedynamicknowledgegraphs.Thehiddenstaticconnectionsbetweenentitiesinthedynamicknowledgegraphwereusedtoformstaticfacts,assistingintheinferenceofthedynamicknowledgegraph.Historicalfactswereemployedtoconstructahistoricalvocabulary,andthe historical vocabulary was queried when predicting the future.Facts that had not occurred in history werepunished,andtheprobabilityofpredictingduplicatehistoricalfactswasincreased.Experimentswereconductedontwopublicdatasetsfordynamicknowledgegraphreasoning.Comparativeexperimentswereperformedusingfivemainstreammodelsasbaselines.Inentitypredictionexperiments,themeanreciprocalrank(MRR)was0.4891and0.5303,andHits10reached0.5887and0.6165respectively,demonstratingtheeffectivenessoftheproposedmethod.Key words:dynamicknowledgegraph;staticfacts;repeatinghistoricalfacts;historypunishment;entitypre-diction知识图谱是广泛用于现实世界事实知识表示的资源，它支持信息检索领域的无数知识驱动任务1.知识图谱是图结构的知识库以及储存事实(h,r,t)h、r、t信息的普遍方法构建三元组，其中分别为头实体、关系和尾实体.头实体和尾实体构成知识图谱中的节点，头、尾实体间的关系则用收稿日期：20221017.网址： 2 个元素，推理出剩下的元素，这样可以有效填充知识图谱不足的信息，大多数知识图模型都假设底层图为静态.在现实世界中，事实和知识可以随着时间的推移而改变.例如（奥巴马，访问，中国）这个三元组因为没有具体的时间信息，无法确定奥巴马哪一次访问中国.为了适应时间变化的多关系数据，引入动态知识图谱，它通过在静态三元组增加时间戳以构成四元组2，如通过（奥巴马，访问，中国，2009）这一四元组便可以清晰的知道是在 2009 年奥巴马访问了中国.动态知识图谱推理是根据过去的事件来推断未来的事件.本研究重点专注于预测动态知识图谱，通过预测动态知识图谱中缺失的知识可以改善大量的下游应用程序，如金融中的决策支持.在动态知识图谱中存在大量的不随时间变化的静态知识信息，提取这些信息特征对动态知识图谱推理有很大的帮助.现实中大量历史事实是重复发生的，如金融危机、外交事件，然而目前的方法都无法对重复历史进行筛选以及对历史重复度大的时序知识进行更好的预测，这使得它们不太适合用于许多现实世界的应用程序.为了更好地利用静态事实和重复历史事实，本研究结合静态事实，获取动态知识图谱中事实的静态信息，挖掘实体之间更深层次的联系.结合重复历史事实，通过历史词表对历史事实进行筛选，对历史中未出现的事实做出历史惩罚，提高重复事实的预测概率.在 2 个公开数据集上进行动态知识图谱推理，验证所提方法在动态知识图谱推理准确性上的表现.1相关工作目前静态知识图谱推理已有深入的研究.最初 Bordes 等3提出先将关系视为嵌入空间中实体之间转换的静态知识图谱推理，随后设计几个变体.Wang 等4在一个关系特定的超平面上添加投影.Dai 等5将实体映射到较低级别的关系特定空间，但是基于翻译方法不能建立对称模型.Trouil-lon 等6通过学习一个双线性目标解决了这个问题.Socher 等7则将关系视为复杂向量空间中的旋转.Schlichtkrull 等8将事实放入图中，通过图卷积神经网络(graphconvolutionnetwork,GCN)9建模多种关系类型.传统知识图谱只有静态的事实，缺乏时间信息.随着数据的快速发展，现在的知识图谱展现出复杂的时间动态，静态知识图谱无法满足现实要求，因此需要新的方法为这种事实进行时序建模.近年来，通过在知识图谱中加入时间信息来构成动态知识图谱，这已经成为知识图谱推理的重要分支.Leblay 等10把时间戳与实体和关系一样作为嵌入，同时改变 TransE3的评分.Dasgupta 等11将实体和关系的表征映射到时间戳的超平面上.上述方法没有考虑到现实中的时间也会影响实体的状态以及对应关系.为了改善时间范围推理，Trivedi 等12通过深度进化知识网络，研究实体在动态知识图谱中的演化以及它们演化之后的关系.为了捕捉实体间的交互，Jin 等13基于邻居聚合器和循环神经网络（recurrentneuralnetwork,RNN）来构建包含一跳事实的子图序列，使用逻辑规则进行动态知识图谱推理.Li 等14使用长度感知卷积神经网络，通过易于学习的课程学习策略来处理不同长度的进化模式.Li 等15通过对动态知识图谱的循环建模来学习每个时间戳上实体和关系的进化表示，并利用静态实体嵌入来限制动态知识图谱推理.Zhu 等16通过复制模式和生成模式，分别对重复出现历史事实和未曾出现的历史事实进行学习和预测.重复历史事实过于繁琐且绝对，无法很好地利用知识图谱中的静态事实，因此 Zhu 等16提出结合静态事实和重复历史事实的动态知识图谱网络（static-historicalnet-work，Sta-HisNet）进行推理.Li 等15只是将静态事实作为动态知识图谱的限制.Sta-HisNet 模型通过挖掘知识图谱中的静态事实信息，协助实现对动态知识图谱的推理，同时改进历史模式，对重复历史事实进行更好的学习和利用.2结合静态事实和重复历史事实的动态知识图谱推理方法为了更好地利用历史事实对动态知识图谱推理的帮助，提出结合静态事实和重复历史事实的动态知识图谱.如图 1 所示，从静态知识图谱中获取不随时间变化的静态事实，通过关系图卷积神经网络(relationgraphconvolutionnetwork,R-1916浙江大学学报（工学版）第57卷GCN)8提取实体的内在特征并得到静态嵌入.从动态知识图谱中抽取事件四元组，并且生成基于时间序列的实体嵌入、关系嵌入和时间嵌入，然后将 4 个嵌入拼接后经过历史模式来训练模型，其中通过二维卷积提取嵌入特征，再通过长短期记忆网络预测未来事实特征；通过历史惩罚降低历史中没有出现过事实的预测得分，最后利用实体预测完成动态知识图谱推理，得到实体预测概率.2.1 动态知识图谱背景(h,r,t,)动态知识图谱在传统的知识图谱上添加了时间信息.在动态知识图谱中，每个事实是在时间戳中获得头实体、尾实体和其对应的关系.将动态知识图谱中的事实定义成四元组的形式：.一般动态知识图谱的推理基于四元组的形式，在已知时间戳下，给定任意 3 个元素推测另一个元素.根据动态知识图谱推理方法，分为实体预测和关系预测.其中实体预测又可分为头实体预测和尾实体预测，尾实体预测是在已知 h、r 和 的情况下来预测 t；而头实体预测是在已知 r、t 和 的情况下来预测 h.2.2 基于时间序列的实体嵌入由于实体随着时间的变化，含义将会发生变化，同时实体也有着时不变的特性.为了同时满足实体嵌入的时变和时不变特征，本研究的实体h嵌入计算式为h=e|()RO+D.(1)eOe|()D()()式中：为时常嵌入，它捕获时常特征和对动态知识图谱的全局依赖性；为的嵌入维度；为拼接操作；为捕获实体之间的时间依赖性的时间编码，采用正弦的形式使得实体与每个时间戳相结合，可以更好地让实体嵌入学习到时间信息；为的嵌入维度.的表达式为()=d1/2sin(1+1),sin(d+d).(2)d式中：为时间序列长度，和为可学习的参数.2.3 基于静态事实的静态嵌入实体中包含有大量的静态属性，将这些属性组成一个静态知识图谱，可以看作是动态知识图谱的背景知识，有助于模型学习到更准确的实体信息.在 ICEWS1817数据集中的实体有（公民）菲律宾、（政府）菲律宾、（城市）菲律宾、菲律宾、（公民）美国、（公民）俄罗斯、公民，他们之间存 在 一 定 的 关 系，可 以 构 成 这 样 的 事 实 三 元组（公民）菲律宾，隶属，菲律宾）、（政府）菲律宾，隶属，菲律宾）、（城市）菲律宾，隶属，菲律宾）、（公民）菲律宾，是，公民）、（公民）美国，是，公民）、（公民）俄罗斯，是，公民），如图 2 所示.若直接将公民（菲律宾）视为一个嵌入，则会丢失其与公民和菲律宾之间的联系，因此通过挖掘实体间隐藏的联系构成新的静态事实，从而构基于时间序列的实体嵌入时间嵌入数据预处理关系嵌入动态知识图谱静态知识图谱静态嵌入关系图卷积神经网络二维卷积长短期记忆网络历史惩罚实体预测知识图谱推理历史模式图 1 Sta-HisNet 框架图Fig.1FrameworkofSta-HisNet菲律宾公民(菲律宾)政府(菲律宾)城市(菲律宾)军人(菲律宾)菲律宾隶属隶属隶属隶属军人(菲律宾)政府(菲律宾)城市(菲律宾)公民(菲律宾)公民(美国)公民(俄罗斯)公民(美国)公民(俄罗斯)公民公民是是是图 2 ICEWS18 数据集的部分静态知识图谱Fig.2PartialstaticknowledgegraphofICEWS18dataset第10期林栋,等：结合静态事实和重复历史事实的动态知识图谱推理方法J.浙江大学学报：工学版,2023,57(10):19151922.1917建成新的静态知识图谱.由于获得的静态知识图谱是多关系图，R-GCN8采用一层没有自循环的R-GCN 来获得静态知识图谱中实体的静态嵌入，这样可以在建立多关系图时，不需要额外的关系嵌入.R-GCN 的更新规则定义为hs=1cirRjNWrhj.(3)hshjciiNWrr()式中：、分别为输出和随机初始化的输入嵌入矩阵；为归一化常数，是与实体连接的实体数量；为所有实体的数量；为关系的可训练矩阵；为 ReLu 激活函数.2.4 历史模式在特定的数据集中有许多历史事实是重复的，一个模型可能会从历史上出现的已知事实中学到很多东西.历史模式旨在识别重复的事实，并通过惩罚历史上未知的事实来预测未来的事实.历史模式的流程如下：传统的一维卷积可以提取的特征信息十分有限，因此采用卷积的方式提取特征.为了更好地提取实体、关系、时间和静态嵌入特征，采用基于卷积神经网络嵌入(convo-lutionembedding,ConvE)18模型中的二维卷积方法，利用长短期记忆(longshort-termmemory,LSTM)19网络捕获时序信息，经过一层神经网络改变维度得到实体预测结果.通过历史事实构建历史词表，利用历史词表筛选出历史中未出现过的事实并对其进行惩罚，经过 softmax 函数得到历史模式的最终预测概率，流程如图 3 所示.(h,r,?,)mkkM假设给定头实体、关系、时间戳和预测尾实体，将基于时间序列的头实体嵌入、关系嵌入、时间戳嵌入和静态嵌入丢弃部分信息防止过拟合，再重塑成三维矩阵，然后将矩阵做卷积核为的二维卷积得到特征图，将其二维卷积后的特征图重塑成一维向量可得m=concat(Re(h);Re(r);Re();Re(hs).(4)M=Conv2d(m),(5)V=Re(M).(6)Re1mnconcatmm R4mnConv2dkfMM Rfiji=4mk+1 j=nk+1 ReM式中：为把嵌入形状改成三维矩阵的运算符号；为拼接操作；为重塑后的三维矩阵，；为二维卷积函数，输入的通道为 1；为卷积核大小；为卷积核个数；为卷积后的特征图，其中，；为把特征图的形状改为向量的运VV RllVl=f i j算符号；为重塑后的特征向量，；为特征向量的长度，.VF将向量送入长短期记忆网络中捕获时间序列信息得到，随后经过一层神经网络输出长度为实体总个数的向量：F=LSTM(V),(7)S=WF+b.(8)FSWb式中：为经过长短期记忆网络训练后的时序特征向量，为尾实体得分，和均为可训练参数.Ht(h,r)为了惩罚一些没有与历史中的头实体和关系形成已知事实的尾实体，通过历史词表判断历史中是否存在过三元组，如果历史中存在过三元组，历史词表向量为.最后用 softmax 函数来估计历史词表中预测尾实体的概率.H=MHt(h,r)abs(M),(9)P=softmax(H).(10)HMHt(h,r)H RN式中：为经过历史词表惩罚后，在不感兴趣的尾实体上赋予的较小数，；为控制实体关系时间重塑二维卷积LSTM一层神经网络Softmax函数嵌入二维矩阵m特征图M时序特征向量F模型训练得分S过滤后的得分H历史惩罚概率P0.200.90.1特征向量 V重塑静态图 3 Sta-HisNet 的历史模式流程图Fig.3HistoricalpatternflowchartforSta-HisNet1918浙江大学学报（工学版）第57卷absPP RN惩罚力度的超参数；为绝对值函数；为历史模式的预测概率，.2.5 学习目标实体预测的损失函数使用多分类的交叉熵损失函数来表示.尾实体预测损失函数为Lt=T(h,r,t,)DN1n=0tn,ln P(yn|h,r,).(11)TDP(yn|h,r,)tn,式中：为所有的时间戳；为全部训练集的四元组；为当第 n 个被预测尾实体为正确尾实体时，被预测为尾实体的概率.3实验及结果分析利用实体预测对 Sta-HisNet 进行评估，选用ConvE17、RE-NET13、CEN14、RE-GCN15和CyGNET16模型作为基准方法来进行对比.3.1 实验数据实验性能分析中采用 ICEWS18 系统(integ-ratedcrisisearlywarningsystem)17和 GDELT(globaldatabaseofevents,language,andtone)20作为对比实验数据集，这 2 个数据集是动态知识图谱领域通用的数据集.其中 ICEWS18 是从 20181120181031 发生的所有政治事件，每个事件之间都是以 24h 的间隔作为时间戳；GDELT 是从新闻媒体中提取的人类社会规模行为和信念的目录，实验数据集的时间跨度为 2018112018131，每个事件之间都是以 15min 的间隔作为时间戳.数据集都按照 811 的比例划分.数据集的详细统计情况如表 1 所示.表 1 不同知识图谱在公开数据集中的数量统计Tab.1Statisticalinformationonnumberofpubliclyavailabledatasetsbydifferentknowledgegraphs数据集实体数关系数训练集数验证集数测试集数ICEWS18230332563730184599569514GDELT769124017343992387653052413.2 评价标准使用知识图谱推理中常用的 2 个指标2即平均倒数排名(meanreciprocalrank,MRR)和Hits1、Hits3、Hits10 来评价模型.对于每个缺少头实体或尾实体的测试三元组，计算出所有候选实体的概率并按降序排列.其中，MRR 为预测正确实体的平均倒数排名，Hits1、Hits3、Hits10 分别为在测试集中正确预测实体在排名第 1、前 3、前 10 中所占的比例.计算式为MRR=1NNi=11rank.(12)rank式中：为预测正确实体的排名位置.Hitsn=NrN.(13)Nr式中：为预计正确实体中排名在前 n 的个数.3.3 实体预测实验结果m=10 n=20=0.6在实体预测上对比了现有的静态推理方法中的 ConvE 模型和基于动态推理方法的 RE-NET、CEN、RE-GCN 和 CyGNET 模型，分别在 ICEWS18、GDELT 这 2 个数据集上进行实验.本研究的 Sta-HisNet 模型参数设置为：批训练大小为 1024，学习率为 0.001，嵌入向量维度为 200，丢弃系数为0.2，重塑成 3mn 的二维矩阵，其中，二维卷积核大小为 99，二维卷积核个数为 200，长短期记忆网络的隐藏层维度为 600，神经网络层数为 2 层，所有可训练的参数都随机初始化，并使用 AMSGrad 优化器进行优化.实验结果如表 2、3 所示.表 2、3 展示了利用 Sta-HisNet 和基线方法对表 2 不同模型在 ICEWS18 数据集上的实体预测结果Tab.2Entity prediction results of different models onICEWS18dataset模型MRRHits1Hits3Hits10ConvE0.36670.28510.39800.5069RE-NET0.42930.36190.45470.5580RE-GCN0.46310.39120.49730.5693CyGNET0.46690.40580.49820.5714CEN0.47260.41860.50610.5791Sta-HisNet0.48910.42940.51530.5887表 3 不同模型在 GDELT 数据集上的实体预测结果Tab.3EntitypredictionresultsofdifferentmodelsonGDELTdataset模型MRRHits1Hits3Hits10ConvE0.35990.27050.39320.4944RE-NET0.40120.32430.43400.5380RE-GCN0.48140.42160.52370.5835CyGNET0.50920.44530.54690.6099CEN0.51680.45760.54970.6123Sta-HisNet0.53050.47550.56010.6165第10期林栋,等：结合静态事实和重复历史事实的动态知识图谱推理方法J.浙江大学学报：工学版,2023,57(10):19151922.19192 个动态知识图谱数据集的链接进行预测的结果，其中 ConvE、RE-NET 和 CyGNET 的实验结果来源于文献 17，CEN 和 RE-GCN 的实验结果来源于实验.从实验结果可以看出，与静态知识图谱推理方法 ConvE 相比，利用时间信息进行推理的动态知识图谱方法能够进一步提升预测任务的精确度.与动态知识图谱推理且基准效果最好的CEN 模型，Sta-HisNet 在 MRR 指标上提高了 1.65%和 1.37%，在 Hits1 指标上提高了 1.08%和 1.79%，在 Hits3 指标上提高了 0.92%和 1.04%，在Hits10指标上提高了 0.96%和 0.42%.3.4 消融实验为了帮助理解 Sta-HisNet 的不同模型成分，开展消融实验.通过调整 Sta-HisNet 模型的组件来创造变体，比较在 ICEWS18、GDELT 数据集上的性能.实验结果如表 4、5 所示.表 4、5 中的 Sta-HisNet-NON-EMB、Sta-HisNet-NON-STA、Sta-HisNet-NON-CONV、Sta-HisNet-NON-LSTM、Sta-HisNet-NON-PUN 分别为 Sta-His-Net 模型将基于时间序列的实体嵌入更改为常规嵌入、去除静态嵌入、去除二维卷积、将长短期记忆网络更改为一层神经网络和去除历史惩罚.可以看出，在所有数据集上相比于Sta-HisNet模型，通过更改实体嵌入，在MRR指标上提高了 1.03%和 0.42%，在Hits10 指标上提高了 1.52%和0.53%，这说明通过实体随时间进化的嵌入能够有效地提升预测结果.通过增加静态嵌入，在MRR指标上提高了 0.69%和 1.19%，在Hits10指标上提高了 1.06%和 1.26%，这说明通过挖掘实体之间的静态联系能有效提高动态知识图谱推理的准确性.通过增加二维卷积，在MRR指标上提高了 1.66%和 0.73%，在 Hits10 指标上提高了1.74%和 0.60%，这说明通过二维卷积可以聚合嵌入特征.通过更改成长短期记忆网络，在MRR指标上提高了 2.52%和 1.60%，在 Hits10指标上提高了 1.45%和 1.53%，这说明通过长短期记忆网络的历史记忆可以较好地捕获时序信息，更好地处理动态知识图谱.通过增加历史惩罚，在 MRR指标上提高了 3.02%和 2.13%，在Hits10指标上提高了 2.95%和 2.66%，这说明历史事实中存在大量重复的三元组，且在预测未来时，这些三元组仍会频繁出现.历史惩罚可以在预测未来时，对历史中未出现过的实体做出惩罚，从而提高实体预测的准确性.为了更具体描述使用的历史惩罚与不使用的历史惩罚，对比 Sta-HisNet 模型和Sta-HisNet-NON-PUN模型的拟合速率.在相同的实验设备上分别计算Sta-HisNet 模型与 Sta-HisNet-NON-PUN模型的拟合轮数.2 种方法训练参数设置相同，批训练大小都设置为 1024，学习率为 0.001，嵌入向量维度相同，训练数据集为ICEWS18、GDELT.为了更充分、全面地对比，在训练轮数分别取0、5、10、20、30、40、50 时，以 MRR 评分指数作为评判指标，具体实验结果如图 4 所示.图 4 中 E 为训练轮数.可以看出，增加历史惩罚的 Sta-HisNet 达到最佳模型的运行轮数明显小于没有增加的，历史惩罚的筛选能够帮助模型去掉部分错误答案，在较小的数据集 ICEWS18 上更为明显，这也进一步表明 Sta-HisNet 在动态知识图谱推理上的快速拟合优势.3.5 时间复杂度实验考虑到动态知识图谱推理是难度较大的多分类问题，因此本研究的 Sta-HisNet 算法通过较复杂的特征处理以挖掘事实间更深层的联系.为了探索复杂特征处理对实际运行时间所造成的影表 4 各模块在 ICEWS18 数据集上的消融实验结果Tab.4Ablation experiment results of different modules onICEWS18dataset模型MRRHits1Hits3Hits10Sta-HisNet-NON-EMB0.47940.42120.50630.5735Sta-HisNet-NON-STA0.48220.49450.50980.5781Sta-HisNet-NON-CONV0.47310.41130.50320.5713Sta-HisNet-NON-LSTM0.46390.40210.49860.5742Sta-HisNet-NON-PUN0.45890.39650.48380.5592Sta-HisNet0.48910.42940.51530.5887表 5 各模块在 GDELT 数据集上的消融实验结果Tab.5Ablation experiment results of different modules onGDELTdataset模型MRRHits1Hits3Hits10Sta-HisNet-NON-EMB0.52630.47100.55520.6112Sta-HisNet-NON-STA0.51860.46360.54690.6039Sta-HisNet-NON-CONV0.52320.46910.55660.6105Sta-HisNet-NON-LSTM0.51450.45980.54630.6012Sta-HisNet-NON-PUN0.50920.44530.53690.5899Sta-HisNet0.53050.47550.56010.61651920浙江大学学报（工学版）第57卷响，本研究在相同的实验设备、相同数据集上分别测试目前实验效果较好的 CyGNET、RE-GCN和 Sta-HisNet 方法在一个回合内的所需时间，这2 种方法的批训练大小都设置为 1024，学习率为0.001，嵌入向量维度相同，且数据集都为ICEWS18、GDELT.Tm如图 5 所示，为模型运行一个回合所需的时间.从图中可以看出，Sta-HisNet 采用更加复杂的特征处理和计算，使得模型训练时间变长.由于历史惩罚导致模型收敛速度变快，使得总体运行时间相差不大.RE-GCN 的一个进化单元就包含有 GCN、GRU 运算模块，运行一回合所需时间也远远超过 CyGNET 模型和 Sta-HisNet 模型.4结语在动态知识图谱中实体往往随着时间而进化，简单的向量嵌入无法满足事实需求.知识图谱存在大量的静态事实，挖掘这些事实信息可以有效地协助动态知识图谱推理.历史事实往往是不断重复的，未来发生的事实可能在过去发生过，运用重复历史事实对动态知识图谱推理大有帮助，因此提出结合静态事实和重复历史事实的动态知识图谱推理.通过在实体嵌入中采用正弦函数，使得实体嵌入结合时间信息.使用 R-GCN对静态事实提取更深层次的特征，并在历史模式中使用历史惩罚，对历史中未发生过的事实进行惩罚，提高重复事实的预测概率.实验结果表明，Sta-HisNet 在预测动态知识图谱的未来事实方面具有良好的性能.在未来的工作中，考虑加入外部动态知识图谱信息如实体类型来增强模型的学习能力.参考文献(References):LIU Z,XIONG C,SUN M,et al.Entity-duet neural ranking:Understandingtheroleofknowledgegraphsemanticsinneuralinformation retrieval C/Proceedings of the 56th AnnualMeeting of the Association for Computational Linguistics.Columbus:ACL,2008:23952405.1JIANGT,LIUT,GET,etal.Encodingtemporalinformationfortime-awarelinkpredictionC/Proceedings of the Conferenceon Empirical Methods in Natural Language Processing.Austin:ACL,2016:23502354.2BORDES A,USUNIER N,GARCIADURAN A,et al.Translatingembeddingsformodelingmulti-relationaldataC/3(a)2 种方法在 ICEWS18 数据集上的最佳轮数对比0102030405000.10.20.30.40.50.6MRRE01020304050ESta-HisNetSta-HisNet-NON-PUN(b)2 种方法在 GDELT 数据集上的最佳轮数对比00.10.20.30.40.50.6MRRSta-HisNetSta-HisNet-NON-PUN图 4 2 种方法在 2 个数据集上的最佳轮数对比Fig.4Comparisonofoptimalnumberofroundsbetweentwometh-odsontwodatasets(a)3 种方法在 ICEWS18 数据集上运行一个回合的所需时间051015202530Tm/minCyGNETRE-GCN Sta-HisNet(b)3 种方法在 GDELT 数据集上运行一个回合的所需时间 020406080100120Tm/minCyGNETRE-GCN Sta-HisNet图 5 3 种方法在 2 个数据集上的运行一个回合的所需时间Fig.5Time required for three methods to run one round on twodatasets第10期林栋,等：结合静态事实和重复历史事实的动态知识图谱推理方法J.浙江大学学报：工学版,2023,57(10):19151922.1921Proceedings of the Neural Information Processing Systems.LakeTahoe:NIP,2013:27872795.WANG Z,ZHANG J,FENG J,et al.Knowledge graphembedding by translating on hyperplanes C/Proceedings ofthe AAAI Conference on Artificial Intelligence.Quebec:AAAI,2014,28(1):11121119.4DAI S,LIANG Y,LIU S,et al.Learning entity and relationembeddings with entity description for knowledge graphcompletion C/Proceedings of the 4th InternationalConference on Artificial Intelligence Technologies andApplications.Chengdu:JPCS,2018:202205.5TROUILLON T,WELBL J,RIEDEL S,et al.ComplexembeddingsforsimplelinkpredictionC/Proceedings of theInternational Conference on Machine Learning.HongKong:ACM,2016:20712080.6SOCHERR,CHEND,MANNINGCD,etal.Reasoningwithneural tensor networks for knowledge base completion C/Proceedings of the Neural Information Processing Systems.LakeTahoe:NIP,2013:926934.7SCHLICHTKRULLM,KIPFTN,BLOEMP,etal.Modelingrelational data with graph convolutional networks C/Proceedings of the European Semantic Web Conference.Heraklion:ESWC,2018:593607.8KIPF T N,WELLING M.Semi-supervised classification withgraph convolutional networks EB/OL.2022-09-01.https:/arxiv.org/abs/1609.02907.9LEBLAYJ,CHEKOLMW.DerivingvaliditytimeinknowledgegraphC/Proceedings of the 27th Internation Conference onWorld Wide Web.Lyons:ACM,2018:17711776.10DASGUPTASS,RAYSN,TALUKDARP.Hyte:hyperplane-based temporally aware knowledge graph embedding C/Proceedings of the Conference on Empirical Methods inNatural Language Processing.Brussels:ACL,2018:20012011.11TRIVEDI R,DAI H,WANG Y,et al.Know-evolve:Deeptemporal reasoning for dynamic knowledge graphs C/Proceedings of the 34th International Conference on MachineLearning-Volume 70.Sydney:ACM,2017:34623471.12JINW,ZHANGC,SZEKELYP,etal.RecurrenteventnetworkforreasoningovertemporalknowledgegraphsC/Proceedingsof the Conference on Empirical Methods in Natural LanguageProcessing.HongKong:ACL,2019:83528364.13LI Z,GUAN S,JIN X,et al.Complex evolutional patternlearning for temporal knowledge graph reasoning C/Proceedings of the 60th Annual Meeting of the Association forComputational Linguistics.Dub