知识图谱嵌入模型中的损失函数研究综述_申秋慧.pdf

h t t p:/ww w.j s j k x.c o mD O I:1 0.1 1 8 9 6/j s j k x.2 1 1 2 0 0 1 7 5到稿日期:2 0 2 1-1 2-1 5 返修日期:2 0 2 2-0 9-0 5基金项目:国家自然科学基金(6 1 8 0 6 2 2 1)T h i sw o r kw a ss u p p o r t e db yt h eN a t i o n a lN a t u r a lS c i e n c eF o u n d a t i o no fC h i n a(6 1 8 0 6 2 2 1).通信作者:张宏军(j s n j z h j_l g d x 1 6 3.c o m)知识图谱嵌入模型中的损失函数研究综述申秋慧1张宏军2徐有为1王 航1程 恺21陆军工程大学研究生院 南京2 1 0 0 0 72陆军工程大学指挥控制工程学院 南京2 1 0 0 0 0(m a p l e_d a n c i n g z k n u.e d u.c n)摘 要 表达方式丰富直观的知识图谱得到了大量学者的关注。在知识图谱嵌入方面已积累了大量研究,其成果在电商、金融、医药、交通、智能问答等领域发挥了重要的作用。其中,损失函数在知识图谱嵌入模型的训练阶段起到了非常关键的作用。在现有知识图谱嵌入研究的基础上,根据基础损失函数把模型中使用的损失函数梳理为合页损失、逻辑回归损失、交叉熵损失、对数似然损失、负采样损失和均方误差损失六大类,并逐类详细分析了损失函数的原型公式、物理含义和其在知识图谱嵌入模型中的扩展、演变及应用。在此基础上,对静态和动态两大知识图谱场景中各种损失函数的使用情况、效率和收敛性进行了综合分析评价;根据分析结果,结合知识图谱的发展应用趋势和损失函数现状,对损失函数的未来研究方向进行了探讨。关键词:知识图谱;损失函数;嵌入模型;知识表示学习中图法分类号 T P 3 1 1 C o m p r e h e n s i v eS u r v e yo fL o s sF u n c t i o n s i nK n o w l e d g eG r a p hE m b e d d i n gM o d e l sS HE NQ i u h u i1,Z HANG H o n g j u n2,X U Y o u w e i1,WAN G H a n g1a n dCHE N GK a i21S c h o o l o fG r a d u a t e,A r m yE n g i n e e r i n gU n i v e r s i t yo fP L A,N a n j i n g2 1 0 0 0 7,C h i n a2C o l l e g eo fC o mm a n da n dC o n t r o lE n g i n e e r i n g,A r m yE n g i n e e r i n gU n i v e r s i t yo fP L A,N a n j i n g2 1 0 0 0 0,C h i n a A b s t r a c t D u et oi t sr i c ha n di n t u i t i v ee x p r e s s i v i t y,k n o w l e d g eg r a p hh a sr e c e i v e dm u c ha t t e n t i o no fm a n ys c h o l a r s.Al o to fw o r k sh a v eb e e na c c u m u l a t e di nk n o w l e d g eg r a p he m b e d d i n g.T h er e s u l t so ft h ew o r k sh a v ep l a y e da ni m p o r t a n tr o l ei ns o m ef i e l d s,s u c ha se-c o mm e r c e,f i n a n c e,m e d i c i n e,t r a n s p o r t a t i o na n d i n t e l l i g e n tQ&A.I n t h ek n o w l e d g eg r a p he m b e d d i n gm o d e l,t h el o s s f u n c t i o np l a y s ak e yr o l e i n i t s t r a i n i n gs t a g e.B a s e do n t h e e x i s t i n gr e s e a r c ho f k n o w l e d g eg r a p he m b e d d i n g s,t h i sp a p e r c l a s-s i f i e st h e l o s s f u n c t i o n su s e d i nt h em o d e l i n t os i xc a t e g o r i e s:h i n g e l o s s,l o g i s t i c l o s s,c r o s se n t r o p y l o s s,l o g l i k e l i h o o d l o s s,n e g a-t i v es a m p l i n g l o s sa n dm e a ns q u a r e e r r o r l o s s.T h ep r o t o t y p e f o r m u l aa n dp h y s i c a lm e a n i n go f l o s s f u n c t i o n s a n d t h e i r e x p a n s i o n,e v o l u t i o na n da p p l i c a t i o n i nk n o w l e d g eg r a p he m b e d d i n gm o d e l s a r e a n a l y z e d i nd e t a i l o n eb yo n e.B a s e do n t h ea b o v e,t h eu s a g e,e f f i c i e n c ya n dc o n v e r g e n c e o f v a r i o u s l o s s f u n c t i o n s i n t h e s t a t i c a n dd y n a m i ck n o w l e d g eg r a p hs c e n a r i o s a r e c o m p r e h e n s i v e l ya n a-l y z e da n de v a l u a t e d.A c c o r d i n gt ot h ea n a l y s i sr e s u l t s,c o m b i n e dw i t ht h ed e v e l o p m e n ta n da p p l i c a t i o nt r e n do fk n o w l e d g eg r a p ha n dt h ec u r r e n t s i t u a t i o no f l o s s f u n c t i o n s,t h e f u t u r ew o r k so f l o s s f u n c t i o n sa r ed i s c u s s e d.K e y w o r d s K n o w l e d g eg r a p h,L o s s f u n c t i o n,E m b e d d i n gm o d e l,K n o w l e d g er e p r e s e n t a t i o n l e a r n i n g 1 引言知识图谱嵌入(K n o w l e d g eG r a p hE m b e d d i n g,K G E)可以对大型知识图谱进行高效可扩展的操作,有利于改进链接预测1-2、图谱补全3和实体解析4等下游任务的结果。KG E模型从知识图谱中学习实体、关系及结构。具体地说,嵌入的目标是根据关联性将连接头实体和尾实体的三元组(头实体、关系、尾实体)按关系类型排序。用实体和关系嵌入之间的各种交互作用计算三元组排名。这些交互作用通常反映在特定于模型的评分函数中。近年来有许多研究提出了很多不同的嵌入模型,但这些工作主要集中在新的评分函数的设计上,而对表示学习过程的核心部分损失函数却没有给予太多的关注,但是训练过程中的损失函数会显著影响K G E模型的 行 为。例 如,文 献 5 的 研 究 发 现,模 型H o l E6和C o m p l E x7的评分函数相同,但运行结果不同;文献8 对出现这种现象的原因进行了研究,结论是H o l E使用了基于间隔的排名损失,而C o m p l E x使用的是对数似然损失,这表明损失函数对于深入理解,甚至改进不同K G E模型的性能非常重要。基于此,开展了本项研究,主要完成了如下工作。(1)对K G E模型中的损失函数进行了分类:研究了现有6 4种单个KG E模型(包括传统的静态K G E模型和近期的动态K G E模型),对其进行了深入的分析,把模型中使用的损失函数概括为六大类。(2)评价了K G E模型不同场景下的损失函数:根据模型假设,先把知识图谱分为静态和动态两大类,又把静态模型分为距离、几何、语义匹配、神经网络和附加信息5类,逐个类别地分析其使用的损失函数,并在效率、收敛性和适用性方面进行了分析评价。(3)展望了K G E中损失函数的未来研究方向:基于综合分析结果和当前损失函数存在的问题,从匹配、迁移、复合及负样本4个方面对未来损失函数的研究进行了全面的展望。第2节概述了K G E模型、评分函数、损失函数及表示学习过程;第3节对K G E中的损失函数进行了总结分类,并对每一类进行了详细的研究分析;第4节对损失函数进行了综合分析与评价;第5节描述了目前K G E模型中损失函数存在的问题,讨论了未来可能的损失函数设计模式及研究方向;最后进行全文总结。2 问题定义知识图谱是为了结构化地表示知识,通常用多关系有向图表示,图中的节点表示实体,边表示实体之间的关系。一般将知识图谱定义为G=E,R,T,其中E是实体集合,R是关系集合,TERE是三元组集合,三元组(h,r,t)T表示G中所有存在的事实三元组,h是头实体,t是尾实体,h和t都属于实体集合E,rR是h和t之间的有向关系。一个三元组(h,r,t)成立,就表示知识图谱中存在该事实三元组。知识图谱嵌入也叫知识表示学习(K n o w l e d g eR e p r e s e n-t a t i o nL e a r n i n g,K R L),指的是把知识图谱中的实体通过编码模型表示成空间向量。若c(*)表示编码模型中的投影函数,e表示实体,则c(e)=e,即实体e经过投影变换成一个向量e。如果模型中区分了头尾实体,那么头实体h和尾实体t的嵌入向量分别记为h和t。很多时候为了学习到实体与实体之间的复杂语义信息,也把关系r用到编码模型中,用r表示r的嵌入向量。知识表示学习过程如图1所示。图1 知识表示学习过程F i g.1 P r o c e s so fk n o w l e d g er e p r e s e n t a t i o n l e a r n i n g 设计阶段考虑模型的表征空间(R e p r e s e n t a t i o nS p a c e)、评分函数(S c o r eF u n c t i o n)、编码模型(E n c o d i n gM o d e l s)和是否包含附加信息(A u x i l i a r yI n f o r m a t i o n),训练阶段是输入样本使用损失函数(L o s sF u n c t i o n)训练模型,求解模型参数,最后在通用数据集上执行训练好的模型,对模型进行评测。为了度量三元组的可信性,更准确地学习到知识图谱的结构特征,完成知识图谱中的语义信息表示,就需要设计一个评分函数。评分函数用f(*)表示,输入正例三元组,评分函数可以计算得到一个数值,用f(h,r,t)表示。同时,用f(h,r,t)表示输入负例三元组的结果。这里正例三元组就是集合T中的三元组,也叫正样本,是G中真实存在的;负例三元组集合用T-表示,也叫负样本,通常定义为T-=(h,r,t)|h Eh h(h,r,t)T(h,r,t)|t Et t(h,r,t)T。希望能通过分数的不同,预测某个样本中的三元组是真实存在的还是不存在的,也就是希望通过评分函数能够得到三元组属于某个类别的得分值。如果预测错了,就需要使用损失函数把错误信息反馈给模型。损失函数是在模型的训练阶段描述预测值和真实值之间差距的函数,用L表示。损失函数也叫代价函数(C o s tF u n c-t i o n),通过损失函数迭代、优化模型的分类效果,L的值越大表示分类效果越差,L的值越小表示分类效果越好,对模型来说最好的是损失函数值为零。同时,模型中的一些参数值也是通过训练过程求得的。图2给出了K G E模型中评分函数与损失函数的关系。图2 评分函数与损失函数的关系F i g.2 R e l a t i o n s h i pb e t w e e ns c o r i n gf u n c t i o na n d l o s s f u n c t i o n在样本和评分函数相同的情况下,不同的损失函数表现是不一样的,损失函数对模型的行为和训练效率会产生显著影响。接下来对单个知识图谱嵌入模型中的损失函数进行详细分析。3 损失函数分类根据基础数学公式,KG E模型中常用的损失函数主要包括六大类,分别是合页损失、逻辑回归损失、交叉熵损失、对数似然损失、负采样损失和均方误差损失。损失函数分类体系051C o m p u t e rS c i e n c e计算机科学V o l.5 0,N o.4,A p r.2 0 2 3及各模型归属情况如图3所示。下面分别从基础数学表达式和在KG E中的应用扩展两个方面对损失函数进行介绍。图3 损失函数分类与各模型归属情况F i g.3 C l a s s i f i c a t i o no f l o s s f u n c t i o na n da t t r i b u t i o no f e a c hm o d e l3.1 合页损失合页损失(H i n g eL o s s)又叫铰链损失,适合于解决二分类问题,是机器学习中常用的损失函数之一。数学表达式为:L(y)=m a x(0,1-yy)(1)其中,y是标签,取值为-1或1;yR是预测值。当yy1时,损失为1-yy,也就是y(-1,1),分类不确定;当yy1时,损失为0,也就是y1或y-1,是确定的分类结果。但在实际的应用中,很多时候y的取值并不是-1或1,而是更接近于一个概率,值域是0,1;或者模型训练的是两个样本之间的相似关系,而非样本的整体分类,所以合页损失就有了如下的一个变种:L(y,y)=m a x(0,m-y+y)(2)其中,y是正样本得分;y 是负样本得分;m是一个数值,表示最大间隔,正负样本得分之差最多到m就可以了。KG E中 基 于 间 隔 的 排 名 损 失(M a r g i n-b a s e d R a n k i n gL o s s)就是在合页损失的基础上扩展的。比如在模型UM9,S E1 0,TA T E C1 1和D i s t M u l t1 2中,损失函数为:L=(h,r,t)T(h,r,t)T-m a x(0,1-f(h,r,t)+f(h,r,t)(3)其中,f(h,r,t)是正样本得分,f(h,r,t)是负样本得分,正负样本得分之差为1。但在模型的实际训练中,间隔设置为1并不总能得到一个好的结果,因此需要调整间隔以获得更好的结 果,在 模 型T r a n s F1 3,T r a n s R1 4,H o l E6,T K R L1 5,D K R L1 6,I K R L1 7和H y T E1 8中就把间隔设置为了一个可变的参数,具体公式为:L=(h,r,t)T(h,r,t)T-m a x(0,-f(h,r,t)+f(h,r,t)(4)在训练时不断调整的值,以达到模型最好的分类效果。值得一提的是,目前KG E的研究中用到的基于间隔的排名 损 失 的 模 型 还 有 很 多,如T r a n s E1,T r a n s D1 9,T r a n S p a r s e2 0,I T r a n s F2 1,M a n i f o l d E2 2,KG 2 E2 3,S T r a n s E2 4,P T r a n s E2 5,T r a n s M2 6,T o r u s E2 7和T T r a n s E2 8,但其与式(4)的写法略有不同,如式(5)所示:L=(h,r,t)T(h,r,t)T-f(h,r,t)+f(h,r,t)+(5)其中,x+表示m a x(x,0),也就是说式(4)与式(5)只是写法上不同,实质是一样的,都是通过一个好的间隔参数将正样本和负样本的得分差异最大化。另 外,在 模 型T r a n s H2,T r a n s A2 9,T r a n s A t3 0和N TN3 1中,为了保证正确分类的分值越大越好,错误分类的分值越小越好,在损失函数中添加了正则化项;同时,还为各自模型的具体目标及下游任务添加了约束项,概括为式(6)所示:L=(h,r,t)T(h,r,t)T-f(h,r,t)+f(h,r,t)+22+C22(6)其中,22表示正则化项,通常表示模型参数,是系数;C22表示约束项,一般是实体或关系的一些线性或非线性函数组合,C是约束项系数。3.2 逻辑回归损失逻辑回归损失(L o g i s t i cL o s s)也叫对数损失,适用于逻辑回归模型。数学表达式如下:L=1nni=1l o g(1+e-yif(xi)(7)其中,yi是样本标签,取值为1;xi是特征向量;f(xi)是假设函数,当f(xi)趋近于正无穷或负无穷时,损失接近于零。在KG E模型中,A T TH3 2,C a p s E3 3和ANA L O G Y3 4模型使用的就是标准的逻辑回归损失函数,其中把正样本的标签设为1,负样本的标签设为-1,式(7)中的假设函数就可以用相应模型中的评分函数代替:L=(h,r,t)TT-l o g(1+e x p(-t(h,r,t)f(h,r,t)(8)其中,t(h,r,t)表示标签,当(h,r,t)T时,t(h,r,t)=1;当(h,r,t)T-时,t(h,r,t)=-1。另外,在训练过程中,为了使正负样本尽可能分离,且总损失最小,必须加正则化项,找到与训练数据拟合好的最简单模型。比 如,模 型C o m p l E x7,S i m p l E3 5,Q u a t E3 6,C o n v-K B3 7和D i h E d r a l3 8都使用的是添加了正则化项的逻辑回归损失函数,使训练好的模型更精确,更适合于链接预测、关系预测等任务,如式(9)所示:151申秋慧,等:知识图谱嵌入模型中的损失函数研究综述L=(h,r,t)TT-l o g(1+e x p(-t(h,r,t)f(h,r,t)+122+2W22(9)其中,正则化项122和2W22是可以根据需要增减的,可以用一个正则化项,也可以用两个正则化项。比如,模型Q u a t E就用了两个正则化项,模型C o m p l E x,S i m p l E,C o n-v K B和D i h E d r a l则用了一个。1和2是系数,和W通常是模型中的参数。最后,如果把正负样本的标签分别设为1和0,可以把逻辑回归损失函数转换为二元交叉熵损失的形式。也就是说,当yi0,1 时,逻辑回归损失与二元交叉熵损失等价。3.3 交叉熵损失交叉熵损失(C r o s sE n t r o p yL o s s)是基于概率分布度量的损失函数,用于评估当前训练得到的概率分布与真实分布的差异情况。差异越小,损失就越小,两个概率分布就越相似。在使用交叉熵损失的模型中,为了提高模型的预测精度,可以使用T a n h,S i g m o i d,S o f t m a x或R e L U作为激活函数,使神经网络的每一层输出从线性组合转化为非线性逼近。数学表达式为:L=-1nnip(xi)l o g(q(xi)(1 0)其中,p(xi)是样本真实概率分布,q(xi)是预测概率分布。训练过程需要尽量缩小两个概率分布的差异,使预测概率分布尽可能达到真实概率分布。如果模型只有两个类别,把正样本的概率记为p(xi),那么负样本的概率就是1-p(xi),此时可得到如下的二元交叉熵损失函数:L=-1NNi(p(xi)l o g(q(xi)+(1-p(xi)l o g(1-q(xi)(1 1)因为K G E模型在很多情况下都是基于正负样本进行训练的,所以二元交叉熵损失使用得非常多。比如,模型T u c k-E R3 9,M u R P4 0,C o n v E4 1,S A C N4 2,H y p E R4 3,R-G C N4 4,C o n v R4 5和MK B E4 6,就是把模型输出的向量通过S i g m o i d函数压缩至0到1之间,然后使用如式(1 1)所示的二元交叉熵损失函数缩小概率分布差异。但是K G E模型中还存在一些多 分类 任务,比如C y G-N e t4 7和K G-B E R T4 8模型使用的就是多分类交叉熵损失函数。多分类交叉熵损失函数和二元交叉熵损失的推导思路相同,数学表达式如下:L=-1nni=1 Kk=1p(xki)l o g(q(xki)(1 2)其中,K表示类别数,p(xki)表示各个类别发生的概率,q(xki)表示预测的各个类别发生的概率。在多分类情况下,各类别概率之和必须等于1。因为S i g m o i d函数虽然能把向量压缩到0和1之间,但是不能保证各个输出向量压缩后的和为1,所以用S o f t m a x代替S i g m o i d对输出向量进行归一化。因此多分类交叉熵损失又叫S o f t m a x交叉熵损失。在C y G N e t模型中,因为评分函数的结果本身就是概率,所以直接使用的就是多分类交叉熵损失函数。但在模型P o i n c a r 4 9,P r o j E5 0和HO L E X5 1中,评分函数的输出不是概率,因此把式(1 2)中的q(xki)用一个S o f t m a x函数代替,并把评分函数或嵌入向量的函数组合作为该S o f t m a x函数的参数。3.4 对数似然损失似然函数(L i k e l i h o o dF u n c t i o n)是一种根据观测结果估计模型中参数的函数,一般是指数类型函数。为了在不影响单调性的情况下便于计算,就把它取了对数,称为对数似然函数(L o gL i k e l i h o o dL o s s)。在K G E模型中,很多时候评分函数的设计是包含指数类型的,为了便于参数的计算,就把损失函数设置成了对数似然函数。比如,在模型K R-E A R5 2中使用的损失函数是:L=l o gp(f(h,r,t)+C()(1 3)其中,p(x)表示的是三元组的预测概率,是系数,C(x)是约束函数,是模型参数。对数似然是对概率分布求对数,概率值一般在0和1之间,当对数的底大于1时,对数函数是单调递增的,也就是说概率越大,损失函数的值越大,这显然不方便求解。为了让概率值接近于1时整体函数值接近于0,自然就想到了把对数函数取负号,也就是所谓的负对数似然函数(N e g a t i v eL o gL i k e l i-h o o dL o s s),文献中常看到的负对数似然损失就是由此而来。比 如,模 型K B L R N5 3,p L o g i c N e t5 4,T r a n s G5 5,C r o s s E5 6,K n o w-E v o l v e5 7,C h r o n o R5 8和R E-N E T5 9中用到的损失函数就是负对数似然损失,虽然细节不完全一致,但概括形式如式(1 4)所示:L=-(h,r,t,)Gl o gp(t|h,r)+1l o gp(r|h)+2l o gp(h)(1 4)其中,四元组(h,r,t,)是在原三元组的基础上加入了时间维度,表示时间,l o gp(t|h,r)表示时刻的概率,1和2用来调整预测中先验概率所占的比重,类似于正则化项,有些文献中也直接使用类似式(9)中的正则化项来代替它。还有一些复合形式,比如在模型L FM6 0和NAM6 1中,损失函数如式(1 5)所示:L=(h,r,t)Tl nf(h,r,t;)+(h,r,t)T-l n(1-f(h,r,t;)(1 5)函数中的第一项是正样本的似然,第二项是1减去负样本的似然,两项求和的最小值让正样本的概率更接近于1。另外,在二分类情况下,当标签值为0和1时,负对数似然损失也可转换为交叉熵损失。3.5 负采样损失负采样(N e g a t i v eS a m p l i n gL o s s)是噪声对比估计(N o i s eC o n t r a s t i v eE s t i m a t i o n,N C E)方法的一个变种。N E C用噪声对比估计替换层级S o f t m a x,它假设一个好的模型能够通过逻辑 回 归 区 分 数 据 和 噪 声,由G u t m a n n和H y v r i n e n提出6 2,被文献6 3 运用到语言模型中,通过将数据样本和噪声样本混合来训练模型。虽然N C E可以近似最大化S o f t-m a x的对数概率,但负采样模型只关心学习到高质量的向量表示,因此只要向量表示能够维持高质量,就可以随意地简化N C E。由此简化后定义的公式称为负采样6 4,如下所示:L=l o g(v Tw ovw I)+ki=1Ew iPn(w)l o g(-v Tw ivw I)(1 6)其中,l o g(v Tw ovw I)表示正样本概率分布的对数,ki=1Ew iPn(w)251C o m p u t e rS c i e n c e计算机科学V o l.5 0,N o.4,A p r.2 0 2 3l o g(-v Tw ivw I)表示k个负样本概率对数的期望。在K G E模型R S N s6 5,R o t a t E6 6和HAK E6 7中又对负采样进行了扩展,加负号,从求最大化似然改为最小化损失,如式(1 7)所示:L=-l o g(-f(h,r,t)-ni=1p(hi,r,ti)l o g(f(hi,r,ti)-)(1 7)其中,和前文一样表示间隔;p(hi,r,ti)是负样本的采样概率,作为负样本的权重。相比完全使用负样本的损失函数,负采样损失可以显著提高知识图谱嵌入学习的效率7。3.6 均方误差损失均方误差损失(M e a nS q u a r eE r r o rL o s s,M S E)是预测值与标签之差的平方和再求平均值,如式(1 8)所示:L(y)=1nni=1(yi-yi)2(1 8)其中,yi和yi分别表示样本中第i个元素的标签和预测值。M S E的值域是0,+,当预测值与标签完全相同时,损失为0;否则,差距越大,损失越大。模型R E S C A L4和T R E S C A L6 8中使用的损失函数就是M S E的扩展,在M S E的基础上添加了正则化项。具体如式(1 9)所示:L=12i,j,k(i j k-aTiRkaj)2+12(A2F+kRk2F)(1 9)R E S C A L和T R E S C A L模型是基于张量分解的,i j k表示三元组,类似于标签;A是实体嵌入矩阵,Rk是关 系矩 阵,aTiRkaj是学习到的三元组,是预测值,是正则化因子系数。这里包含正则化项,是为了防止模型过拟合。4 嵌入模型损失函数分析4.1 嵌入模型分类根据文献6 9,结合模型假设,可把知识图谱分为静态和动态两类。对于静态知识图谱,参考综述性文献7 0-7 6,考虑表征空间、评分函数和附加信息,又可把嵌入模型分为距离模型、几何模型、神经网络模型、语义匹配模型和附加信息模型5类,模型的具体归属情况如图4所示。下面针对上述每一类模型中使用的损失函数进行分析与评价。图4 模型分类与归属F i g.4 M o d e l c l a s s i f i c a t i o na n da t t r i b u t i o n4.2 静态知识图谱静态知识图谱指三元组不随时间变化。目前的知识图谱嵌入模型研究主要集中在静态知识图谱上。第3节中描述的6类损 失 函 数 在 静 态 知 识 图 谱 各 模 型 中 的 使 用 情 况 如图5所示。图5 静态知识图谱中损失函数的使用情况F i g.5 U s a g eo f l o s s f u n c t i o n s i ns t a t i ck n o w l e d g eg r a p h4.2.1 距离模型距离模型中使用的是基于距离的评分函数。这类评分函数在设计时考虑的是头实体和尾实体之间的距离,把关系用作转换向量或投影矩阵,变换之后正例三元组头实体和尾实体之间的距离接近,负例三元组头实体和尾实体之间的距离较远,即正样本的得分较低,负样本的得分较高。训练时只要能区分正负样本的得分就可以了,因此比较适合使用合页损失函数。合页损失在yy=1处是不可导的,因此优化时不能使用梯度下降算法,只能使用次梯度下降法。在KG E中,合页损失通常要根据具体样本设置,并调整间隔参数以达到好的分类结果,优化到满足小于一定的间隔距离就会停止。因此,合页损失对噪声和异常点不敏感,健壮性较好。又因为不是一直优化,所以在样本量和评分函数相同的情况下,合页损失比交叉熵损失、对数似然损失和逻辑回归损失效率高。对于一些实时性要求高而不高度关注准确性的任务,合页损失非常适合。从图5中还可以看到,距离模型中也有使用对数似然损失的模型,原因是该模型的评分函数虽然是基于距离的,但评分函数中的转换向量的主分量是指数形式,为了降低计算量,提高训练的速度,只好把指数转换为对数形式,因此使用对数似然损失比较合适。因此,如果设计的嵌入模型中评分函数是基于距离的,无论表征空间是欧氏空间、复数空间,还是流形空间,可以优先考虑使用合页损失进行训练;若为了更好地表示三元组特征,设计的评分函数过于复杂,比如有指数因子或连乘情况,就要考虑对数似然损失了。4.2.2 语义匹配模型语义匹配模型采用的是基于相似性的评分函数,通过匹配实体的潜在语义和投影到向量空间中的关系来衡量三元组的合理性。正例三元组相似度高,负例三元组相似度低。与距离模型相比,语义匹配模型中的评分函数通常用乘法算子表示实体和关系嵌入向量之间的交互关系。因为评分函数中有乘法算子,所以语义匹配模型中损失函数的使用比较多样,如图5所示。351申秋慧,等:知识图谱嵌入模型中的损失函数研究综述若乘法算子相对简单,如简单的线性函数,使用合页损失;若评分函数是由几个乘法算子的线性组合而成的,如模型D i s t M u l t和C o m p l E x,逻辑 回归 损失 通 常能 产生 更好 的 结果。逻辑回归损失函数处处光滑,可以使用梯度下降法进行优化,但它对所有样本点都做惩罚,因此对异常点比较敏感。最小化逻辑回归损失有助于为某些复杂的关系模式(如传递关系)找到紧凑的表示。若乘法算子相对复杂,即评分函数是由三元组的各嵌入向量及相关投影矩阵的连乘构成的,通常使用均方误差损失或交叉熵损失进行训练。均方误差损失是凸函数,处处可导,有利于求解优化问题,但均方误差中的平方计算放大了标签和预测值之间的距离,所以该损失函数对异常值比较敏感;且它的总体误差会随着模型复杂度的上升而先下降后上升,所以通常在均方误差损失中添加正则化项进行调整。虽然均方误差在误差很大时梯度也很大,训练初期很不稳定,容易梯度爆炸,但在KG E中使用均方误差损失训练起来较为简单,不像基于间隔的排名损失一样需要在训练中配置参数,缩小了超参数的搜索空间;而且,如果在训练时使用固定的学习率,也能很快收敛到最小值。因此,当评分函数的连乘规模不大时,使用均方误差是非常合适的。但当连乘规模变大时,计算复杂度上升,均方误差的收敛速度就会变慢,这时可以考虑交叉熵损失。交叉熵损失完美解决了均方误差权重更新过慢的问题,在误差大时权重更新快,在误差小时权重更新慢。因此,若设计语义匹配模型,在评分函数和样本量相同时,先使用均方误差损失进行训练,若效果不好,再考虑使用交叉熵损失。4.2.3 几何模型几何模型指把三元组表征到复数、高斯、环面、双曲空间等其他非欧空间的模型,通常把关系作为语义空间中的复杂几何变换,评分函数表示经过变换后的头实体与尾实体的距离。前面提到基于距离的评分函数可以优先考虑使用合页损失进行优化,所以在几何模型中也使用合页损失(如图5所示)。但大部分几何变换比较复杂,使用合页损失计算复杂性太高,优化速度慢。为了降低计算复杂性,更多地采用了由对数组成的交叉熵损失和逻辑回归损失,这两种损失在优化时能把指数连乘变成对数相加的形式,减小了计算时参数所占的空间,提升了学习的效率。为了进一步提升几何模型的学习效率,引入了负采样损失。在模型训练的最后一层,很多时候要计算概率分布,一般采用S o f t m a x形式计算概率,然后用最大似然法估计参数,但这种方法要遍历所有三元组,计算量巨大。为了避免巨大的计算量,就需要对节点进行负采样,选择一部分负样本不仅能提升训练的速度,还能减少更新权重的数量,尤其是在评分函数中含有复杂几何变换时效果更加明显。4.2.4 神经网络模型神经网络模型指将三元组作为输入,借助神经网络强大的特征捕获能力把知识图谱表征到特征空间,学习到实体与关系的特征表示。交叉熵损失是神经网络中最常使用的分类损失函数,可以有效避免梯度消散。在神经网络模型中使用的损失函数以交叉熵损失为主,如图5所示。虽然早期的神经网络模型也使用过合页损失,但那是因为早期使用基于平移距离的评分函数,有时评分函数的结果是负的,模型不能产生正的输出,不能使用交叉熵损失。在不能使用交叉熵损失的情况下,为了进一步优化取得更精确的结果,而不是优化到一定的间隔就停止,就采用了可以持续优化的逻辑回归损失。相比逻辑回归损失,交叉熵损失能够度量概率分布,更适合用在分类问题上,尤其是在正负样本不均衡的分类问题中,逻辑回归损失会因为平均而忽略小类别样本,但交叉熵损失不会,其结合神经网络最后一层的归一化输出,能够达到更好的分类效果。4.2.5 附加信息模型附加信息模型指在知识图谱嵌入时将文本、图片、实体类型或关系路径等作为额外的辅助信息。通过附加信息补充实体语义,加强结构嵌入,促进更有效的知识表示。目前的附加信息模型都是由已有的传统嵌入模型加上附加信息发展而来的。通常,传统模型使用哪类损失函数,改进的附加信息模型也使用哪类损失函数。比如,模型D K R L是由T r a n s E加上文本描述信息构成的,因此和T r a n s E一样使用合页损失。值得一提的是模型MT-K GNN7 7和UK G E7 8,它们同时采用两个损失函数,一个学习结构信息,一个学习附加信息。MT-K GNN采 用 的 是 交 叉 熵 损 失 和 均 方 误