子图增强的实时同名消歧.pdf

第3 8卷 第1期2 0 2 4年1月中文信息学报J OUR NA LO FCH I N E S EI N F O RMAT I ONP R O C E S S I NGV o l.3 8,N o.1J a n.,2 0 2 4文章编号:1 0 0 3-0 0 7 7(2 0 2 4)0 1-0 0 4 5-1 2子图增强的实时同名消歧韩天翼1,2,程欣宇1,2,张帆进3,陈 波3(1.贵州大学 公共大数据国家重点实验室,贵州 贵阳5 5 0 0 2 5;2.贵州大学 文本计算与认知智能教育部工程研究中心,贵州 贵阳5 5 0 0 2 5;3.清华大学 计算机科学与技术系,北京1 0 0 0 8 4)摘 要:实时同名消歧旨在实时、准确地将具有歧义的作者姓名的新增论文关联到同名候选作者中的正确作者。当前同名消歧算法主要解决冷启动同名消歧问题,较少探索如何高效并有效地解决实时同名消歧问题。该文提出了子图增强的实时同名消歧模型R N D-a l l,该模型通过高效地融合待消歧论文与候选作者之间的结构特征来提升模型的准确率。模型根据待消歧论文的属性与同名候选作者的档案分别构建子图,使用子图结构特征提取框架来计算图相关性特征,最后,通过特征工程以及文本嵌入方法计算语义匹配特征,并利用集成学习实现语义信息与结构信息的融合。实验结果表明,融入结构信息能够有效提升实时同名消歧任务的准确性,R N D-a l l在百万级同名消歧基准Wh o I s W h o测试集上效果排名第一。关键词:实时同名消歧;图神经网络;结构信息;集成学习中图分类号:T P 3 9 1 文献标识码:AR e a l-t i m eN a m eD i s a m b i g u a t i o nw i t hS u b g r a p hE n h a n c e m e n tHANT i a n y i1,2,CHE N GX i n y u1,2,Z HAN GF a n j i n3,CHE NB o3(1.S t a t eK e yL a b o r a t o r yo fP u b l i cB i gD a t a,G u i z h o uU n i v e r s i t y,G u i y a n g,G u i z h o u5 5 0 0 2 5,C h i n a;2.E n g i n e e r i n gR e s e a r c hC e n t e ro fT e x tC o m p u t i n g&C o g n i t i v e I n t e l l i g e n c e,M i n i s t r yo fE d u c a t i o n,G u i z h o uU n i v e r s i t y,G u i y a n g,G u i z h o u5 5 0 0 2 5,C h i n a;3.D e p a r t m e n to fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,T s i n g h u aU n i v e r s i t y,B e i j i n g1 0 0 0 8 4,C h i n a)A b s t r a c t:R e a l-t i m en a m ed i s a m b i g u a t i o na i m s t oa c c u r a t e l ya s s o c i a t en e wp a p e r s t o t h e c o r r e c t a u t h o r a m o n gs a m e-n a m ec a n d i d a t e si nr e a l-t i m e.T h i sp a p e rp r o p o s e sas u b g r a p h-e n h a n c e dr e a l-t i m en a m ed i s a m b i g u a t i o n m o d e l,R N D-a l l,w h i c hu s e s t h e s t r u c t u r a l f e a t u r e sb e t w e e nt h ed i s a m b i g u a t i o np a p e r a n dt h e c a n d i d a t ea u t h o r s t o i m p r o v et h ea c c u r a c y.I n t h i sm o d e l,w e c o n s t r u c t s u b g r a p h sb a s e do n t h e a t t r i b u t e s o f t h ep a p e r t ob ed i s a m b i g u a t e da n d t h ep r o f i l e so f t h ec a n d i d a t ea u t h o r sw i t ht h es a m en a m e,r e s p e c t i v e l y.T h e nas u b g r a p hs t r u c t u r ef e a t u r ee x t r a c t i o nf r a m e w o r k i se s t a b l i s h e dt oc a l c u l a t eg r a p h-c o r r e l a t i o nf e a t u r e s.F i n a l l y,t h ee n s e m b l el e a r n i n gi sa p p l i e dt oi n-t e g r a t e t h es t r u c t u r a l i n f o r m a t i o na n dt h es e m a n t i ci n f o r m a t i o n,w h i c ha r ed e r i v e db yf e a t u r ee n g i n e e r i n ga n ds e-m a n t i c t e x t e m b e d d i n g.E x p e r i m e n t a l r e s u l t ss h o wt h a t i n c o r p o r a t i n gs t r u c t u r a l i n f o r m a t i o nc a ne f f e c t i v e l y i m p r o v et h ea c c u r a c yo f r e a l-t i m en a m ed i s a m b i g u a t i o nt a s k s,a n dR N D-a l l r a n k sf i r s to nt h et e s ts e to fm i l l i o n-l e v e ln a m ed i s a m b i g u a t i o nb e n c h m a r kWh o I s W h o.K e y w o r d s:r e a l-t i m en a m ed i s a m b i g u a t i o n;g r a p hn e u r a l n e t w o r k;s t r u c t u r a l i n f o r m a t i o n;e n s e m b l e l e a r n i n g收稿日期:2 0 2 3-0 4-0 8 定稿日期:2 0 2 3-0 6-3 0中 文 信 息 学 报2 0 2 4年0 引言同名消歧旨在确定文献中具有歧义的作者姓名的具体指代对象。随着科技与信息产业的高速发展,各个领域的研究论文与专利发表数量急剧增加,导致了大量作者同名问题以及指代不明的情况。因此,针对同名作者的消歧成为确保谷歌学术、中国知网、AM i n e r等在线学术平台正常运行的关键环节,消歧的准确性对专家发现、学术评估等相关下游任务具有重要意义。同名消歧属于命名实体消歧的范畴1,其消歧对象为具有歧义的作者姓名。尽管同名消歧问题已经研究了数十年2-5,但目前还远没有彻底解决。这导致部分学者需要时常地向谷歌学术反馈消歧有误的论文,否则论文的统计指标(如被引用数等)会受到噪声影响。以往的同名消歧相关研究主要聚焦在冷启动问题,即如何将一批具有相同作者姓名的论文划分为多个归属于不同作者的论文簇3-4,6。该问题通常用于从零构建同名学者档案。当前学术平台经过长期运营已经建立起大量学者档案。截止2 0 2 3年3月,在线学术平台AM i n e r从多个数据源累计整合了超过1亿名专家学者的档案和3.3亿篇文献,而且平均每个月约有7 5万篇新论文入库。学术平台不仅需要收录新增的论文,还需要将论文与现有平台作者进行匹配关联。然而,相同的姓名并不能代表唯一的作者,一篇新增文献中的作者姓名可能对应到平台中多位同名作者。如图1所示,对于新论文中作者名“Y a n gY a n g”,平台已存在多位同名的作者档案,实时同名消歧需要将新论文准确地分配给众多同名候选作者中的正确作者。图中候选作者1的中文姓名为“杨洋”,候选作者2的中文姓名为“杨阳”,两位候选作者的已发表论文均含关键词“g r a p hn e u r a l n e t w o r k”,其中候选作者1的论文机构使用过“Z h e j i a n gU n i v e r s i t y”并与新论文的标题具有共现词汇“R o b u s t”,候选作者2的论文曾出现新论文的共同作者名“L e iC h e n”,可以看到两位候选作者与新论文均有较多的匹配信息,即使通过人工也很难有把握消歧准确。故如何充分利用论文与候选作者的信息以获取更有判别力的消歧特征是一个难点。图1 实时同名消歧 随着科研人数不断增长,同名消歧问题变得越来越具有挑战性。首先,像图1中具有相同姓名且研究相同领域的作者逐渐增多,这将导致实时消歧任务变得愈发复杂。例如,AM i n e r中有超过60 0 0个名叫“Y a n gY a n g”的学者,在清华大学就读或就职过的名叫“杨洋”的学者已经超过4 0个。这使得不同候选作者之间易混淆的相似属性增多。其次,仅使用语义作为特征的实时消歧方法很容易将论文误分。例如,待消歧论文可能与多名候选作者在文章内容上语义相似度较高。在以往的实时同名消歧方法中普遍缺乏待消歧论文与候选作者间结构信息的挖掘与利用。然而,论文和作者的结构信息中可能蕴含着更丰富的匹配信息。例如,同一作者的不同论文的引文网络结构可能类似。因此,本文尝试通过引入子图结构信息来进一步提升实时同名消歧任务的准确度。传统的同名消歧方法根据待消歧人名的属性信64h t t p s:/s c h o l a r.g o o g l e.c o m/h t t p s:/w ww.c n k i.n e t/h t t p s:/w ww.a m i n e r.c n/h t t p s:/h a r z i n g.c o m/b l o g/2 0 1 7/0 2/w e b-o f-s c i e n c e-t o-b e-r o b b e d-o f-1 0-y e a r s-o f-c i t a t i o n s-i n-o n e-w e e k1期韩天翼等:子图增强的实时同名消歧息和文章内容设定具体规则来区分不同作者实体;冷启动同名消歧方法主要利用文章本身内容与文章之间的共同作者、共同机构等结构信息将任务处理为聚类问题;而对于实时同名消歧,相关研究分为基于语义信息与基于结构信息两类方法。在基于语义信息的方法中,一类方法通过特征工程提取出待消歧论文与候选作者档案在标题、关键词、机构等多方面的共同信息来进行消歧,另一类方法基于度量学习等有监督方法来学习论文与作者的嵌入向量以用于消歧;在基于结构信息的方法中,通常将所有候选作者及相关邻居节点(如论文等)构建一张大图,对于每篇新增的论文节点,均需要重构大图并重新训练嵌入向量。已有的实时同名消歧方法获取结构信息的效率较低,所需要的计算开销随着大图规模的扩大而逐步增长。因此,本文旨在解决实时同名消歧任务中的两个问 题,一 是 如 何 设 计 一 种 高 效 的 归 纳 式 学 习(I n d u c t i v eL e a r n i n g)的模型,能够在每新增一篇待消歧论文时,直接获得该文与各位同名候选学者之间的结构特征,同时考虑到学者在不同阶段所研究的领域以及所处的机构可能存在的差异,要求模型能实现待消歧论文与候选学者之间的细粒度匹配;二是如何将语义与结构两方面信息进行有效的融合,以实现对更复杂场景的实时消歧,并获得更优秀的消歧效果。本文提出了子图结构增强的实时同名消歧 模 型R N D-a l l(R e a l-t i m e N a m e D i s a m b i g u-a t i o nI n t e g r a t i n gA l lT h eI n f o r m a t i o n),首先分别对待消歧论文和候选作者构建自我中心网络(E g oN e t w o r k),利用图注意力网络对中心节点与邻居节点特征进行加权聚合来捕获局部图的结构信息,然后对论文子图与作者子图进行细粒度交互,并采用径向基核函数(R a d i oB a s i sF u n c t i o nK e r n e l,R B F)计算待分配论文与候选作者的图相关性特征,最后,通过集成学习的方法将结构信息与语义信息进行融合。本文所提模型在W h o I s W h o实时同名消歧数据集中取得最好结果,相比最优的基线方法C O N N A7在H R1、H R3和MR R上分别提高3.9 9%、1.2 4%和2.5%。R N D-a l l在同名消歧基准W h o I s W h o实时消歧任务测试集上效果目前排名第一。本文组织结构安排如下:第1节介绍同名消歧以及图神经网络的相关工作;第2节提出实时同名消歧的相关定义;第3节和第4节介绍端到端提取结构信息的框架和使用子图增强的实时同名消歧模型;第5节为实验结果分析;第6节总结全文。1 相关工作1.1 同名消歧研究 同名消歧问题主要分为两个子问题进行研究,即冷启动同名消歧与实时同名消歧。冷启动同名消歧对应于学术平台创建初期,此时需要将收集的大量论文进行划分,使得划分后同一组内的论文属于同一个现实作者,不同组的论文属于不同的现实作者,故冷启动消歧常定义为聚类问题。H u a n g等人3采用B l o c k i n g方法将具有同名作者的待消歧论文聚合为簇,之后使用支持向量机 学 习 簇 内 各 论 文 间 的 距 离 关 系,最 终 利 用D B S C AN对簇内论文进行聚类。L o u p p e等人4基于论文之间的相似度采用半监督的层次聚类进行消歧。T a n g等人8通过待消歧论文间引用关系、共同作者名、共同会议名等信息构建五维消歧特征后利用 隐 马 尔 可 夫 随 机 域 实 现 对 不 同 作 者 的 区 分。Z h a n g等人9构建作者-作者、论文-作者、论文-论文三种图,利用学习的图嵌入向量进行聚类。陈晨等人1 0使用谱聚类对社会网络中的人名聚类,并引入模块度阈值作为网络停止划分的条件。S u b r a m a n i-a n等 人1 1将8个 主 流 同 名 消 歧 数 据 集 整 理 为S 2 AN D数据集,并发现在此数据集下训练的冷启动同名消歧算法具有更好的泛化能力。当前谷歌学术、AM i n e r等在线学术平台已经建立起大量学者档案,所面临的最大挑战是如何将姓名上具有歧义的新论文准确而又高效地分配给对应作者,即实时同名消歧。此任务需要依据新入库的待消歧论文与已有的各个同名候选作者的相关特征做出分配判断。Z h a n g等人6通过度量学习的方式得到论文与作者的嵌入向量,通过论文与各作者向量在表征空间的距离来确定所要分配的作者。D o n g等人1 2利用作者与待分配论文之间共同机构、共同会议、共同作者等关系构建异质图,并使用随机游走将待消歧论文与候选作者表示为嵌入向量,Z h a n g等人1 3则预先使用门控循环单元(G a t eR e c u r r e n tU n i t,G RU)得到论文的语义嵌入向量,之后在论文与作者的关系网络上使用随机游走以捕获结构特征,最后将论文与作者表示为低维稠密的74截至2 0 2 3年3月2 5日,R N D-a l l在Wh o I s Wh o实时同名消歧子 任 务 排 行 榜 上 排 名 第 一 已 持 续1个 月。详 见h t t p:/w h o i s w h o.b i e n d a t a.x y z/#/中 文 信 息 学 报2 0 2 4年向量用于实时消歧任务。Z h a o1 4在K D DC u p提出使用特征工程构建文本特征搭配梯度提升决策树(G r a d i e n tB o o s t i n gD e c i s i o nT r e e,G B D T)的方法对论文做出分类预测。C h e n等人7使用预训练模型B E R T1 5对待消歧论文以及候选作者每篇论文在各属性下进行细粒度的相似度计算,将丰富的语义特征用于消歧。L i等人1 6则提出了统一冷启动与实时消歧的方法,首先将共同作者名出现次数多的论文构建出高精确率的论文簇,再根据新增论文与各论文簇的语义相关性,按照合并作者节点的方式进行实时消歧。可见,解决同名消歧的方法主要分为基于文献语义特征的同名消歧和基于文献结构特征的同名消歧。融合语义特征和结构特征的同名消歧方法具有较优的研究意义。1.2 图神经网络图神经网络(G r a p hN e r u a lN e t w o r k,GNN)已被广泛应用于社交网络、化学分子结构、知识图谱等拓扑结构的研究中,其核心思想是利用边的信息对节点信息进行聚合从而生成新的节点表示。N i e p e r t等人1 7通过将图中的节点组织为序列并使用卷积网络以获得具有结构信息的节点表示,K i p f等人1 8基 于 空 域 与 频 域 的 转 换 关 系 提 出 图 卷 积 网 络(G r a p hC o n v o l u t i o n a lN e t w o r k s,G C N),使用一阶切比雪夫多项式实现空域卷积的效果。V e l i c k o v i c等人1 9提出图注意力网络(G r a p hA t t e n t i o nN e t w o r k s,GAT),采用注意力掩码将注意力机制引入图神经网络模型,使得模型能够准确灵活地计算邻居节点之间的权重,并通过多头的方式进一步提升模型的泛化能力。本文针对实时同名消歧的特点,对待消歧论文与候选作者分别构建自我中心网络,采用图注意力网络来聚合节点特征以获取结构层面的信息。2 相关概念与定义定义1 论文 一篇论文p由多个属性构成,例如标题、摘要、作者姓名等,即p=x1,xF,xfp代表论文中第f种属性。F指论文中属性的个数。定义2 作者 一名作者a由该作者所发表的n篇论文组成,即a=p1,pn,其中所有论文均由多个属性构成。定义3 同作者名论文集合 给定姓名n a,则所有作者名中出现n a的论文集合为Pn a=pn a1,pn al,其中l为Pn a中论文数量。定义4 候选作者集合 给定姓名n a,则所有具有 相 同 姓 名n a的 作 者 集 合 为An a=an a1,.,an am,其中,m为An a中作者数量。定义5 实时同名消歧 给定一篇要对作者名n a进行消歧的论文pn a以及姓名n a对应的候选作者集合An a,假设pn a中的作者名n a所对应的正确作者a+An a,其余作者a-An a。则该问题需要学习一个评分函数,满足,如式(1)、式(2)所示。:(pn a,a)R(1)s.t.a-An a,(pn a,a+)(pn a,a-)(2)其中,函数的输入为待消歧论文和任意候选作者,输出一个实数的相似度得分,需满足待消歧论文pn a与正确作者的相似度得分大于pn a与其他作者的相似度得分。最终会将待消歧论文分配给打分最高的作者。3 子图结构特征提取框架本文提出一种端到端的子图结构特征提取框架,用于计算待消歧论文与各候选作者的图相关性特征。框架由包含编码层、聚合层、交互层的子图信息交互模块和包含归一化层和排序层的特征增强模块组成。框架如图2所示,黑色实心箭头为特征生成过程,空心箭头为训练阶段损失的传播过程。图2 子图结构特征提取框架3.1 子图信息交互模块子图信息交互模块用于获取待消歧论文子图与候选作者子图之间的细粒度交互信息。此模块首先通过编码层对图中各节点的特征进行初始化,然后在聚合层对各节点特征进行加权聚合与更新,最后在交互层获取论文 子图与各作 者子图的相 似度信息。如图3所示,P、A、O分别指论文节点、作者节841期韩天翼等:子图增强的实时同名消歧点以及机构节点,图中为待消歧论文p与一名候选作者a所构建的论文子图Gp与作者子图Ga。对论文子图Gp,p的一阶邻居为论文中待消歧作者的机构名称以及待消歧论文所引用的论文,考虑到无法假定p中其余作者姓名确定对应的真实作者,故p的一阶邻居中不含其余共同作者信息。p的高阶邻居为引用论文的作者的论文以及其机构名称。考虑到距离待消歧论文越远,数据噪声越多,故最大扩展到三阶邻居。对作者子图Ga,使用候选作者a的已发表论文作为a的一阶邻居,若已发表论文存在其余已经消歧完的共同作者,则该共同作者的论文和机构信息作为作者a的高阶邻居,同理,最大扩展到三阶邻居。子图信息交互模块通过对比待消歧论文子图Gp与各个候选作者子图集合GA=Ga1,Ga2,Gam来捕捉待消歧论文与候选作者的结构信息。图3 待消歧论文子图与候选作者子图编码层首先对包含待消歧论文子图以及各个候选作者子图的图G内各类节点特征进行初始化。对于图中的论文和机构节点,模型提取各篇论文的标题、摘要、关键词拼接为字符串s,以及提取单独的机构名作为字符串o,两类文本记作S=(s1,s2,sln)和O=(o1,o2,olm),随后模块利用学术论文预训练模型OAG-B E R T2 0对两类文本进行编码,得到嵌入向量矩阵XS=(xs1,xs2,xsln)和XO=(xo1,xo2,xolm),其中,ln、lm指图G中论文与机构的数量,xRd,d为编码后特征维度。对于作者a=p1,p2,pn,则直接使用该作者已发表论文的嵌入向量的平均作为作者节点初始特征。聚合层使用图注意力网络对待消歧论文子图以及各个候选作者子图进行相邻节点间注意力互相关系数的计算以及子图节点特征的更新。节点特征先由可训练的共享权重矩阵WRdd进行线性变换,然后经TR2d对自身与相邻节点特征进行自注意力操作,最后经L e a k y R e L U计算出两节点间的注意力相关性权重。为了便于不同节点间权重的比较与计算,使用s o f t m a x进行权重归一化,节点i与相邻节点j的注意力互相关系数i j,计算如式(3)所示,其中,|表示拼接操作。i j=e x p(L e a k y R e L U(TW xi|W xj)kNie x p(L e a k y R e L U(TW xi|W xk)(3)节点i的邻居节点特征同样使用共享权重W进行变换,然后各节点根据对应的注意力互相关系数进行加权求和,通过非线性变换计算节点i的聚合特征,计算如式(4)所示。hi=(jNii jW hj)(4)GAT采用多头注意力机制,通过集成多组参数下的聚合特征来增强模型表达的鲁棒性。式(5)中Wk为第k组线性变换权重,k代表第k组注意力互相关系数。hi=1KKk=1jNiki jWkhj(5)交互层对图G中特征聚合后的论文子图与各作者子图进行细粒度交互。考虑到一位学者在不同时期的研究领域以及所处机构可能不同,则待消歧论文可能与正确作者仅有几篇论文内容相似,所以交互层应该关注更细致的相似度匹配信息而不能将子图粗化为一个向量。交互层的输入为待消歧论文子图Gp与候选作者子图集合GA=Ga1,Ga2,Gam,输出为Gp与各候选作者子图的相似度矩阵。在交互层中论文子图与各作者子图在设定的交互范围内(如一阶邻域、全量节点)逐节点计算特征相似度。M表示Gp与其中一个作者子图Ga的相似度矩阵,Mi j为Gp第i个节点特征与Ga第j个节点特征的余弦相似度,若两个节点特征信息相似,则相似度应接近1,若特征信息无关,相似度应接近0,若特征信息相关且相反,相似度应接近-1。图4为待消歧论文子图与正确作者及其他作者子图的相似度矩阵,图中取相似度矩阵的前1 5行和前1 5列的数据展示。发现在交互层中很少存在节点之间特征信息相关且相反的情况,图4中最低的相似度为-0.0 2。白色代表相似度接近1,黑色代表相似度接近0,由图可见,本文提出的子图信息交互模块能够较准确地区分正确与其他作者。94中 文 信 息 学 报2 0 2 4年图4 待消歧论文子图与正确作者子图、其他作者子图相似度矩阵3.2 特征增强模块特征增强模块的设计动机在于,各个候选作者子图的交互节点数各不相同,故子图信息交互模块所返回的相似度矩阵的尺寸不同,模型难以直接利用待消歧论文与不同作者的交互信息。此模块使用k组径向基核函数将特征矩阵转换为相同维度特征向量,同时还能够对特征矩阵蕴含的信息进行增强。最后,排序层将经归一化后的特征向量进行打分排序,以实现将待消歧论文所对应的正确作者与其他作者进行有效区分。归一化层的操作类似于信息检索的核函数池化2 1,Mi为相似度矩阵M第i行,表示Gp第i个节点与Ga中各个节点的特征相似度。在式(6)中,K(Mi)第k个元素Kk(Mi)表示对Mi使用式(7)中第k组核函数(均值k,标准差k)处理并进行池化求和。K(Mi)=K1(Mi),Kk(Mi)(6)Kk(Mi)=je x p-(Mi j-k)222k(7)归一化层最终通过对Gp每个节点所对应的K(Mi)进行对数求和得到Gp与Ga的图相关性特征(M),见式(8)。归一化层所使用的径向基核函数能够配置多组超参数来捕捉到M中不同层次的匹配信息。例如,当1,0函数关注M所包含的节点特征间完全匹配的信息,当0.5,0函数则关注M中相似度近似为0.5的信息。该方式使归一化层进一步丰富了交互层所传递的信息。(M)=ni=1l o gK(Mi)(8)排 序 层 基 于 排 序 学 习2 1(L e a r n T o R a n k,L T R)的思想,使用待消歧论文与各候选作者的图相关性特征来对整体框架进行有监督的训练。排序层首先使用全连接层将各个图相关性特征转换为匹配得分,然后以在表征空间中缩小论文与正确作者a+的距离、拉大与其余候选作者的距离作为目标进行训练。训练使用多负例排序损失作为损失函数,相比三元组损失,该损失函数具有更大范围的感受野,能对正确作者与其余作者实现更有效的区分。式(9)中Ai代表待消歧论文pi所对应的候选作者集合。L=-1nni=1l o ge x p(s i m(pi,a+i)jAie x p(s i m(p,aj)(9)4 融合语义特征与结构特征的消歧模型4.1 特征介绍 在语义信息方面,前人的工作已经证明,基于抽取待消歧论文与候选作者共现信息的特征工程方法在同名消歧任务中取得了很好的效果7,1 6。此外,使用论文与作者的语义向量进行相似度计算所求得的特征对消歧也有一定程度的帮助7。因此本文也集成了特征工程的方法,在作者名、题目、关键词、机构和会议5类属性上进行手工匹配特征的构建,以作者为例,待消歧论文中除消歧姓名A以外有共同作者名B、C,候选作者的某些论文的作者名出现B则视B为共现作者,根据T F-I D F得到共现作者名字的分数以及此分数在所有名字T F-I D F总分数下的比例;除作者名外的论文属性还使用J a r oW i n k l e r距离和J a c c a r d相似度等算法来提取论文与论文之间多维度的共现信息,最终构建出3 6维手工匹配特征。随后使用学术预训练模型OAG-B E R T推理得到待消歧论文与候选作者各篇论文的嵌入向量,并基于文章间的相似度矩阵使用多组核函数池化得到4 1维嵌入匹配特征。在结构信息方面,通过本文的结构特征提取框架来获取图相关性特征,框架中的子图信息交互模块通过预训练模型初始化节点特征,采用训练过的图注意力网络分别对论文子图与作者子图中的节点特征进行加权聚合,再以细粒度的交互方式得到论文与各候选作者的相似度矩阵,框架中的特征增强模块使用径向基核函数将多组相似度矩阵分别转换为4 1维图相关性特征。总的来说,在实时同名消歧任务中,以手工匹配特征与嵌入匹配特征来代表语义信息,以子图结构特征提取框架所推理的图相关性特征代表结构信息。4.2 集成学习框架本文首先通过子图结构特征提取框架、特征工051期韩天翼等:子图增强的实时同名消歧程与文本嵌入的方式获取待消歧论文与候选作者间的语义和结构信息,然后使用集成学习来构建子图结构增强的实时同名消歧模型R N D-a l l,以实现对各类消歧信息的全面融合。R N D-a l l对图相关性特征、手工匹配特征、嵌入匹配特征均应用三类G B D T模型作为基分类器,具体分别为X G B o o s t、C a t B o o s t和L i g h t G BM。模型框架如图5所示。训练过程中将训练集分为5等份,其中4份作为训练集,1份作为验证集。基于B a g g i n g的思想,每一类基分类器均通过5折交叉验证的方式训练5个同分类器类别的子模型,并将子模型的平均预测概率作为基分类器的输出以提高整体模型的泛化能力。在预测过程中各类特征下的候选作者预测分数通过投票进行集成,使语义与结构特征一起参与作者的判定。图5 R N D-a l l模型框架5 方法评测与实验结果5.1 数据集及实验设置 数据集:本文基于百万级人工标注的同名消歧数据集Wh o I s Wh o进行评测7,2 2。Wh o I s Wh o数据集最新版本(v 3.1)包括人工标注的24 5 9个姓名所关联的7 26 0 9个作者和11 0 22 4 9篇论文,以及作者和论文之间的匹配关系。据统计,Wh o I s Wh o中8 7%的姓名为消歧难度更大的中文姓名,数据集中的论文与作者涉及计算机、材料以及生物等十多种领域。Wh o I s Wh o包括冷启动消歧与实时消歧两个子数据集,本文采用实时消歧数据集开展实验并基于作者档案以及论文的属性信息进行构图。由于部分作者或论文没有子图结构信息,数据集预处理时采用W h o I s W h o训练集作者档案中的论文与候选同名作者列表构建出3 00 0 0组样本,并按照73划分训练集与验证集,其中每组样本由待消歧论文、正确作者以及9位同名不正确作者构成;测试集为59 6 8篇待消歧论文,实验中将每篇待消歧论文与消歧姓名对应的所有同名作者构成待预测样本。参数设置与实验环境:本文使用的具体参数设置如下:节点特征维度d=7 6 8,图注意力网络层数l=2,每层注意力头数量分别为4和1,训练使用A d a m优化器进行参数优化,初始学习率0.0 0 1,使用指数下降学习率调节器E x p o n e n t i a l L R,每一轮将学习率乘以0.9,一共训练3 0轮;集成学习中G B-D T基分类器设置树深度为1 0层,学习率0.0 5,迭代10 0 0轮;径向基核函数配置4 1组超参数,4 1组核函数的均值为从1到-1步长为0.0 5的递减数列,方差除首位为0.0 0 1外其余均取0.1。实验平台环境为NV I D I AG e F o r c eG T X 2 0 8 0 T i显卡(1 1G B显存),I n t e l(R)X e o n(R)C P U E 5-2 6 8 0v 4 2.4 0GH z,2 5 6G B内存的处理器。评估指标:实验采用命中率HRk和平均倒数排名MR R来评估实时同名消歧任务下不同模型的效果。HRk计算正确作者排名在前k位的样本占所有样本的比例,MR R对所有样本计算正确作者所在排名的倒数的平均值,这两种指标分别强调实时消歧模型预测的召回率与正确答案的排序位置,两种指标值越大代表模型效果越好。5.2 基线模型本文与多个实时同名消歧相关的基线模型进行比较,主要包括:(1)C AME L模 型1 3首 先 将 待 消 歧 论 文 经G RU编码为论文的初始嵌入,之后基于作者与论文之间的结构关系通过随机游走的方式更新论文与作者的表示,最后直接将嵌入向量用于实时消歧。(2)GML模型6提出一种基于度量学习的消15h t t p s:/w ww.a m i n e r.c n/w h o i s w h o中 文 信 息 学 报2 0 2 4年歧方法。首先使用预训练的W o r d 2 V e c获取论文嵌入向量,然后通过作者已发表论文的平均嵌入来作为作者表示,在训练过程使用度量学习来拉近论文与正确作者的距离并推远与其余作者的距离,进而优化作者与论文嵌入中的语义信息。(3)I UA D模型1 6按照共同作者、研究领域与期刊会议三方面统计出待分配论文与候选作者的相关性特征,使用EM算法学习多组匹配分布的参数用于消歧。(4)C ONNA模型7对待消歧论文与候选作者不同论文以及论文中的不同属性利用预训练模型来计算细粒度的语义匹配特征,同时还使用了特征工程进一步增强消歧特征的表达能力。5.3 实验与分析5.3.1 基线模型对比结果 表1为R N D-a l l与各基线模型的对比结果。C AME L通过随机游走来学习作者嵌入向量,当出现某些作者所发表论文非常少的情况时,这类作者的嵌入向量无法得到较有效的训练,该方法结果并不理想;GML通过所发表论文的平均嵌入向量来表示作者,在很大程度上缓解了C AME L中特征稀疏的问题,但因为缺乏文本层面的直接匹配特征表现较为一般。除此之外,GML所使用平均嵌入向量的方式无法捕获细粒度信息,忽视了待消歧论文仅与正 确 作 者 少 量 论 文 相 关 的 情 况;I UA D和C ONNA均在通过文本嵌入向量进行细粒度匹配的基础上,进一步使用特征工程在文本上获取更细致丰富的直接匹配特征,两种消歧方法在特征工程设计上有一定差异,但是实际结果差距较小。表1 不同消歧方法在实时消歧任务上的效果模型HR1/%HR3/%MR R/%C AME L4 1.2 06 2.0 05 5.0 0GML7 0.8 79 4.5 38 2.5 9I UA D9 0.7 39 7.7 69 4.3 5C ONNA9 1.1 09 8.4 59 4.8 6R N D-a l l9 5.0 99 9.6 99 7.3 6 本文注意到I UA D和C ONNA没有利用消歧论文与候选作者之间固有的结构信息,因此,所提出的R N D-a l l模型,首先采用子图结构特征提取框架来获取论文与候选作者之间的图相关性特征;然后,通过特征工程和文本嵌入技术得到不同维度的语义特征;最终,通过集成学习方法实现了语义和结构信息的 有 效 融 合。R N D-a l l的HR1、HR3和MR R指标均达到最高,分别为9 5.0 9%、9 9.6 9%和9 7.3 6%,相比C ONNA分别提升3.9 9个百分点、1.2 4个百分点和2.5个百分点。5.3.2 R N D-a l l应用于Wh o i s Wh o同名消歧竞赛Wh o i s Wh o是全球范围内首个考虑N I L(N o tI nL i s t,N I L)问题的同名消歧竞赛,Wh o I s Wh o竞赛已经举办三届,累计吸引了30 0 0余名研究者参赛。目