基于集合约束的异质超网络表示学习.pdf
《基于集合约束的异质超网络表示学习.pdf》由会员分享,可在线阅读,更多相关《基于集合约束的异质超网络表示学习.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 49卷 第 11期2023年 11月Computer Engineering 计算机工程基于集合约束的异质超网络表示学习刘贞国,朱宇,王晓英,黄建强,曹腾飞(青海大学 计算机技术与应用系,西宁 810000)摘要:与节点之间仅具有成对关系的普通网络不同,超网络的节点之间还存在复杂的元组关系,因而现有的大多数普通网络表示学习方法不能有效地捕获复杂的元组关系。为此,提出一种捕获成对关系和元组关系的基于集合约束的异质超网络表示学习方法。结合团扩展和星型扩展,将抽象为超图的异质超网络转化成抽象为 2-截图+关联图的异质网络。基于 2-截图+关联图,采用感知节点语义相关性的元路径游走方法获取异质节点
2、序列,并通过基于拓扑派生目标函数的模型训练异质节点序列上的成对关系,采用基于集合约束目标函数的模型,将与节点关联的超边集合融入到超网络表示学习中来训练节点之间的元组关系,从而获得高质量的节点表示向量。实验结果表明,对于链接预测任务,该方法的性能接近于其他最优基线方法;对于超网络重建任务,当超边重建比率大于 0.7时,该方法在 drug数据集上具有较优的性能,在 GPS数据集上的平均性能超过其他最优基线方法 16.2%。关键词:网络表示;超网络结构;集合约束;链接预测;超网络重建开放科学(资源服务)标志码(OSID):中文引用格式:刘贞国,朱宇,王晓英,等.基于集合约束的异质超网络表示学习 J.
3、计算机工程,2023,49(11):115-122.英文引用格式:LIU Z G,ZHU Y,WANG X Y,et al.Heterogeneous hypernetwork representation learning based on set constraints J.Computer Engineering,2023,49(11):115-122.Heterogeneous Hypernetwork Representation Learning Based on Set ConstraintsLIU Zhenguo,ZHU Yu,WANG Xiaoying,HUANG Jianq
4、iang,CAO Tengfei(Department of Computer Technology and Application,Qinghai University,Xining 810000,China)【Abstract】Unlike ordinary networks,which only have pairwise relationships between the nodes,hypernetworks exhibit more intricate tuple relationships among their nodes.However,most existing repre
5、sentation learning methods for ordinary networks cannot effectively capture such complex tuple relationships.Therefore,this paper proposes a representation learning method for heterogeneous hypernetworks,denoted as Heterogeneous hypernetwork Representation learning with Set Constraints(HRSC),to capt
6、ure pairwise and tuple relationships.This method combines clique expansion and star expansion to transform a heterogeneous hypernetwork abstracted as a hypergraph into a heterogeneous network abstracted as a 2-section graph+incidence graph.Based on this combination of 2-section graph+incidence graph
7、,the meta-path walk method is employed to consider the semantic relevance of nodes,generating heterogeneous node sequences.Pairwise relationships within these sequences are then trained using a model grounded in topology-derived objective functions.Finally,the model,including a set constraint object
8、ive function,incorporates hyperedge sets associated with nodes into the hypernetwork representation learning process to train tuple relationships among nodes,thereby yielding high-quality node representation vectors.Experimental results demonstrate that,for link prediction tasks,the proposed method
9、performs comparably to other optimal baseline methods.In hypernetwork reconstruction tasks,the method outperforms other optimal methods on the drug dataset when the hyperedge reconstruction ratio exceeds 0.7.Additionally,the average performance of the proposed method surpasses other optimal baseline
10、 methods by 16.2%on the GPS dataset.【Key words】network representation;hypernetwork structure;set constraint;link prediction;hypernetwork reconstructionDOI:10.19678/j.issn.1000-3428.0065729基金项目:国家自然科学基金(62166032,62162053,62062059,62101299);青海省自然科学基金(2022-ZJ-961Q)。作者简介:刘贞国(1995),男,硕士研究生,主研方向为机器学习、网络表示
11、学习;朱 宇(通信作者),讲师、博士;王晓英、黄建强,教授、博士;曹腾飞,副教授、博士。收稿日期:2022-09-13 修回日期:2022-12-07 Email:人工智能与模式识别文章编号:1000-3428(2023)11-0115-08 文献标志码:A 中图分类号:TP182023年 11月 15日Computer Engineering 计算机工程0概述 网络表示学习1也称为网络嵌入,其将网络中的每个节点映射到一个低维的向量表示空间,学习到的节点表示向量可以被用于节点分类2-4、链接预测5-7、社区检测8-9等网络分析任务。现有的网络表示学习方法大多针对普通网络,其中,节点之间的关系是
12、成对关系,即每条边只连接一对节点,而在现实生活中的数据对象之间的关系通常比较复杂,而且不一定是成对关系。例如,吉姆参加了一场在北京举行的学术会议,就形成了一种元组关系。捕获这种元组关系的网络通常称为超网络,其中,元组关系被看作超边。与普通网络相比,超网络逐渐变得更受欢迎,如何从超网络结构中挖掘有用信息变得十分有意义。然而,现有的大多数网络表示学习方法不能直接应用于超网络。鉴于上述事实,团扩展、星型扩展10和BTR11将超边分解为对边,然后学习节点表示,但是该类方法在超网络展开过程中会丢失超边信息。Hyper2vec12、HPSG13没有分解超边,而是基于超路径游走序列来捕获节点之间的成对关系,
13、但是它们没有很好地捕获节点之间的元组关系。HPHG13和DHNE14可以很好地捕获节点之间的成对关系和元组关系,但是它们受限于固定大小和固定类型的异质超边。Hyper-SAGNN15相比于 DHNE 和 HPHG具有更好的泛化性,对输入元组的节点数目大小和类型没有要求,但是由于该方法构造了很多中间特征,其模型计算复杂度较高。受到上述方法的启发,将结构复杂的超网络转化为结构简单的普通网络,以便于使用普通网络表示方法学习节点表示向量,同时考虑节点之间的成对关系和元组关系。本文提出一种基于集合约束的异质超网络表示学习方法 HRSC。该方法通过结合团扩展和星型扩展策略将异质超网络转化为异质网络16,采
14、用感知节点语义相关性的元路径游走算法来捕获异质节点之间的语义信息,并根据集合约束机制,在基于拓扑派生目标函数的模型上融入超边。1相关工作 超网络作为一种特殊的图结构化数据,逐渐受到 研 究 者 的 广 泛 研 究。团 扩 展、星 型 扩 展10和BTR11是超网络学习的传统主流方法,它们将谱理论应用到超网络中,通过严密的数理推导来求解目标函数的最优解,其中,团扩展使得超边内部节点连接成完全图,即使得超边内部节点之间两两相连。星型扩展通过引入超边节点,使得超边内部节点与超边节点相连。BTR使用超边内部距离最远的两个节点的连接边代替超边本身,大幅降低了展开过程的时间复杂度,但是当其应用于节点差异度
15、较大的超网络时会丢失较多的结构信息。Hyper2vec12在拉普拉斯算子上加入导向函数,提出基于超边的有偏随机游走,使其能够适应不同的网络结构,从而更好地保留超网络结构信息。HPSG13基于超边的随机游走来构造节点的异质邻域,然后通过 Skip-gram模型学习节点表示向量。DHNE14直接对超边进行建 模,但 该 方 法 局 限 于 固 定 大 小 的 异 质 超 边。HPHG13基 于 超 边 的 随 机 游 走 节 点 序 列 上 训 练Hyper-gram 模型,更好地保留了超网络结构,实现了优于 DHNE的性能,但是其只适用于均匀超网络,很难扩展到任意规模的超网络。Hyper-SAG
16、NN15使用自注意力机制对超图信息进行聚合,结合节点动态特征和静态特征对节点进行学习,对输入元组的节点类型、数目没有要求,相比 DHNE和 HPHG 具有更好的泛化性,但由于该方法构造了很多中间特征,其模型计算复杂度较高。Event2vec17将多个对象之间关系建模为事件,通过在嵌入空间中保留事件一阶和二阶近似性学习节点表示向量。与上述方法不同,HRSC 不仅可以捕获节点之间的成对关系和元组关系,而且可以平衡优化节点之间的成对关系和元组关系,以便于获得高质量的节点表示向量。在 3个不同类型的超网络数据集上的实验结果表明,HRSC 方法在链接预测和超网络重建任务中表现优异。2问题定义 超网络通常
17、被抽象为超图H=(VE),其中,V=vi|V|i=1=VtTt=1是T种类型的节点集合,Vt表示第t种类型的节点集合,E=ei=v1v2vm|E|i=1(m 2)是超边集合。如果对于任意ei E均有|ei|=k,则称H为 k-均匀超图;如果 k=2,则超网络退化为传统网络;如 果T 2,则 超 网 络 定 义 为 异 质 超 网 络。如图 1 所示,给定一个异质超图H=(VE),其中,E=e1=a1b1c1e2=a2b2c2e3=a1b1c2,V=a1b1c1a2b2c2,a、b、c表示节点的类型。图 1异质超图Fig.1Heterogeneous hypergraph116第 49卷 第 1
18、1期刘贞国,朱宇,王晓英,等:基于集合约束的异质超网络表示学习定义 1(异质超网络表示学习)给定一个异质超网络H=(VE)。异质超网络表示学习为每个节点vi V学习一个低维向量rvi k,其中,k|V|。它的目的是使得学习到的向量显式地保留异质超网络结构信息,并且异质超网络结构中相邻的节点在向量表示空间中也相邻。3预备知识 文献 18 提出分别通过团扩展和星型扩展将超图转化为 2-截图和关联图。受文献18的启发,文献 19 提出将超图转换为 2-截图+关联图和感知节点语义相关性的元路径游走方法。下面详细介绍超图转换为 2-截图、关联图、2-截图+关联图和感知节点语义相关性的元路径游走。3.1超
19、图转换为 2-截图、关联图与 2-截图+关联图的方法超图转换为 2-截图、关联图与 2-截图+关联图方法如下:1)2-截图超图H=(VE)的 2-截图(2-section graph)是满足以下条件的图S=(VE):(1)V=V,即S的 节 点 集 合 与H的 节 点 集 合相同。(2)任意两个不同的节点之间连一条边,当且仅当它们同时与H的至少一条超边关联。图 2是图 1超图对应的 2-截图。2)关联图超图H=(VE)的关联图是满足以下条件的图I=(VE):(1)V=V E,即将超图H中的每条超边看成一个节点,I的节点集合是H的节点集合和超边集合的并集。(2)vi V和ei E相邻,当且仅当v
20、i ei。图 3 为图 1 超图对应的关联图,其中 e节点代表超边节点。3)2-截图+关联图超图H=(VE)的 2-截图+关联图是满足以下条件的图I=(VE):(1)V=V E,即将超图H中的每条超边看成一个节点,I的节点集合是H的节点集合和超边集合的并集。(2)对于vi V和ei E,当且仅当vi ei时,vi与ei相邻;对于vivj ei,当且仅当vi和vj节点之间语义相关,vi和vj相邻。图 4 为图 1 超图对应的关联图,其中,b1和c1、b1和c2、b2和c2节点之间语义相关。3.2感知节点语义相关性的元路径游走在 2-截图+关联图G=(VE)上的感知节点语义相关性的元路径游走定义如
21、下:V11V2ViiVi+1VjeVj+1Vl-1l-1Vl其中:i表示Vi和Vi+1类型节点之间存在语义相关;e表示Vj和Vj+1类型节点之间通过超边节点关联;=1iel-1表示V1和Vl类型节点之间的复合关系。与传统随机游走相比,采用感知节点语义相关性的元路径游走获取的异质节点序列,可以更好地保留超网络中节点之间的元组关系和增强节点之间的成对关系。4HRSC方法 HRSC 方法的框架如图 5 所示。该框架包括2 个主要部分:(a)基于拓扑派生目标函数的模型;(b)基于集合约束目标函数的模型。其中,Ev和v分别表示嵌入矩阵和参数向量,ev和ew分别为v和w对应的向量,v和w分别表示目标节点和
22、与目标节点关联的超边。图 22-截图Fig.22-section graph图 3关联图Fig.3Incidence graph图 42-截图+关联图Fig.42-section graph+incidence graph1172023年 11月 15日Computer Engineering 计算机工程4.1拓扑派生目标函数采用基于感知节点语义相关性游走来获取的异质节点序列C作为 HRSC 方法的输入,通过基于拓扑派生目标函数的模型来捕获序列C上节点之间的成对关系。下面详细介绍拓扑派生目标函数。对 于 目 标 节 点v C,当v的 上 下 文 节 点 为c context(v)时,将c视为正
23、样本,将非上下文节点Neg(v)视为负样本。节点的标签定义如下:L(u)=1u c0u Neg(v)(1)p(u|v)表示在已知目标节点v的条件下预测其上下文节点u概率。对于给定节点序列C,最大化拓扑派生目标函数如下:L1=v Cc context(v)u c Neg(v)p(u|v)(2)对于每一个节点v,嵌入向量ev是v作为目标节点的表示向量,参数向量v是v作为上下文节点时的表示向量,则p(u|v)定义如下:p(u|v)=(Tuev)L(u)=11-(Tuev)L(u)=0(3)其中:(Tuev)=11+e-Tuev是 Sigmoid函数。式(3)可以重写为:p(u|v)=(Tuev)L(
24、u)1-(Tuev)1-L(u)(4)因此,式(2)可重新表示如下:L1=v Cc context(v)u c Neg(v)(Tuev)L(u)1-(Tuev)1-L(u)(5)通过最大化L1将超网络拓扑结构融入到超网络表示学习中来捕获节点之间的成对关系。4.2集合约束目标函数上述基于拓扑派生目标函数的模型仅采用近似于超图的 2-截图+关联图作为输入来学习节点表示向量,没有充分地捕获节点之间的元组关系,即超边。为了更好地捕获节点之间的元组关系,提出一种基于集合约束目标函数的模型,该模型将与节点关联的超边集合融入到超网络表示学习中。下面详细介绍集合约束目标函数。对于目标节点v C,w表示与目标节
25、点关联的超边,Tv表示与目标节点关联的超边集合,如果将w看作节点,Tv也表示与目标节点v相关联的节点集合。将目标节点v视为正样本,对于w Tv,NEG(w)表示目标节点v的负样本子集。节点标签定义如下:L(|v)=1 v0 NEG(w)(6)对于目标节点v,通过集合约束机制,将与节点相关联的超边集合作为约束条件融入到节点的表示学习过程中。集合约束目标函数的计算公式如下:L2=v Cw Tvp(v|w)=v Cw Tv v NEG(w)(Tew)L(|v)1-(Tew)1-L(|v)(7)通过最大化L2,将与节点相关联的超边集合融入到超网络表示学习过程中来捕获节点之间的元组关系。4.3联合优化目
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 集合 约束 异质超 网络 表示 学习
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。