基于超图卷积结合底层特征学习的多模态融合方法_芦楠楠.pdf
《基于超图卷积结合底层特征学习的多模态融合方法_芦楠楠.pdf》由会员分享,可在线阅读,更多相关《基于超图卷积结合底层特征学习的多模态融合方法_芦楠楠.pdf(8页珍藏版)》请在咨信网上搜索。
1、 实 验 技 术 与 管 理 第 40 卷 第 4 期 2023 年 4 月 Experimental Technology and Management Vol.40 No.4 Apr.2023 收稿日期:2022-10-12 基金项目:中国矿业大学教学研究项目(2020YB15);国家重点研发计划(2019YFE0118500);国家自然科学基金项目(62006233)作者简介:芦楠楠(1985),女,河南濮阳,博士,副教授,主要研究方向为数据挖掘、模式识别,lnn_。引文格式:芦楠楠,韩之远.基于超图卷积结合底层特征学习的多模态融合方法J.实验技术与管理,2023,40(4):33-39
2、.Cite this article:LU N N,HAN Z Y.Multimodal fusion method based on hypergraph convolution combined with underlying feature learningJ.Experimental Technology and Management,2023,40(4):33-39.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.04.004 基于超图卷积结合底层特征学习 的多模态融合方法 芦楠楠,韩之远(中国矿业大学
3、信息与控制工程学院,江苏 徐州 221116)摘 要:多模态数据融合是针对单模态数据信息表达不充分而形成的一种数据处理方法,有利于更深层地挖掘和利用数据。然而,现存的多模态数据融合方法缺乏多模态数据之间复杂相关性的表示和处理。在数据相关性建模方面,超图能够很好地表示复杂数据之间的高阶关系,但容易覆盖底层特征。因此,该文提出一种基于超图卷积并结合底层特征学习的多模态融合方法。该方法首先根据多模态数据构造多模态超图,利用超图卷积获得节点高层特征表示,然后自适应学习节点底层特征权重,保留底层信息,最后将高层信息和底层信息融合,进行节点分类。通过物体识别实验,验证了底层特征的重要性。同时,在结构体健康
4、监测的实际场景中,该方法能够很好地融合震电磁三场数据进行损伤等级判定。关键词:超图卷积;数据特征;节点分类;多模态融合;结构损伤 中图分类号:G202 文献标识码:A 文章编号:1002-4956(2023)04-0033-07 Multimodal fusion method based on hypergraph convolution combined with underlying feature learning LU Nannan,HAN Zhiyuan(School of Information and Control Engineering,China University o
5、f Mining and Technology,Xuzhou 221116,China)Abstract:Multimodal data fusion is a kind of data processing method for complementing the insufficient expression by the single modal data information,which is conducive to deeper mining and utilization of data.However,the existing multimodal data fusion m
6、ethods lack the representation and processing to complex correlations among multimodal data.While,in data correlation modelling,hypergraphs can well represent the high-order relationships among complex data,but easily cover the underlying features.Therefore,this paper proposes a multimodal fusion me
7、thod based on hypergraph convolution and underlying feature learning.Firstly,the multimodal hypergraph based on multimodal data is constructed,and the hypergraph convolution is used to obtain the high-level feature representation of the node.Then,the underlying feature weight of the node is adaptive
8、ly learned,and the underlying information is retained.Finally,the information of high and underlying is fused to perform node classification.Through the object recognition experiments,the importance of underlying features is verified.At the same time,in the actual scene of structural health monitori
9、ng,this method can well fuse the seismic electromagnetic three field data to determine the damage levels.Key words:hypergraph convolution;data feature;node classification;multimodal fusion;structural damage 物联网技术的发展和普及,丰富了数据来源和形式,而每一种数据的来源或者形式,都是一种模态,多模态数据已经成为数据的主要存在形式。多模态数据可以从不同的角度描述对象,来自不同模态的数据互相补
10、充,能获得更加准确的信息,弥补了单一模态数据信息单一片面的不足,从而有效地解决问题1。34 实 验 技 术 与 管 理 因此,多模态数据融合成为当今研究的热点领域之一。传统的多模态融合方法有特征层融合和决策层融合2-3。以分类任务为例,前者在提取特征后将多模态特征融合,然后送入分类器中,融合发生在特征层面。后者将单模态特征分别送入不同分类器中,将分类器的输出结果进行融合,例如平均、加权等。Gunes 等4和 Snoek 等5将两种融合方式进行比较,发现当模态之间的相关性较大时,特征层面的融合效果要比决策层面的效果好;当模态间的相关性较小时,决策层面的融合效果要好于特征层面。何俊等6指出特征层面
11、的融合不能充分学习模态间的互补性,容易产生过拟合问题。Hinton 等7认为,多模态数据流所包含的信息只有在较高层次才能体现相关性。总之,仅在特征层面的简单融合不能对模态间的相关性进行充分的学习和表示。图作为一种重要的数据结构,可以表示数据对象间的任意关系。其逻辑结构特点与数据多模态间的相关性不谋而合。近年来,图神经网络(graph neural networks,GNNs)、知识图谱(knowledge graph,KG)等图学习方法8-10在人工智能领域的研究和应用也证明了图数据结构可以很好地构建数据对象的关系。根据数据的不规则相关性构造数据结构图,在结构图上学习节点表示、研究节点之间关联
12、性,是图学习的重要方向。然而,在处理多模态数据时,图结构无法充分学习多模态数据的高阶关系,限制了基于图结构的多模态数据融合的发展。超图神经网络(hypergraph neural networks,HGNNs)11是基于超图谱域卷积的融合方法,用结构性更强的超图替换图结构,将特征层融合与超图卷积在学习数据高阶相关性上的优势结合,解决多模态数据高阶关系表示与学习。该方法的融合分为特征级融合与结构级融合,通过构建并级联模态超图,将融合后的特征作为节点特征输入到多模态超图上进行卷积,在多模态节点分类上取得了较好效果。HGNN+12将超图谱域的卷积扩展到了空域上,在空间上聚合多模态邻居信息,改善了谱域
13、卷积模型。虽然上述超图卷积方法学习了模态间的高阶相关性,但是利用卷积得到的节点高层信息容易覆盖节点自身的底层信息,影响模型的准确性。因此,本文提出一种基于超图卷积并结合底层特征学习的多模态融合方法(R-HGNN 和 R-HGNN+)。该方法在谱域和空域上均适用。首先,多模态输入特征分别经过两个部分:一是通过超图卷积聚合邻域信息,得到节点的高层特征表示;另外训练学习得到节点的底层特征权重,与多模态输入特征对应相乘得到节点的底层信息。然后,将高层信息和底层信息叠加作为节点最终的特征表示。最后,送入到特征转换完成维度变换,从而实现分类任务。1 实验原理 1.1 超图概念 在一个普通图中,假设图中的节
14、点表示电影,图学习的任务是节点分类。图中的边表示演员,若节点之间存在边,说明该演员出演过这两部电影,反之,则说明电影之间并无同一演员。但是在这样的图结构中,一条边只能连接两个节点,并不能直观地表现出一个演员演过的所有电影,边的信息是冗余的。因此,将普通图扩展为超图。在超图中,一条边可以连接任意数目的节点,可以直观地将一个演员的所有作品呈现出来。普通图体现节点间的邻接关系,超图表征节点间的关联性,在相关性表达上,超图具备普通图不具备的能力。图 1 为电影与演员关系的普通图和超图的对比,普通图可以用邻接矩阵的形式表示,若节点之间存在边,则矩阵元素对应为 1,反之为 0。从对比图中可以看出,在电影和
15、演员的表示关系中,普通图结构有 14 条边,而超图结构仅有 3 条边,分别代表 3 个演员,超图结构直观地表现出了演员的全部作品。在现实生活中,数据挖掘面临的往往是大规模图,当图的规模扩大,节点数目增多时,超图结构有更明显的优势。图 1 电影与演员关系的普通图和超图的对比 芦楠楠,等:基于超图卷积结合底层特征学习的多模态融合方法 35 给定一个超图=(,)GV E W,12,VVv vv=表示节点集,12,EEe ee=表示超边集,W是对角矩阵,其对角线元素()jw e表示超边jeE的权重。超图可以用|VE的关联矩阵H表示,若节点ivV存在超边jeE中,则矩阵元素(,)1ijh v e=,反之
16、为 0。定义节点ivV的度为()()(,)jijijeEd vw eh v e=,边jeE的度为()(,)ijijv Vd eh v e=。vD和eD分别是节点度和超边度的对角矩阵。超图的拉普拉斯矩阵可以表示为1 21T1 2vevG-=-LIDHWDH D,GL是半正定的。1.2 超图卷积 和图卷积类似,超图卷积也分为谱域卷积和空域卷积两种方式。对于超图谱域卷积,卷积运算在图的谱域中进行。对于超图空域卷积,卷积运算在超图上聚合邻居信息。信息从节点传播到超边,再从超边传播回节点,从而完成信息传递。1.2.1 超图谱域卷积 给定一个超图=(,)GV EW,其节点数为|V。超图拉普拉斯矩阵GL是一
17、个|VV的半正定矩阵,根据特征分解TG=LU U 可以得到正交特征向量矩阵U和包含非负特征值的对角矩阵1|diag(,)V=。对于超图上的信号|VRx,可以认为x为包含所有节点特征的矢量,其中每个节点均用一个标量表示。定义其傅里叶变化为T=xU x,对应特征向量是傅里叶基,特征值是频率。信号x与滤波器g的谱域卷积可以表示为:TTT()()()ggg=xU UU xUU x (1)式中,表示卷积运算符,表示元素的哈达玛积,()g 是GL的特征值的函数。然而,上式的计算量过大,计算复杂度为2(|)VO。为了解决这个问题,可以用 K 阶多项式近似表示()g,这里使用 K 阶截断的切比雪夫多项式13,
18、可得:0()()KkkkgT=?(2)式中,max2?=-I=-I,max表示GL中最大的特征值。式中,k是切比雪夫系数。切比雪夫多项式的递归公式为12()2()()kkkTxxTxTx-=-,其中0()1T x=,1()T xx=。将式(2)代入式(1)可得:T0T00()()()KkkkKKGkkkkkkgTTT=?xUU xUUxLx(3)式中,max2G=?LL-I-I。经过近似,可以发现拉普拉斯特征向量的计算被替换掉,只剩下矩阵运算,改善了计算的复杂度。因为超图的拉普拉斯本身已经可以很好地表示节点之间的高阶关系,所以令 K=1 限制卷积的阶数。同时,由 于 神 经 网 络 的 规 模
19、 适 应 性,可 以 近 似 令max2,则卷积运算可以进一步简化为8:1 21T1 201vevg-xxDHWDH Dx(4)式中,0和1是所有节点的滤波器参数,为了避免过拟合问题,令1 21T1 20vev12-=DHDH D,112=-,式(4)化简为 1 21T1 2vev1 21T1 2vev1()2g-xDH W+I DH DxDHWDH Dx(5)式中,+WI可以认为是超边权重,这里 W 初始化为单位阵。当给定第 l 层的超图节点特征矩阵lVX,超图卷积可以表示为 11 21T1 2vev()lllVV+-=XDHWDH DX (6)式中,1llddl+R 是第 l 层的可学习参
20、数。1.2.2 超图空域卷积 对于超图=(,)GV EW,假设VX为其节点特征矩阵,|VdVRX,d 为特征维度,ivVxX表示节点iv的 特 征 向 量。定 义 包 含 节 点iv的 超 边 集 为()|ijijE veE ve=,则节点iv在第 l 层的信息传递到超边可以表示为 1Message(|,)jqllevqjijveve=xx(7)式中,qv是指定超边je内的所有节点,包含iv;jlex是第 l 层超边je的特征,ljdleRx,由节点特征经过聚合函数1Message()得到,ld指第 l 层的超边特征维度。信息从超边传递到节点iv可以表示为 12Update(,Message(
21、)|()iijlllvvjejiw eeE v+=xxx(8)Update()表示节点特征从l层到l+1 层的更新函数。聚合函数和更新函数的表达式如下12:1,Message(|,)()qqqjijlvlvqjijjve veve ved e=xx(9)2()Message()|()()jjjilljejijeeE vw eeE vw e=xx(10)22Update(,Message(|()Message(|()()ijjllvejilejilieE veE vE v=xxx (11)36 实 验 技 术 与 管 理 根据式(9)(11)可以将信息传递分为3个步骤。首先,选择一条包含节点iv
22、的超边je,将超边je中所有节点的特征相加,取平均作为其边特征,以同样的方式处理包含节点iv的其他超边,得到超边集()iE v内所有超边的特征;其次,超边集()iE v中的超边具有不同的权重,将超边的特征与其对应的权重相乘作为超边集()iE v内所有超边的总特征;最后,将超边集()iE v的总特征取平均再和一个转换参数相乘作为节点iv在该层信息传递后的特征。将节点的信息传递扩展到整个超图上,可以得到超图的空域卷积形式:111T1ve()lllVV+-=XDHWDH X (12)式中,H是超图关联矩阵,1()是非线性激活函数。令lEX表示第l层的超边特征矩阵,则lE=X1TelV-WDH X表示
23、特征从节点传播到超边,11vllVE+-=XDHX表示特征从超边传播到节点。2 实验模型框架 一个完整的超图卷积层包括特征传播、特征转换和非线性变换3个部分。本文将这3部分分离,提出的多模态超图卷积模型的整体框架如图2所示。首先根据多模态输入构造多模态超图;其次,多模态输入在特征层面进行融合作为超图节点的底层特征,输入到特征传播和自适应保留底层特征部分。在特征传播中完成信息聚合获得节点的高层特征表示,作为高层信息;在自适应保留底层特征部分学习节点的底层特征权重。对于每一个节点,都有与之对应的权重,将该权重与底层特征相乘后得到底层信息。最后,将高层信息与底层信息结合输入到特征转换进行降维,以实现
24、分类目的。考虑到非线性变换的作用不是至关重要的,因此忽略该部分的影响。图 2 基于超图卷积结合底层特征学习的模型框图 2.1 多模态超图 在多模态场景中,节点在不同模态中有不同的特征表示,设()V mX表示在模态m中的节点特征矩阵,()()Vd mV mRX,1,2,mM,M为模态个数。节点特征矩阵的多模态表示为 ()Concat(|1,2,)VV mmM=XX(13)式中,Concat()表示对应行级联。在模态m表示的特征空间中,根据KNN可以构造超图得到关联矩阵()mH,则多模态超图可以表示为 Concat()|1,2,)mmM=HH(14)式(13)和式(14)作为多模态输入和多模态超图
25、构造的输出输入到特征传播中。2.2 多模态超图卷积 式(6)和式(12)展现的是超图卷积的一层完整过程,为了将特征传播和特征转换分离,同时去掉非线性部分,修改其为 11 21T1 2vevllVV+-=XDHWDH DX 111TvellVV+-=XDHWDH X(15)从式中可以发现,无论是谱域卷积还是空域卷积,均符合1llVV+=XAX的形式。对于谱域卷积,=A 1 21T1 2vev-DHWD H D,对于空域卷积,11Tve-=AD HWD H,定义A为特征 聚合器,则 特征传 播可 以表示 为1llVV+X=AX。和添加节点自环的普通图不一样,根据KNN构造的超图自带节点的自连接,但
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 超图 卷积 结合 底层 特征 学习 多模态 融合 方法 芦楠楠
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。