![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于图结构融合的自监督聚类实验设计_张林.pdf
《基于图结构融合的自监督聚类实验设计_张林.pdf》由会员分享,可在线阅读,更多相关《基于图结构融合的自监督聚类实验设计_张林.pdf(9页珍藏版)》请在咨信网上搜索。
1、 实 验 技 术 与 管 理 第 40 卷 第 9 期 2023 年 9 月 Experimental Technology and Management Vol.40 No.9 Sep.2023 收稿日期:2023-03-19 基金项目:国家自然科学基金项目(61971422)作者简介:张林(1981),女,江苏海安,博士,教授,主要研究方向为机器学习、人工智能,。通信作者:刘辉(1981),男,江苏徐州,博士,副教授,主要研究方向为人工智能、系统设计,。引文格式:张林,陈祥志,向海平,等.基于图结构融合的自监督聚类实验设计J.实验技术与管理,2023,40(9):65-73.Cite th
2、is article:ZHANG L,CHEN X Z,XIANG H P,et al.Experimental design of self-supervised clustering based on graph structure fusionJ.Experimental Technology and Management,2023,40(9):65-73.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.09.010 基于图结构融合的自监督聚类实验设计 张 林,陈祥志,向海平,陈淑涛,刘 辉(中国矿业大学 信
3、息与控制工程学院,江苏 徐州 221116)摘 要:该文针对融合数据特征和结构表示的自监督聚类任务,进行了教学实验设计,提出一种基于图结构融合的自监督聚类算法(GSFC)。首先利用 K 近邻将数据中潜在的关联关系建模为图结构,然后分别构建自编码器和图自编码器学习数据特征和结构表示,再设计自适应融合网络实现二者的逐层双向互补融合与传递,最后建立多分布联合自监督机制指导整体网络的协同训练。在六组公共数据集上的实验结果表明,GSFC 显著提高了聚类性能,鲁棒性更理想。通过该完整的实验设计能够帮助学生理解图结构、自监督学习、聚类等基本理论和方法,培养学生理论联系实际能力和对科学研究的兴趣。关键词:教学
4、实验;聚类;自编码器;图自编码器;自监督 中图分类号:TP391 文献标识码:A 文章编号:1002-4956(2023)09-0065-09 Experimental design of self-supervised clustering based on graph structure fusion ZHANG Lin,CHEN Xiangzhi,XIANG Haiping,CHEN Shutao,LIU Hui(School of Information and Control Engineering,China University of Mining and Technology,
5、Xuzhou 221116,China)Abstract:In this paper,a teaching experimental design for self-supervised clustering task is introduced.It is proposed based on graph structure fusion(GSFC),aiming at the self-supervised clustering task of data feature and structure representation.Firstly,the potential associatio
6、n relationship in the data is modeled as a graph structure by using K-nearest neighbors,and then the autoencoder and the graph autoencoder are constructed to learn the data feature and structure representation respectively.Then the adaptive fusion network is designed to realize the layer-by-layer bi
7、directional complementary fusion and transfer of the two.Finally,a multi-distributed joint self-supervised mechanism is established to guide the collaborative training of the whole network.The experimental results on six public datasets show that GSFC significantly improves the clustering performanc
8、e and has better robustness.The complete experimental design can help students understand the basic theories and methods such as graph structure,self-supervised learning,and clustering,and cultivate students ability to integrate theory with practice and cultivate their interest in scientific researc
9、h.Key words:teaching experiment;clustering;autoencoder;graph autoencoder;self-supervised 聚类作为一种重要的无监督学习任务,其目的是将相似的数据样本划分至同一个簇,以区分无标签数据。传统的聚类方法,如 k-means、DBSCAN(density-based spatial clustering of applications with noise)、模糊聚类和层次聚类等通过特定的距离度量标准对样本进行分簇1-4。但随着输入数据维度的增大,此类聚类算法的计算复杂度会急剧增加,聚类性能也会大幅下降,因此较难处
10、理高维特征数据的聚类问题。近年来,66 实 验 技 术 与 管 理 深度聚类算法借助深度神经网络强大的表示学习能力,可从高维特征数据中提取更具有表征意义的特征,进而完成聚类分析。作为创新性研究成果,该算法可为电子信息工程及相关专业高年级学生及研究生结合实际需求学习聚类分析相关理论提供素材。由于数据特征和结构表示信息均可用于聚类分析,人们尝试将二者相结合来优化聚类性能。按照这一思路,本文构建了基于图结构融合的自监督聚类算法(self-supervised clustering algorithm based on graph structure fusion,GSFC),通过自编码器(autoe
11、ncoder,AE)5和图自编码器(graph autoencoder,GAE)6分别学习数据特征和结构表示,利用自适应融合网络实现二者的互补融合,构建多分布联合自监督机制迭代优化聚类标签分配。1 实验网络设计 1.1 基于图结构融合的自监督聚类模型整体结构 GSFC 模型主要由 AE、图结构数据建模、GAE、自适应融合网络和多分布联合自监督机制五部分组成,其模型如图 1 所示。首先,GSFC 构建 AE 提取数据特征;其次,GSFC 利用 K 近邻(K-nearest neighbour,K-NN)将数据中的关联关系建模为图结构,并通过GAE 学习数据结构表示;然后,GSFC 通过自适应融合
12、网络实现数据特征和结构表示逐层双向互补融合与传递;最后,GSFC 通过多分布联合自监督机制优化AE、GAE、自适应融合网络的协同训练,实现聚类分析。图 1 GSFC 模型 1.2 自编码器 深度神经网络如卷积神经网络、递归神经网络、AE 等,能够从数据中提取关键特征实现各种下游任务。AE 已成为无监督学习中最重要的特征提取算法之一,广泛应用于聚类分析。AE 主要由深度均为 L的编码器网络和解码器网络组成,通过最小化输入数据和重构数据之间的重构误差学习获得输入数据的潜在特征。假设输入数据矩阵 1,2,|,ixiN=X,其中 xi为 X 中第 i 个行向量,对应第 i 个样本,N 为样本数目。编码
13、器网络第 l 层的传输函数为:1()llllb-=+HW H(1)其中,表示 Relu 激活函数,Wl和 bl分别表示编码器网络第 l 层的权重和偏置。Hl为第 l 层的输出,Hl1为第 l1 层的输出,同时也是第 l 层的输入。特别地,首层编码器网络的输入 H0即为 X。相应地,解码器网络第 l 层的传输函数为:?1()llllb-=+?HW H(2)其中,?lW、lb?分别表示解码器网络第 l 层的权重和偏置。?lH为第 l 层的输出,?1l-H为第 l1 层的输出,同时也是第 l 层的输入。特别地,首层解码器网络的输入?0H为编码器网络的最终输出 HL。解码器的最终输出,同时也是 AE
14、的输出,为重构数据?X。AE 模块的优化目标为最小化 X 与?X之间的误差,损失函数定义为:?2a12FLN=-XX(3)1.3 图结构数据的建模 在现实场景中,包含关联关系的数据可以建模为图结构,如社交网络、交通网络、蛋白质相互作用网络等。图结构由节点和边组成,节点之间通过边相连,当边为单向时,为有向图,当边是双向时,则为无向图。设图结构中节点的集合为12,Nv vv=V,vi表示图结构中第i个节点,节点数目N与数据样本数目一致。通常使用邻接矩阵A=aij表示图中节点之 张 林,等:基于图结构融合的自监督聚类实验设计 67 间的相互关联关系。当节点vi与vj之间存在边相连时,aij=1,否则
15、aij=0。GSFC模型将X中的每个样本作为一个节点,并利用K-NN算法,根据相似度将X转换为无向图结构。节点间相似度的计算高度依赖样本自身的性质,对于连续数据,节点i与j间的相似度sij可使用热核函数进行评估:22eijxxtijs-=(4)其中,|2表示L2范数,t是时间参数,设置t=2。对于离散数据,节点i与节点j间的相似度sij可采用计算内积的方法计算得到:Tijjisxx=(5)由此,可得相似度矩阵ijs=S。基于矩阵S,K-NN就可以筛选出目标节点对应的前K个高相似性节点作为其邻居节点,形成连接关系,进而构造出一个无向的K近邻图。由K近邻图中节点之间的连接关系可得到其邻接矩阵,作为
16、GAE的输入。1.4 图自编码器 众多研究表明,GCN能够学习图结构中潜在的深层次拓扑结构关联信息,学习数据的复杂结构性表示。因此,GSFC设计了基于GCN的GAE模块,以期在重构图结构关系的同时,学习数据中蕴含的结构表示,并由输入的邻接矩阵与重构后的邻接矩阵设计GAE的损失函数。GAE模块的输入为X和A,整体呈对称结构,前L层为图编码网络,后L层为图解码网络。图编码网络第l层的传输函数为:?11g2211()lll-=ZDADZW(6)其中,?ijijj=DA,?=+AAI,I为单位矩阵,表示节点的自连接。?1122-DAD实质上实现了?A的归一化。g1l-W表示图编码网络第l1层到第l层的
17、权重。Zl为图编码网络第l层的输出,Zl1为第l1层的输出,同时也是第l层的输入。与AE类似,GAE首层图编码网络的输入Z0即为X。相应地,图解码网络第l层的传输函数可表示为:?11g2211()lll-=ZDADZW(7)其中,?g1l-W表示图解码网络第l1层到第l层的权重。?lZ为第l层的输出,?1l-Z为第l1层的输出,同时也是第l层的输入。而首层图解码网络的输入?0Z为图编码网络的最终输出ZL。图解码网络的最终输出,同时也是GAE的输出,为?LZ。GAE重构后的邻接矩阵由?LZ计算得到:?TSigmoid()LL=AZ Z(8)在GSFC算法中,GAE更加关注拓扑结构关系的重构,GA
18、E的优化目标即为最小化A与?A之间的重构误差,损失函数可定义为:?2g12FLN=-AA(9)1.5 自适应融合网络 数据特征和结构表示可通过不同机制进行单向或双向融合,SDCN(structural deep clustering network)7和SDDECC(structural deep discriminant embedded coding network clustering)8实现二者的逐层单向融合,DFCN(deep fusion clustering network)9仅在底层网络中进行双向融合。而GSFC额外设计自适应融合网络实现数据特征和结构表示逐层双向互补融合与传递
19、,学习关键表示信息用于聚类分析。自适应融合网络第l层的传输函数表示为:ff1()llllllb-=+FWHZF(10)其中,flW和flb分别是自适应融合网络第l层的权重和偏置。Fl1表示第l1层的输出,自适应融合网络第l层的输入为AE中编码器网络第l层的输出、GAE中图编码网络第l层的输出与Fl1。特别地,当l=1时,因无前层网络,首层网络的输入仅为AE中编码器网络第1层的输出H1与GAE中图编码网络第1层的输出Z1。首层网络的传播函数为:ff11111(1)b=+-+FWHZ(11)其中,是可学习的参数。在自适应融合网络中,其余层的信息融合都与首层网络的输出相关。因此,仅在首次进行数据特征
20、和结构表示融合时,设计可学习参数,的学习过程即可伴随所有的融合过程,避免参数冗余。在模型训练时,通过反向传播更新的值,使数据特征和结构表示分配不同大小的融合权重。1.6 多分布联合自监督机制 AE和GAE都能够通过其损失函数独立完成训练,学习获得数据特征和结构表示。但AE和GAE的损失函数并未考虑后续数据特征和结构表示融合产生的影响,数据特征、结构表示的学习与二者的融合并不完全统一,训练时可能相互排斥。因此,GSFC设计多分布联合自监督机制,由AE和GAE的中间层输出求得多种概率分布,通过KL散度实现不同分布之间的相互约束,联合优化数据特征、结构表示的学习与二者的融合,引导AE、GAE和自适应
21、融合网络进行端到端的协同训练与迭代优化,实现聚类标签的 分配。首先,利用k-means10对预训练得到的AE中间层输出HL进行聚类,得到J个初始聚类中心1Jjj=,68 实 验 技 术 与 管 理 计算样本xi学习获得的数据特征hi与第j个聚类中心j之间students的t分布:122a122(1/)(1/)vijijvjijhvqhv+-+-+-=+-(12)其中,v表示自由度,当v=1时,由反平方定律可知距离初始聚类中心较远的点具有较小的值且基本稳定,因此本文在所有实验中均取v=1。令Qa=qaij,设Qa的高置信度分布为Pa=paij,则Pa可由式(13)计算得到:a2aaa 2a/ii
22、jijijjjijijqqpqq=(13)通过最小化Pa与Qa之间的KL散度约束Qa的生成,使Pa和Qa两个概率分布尽可能逼近,形成有效的自监督机制,帮助AE提取对聚类更具有表征意义的数据特征,Pa和Qa之间的KL散度计算如下:aaaaaaP QaKL()lnijijijijpLpq=PQ(14)其次,将AE预训练得到的初始聚类中心同时视作GAE的初始聚类中心,在GAE获得中间层输出 ZL后,执行式(12)和式(13)类似的计算得到Qg和Pg,二者之间的KL散度计算与式(14)类似,如式(15)所示:gggaggP QgKL()lnijijijijpLpq=PQ(15)Qa和Qg分别通过AE和
23、GAE的中间层输出计算得到,但AE和GAE通常相对独立,通过最小化Qa和Qg之间的KL散度,使AE和GAE联合优化数据特征和结构表示的学习过程,Qa和Qg之间的KL散度计算为:gagaggQ QaKL()lnijijijijqLqq=QQ(16)对于自适应融合网络的输出FL,由式(17)计算得到其概率分布F:softmax()L=FF(17)通过Pa和Pg可得到AE和GAE统一的目标分布P:ag2+PPP=(18)最小化P和F之间的KL散度约束F的生成,同时可优化数据特征和结构表示的融合过程。通过P和F之间的KL散度可得:PFKL()lnijijijijpLpf=P F(19)Pa和Pg可以分
24、别约束数据特征和结构表示的学习,最小化Qa和Qg之间的KL散度能够联合优化AE和GAE的训练。同时,由Pa和Pg求得统一的目标分布P可约束自适应融合过程,提取关键表示信息用于聚类分析。最终,通过多分布联合自监督机制联合优化数据特征、结构表示的学习与二者的融合,实现AE、GAE和自适应融合网络的协同训练,输出聚类分配标签集为:argmax()=CF(20)综上,GSFC模型整体的损失函数为AE损失函数、GAE损失函数与多分布联合自监督机制损失函数之和:aagggaagPFP QP QQ Q()LLLLLLL=+(21)其中,是Lg的权重,为LPaQa、LPgQg、LQgQa和LPF的权重。2 实
25、验设计及结果分析 2.1 数据集 实验使用六组真实数据集对GSFC算法进行验证,数据集分为非图结构和图结构,六组数据集的统计信息如表1所示。表 1 数据集统计信息 数据集 类型 样本数 类别数 特征维度USPS11 非图结构9 298 10 256 HHAR12 非图结构10 299 6 561 Reuters13 非图结构10 000 4 2 000 ACM7 图结构 3 025 3 1 870 DBLP7 图结构 4 058 4 334 Citeseer14图结构 3 327 6 3 703 六组数据集分别为:(1)USPS。手写灰度数字图像数据集,共包含 9 298张灰度图像,表示数值0
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 结构 融合 监督 实验设计
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。