基于自编码器的过完备多级表示深度子空间聚类.pdf
《基于自编码器的过完备多级表示深度子空间聚类.pdf》由会员分享,可在线阅读,更多相关《基于自编码器的过完备多级表示深度子空间聚类.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 47 卷第 2 期浙江师范大学学报(自然科学版)Vol.47,No.22024 年 5 月 Journal of Zhejiang Normal University(Nat.Sci.)May 2024 DOI:10.16218/j.issn.1001-5051.2024.014基于自编码器的过完备多级表示深度子空间聚类汪雷杰,徐慧英,朱信忠,汪紫莹(浙江师范大学 计算机科学与技术学院,浙江 金华 321004)摘 要:深度子空间聚类网络利用深度自表达性,借助具备全连接层的欠完备深度自编码器,有效地解决了无监督子空间聚类难题.然而,该方法使用输入数据的不完全表示,并且缺乏低级和高级信息的集
2、成,从而损害其鲁棒性.为解决这一问题,提出了一种新的深度子空间聚类方法,该方法使用卷积自动编码器将输入图像转换为位于线性子空间联合上的新表示.在编码器层加入了过完备分支,使得网络能够捕捉到更精细的数据细节.此外,在编码器和相应的解码器层之间引入多个完全连接的线性层.这些互相连接的层协同作用,将低级和高级信息结合在一起,从而在编码器的不同层级上生成了多组自表达和信息表示.该过程有效地促进了特征学习过程.最后,引入了一个新的损失最小化问题,利用初始样本聚类有效地集成了多级表示,从而更准确地恢复了底层子空间结构.随后,采用迭代方案来最小化损失函数.在 4 个真实数据集上的实验结果表明,在大多数子空间
3、聚类场景中,本文方法最优.关键词:无监督学习;深度子空间聚类;自动编码器;过完备表示;多层次表示中图分类号:TP181 文献标识码:A 文章编号:1001-5051(2024)02-0166-10Overcomplete multi-level representation subspace clustering based on autoencoderWANG Leijie,XU Huiying,ZHU Xinzhong,WANG Ziying(School of Computer Science and Technology,Zhejiang Normal University,Jinhu
4、a 321004,China)Abstract:The deep subspace clustering network leveraged deep self-expressive capabilities by utilizing an undercomplete deep autoencoder with fully connected layers to effectively address the challenge of unsuper-vised subspace clustering.However,this method employed an incomplete rep
5、resentation of input data and lacked the integration of low-level and high-level information,thereby compromising its robustness.To address this issue,a novel deep subspace clustering method was proposed.The propsed method utilized a convolution-al autoencoder to transform input images into a new re
6、presentation situated in a linear subspace union.By incorporating an overcomplete branch within the encoder layer,it enabled the network to capture finer details of the data.Additionally,it was introduced multiple fully connected linear layers between the encoder and corresponding decoder layers.The
7、se interconnecting layers synergistically combine low-level and high-level information,generated multiple sets of self-expressive and informative representations across various levels of 收文日期:2023-08-15;修订日期:2023-09-26基金项目:国家自然科学基金资助项目(62376252;61976196);浙江省自然科学基金重点资助项目(LZ22F030003)作者简介:汪雷杰(1997),男,
8、浙江宁波人,硕士研究生.研究方向:子空间聚类;深度聚类.通信作者:徐慧英.E-mail:xhy the encoder.The process effectively facilitated the feature learning procedure.Furthermore,a novel loss mini-mization problem was introduced to effectively integrate multi-level representations by leveraging initial sample clustering,resulting in a mor
9、e accurate recovery of the underlying subspace structure.Subsequently,by em-ploying an iterative scheme to minimize the loss function,the experimental results on four real datasets demon-strated that the proposed approach outperformed state-of-the-art methods in the majority of subspace clustering s
10、cenarios.Key words:unsupervised learning;deep subspace clustering;automatic encoder;overcomplete representa-tion;multi-level representation0 引 言子空间聚类是一种学习范式,它以无监督的方式致力于将位于多个低维子空间联合的一组数据样本划分成不同的聚类,使每个聚类内的样本属于同一子空间.随着各种数据量的快速增长,子空间聚类在模式识别和分析中发挥着越来越重要的作用,如运动分割1、人脸聚类2、电影推荐3.大量的子空间聚类依赖自表达性的概念,即子空间中的每个样本点
11、都可以用基于同个子空间中其他点的线性加权集合来表示.鉴于此,通过线性表示来揭示样本之间的潜在关系,并将它们划分到彼此对应的子空间中.在这个过程中,需要每个样本线性表示中的非零系数对应于给定样本在相同子空间中的点.为了实现这一目标,通常采用以下方法:首先从输入数据中学习亲和矩阵,然后利用谱聚类技术4进行聚类恢复.尽管自表达性在文献中发挥着关键作用,但在应用于样本位于高度非线性子空间的情况下,其效果可能并尽如人愿.实际数据样本通常包含高度非线性的结构,这使得自表达性在实践中并不总能满足线性子空间解决方案.在人脸数据集中,由于图像的光照不均和被测对象的不同姿态,导致相同目标的人脸图像通常处于非线性子
12、空间中.为了处理这些情况,常见的实践技术是利用核技巧将样本映射到更高维度的空间,以使它们更符合线性子空间的要求5-8.尽管这种策略在某些情况下取得了成功,但并不适用于所有应用,主要是因为给定的数据点集识别合适的核函数是一项相当具有挑战性的任务9.为解决非线性情况,深度子空间聚类网络(deep subspace clustering,DSC)10采用多个非线性层的深度自编码器对高度非线性的输入数据进行建模.同时,在自编码器的中间引入一个无偏差的全连接层,即自表达层,用于学习数据样本之间的亲和关系.然而,DSC 只依赖于编码器组件最后一层的输出来捕获子空间结构,并进行子空间聚类,这可能无法完整地建
13、模全面的子空间结构.该方法仍存在 2 个主要问题:首先,当 DSC 存在数据噪声时,系统的抗扰性较差,性能受到很大影响;其次,DSC 在很大程度上依赖预训练停止的位置,如果在预训练过程中在清晰重构的正确阶段之前或之后的某些阶段停止,聚类结果将变得不稳定,性能也会明显下降.本文提出了一种新的基于频谱聚类的方法,该方案在能够获得鲁棒表示和稳定训练的同时提高了性能.笔者提出过完备多级表示深度子空间聚类(overcomplete multi-level representation subspace cluste-ring,OMDSC),使用堆叠卷积自编码器与过完备表示,使其具有更强的鲁棒性,并且在噪
14、声存在的情况下也能灵活地匹配数据结构.本研究采用了一种新颖的方法来解决表示学习的问题.引入一个 DSC 中的自编码器,并与过完备卷积自编码器并行训练,以实现更优的数据表示.为了推断多级表示,在编码器和解码器的相应层之间添加了多个完全连接的线性层.接着,将过完备表示和不完全表示相结合,通过自表达层学习数据点之间的成对亲和力.这个简单而有效的融合技巧使得训练过程更加稳定,且不过度依赖预训练过程.通过广泛的实验分析,对这种方法进行了全面的评估.预训练的 OMDSC 自编码器在重构任务上表现出色,比预训练的 DSC 自编码器更为优越,说明过完备网络学习到了更有效的表示.在761 第 2 期 汪雷杰,等
15、:基于自编码器的过完备多级表示深度子空间聚类4 个基准数据集上进行了评估,涵盖了 MNIST,COIL20,ORL 和 Extended Yale B.实验结果显示,本文提出的 OMDSC 方法在与 DSC 及其他传统子空间聚类方法的比较中表现出明显的优势.总的来说,本研究展示了一种创新的表示学习方法,通过引入并行训练的自编码器,融合过完备和不完全表示,取得了显著的性能提升.这一方法有望在实际应用中发挥重要作用,并为进一步的研究提供了新的思路.表 1 符号表符号描述X样本矩阵xi矩阵 X 的第 i 行xij矩阵 X 的第 i 行第 j 列元素X主网络重构矩阵X过完备网络重构矩阵Ze潜在表示矩阵
16、D层唯一信息矩阵C自表达矩阵Q单热矩阵QT单热矩阵的转置F矩阵 X 的 F 范数1矩阵 X 的 l1范数2矩阵 X 的 l2范数RNNNN 阶矩阵I单位矩阵超参数e编码器参数d解码器参数1 准备工作1.1 符号说明本文符号见表 1.1.2 自表达性子空间聚类本节将回顾与本文提出的框架最相关的方法.传统的子空间聚类方法的核心目标是学习一个加权图,其中边的权重表示输入数据样本之间的关联程度.随后,可以借助谱聚类11或其变体12,将这个图划分成一组不相交的子图,每个子图对应于一个不同的聚类1,13-14.在实现这一目标时,常用的加权图计算公式为minCRNN12X-XC22+g(C),s.t.dia
17、g(C)=0.(1)式(1)中:XRdN是一个矩阵,每一列都代表着一个样本xiRdni=1;C 为自表达矩阵,其中元素 xij表示样本 xj对重构 xi的贡献;gRNNRNN是正则化约束;0 是一个超参数,用于平衡不同项之间的重要性.在本文方法中,的作用是调整过完备项和不完全项在表示学习中的相对权重.利用 diag(C)=0 避免了平凡解 S=I,即样本是自身的线性组合.一旦得到了式(1)的最优解,由(C+CT)/2 计算亲和矩阵,并将其输入 SPA 算法,得到聚类结果.随着深度模型在计算机视觉和机器学习应用中越来越普遍,子空间聚类技术通常使用自编码器从输入数据中提取深层自衍生的表示.其中,D
18、SC 在深度自编码器中引入了一个新增的自表达层,即在编码器与解码器之间插入完全连接的线性层,以便有效生成适用于子空间聚类的表示.DSC 提出以下模型:L(,C)=12X-X2F+1Cp+22Ze-ZeC2F,s.t.diag(C)=0.(2)式(2)中:10 和 20 是固定的超参数,用于控制不同项的重要性;p=1 或 2;=e,C表示网络参数;矩阵 ZeRdn,其中 d 是表征的维度.式(2)的主要目标是计算网络参数,使得 Ze=ZeC 成立,重构矩阵 X能够近似输入矩阵 X.使用反向传播和谱聚类算法找到式(2)的解,并且确定样本的分类.1.3 过完备表示方法过完备表示最初作为一种替代信号表
19、示方法和更通用的方法被引入15.该方法涉及使用过完备基或过完备字典,使得基函数的数量大于输入信号样本的数量.这种设计赋予了过完备表示更高的灵活性,能够更有效地捕获数据中的结构,从而证明其更为健壮.当前深度学习中广泛采用的所有主要架构均采用通用的“编码器-解码器”架构.在这一结构中,编861浙江师范大学学报(自然科学版)第 47 卷码器的作用是从输入数据中提取抽象特征,而解码器则通过学习将潜在的低维表示转换为高维输出,以完成具体任务.然而,这种通用的“编码器-解码器”模型属于不完全表示的范畴,因为与输入数据相比,潜在空间中的空间维度数量较少.为了克服这一限制,提出了深度卷积过完备自动编码器16.
20、该模型在卷积层之后添加了编码器的最大池化层和解码器的上采样层.最大池化降低了特征映射的空间维度,而上采样则相反.通过这种设计,深度网络的初始层被迫学习低级特征,而深层则学习高级特征.随着涵盖范围的扩展,深层的滤波器能够接触到初始图像中更广泛的像素信息,进而有助于学习更高级的特征.通过在编码器的每个卷积层后添加上采样层,使网络能够将输入数据映射到更高的空间维度.这种过完备表示增加了网络的灵活性和健壮性,能够更好地捕获数据中的结构和特征.本文特别关注了感受野大小的变化,这是通过将编码器中的最大池化层替换为上采样层实现的.将编码器中的最大池化层替换为上采样层,会导致更深层的接受场大小受到限制,从而使
21、更深层比初始层学习到更精细的细节,如图 1 所示.(a)不完整的网络结构 (b)过度完整的网络结构图 1 在不完整的网络架构和过度完整的网络架构中接受场的变化过程为了进一步理解这一点,设 X 为输入图像,F1和 F2分别为从第 1 层和第 2 层提取的特征映射.在这些欠完备架构的转换层中存在的最大池化层(如图 1(a)所示)是连续层中接收野较大的主要原因.设卷积滤波器在图像上的初始接受域为 kk.由于最大池化层引起的感受野变化取决于池化系数和池化滤波器步长这 2 个变量,所以在相关系数的配置上,池化系数和步长都设置为 2(与大多数网络一样).考虑到这种配置,输入图像上的第 2 层(将 F1转发
22、到第 2 层)的感受野为 2k2k,同样,第 3 层(将F2转发到第 3 层)的感受野为 4k4k,这种感受野的增加可以推广到不完全网络的第 i 层,其感受野的大小为 22(i-1)kk.对于提出的过完备网络,用系数为 2 的上采样层代替最大池化层.由于上采样层实际上与最大池化层的工作原理完全相反,因此,现在输入图像上的卷积第 2 层的接受场将是12k12k.类似地,第 3 层的接受野现在是14k14k.对于过完备分支的第 i 层,这种感受野可以增加12()2(i-1)kk.通过可视化特征映射发现过完备网络能更详细和完整地捕获边缘.相比之下,欠完备网络的深层特征较为粗糙,可能是因为其特征尺寸较
23、大.这凸显了过完备表示的优越性.引入过完备表示提高了深度神经网络对数据细节的敏感性,从而提升了图像处理任务的性能.过完备网络学习的高质量特征有助于提高任务的准确性和健壮性.这些发现对深度学习领域具有重要意义.2 OMDSC 方法OMDSC 方法(见图 2)从过完备表示中得到启发,本文方法可以看作是 DSC 算法的推广10,即利用输入数据的低级和高级信息产生更多信息和判别性更强的子空间聚类表示.此外,引入了一些连接层,同时学习多层次的深度表示并有效地融合它们,以提高聚类性能,该问题采用样本的初始聚类来有效地聚合从多层次表示中获得的知识,促进学习更准确的子空间.2.1 多级表示学习方法961 第
24、2 期 汪雷杰,等:基于自编码器的过完备多级表示深度子空间聚类图 2 OMDSC 方法结构图与传统的解码器组件不同,传统的解码器组件专门用于视图数据的重构 X,只能从潜在编码中找到Ze.受残差网络的影响,多级表示学习提出了一种引入多个完全连接层的方法,用于编码器和解码器之间的信息流.每对网络层之间没有偏差,因此,自编码器提供了多条信息路径.这些连接层可以被视为自表达矩阵的权重矩阵.这种方法具有以下优势:首先,连接层从输入数据中提取不同复杂层次的信息,并将其整合在一起,从而提高聚类性能;其次,它监督每层编码器组件的输出,产生多组满足自表达特性的表示.编码器组件中学习到的表示继续被输入到完全连接的
25、层,然后传递到解码器组件的相应层.这种策略使得解码器组件能够更准确地重构输入数据,减少了信息丢失.该方案通过重用不同级别的信息,使解码器组件更准确地重构输入数据,减少了下采样过程中造成的信息丢失.2.2 OMDSC假设编码器的每个全连接层都与 2 个矩阵相关联,它们以自我表达矩阵之和的形式出现.其中,第1 个矩阵在整个编码器层中共享,第 2 个矩阵是每个特定层的独有部分.编码器可被理解为将输入空间映射到表示空间的映射函数,其目标是保持不同表示层次上数据样本之间的关系.此外,在编码器的不同层次上,一些样本之间可能具有更强或更弱的关系.为了捕获编码器层之间共享的关系信息,引入了自表达矩阵 CRnn
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 编码器 完备 多级 表示 深度 空间
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。