基于非负矩阵分解的均方残差多视图聚类算法.pdf

收稿日期:2023-03-03摇 摇 摇 摇 摇 摇 修回日期:2023-07-05基金项目:国家自然科学基金(62273248);山西省自然科学基金(202103021224285)作者简介:郝敬琪(1997-),女,硕士研究生,研究方向为计算机视觉;通信作者:胡立华(1982-),女,副教授,硕导,研究方向为计算机视觉、人工智能与模式识别、机械产品逆向工程。基于非负矩阵分解的均方残差多视图聚类算法郝敬琪,胡立华,张素兰,张继福(太原科技大学 计算机科学与技术学院,山西 太原 030024)摘摇 要:针对高维海量数据,现有的多视图聚类方法存在无法发现高维视图隐藏信息、聚类效果差等问题。结合均方残差(Mean Squared Residue,MSR)思想,提出了一种基于非负矩阵分解的均方残差多视图聚类方法(Mean Squared Residue Non-negative Matrix Factorization,MSRNMF)。首先,采用改进的非负矩阵分解方法结合流形学习、希尔伯特-施密特独立性准则计算各单视图的系数矩阵,不仅降低了多视图中各个视图的维度,而且有效地提取了高维数据中的隐藏信息;其次,采用谱聚类算法对各单视图的系数矩阵进行聚类,获得单视图聚类簇;接着,利用均方残差思想,针对各单视图聚类结果进行融合,得到最终多视图聚类结果;最后,以标准数据集和古建数据集为对象进行验证,实验结果表明该算法在精度上优于 MVCF,GPSNMF,GPMVNMF,DMF 和 MCLES,在古建筑集上效果明显,进而验证了算法的有效性。关键词:均方残差;非负矩阵分解;流行正则化;希尔伯特-施密特独立性准则;谱聚类中图分类号:TP391 摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2023)12-0065-07doi:10.3969/j.issn.1673-629X.2023.12.009Mean Square Residual Multi-view Clustering Algorithm Based onNon-negative Matrix FactorizationHAO Jing-qi,HU Li-hua,ZHANG Su-lan,ZHANG Ji-fu(School of Computer Science and Technology,Taiyuan University of Science and Technology,Taiyuan 030024,China)Abstract:For high-dimensional massive data,the existing multi-view clustering methods have some problems,such as failing to discoverthe hidden information of high-dimensional view and poor clustering effect.With the idea of mean square residuals(MSR),a method ofclustering with mean squared residue based on non-negative matrix factorization(MSRNMF)is proposed.Firstly,the improved non-negative matrix factorization method combined with manifold learning and Hilbert-Schmidt independence criterion is used to calculate thecoefficient matrix of each single view,which not only reduces the dimensions of each view in the multi-view,but also effectively extractsthe hidden information in the high-dimensional data.Secondly,spectral clustering algorithm is used to cluster the coefficient matrix ofeach single view,and the single view cluster is obtained.Then using the idea of mean square residual,the clustering results of each singleview are fused to obtain the final multi-view clustering results.Finally,standard data sets and ancient construction data sets are used forverification.The experimental results show that the accuracy of the proposed algorithm is better than that of MVCF,GPSNMF,GPMVNMF,DMF and MCLES,and the effectiveness of it is verified.Key words:mean squared residue;non-negative matrix factorization;manifold regularization;Hilbert-Schmidt independence criterion;spectral clustering0摇 引摇 言聚类分析作为机器学习的主要研究分支,是一种广泛使用的无监督学习技术。在没有使用任何先验知识的条件下,按照对象间的相似程度,将不同的对象划分为不同的簇,确保每个簇内的对象尽可能相似,而不同簇间的对象尽可能相异。目前,聚类分析已广泛应用在科学 数据分析1、商业2、生物学3、医疗 诊断4、文本挖掘5等领域。多视图聚类(Multi-View Clustering,MVC)主要包括基于 k-means 的方法6、基于图的方法7以及基于子空间的方法8等。相较单视图聚类,多视图聚类方法充分考虑到数据的多样性和多面性,能够处理异常值和噪声,从而获得更好的聚类性能,因此成为聚类分析中的研究热点。然而,针对高维、海量的数据,现第 33 卷摇 第 12 期2023 年 12 月摇 摇 摇 摇 摇 摇 摇 摇 摇 摇计 算 机 技 术 与 发 展COMPUTER TECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇Vol.33摇 No.12Dec.摇 2023有的多视图聚类方法中仍然存在以下问题:(1)多视图数据集维度过高时,现有的多视图聚类方法很难发现隐藏信息;(2)大多数多视图方法融合过程仅考虑各单视图内部的局部特征,无法平衡每个视图的重要性。针对上述问题,结合非负矩阵分解和均方差残差思想,提出了一种基于非负矩阵分解的均方残差多视图聚类方法。该方法首先采用非负矩阵分解思想,在相关误差矩阵中加入鲁棒低秩约束,使系数矩阵的内部结构信息和误差矩阵中一些有用的判别信息得到充分的挖掘,并解决维度过高无法发现隐藏信息的问题;其次利用均方残差对每个视图结构进行自适应融合,使不同视图的结构在算法更新过程中得到融合和改变,从而平衡各单视图之间的重要性。论文的创新点包括:(1)设计了一种改进的非负矩阵分解方法,提高单视图矩阵分解的鲁棒性和稀疏性;(2)提出了一种自适应单视图融合方法,改进了各单视图之间融合的效果;(3)结合上述方法,提出了一种基于非负矩阵分解的均方残差多视图聚类方法;(4)采用标准数据集和古建筑图像,验证了算法的有效性。1摇 相关工作随着信息技术的飞速发展,数据的规模出现海量、多源、异构、高维等特点。针对上述数据,传统的单视图聚类存在聚类效率低、聚类效果差等问题,而多视图聚类方法可从不同角度分析数据,进而提高聚类效果,因此,受到了研究者的广泛关注。目前,多视图聚类算法可分为三类:基于 k-means的方法、基于图的方法以及基于子空间的方法。(1)基于 k-means 的方法:该方法首先对多视图数据的各单视图采用 k-means 聚类生成单视图聚类结果,然后对各单视图的聚类结果进行融合,最后得到最终聚类结果。典型方法有:2004 年 Bickel 等人9提出了扩展的 k-means 的方法,处理具有两个条件独立视图的情况。但是该方法只能处理两个视图的情况,无法处理三个或更多视图的情况。为了解决三个或更多视图聚类的问题,2016 年 Rai 等人10将部分视图聚类(PVC)算法扩展到 k 部分视图场景。其次扩展了 k部分视图算法,包括将视图拉普拉斯正则化。使得该算法能够利用每个视图中数据分布的内在几何结构。2018 年 Zhang 等人11提出了一种基于 k-means 的两级加权融合多视图聚类方法,有效解决了三个及以上视图的情况,但没有考虑各单视图的结构和不同视图的融合。(2)基于图的方法:该方法的核心思想是将多视图聚类问题转化为图分割问题12并进行谱聚类操作。但是,该类算法也存在一些问题,图谱聚类的最终结果完全依赖于构造的相似矩阵,然而不同的构造方法会影响聚类结果,因此构造理想的相似矩阵成为研究热点13。近年来,许多学者对谱聚类算法中相似矩阵的构造方法做了进一步研究与改进。典型方法有:2000年 Shi 等人7通过高斯核函数构造相似矩阵。2001 年Ng 等人14提出 NJW 算法,通过高斯核函数构造相似矩阵,并采用全连接构造方法。2010 年 Zhang 等人15利用两个样本点之间的局部密度求相似矩阵。2016年 Nie 等人16通过局部连通性为每个数据点分配自适应和最优邻居来学习相似矩阵。2018 年 Xie 等人17采用样本点与样本点的近邻点之间的欧氏距离作为局部标准差构造相似矩阵。2018 年 Zhan 等人18联合优化图矩阵,充分利用视图之间的数据相关性进行多视图聚类,并且可以处理任意数据集,即使它们包含负值。2020 年 Liang 等人19构造每个视图的邻接图来保持每个视图的几何信息,并推导出相应的基于交替迭代规则的乘法更新算法。然而这些文献中构造的相似矩阵都是固定的,不能很好地挖掘和利用数据结构。(3)基于子空间的方法:该方法试图揭示多视图共享的公共潜在子空间,子空间多视图方法利用矩阵分解来设计。利用各种矩阵分解方法,可寻找出隐藏在原始数据中的低维结构,便解决了“维度魔咒冶的问题。典型方法有:2016 年 Zhou 等人20提出稀疏多视图矩阵分解算法,旨在根据方差的视图特异性对特性进行优先级排序。2017 年 Zhao 等人21提出了一种通过图正则化半非负矩阵分解的深度多视图聚类算法,关键是通过半非负矩阵分解构建深层结构,以寻求具有一致知识的公共特征表示,从而促进聚类。2020 年Chen 等人22提出了一个统一的框架,联合了学习潜在嵌入表示、相似信息和聚类指标矩阵。然而,上述方法应用到高维海量多视图数据中,存在以下问题:利用非负矩阵分解的子空间聚类算法进行降维时,不仅会丢失数据的隐藏信息,而且降维维度的不确定性也导致了后序算法的不稳定性;并且大部分多视图聚类算法没有平衡每个视图的重要性,仅仅考虑了各个视图内部的局部特征,没有考虑到视图之间的联系。2摇 基础知识2.1摇 非负矩阵分解给定矩阵 X 沂 Rm伊n,m 为对象特征个数,n 为对象数量,将其非负矩阵分解23为基矩阵 U沂 Rm伊k和系数矩阵 V 沂 Rk伊n,k 为分解维度,具体定义如下:定义1(非负矩阵分解):给定一个矩阵 X,其非负66摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷矩阵分解过程可描述为:X 抑 UVs.t.U 逸 0,V 逸 0(1)定义2(非负矩阵的误差 Ex):Ex为给定矩阵X与基矩阵系数矩阵乘积 UV 之间的误差,Ex的计算公式如下:Ex=椰X-UV椰2F=移i=m,j=ni=1,j=1(xij-ui,*v,j)2s.t.U 逸 0,V 逸 0(2)其中,*表示点积。2.2摇 流形正则化流形正则化24是由 Tenenbaum 等人于 2000 年提出的一种方法,具体定义如下:定义 3(流形正则化 O2):设 Vi和 Vj表示系数矩阵的第 i 列和第 j 列。利用 F-范数计算列之间的偏差,以测量多视图中的低维表示的平滑度。流行正则化过程定义为:O2=12移ni,j=1椰V(s)i-V(s)j椰2FW(s)ij=移ni=1(V(s)i)TV(s)iD(s)ii-移ni=1(V(s)i)TV(s)j=tr(V(s)D(s)(V(s)T)-tr(V(s)W(s)(V(s)T)=tr(V(s)L(s)(V(s)T)(3)其中,W(s)ij表示 s 视图中 xi和 xj之间的相似度,如果样本点 xj在样本点 xi的近邻内则有 Wij=xTixjmax(xTx),tr为矩阵的迹,L(s)=D(s)-W(s)是 s 视图的拉普拉斯矩阵,其中 D(s)为对角矩阵且 D(s)ii=移nj=1W(s)ij。2.3摇 希尔伯特-施密特独立性准则希尔伯特-施密特独立性准则(Hilbert-SchmidtIndependence Criterion,HSIC)25是一种基于核的独立性度量方法,具体定义如下:定义 4(HSIC 的一般形式):给定 n 个样本点和不同视图 V(s),V(w),则视图 V(s)和视图 V(w)的关联性HSIC 被定义为:HSIC(Z,V(s),V(w)=摇 摇(n-1)2tr(K(s)H K(w)H)(4)其中,Z:=(x1,y1),(x2,y2),(xn,yn)沂 V(s)伊V(w),hij=啄ij-1/n 是中心矩阵,啄ij为 n 阶单位阵,K(s)和 K(w)是两个内积矩阵。3摇 文中算法3.1摇 问题定义基于图正则化概念分解的多视图聚类方法采用非负矩阵分解方法实现数据从高维到低维的映射表示,利用视图之间的数据相关性进行多视图聚类,从多视图数据中学习亲和图,以解决视图之间的相关性问题,同时避免利用单个图构造亲和图。然而针对高维海量数据,该算法具有以下问题:(1)非负矩阵分解将矩阵X 分解为基矩阵 U和系数矩阵 V 的乘积,但是,此过程是近似分解,导致数据缺失从而增加矩阵分解的误差;(2)使用低维系数矩阵 V 代替高维矩阵 X 进行多视图聚类时,视图内部潜在信息存在难以解释的问题,使得低维数据不能完全映射高维数据;(3)现有的多视图聚类算法不能充分挖掘视图之间的差异性和互补性,导致了聚类结果不准确。3.2摇 算法步骤针对上述问题,提出了基于非负矩阵分解和均方残差的多视图聚类方法(MSRNMF)。首先,对多视图数据中各单视图矩阵进行改进后的非负矩阵分解,得到各单视图的系数矩阵;其次,为了保持多视图内部结构和视图之间的联系,使用流形正则化和 HSIC 以自适应的方式获得潜在表示,得到改进后的系数矩阵;然后,对多视图下各单视图进行谱聚类;最后,依据各单视图聚类结果,再结合均方残差的思想对聚类结果进行融合,得到最终多视图下聚类结果。算法流程如图1 所示。Noise L21 normNuclear normNMFspectralclusteringMSRHSICX(1)V(1)V()tV()tV(1)C()tC图 1摇 算法流程3.2.1摇 系数矩阵的改进输入 t 个多视图数据集,其中 X(1),X(s),X(t)为第 s 个视图中的数据集。每一个 X(s)有 n 个实例,每个实例有 m 个特征,因此 X(s)=x(s)1,x(s)2,x(s)n 沂 Rm伊n。依据非负矩阵分解的思想,每个视图均可分解为基矩阵和系数矩阵,设第 s 个视图的非负矩76摇 第 12 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 郝敬琪等:基于非负矩阵分解的均方残差多视图聚类算法阵分解为 U(s)沂 Rm伊k和 V(s)沂 Rk伊n。根据非负矩阵分解的特点,矩阵 X(s)可以分解为U(s)和 V(s)。非负矩阵分解是一种近似分解,为了减少分解过程中的误差,很多算法常使用定义 2 最小化误差矩阵。然而,Ex忽视了数据间的稀疏性和鲁棒性,增加了矩阵的误差。针对上述问题,在误差 Ex中使用 L21范数代替 F-范数,以提高分解的稀疏性和鲁棒性。为了充分利用数据的内在信息,添加了给定矩阵 X 和基矩阵 U 之间的误差,即误差矩阵Eu,并对其使用核范数。结合上述改进思想,提出了一种改进的非负矩阵误差。具体的:定义 5(改进的非负矩阵误差 O1):O1=椰Ex椰21+椰Eu椰*(5)s.t.Ex=X-UV,Eu=X-U,U 逸 0,V 逸 0其中,椰椰21=移i椰椰2,椰椰*=移i啄i,啄i表示矩阵的第 i 个奇异值。由于改进的非负矩阵分解没有考虑视图内部数据间结构特征的完整性,低维潜在表示存在难以解释的问题,进而导致视图内部联系不紧密、结构不一致。为保证每个视图内部的局部几何结构,针对上述问题,利用流形正则化以保持矩阵内部结构的不变性。为了进一步加强不同视图之间的相互学习和双向融合,添加了 HSIC 模块,以便于在模型优化过程中实现视图之间的互连、相互学习和信息集成。综合改进的非负矩阵分解、流行正则化和 HSIC三部分知识,更新系数矩阵 V(s)的目标函数可由以下公式给出。定义 6(更新系数矩阵 V(s)的目标函数):移ts=1姿1椰E(s)x椰21+椰E(s)u椰*+摇 摇 姿s移tw=1,s屹wHSIC(V(s),V(w)+摇 摇移ts=1(琢(s)酌tr(V(s)L(s)(V(s)T)(6)E(s)x=X(s)-U(s)V(s),E(s)u=X(s)-U(s);移ts=1(琢(s)酌=1,0 臆 琢(s)臆 1;U(s)逸 0,V(s)逸 0式中有三个正则化参数,其中 姿1用来测量稀疏表示的重要性,(琢(s)酌和 姿s分别是平滑项和反向回归项的权衡相关性。更新 V(s)需固定变量 U(s),Ex(s),Eu(s),(琢(s)酌,则式 6 的优化问题转化为:argmin移ts=1(琢(s)酌tr(V(s)L(s)(V(s)T)+摇 摇 姿V(s)+姿s移tw=1,s屹wHSIC(V(s),V(w)+摇 摇移ts=1滋2椰 X(s)-U(s)V(s)-E(s)x椰2F(7)其中,姿 和 滋 是拉格朗日参数。将式 7 中关于 V(s)的导数设为 0。根据 Karush-Kuhn-Tucker 条件,可以写成:F1V(s)+V(s)F2=F3F1=滋(U(s)TU(s)+姿,F2=琢(s)L(s)+姿sF3=滋(U(s)TX(s)+滋(U(s)TE(s)X-(U(s)T(8)3.2.2摇 多视图聚类融合对 V(s)利用谱聚类算法得到各单视图下的聚类结果 C(s)。接着利用双聚类的概念,计算具有高相似性分数即均方残差得分的子集。通过向重复簇所在矩阵中添加非重复簇的方式,判断添加后相似性是否提高。定义7(均方残差得分):对于矩阵 C(s),假设 X 为一组行集,Y 为一组列集,cij为矩阵 C(s)第 i 行 j 列下的数据值,I沂X 和 J沂Y 是行列的子集,子矩阵(I,J)具有均方残差得分 H(I,J):H(I,J)=1|I椰J|移i沂I,j沂J(cij-ciJ-cIj+cIJ)2(9)其中,ciJ=1J移j沂Jcij和 cIj=1I移j沂Jcij分别表示行和列的平均值,cIJ=1|I椰J|移i沂I,j沂Jcij表示子矩阵(I,J)的平均值。计算各单视图的聚类结果 C(s)中重复簇的均方残差得分 H(I,J)并取均值,将其定义为 XH。接着考虑是否将非重复簇添加到重复簇所在的矩阵中,计算添加后的均方残差得分 H(I,J)并取均值,将其定义为YH。若 XH-YH 兹,则将此簇添加入重复簇中,如此迭代,则可得到最终结果。在后续实验中得出 兹=0.02 效果最佳。4摇 实验结果与分析4.1摇 环境设置古建筑多视图数据集构造方面采用 Ubantu 18.04.6 LTS 操 作 系 统,intel Core i7-7800X 处 理 器(CPU3.50 GHz伊12),32 GB 内存,选择 Python 语言进行实验。多视图聚类算法采用 Windows11 操作系统,AMD 处理器(CPU 3.25 GHz伊8),16 GB 内存,选择 Matlab 语言进行实验。4.2摇 数据集为了验证算法的效率,以 5 个标准的多视图数据集和古建筑数据集为对象进行验证。4.2.1摇 标准数据集(1)ORL 数据集:包括 40 个不同主题的 10 个不86摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷同灰度人脸图像。(2)3-Sources 数据集:涵盖 BBC、路透社和卫报报道 3 个在线新闻来源,包含 416 例病例。(3)MSRCv1 数据集:由 7 类 210 幅场景识别图像组成。(4)Yale 数据集:由 15 个受试者的 165 张原始像素图像组成。(5)BBCSport 数据集:来自 BBC 体育网站的体育新闻文章的集合,包含 282 个报告的 3 个视图的数据集。4.2.2摇 古建筑数据集古建筑数据集采用中科院金光寺数据集中的金光寺主建筑图片进行实验,如图 2 所示。图 2摇 金光寺图片摇 摇 对上述两幅古建筑图像进行多视图数据集的构建,首先对每幅图像选取 11 320 个特征点,其次提取特征点的位置、颜色、纹理、轮廓、领域和 SIFT 特征,即可构建一个高维海量的多视图数据集。4.3摇 评估指标对于定量性能评估,使用以下 7 个众所周知的评估标准。它们分别是聚类准确度(ACC):用于衡量聚类算法得到的聚类结果的准确率,取值范围为 0 到 1;归一化信息(NMI):用于衡量两个聚类簇中所包含的数据点 之 间 的 相 似 性,取 值 范 围 为 0 到 1;纯 度(purity):反映聚类结果中所有样本中被正确聚类的样本比例,取值范围为 0 到 1;精度(precision):表示预测为正确的数据中,真实值为正确的比例,取值范围为0 到 1;召回率(recall):表示在所有的真实值为正确的数据中,预测正确的比例,取值范围为 0 到 1;F-score:将精度和召回率结合起来综合评价分类或聚类结果的指标,取值范围为0 到1;调和兰德指数(ARI):用于衡量聚类算法的聚类结果与真实类别之间的相似度的一种常用外部评价指标,取值范围为-1 到 1。4.4摇 实验结果4.4.1摇 标准数据集下的结果将 MSRNMF与 部 分 多 视 图 聚 类 方 法(GPMVNMF)10、多视图聚类的自适应结构概念分解方法(MVCF)18、图正则化部分共享非负矩阵分解方法(GPSNMF)19、基于深度矩阵分解的多视图聚类方法(DMF)21、潜在嵌入空间中的多视图聚类方法(MCLES)22进行比较,结果如表 1 表 5 所示。摇表 1摇 ORL 数据集实验结果algorithmACCNMIpurityARIF-scoreprecisionrecallOURS0.720.860.840.570.600.660.64GPSNMF0.660.830.720.500.510.440.62GPMVNMF0.520.710.560.360.380.330.44MVCF0.570.750.710.370.380.590.28DMF0.710.840.740.580.580.550.64MCLES0.710.850.870.540.550.810.41表 2摇 MSRCV1 数据集实验结果algorithmACCNMIpurityARIF-scoreprecisionrecallOURS0.880.820.800.640.660.710.62GPSNMF0.830.800.830.720.760.740.79GPMVNMF0.370.260.390.140.300.220.46MVCF0.860.770.860.710.750.760.74DMF0.830.790.820.720.710.710.76MCLES0.820.810.880.750.790.800.7796摇 第 12 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 郝敬琪等:基于非负矩阵分解的均方残差多视图聚类算法表 3摇 Yale 数据集实验结果algorithmACCNMIpurityARIF-scoreprecisionrecallOURS0.720.730.790.500.540.530.57GPSNMF0.540.610.560.250.300.280.33GPMVNMF0.340.410.370.160.220.180.30MVCF0.320.380.410.100.160.210.13DMF0.690.640.720.510.540.520.56MCLES0.710.710.750.480.510.570.47表 4摇 3-Sources 数据集实验结果algorithmACCNMIpurityARIF-scoreprecisionrecallOURS0.760.760.770.600.600.660.68GPSNMF0.740.560.760.590.680.670.64GPMVNMF0.310.740.450.570.250.260.24MVCF0.680.600.850.560.660.720.57DMF0.730.440.740.570.600.640.50MCLES0.570.720.820.590.530.770.41表 5摇BBCSport 数据集实验结果algorithmACCNMIpurityARIF-scoreprecisionrecallOURS0.890.960.740.730.780.780.79GPSNMF0.410.710.880.710.780.760.77GPMVNMF0.420.950.430.400.320.260.41MVCF0.840.100.290.490.400.290.25DMF0.820.720.690.690.740.710.76MCLES0.870.740.940.750.820.910.74摇 摇(1)针对图像数据集 ORL,MSRCv1 和 Yale,MSRNMF 相 较 于 MVCF,GPSNMF,GPMVC 和MCLES 在 ACC 与 NMI 两个聚类指标上得到了显著改进,较最优算法至少提升了 0.1 左右,MSRNMF 与MCLES 在 ACC 与 NMI 两个聚类指标上相差不大;在purity,ARI,F-score,precision 和 recall 上,MSRNMF不都是最优算法,但是相较 GPMVNMF 得到了明显改进,至少提升了 0.2。(2)针对文本数据集 3-Sources 和 BBCSport,MSRNMF 相较于 MVCF,GPSNMF,GPMVC,DMF 和MCLES,在 ACC 上至少提升了 0.2;相较于 GPSNMF和 MVCF,在 NMI 上得到了显著改进,至少提升了 0.1;在 purity,ARI,F-score,precision 和 recall 上,MSRNMF较最优算法最多相差 0.2,MSRNMF 较 GPMVNMF 得到了明显改进,提升了 0.3 以上。4.4.2摇 古建筑数据集下的结果以金光寺为对象,聚类数选择6 和8,MSRNMF 的结果如图 3 和图 4 所示。从图 3 和图 4 可以看出,簇数为 6,8 时,MSRNMF对非负矩阵分解的目标函数添加 L21范数和核范数,剔除了图像噪声,提高了古建筑多视图聚类的鲁棒性;结合 MSR 融合各单视图聚类结果,进一步平衡了各单视图的重要性,最终得到一个较好的聚类结果。图 3摇 聚类数为 6 时金光寺聚类结果图图 4摇 聚类数为 8 时金光寺聚类结果图5摇 结束语针对海量高维数据,现有多视图聚类方法很难发现数据的隐藏信息,无法平衡每个视图的重要性。针07摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 计算机技术与发展摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 第 33 卷对上述问题,提出了一种基于非负矩阵分解和均方残差的子空间多视图谱聚类算法(MSRNMF)。该方法设计了一种改进的非负矩阵分解误差,提高了矩阵分解的鲁棒性和稀疏性;引入流形正则化和希尔伯特-施密特独立性准则,加强了视图内部和视图之间信息的联系和融合。以标准数据集和古建筑数据集为对象,MSRNMF 与 MVCF,GPSNMF,GPMVC,DMF 和MCLES 相比,在 ACC 与 NMI 两个聚类指标上得到了显著提升,MSRNMF 产生了显著改进的结果。参考文献:1摇 张少波,原刘杰,毛新军,等.基于本地差分隐私的 K-modes 聚类数据隐私保护方法J.电子学报,2022,50(9):2181-2188.2摇杜奎翰,张金娟.我国上市商业银行经营绩效评价研究 基于因子分析和聚类分析J.现代商业,2022(17):161-164.3摇 陈四龙,李玉荣,程增书,等.花生品种(系)生物学性状的主成分分析和聚类分析J.花生学报,2007(2):28-34.4摇ZHANG M,YANG Y,SHEN F,et al.Multi-view featureselection and classification for Alzheimer爷s disease diagnosisJ.Multimedia Tools Appl,2017,76:10761-10775.5摇 HA V,REN J,XU X,et al.Deep learning based single imagesuper-resolution:a surveyJ.International Journal of Auto鄄mation and Computing,2019,16:413-426.6摇 李丽亚,闫宏印.改进 K-means 加权自适应多视图数据聚类算法J.计算机仿真,2021,38(8):314-317.7摇 SHI J B,MALIK J.Normalized cuts and image segmentationJ.IEEE Transactions on Pattern Analysis and Machine In鄄telligence,2000,22(8):888-905.8摇 诸葛文章,范瑞东,罗廷金,等.基于独立自表达学习的不完全多视图聚类J.中国科学:信息科学,2022,52(7):1186-1203.9摇 BICKEL S,SCHEFFER T.Multi-view clusteringC/In鄄dustrial conference on data mining.New York:ICDM,2004:19-26.10 RAI N,NEGI S,CHAUDHURY S,et al.Partial multi-viewclustering using graph regularized NMFC/Internationalconference on pattern recognition.Cancun:ICPR,2016:2192-2197.11 ZHANG G,WANG C,HUANG D,et al.TW-Co-k-means:two-level weighted collaborative k-means for multi-viewclusteringJ.Knowledge-Based Systems,2018,150:127-138.12 KUMAR A,RAI P,DAUME H.Co-regularized multi-viewspectral clusteringC/International conference on neuralinformation processing systems.Granada:NeurIPS,2011:1413-1421.13 RAO S R,YANG A Y,SASTRY S S.Robust algebraic seg鄄mentation of mixed rigid-body and planar motions from twoviewsJ.International Journal of Computer Vision,2010,88(3):425-446.14 NG A Y,JORDAN M I,WEISS Y.On spectral clustering:a鄄nalysis and an algorithmC/Advances in neural informa鄄tion processing systems.Cambridge:MIT Press,2001:849-856.15 ZHANG X,LI J,YU H.Local density adaptive similaritymeasurement for spectral clusteringJ.Pattern RecognitionLetters,2010,32(2):352-358.16 NIE F P,WANG X Q,JORDAN M I.The constrained Lapla鄄cian rank algorithm for graph based clustering C/Pro鄄ceedings of the 31th association for the advance of artificialintelligence.Texas:NIPS,2016:1969-1976.17 XIE J Y,ZHOU Y.Local standard deviation spectral cluste鄄ringJ.Big Data and Smart Computing,2018,24(2):242-250.18 ZHAN K,SHI J,WANG J,et al.Adaptive structure conceptfactorization for multiview clusteringJ.Neural Computa鄄tion,2018,30(4):1080-1103.19 LIANG N,YANG Z,LI Z,et al.Semi-supervised multi-view clustering with graph-regularized partially shared non-negative matrix factorization J.Knowledge-Based Sys鄄tems,2020,190:105185.20 ZHOU G,CICHOCKI A,ZHANG Y.Group component a鄄nalysis for multiblock data:common and individual featureextractionJ.IEEE Transactions on Neural Networks andLearning Systems,2016,27(11):2426-2439.21 ZHAO H D,DING Z M,FU Y.Multi-view clustering viadeep matrix factorizationC/Confe