基于局部相似性学习的鲁棒非负矩阵分解.pdf

ISSN 10049037，CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38，No.5，Sep.2023，pp.1125-1141DOI：10.16337/j.10049037.2023.05.011 2023 by Journal of Data Acquisition and Processinghttp：/Email：sjcj Tel/Fax：[phone]基于局部相似性学习的鲁棒非负矩阵分解侯兴荣，彭冲（青岛大学计算机科学技术学院，青岛 266071）摘要：现有的非负矩阵分解方法往往聚焦于数据全局结构信息的学习，在很多情况下忽略了对数据局部信息的学习，而局部学习的方法也通常局限于流行学习，存在一些缺陷。为解决这一问题，提出了一种基于数据局部相似性学习的鲁棒非负矩阵分解算法（Robust nonnegative matrix factorization with local similarity learning，RLSNMF）。采用一种新的数据局部相似性学习方法，它与流形方法存在显著区别，能够同时学习数据的全局结构信息，从而能挖掘数据类内相似和类间相离的性质。同时，考虑到现实应用中的数据存在异常值和噪声，该算法还使用l2，1范数拟合特征残差，过滤冗余的噪声信息，保证了算法的鲁棒性。多个基准数据集上的实验结果显示了该算法的最优性能，进一步证明了该算法的有效性。关键词：非负矩阵分解；聚类；全局结构；局部相似性；鲁棒性中图分类号：TP391 文献标志码：ARobust Nonnegative Matrix Factorization with Local Similarity LearningHOU Xingrong，PENG Chong(College of Computer Science and Technology,Qingdao University,Qingdao 266071,China)Abstract：The existing nonnegative matrix factorization methods mainly focus on learning global structure of the data，while ignoring the learning of local information.Meanwhile，for those methods that attempt to exploit local similarity，the manifold learning is often adopted，which suffers some issues.To solve this problem，a new method named the robust nonnegative matrix factorization with local similarity learning（RLSNMF）is proposed.In this paper，a new local similarity learning method is adopted，which is starkly different from the widely used manifold learning.Moreover，the new method can simultaneously learn the global structural information of the data，and thus exploit the intraclass similarity and the interclass separability of the data.To address the issues of outliers and noise effects in real word applications，the l2，1 norm is used to fit the residuals to filter the redundant noise information，ensuring the robustness of the algorithm.Extensive experimental results show the superior performance of the proposed method on several benchmark datasets，further demonstrating its effectiveness.Key words:nonnegative matrix factorization;clustering;global structure;local similarity;robustness基金项目：国家自然科学基金（62276147）；山东省高等学校青创科技计划创新团队项目（2022KJ149）。收稿日期：20220801；修订日期：20230311数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023引 言高维数据已无处不在，信息检索作为数据挖掘和文本聚类的重要任务之一1，通常需要处理高维数据。因此，在矩阵补全2、信号处理3和文本挖掘4等需要信息检索的学习任务中，寻求一种数据表示方法来对高维数据进行处理显得尤为重要。为此，研究者们提出了很多数据表示方法，其中矩阵分解作为一种高维数据的表示方法已经被广泛应用在数据挖掘、计算机视觉和机器学习等领域。矩阵分解的原理是用两个数据矩阵的乘积来近似原始数据。基于矩阵分解的方法已经很流行5，除此之外还有一些其他的方法，例如主成分分析、奇异值分解、低秩表示和非负矩阵分解。潜在语义分析（Latent semantic index，LSI）正是利用了奇异值分解的原理，它选取最大的 k 个奇异值，一些小奇异值所对应的信息就会被消除，从而过滤掉不必要的信息，提高文本挖掘任务（文本检索、聚类等）的性能。但考虑到奇异值分解（Singular value decomposition，SVD）计算量大和解释混合符号数据困难的缺点，非负矩阵分解的方法6又被提出。对于图像和文档等非负数据，非负矩阵分解被用来寻找两个非负的因子矩阵近似此类数据，这也导致了基于部分的表达。而且有心理学和生理学的证据表明7，人脑中存在基于部分的表征。非负矩阵分解就是依赖于这种表征来学习部分的人脸和文本的语义特征。现有的非负矩阵分解算法可以分为 4类，包括基本非负矩阵分解（Nonnegative matrix factorization，NMF）、约束非负矩阵分解8、结构化非负矩阵分解和广义非负矩阵分解。文献 9 中有相当全面的综述，其中正交非负矩阵分解（Orthogonal NMF，ONMF）10对系数矩阵施加了正交约束，加强了聚类解释；加权非负矩阵分解（Weighted NMF，WNMF）11对不同元素的相对重要性赋予不同的权重；半非负矩阵分解（SemiNMF）12仅对系数矩阵施加非负性约束。上面提出的几种非负矩阵分解方法仅仅学习了线性分布的数据，为了学习非线性分布的数据又提出了如下几种方法：流形上的非负矩阵分解13考虑了非线性分布的数据。核非负矩阵分解14将原始模型扩展到了希尔伯特空间，使模型能够处理非线性可分的数据。文献 15 中已经证明，在无监督学习中保留局部几何数据结构很重要，主要体现在：（1）将高维数据转化为低维空间数据时，保留其内部信息非常重要；（2）全局结构不足以充分体现数据的特征信息；（3）数据的局部几何结构可以看做是变换矩阵的正则化，从而避免过拟合。目前已有的考虑数据局部相似性信息的方法13通常需要借助流形技术，通过样本的最相似近邻来考虑数据的局部几何结构，而这种方法通常强调低维表达的类内相似性而忽视类间相离性。而 RLSNMF通过成对数据样本间的相似性来学习数据的局部结构信息，该方法使用数据的全局和局部相似性信息来学习同时具有类内相似性和类间相离性的低维表示矩阵。此外，原始的非负矩阵分解算法通过优化误差的平方来求解目标函数，这就导致了最后的结果容易受异常值的影响，RLSNMF算法在原始非负矩阵分解的基础上使用了l2，1范数替代 Frobenius范数，保证了方法的鲁棒性16。该方法的主要贡献有：（1）通过成对数据间的相似性来学习数据的局部几何结构，使学习到的系数矩阵能揭示原始数据的更多结构信息；（2）将l2，1范数和局部相似性的学习集成到一个框架中，在学习数据局部结构的同时还保证了模型的鲁棒性；（3）将正交约束与局部相似性的学习结合，使局部相似性和聚类相互增强。1 提出方法 给定非负数据X=x1，x2，xn Rm n，NMF 将原始数据 X 分解为两个非负矩阵H Rm k和G Rn k的乘积，优化问题如下minH 0，G 0X-HGT2F（1）式中：原始数据 X 的每一列分别对应一组 H 矩阵列向量的加权和，每一组权重系数对应 G 矩阵的每一行，因此 H 被称为基矩阵，G 被称为系数矩阵，m 表示数据维数，n表示样本大小，k n保证了用一个低1126侯兴荣 等：基于局部相似性学习的鲁棒非负矩阵分解维系数矩阵来表示原始数据矩阵。凸非负矩阵分解（Convex NMF，CNMF）在 NMF 的基础上将基矩阵限制为数据 X的每一列的凸组合，即H=XW。目标函数式（1）就转化为对以下问题的优化minW，G 0X-XWGT2F（2）CNMF 将 H 的列解释为数据点的加权和，而Wij就是Xi对于Hj的权重。现实应用中的大部分数据，尤其是高维数据，都存在一些冗余的特征。受特征选择的影响，对于冗余的特征，X的近似值不需要很好的拟合这些特征。因此，RLSNMF 用近似残差的行稀疏性来放松对这些特征的拟合，用l2，1范数替换 Frobenius范数，得到如下正则化公式minW，G 0X-XWGT2，1=i=1m X-XWGT()i2（3）式中：2为l2范数，A()i表示矩阵 A 的第i行，A2，1是对矩阵 A 每一行的l2范数求和。l2，1范数作为一种行稀疏范数，还可用于解释特征噪声和异常值，从而近似的忽略异常或噪声特征的损失。在优化问题（3）中，总和最小就要求每一行的l2范数最小，即每一个行向量中的零元素尽可能多，从而实现行稀疏，提取出重要特征。值得注意的是，式（3）与子空间聚类密切相关17，而在子空间聚类中通常将高维数据投影到低维子空间中，要寻找这样的子空间需要建立自我表达假设。这个自我表达假设指的是X=XZ，其中Z Rn n是一个表示矩阵。为了考虑数据的局部结构，一个自然的假设就是，如果两个数据xi和xj是相近的，那么它们之间的相似性Zij应该大，否则，Zij应该小。该假设会导致如下的最优化问题minZijxi-xj22Zij minZtr(ZTD)（4）式 中：D Rn n，D 的 每 一 个 元 素Dij可 以 表 示 为Dij=xi-xj22，或 者 写 成 矩 阵 的 形 式D=1n1Tndiag(XTX)+diag(XTX)1n1Tn-2XTX，其中1n表示长度为n的全 1列向量。式（4）的优化强制Zij反映数据的两两相似度信息。注意到 W 和 G 非负，受自我表达的启发，可以取WGT作为局部相似性矩阵 Z，即Zij=(WGT)ij=W(i)GT(j)。W(i)可以看成数据xi在基向量上的得分向量，G()j可以看成第 j个样本相对于新基的系数向量。如果数据xi和xj是相近的或者属于同一个聚类，那么W()i和G()j也具有较高的相似性，反之亦然，所以Z=WGT是有意义的。然后将式（4）加入式（3），得到minW，G 0X-XWGT2，1+tr(ZTD)（5）对于式（5），如果采用增广拉格朗日的优化方法，每次迭代都需要求解 SVD，这是低效的，所以参考Peng等18提出的引入松弛变量 E的方法，式（5）可以进一步写为minW，G，E12X-XWGT-E2F+E2，1+tr(WTDG)s.t.W 0，G 0，GTG=I（6）式中：、为平衡参数，目标函数（6）的第 1项学习了数据的全局结构，第 3项则是利用数据的局部结构与成对相似性之间的关系来考虑数据的局部相似性。CNMF 作为一种通过流形结构来学习局部相似性的方法，对于相似度高的样本，它通过图拉普拉斯来最小化这些样本对应的表示矩阵间的差距，这就提高了表示矩阵的类内相似度。图拉普拉斯保证了数据和系数向量之间的平滑度。与图拉普拉斯不同，RLSNMF 的第 3项加强了数据和得分向量以及系数向量之间的平滑度，通过得分向量和系数向量来考虑数据的局部结构。此外，施加 G 的正交性约束，不仅保证了解的唯一性，还直接将该方法与聚类1127数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023联系起来。受 Wang等19的启发，区别于上文中直接使用 X 构造 D，在本文中 D 基于X-E进行构造，并在优化过程中随着 E的更新来进行调整。2 优化求解2.1优化 W固定 G，关于 W 的子问题为minW 012tr(-2WTXT(X-E)G+WTXTXWGTG)+tr(WTDG)（7）根据不等式约束W 0，引进拉格朗日乘子=ij，得到拉格朗日函数W=12tr(-2WTXT(X-E)G+WTXTXWGTG)+tr(WTDG)+tr(WT)（8）对W求偏导WW=-XT(X-E)G+XTXWGTG+DG+（9）根据互补松弛条件得到(-XT(X-E)G+XTXWGTG+DG)ikWik=ikWik=0（10）式（10）提供了极限解满足的固定点条件，并且式（10）可以进一步写为(-XT(X-E)G+XTXWGTG+DG)ikW2ik=0（11）从而得到 W 的更新规则Wik Wik()XT()X-E Gik()XTXWGTG+DGik（12）因为式（10）和式（11）的解都是Wik=0或者(-XT(X-E)G+XTXWGTG+DG)ik=0，所以式（10）和式（11）是等价的，证明了 W 更新规则的合理性。用辅助函数的方法20还可以证明更新规则（12）的收敛性和合理性，附录 A给出了相关的定义、引理和证明过程。2.2优化 G固定 W，得到关于 G的最优化问题为minG 012tr(-2WTXT(X-E)G+WTXTXWGTG)+tr(WTDG)（13）引入大小为k k的对称拉格朗日乘子，得到拉格朗日函数G=12tr(-2(X-E)TXWGT+GWTXTXWGT)+tr(WTDG)+12tr(GTG-)=12tr(-2(X-E)TXWGT+2DWGT)+12tr(GWTXTXWGT+GGT)-=12tr(-2(X-E)TXWGT+2DWGT)+12tr(G(WTXTXW+)+GT-G(WTXTXW+)-GT)-（14）式中：定义=12tr()，为非负对角矩阵，保证了 G 的正交性10，M+和M-是两个非负矩阵且满足M+-M-=M。对G求导可得1128侯兴荣 等：基于局部相似性学习的鲁棒非负矩阵分解GG=-(X-E)TXW+GWTXTXW+DW+G（15）根据互补松弛条件可得(-(X-E)TXW+GWTXTXW+DW+G)ikGik=0（16）式（16）等价于(-(X-E)TXW+GWTXTXW+DW+G)ikG2ik=0（17）又因为WTXTXW+=(WTXTXW+)+-(WTXTXW+)-，最终得到更新规则为Gik Gik()()X-ETXW+GGTDWik()DW+GGT()X-ETXWik（18）同样可以用辅助函数的方法证明目标函数（13）在更新规则（18）下的收敛性，证明过程展示在附录B中，结果也进一步验证了收敛解的合理性。2.3优化E当W和 G固定时，类似于文献 18，关于 E的优化可以改写为minE12X-XWGT-E2F+E2，1（19）解决式（19）需要引入一个定理。定理 1 对给定矩阵W=w1，w2，wn Rm n和一个正标量参数，X是如下公式的最优解：minX12W-X2F+X2，1，那么X的每一列可以表示为Xi=wi2-wi2wi wi2 0 其他（20）根据定理 1，得到式（19）的更新规则为E()i=Q()i2-Q()i2Q()i Q()i2 0 其他（21）式中Q=X-XWGT。在 更 新 规 则（12）和（18）下，对 于 固 定 的E()t，关 于 W 和 G 的 子 问 题f(W，G|E)在 变 量 序 列W()t+1，s，G()t+1，s|E()t下 可 以 得 到f(W(t+1，s)，G(t+1，s)|E(t)f(W(t+1，s+1)，G(t+1，s+1)|E(t)，即 序 列f(W()t+1，s，G()t+1，s|E()t)是单调递减且有界的。算法 1 基于局部相似性学习的鲁棒非负矩阵分解算法输入：参数、，最大迭代次数tmax和smax，收敛条件（1）初始化：W()0，G()0，E()0，t=1。（2）Repeat（外循环）（3）W()t，0=W()t-1，G()t，0=G()t-1，s=11129数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023（4）Repeat（内循环）（5）根据式（12）更新W()t，s，根据式（18）更新G()t，s；（6）检查收敛条件：s smax或者两次迭代的目标函数值之差小于；（7）s=s+1；（8）End（内循环）（9）更新W()t=W()t，s，G()t=G()t，s，E()t；（10）检查收敛条件：t tmax或者两次迭代的目标函数值之差小于；（11）t=t+1；（12）End（外循环）输出：W=W()t，G=G()t，E=E()t。3 基于部分的表示 定理 2 当 W 和 G 初始化为非负矩阵，E 初始化为零矩阵，矩阵序列W()t，G()t，(X-E)()t在更新规则（12，18，21）下是非负的，因此，RLSNMF能够学习基于部分的表示。对于非负矩阵分解，需要限制基和系数矩阵为非负来获得基于部分的表示。定理 2说明了在更新规则（12，18，21）下目标函数（6）确保能学习基于部分的表示，附录 C中给出了定理 2的证明过程。4 实验部分 本节将展示大量的实验结果来说明 RLSNMF 的性能，并使用准确率和纯度作为评估指标21，另外还详细介绍了数据集、对比方法、聚类性能以及其他性能22。4.1基准数据集实验中分别使用了 Jaffe、Semeion、PIX、COIL20和 COIL100数据集。其中，Jaffe数据集共包含 213张图像，由 10个日本女学生作出的 7种面部表情的照片组成，每张图片的大小为 2626；PIX 数据集包含来自 10 个物体的 100 张大小为 100100 的灰度图像；Semeion 数据集收集了由 80 个人手写的数字0-9 的 1 593 张图片，每张图片被重构为 1616 大小；COIL20 数据集包含了 20 个物体分别水平旋转360，每隔 5拍摄的一张照片，每个物体旋转 360后拍摄 72张照片，所以数据集一共包含了 1 440张大小为 128128 的图像；大数据物品图像数据集 COIL100 是 COIL20 数据集的扩展，包含 100 张物体的照片。4.2比较算法为了体现 RLSNMF 的性能，将本文方法与几种比较先进的非负矩阵分解方法进行了比较。NMF6对基矩阵和系数矩阵施加了非负约束，采用标准的乘法更新规则进行求解；SemiNMF12只对系数矩阵施加了非负约束，比 NMF 更通用；WNMF11是为了处理不完备的数据提出的一种方法，它在原始非负矩阵分解方法的基础上增加了权重矩阵；ONMF10除了对分解的因子矩阵施加了非负约束外还对系数矩阵施加了正交约束；CNMF12将基矩阵限制为数据列的凸组合，使得基矩阵可以用某些数据点的加权和表示；基于核的图正则化正交非负矩阵分解（Graph regularized kernelbased orthogonal NMF，KOGNMF）23在正交非负矩阵分解的基础上增加了图正则化项，考虑了非线性分布的数据；截断柯西非负矩阵分解（Truncated Cauchy NMF，TCNMF）23通过截断大的误差来处理异常值，提高了非负矩阵分解算法的鲁棒性。RLSNMF相对于以上这些方法增加了对局部结构的学习，参数和的选择范围均设置为 0.001，0.01，0.1，1，10，100，1 000。1130侯兴荣 等：基于局部相似性学习的鲁棒非负矩阵分解4.3聚类性能分析本小节通过在 Jaffe、Semeion、PIX、COIL20和 COIL100数据集上进行实验来比较算法。为了更直观地说明这些数据集，图 1展示了 Jaffe、Semeion、PIX和 COIL20数据集的部分示例。实验通过聚类性能来评估算法，对于每种方法均使用 Kmeans进行聚类。实验设置了 200次迭代并分别在 Jaffe、Semeion、PIX 和 COIL20 数据集上随机选择了N类来进行实验。从有 N 类的数据集中选取N类，一共有N！/(N-N)！N！)种选择。从中随机选取 10组计算平均值，最后选出所有参数组合下的最好的一组平均值作为最终结果，其他方法的实验结果也以同样方法得出。在 Jaffe、Semeion、PIX和 COIL20数据集上的实验结果分别展示在表 14中。表 14中每个表又分为两个子表来分别记录两个评估指标的最优值。从结果可以看出，在所有的数据集中，RLSNMF几乎在所有的子集中具有图 1Jaffe、Semeion、PIX和 COIL20数据集上的示例Fig.1Examples selected from Jaffe,Semeion,PIX and COIL20 datasets表 1各个方法在 Jaffe数据集上的聚类性能Table 1Clustering performance of methods on Jaffe dataset%N246810AverageN246810AverageAccuracyNMF99.7595.9291.4190.7592.9094.15PurNMF99.7595.9291.4190.7593.9094.35CNMF99.7580.3776.2669.4469.9579.15CNMF99.7583.2978.3070.4474.1881.19ONMF94.6088.5888.3569.6280.2884.29ONMF94.6091.6489.9474.6381.2286.41WNMF99.7595.9289.4792.0590.6193.56WNMF99.7595.9289.4792.2390.6193.60SemiNMF99.7595.3291.0194.1791.5594.36SemiNMF99.7595.3291.0194.5291.5594.43TCNMF99.7595.4488.2991.4692.9693.58TCNMF99.7595.4488.2991.4692.9693.58KOGNMF10099.0797.8082.2286.8593.19KOGNMF10099.0797.8085.6987.7994.07RLSNMF10099.0797.8091.3096.2496.88RLSNMF10099.0797.8092.1296.2497.051131数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023最好的表现。并且在每个方法所有子集的平均性能中 RLSNMF 也基本都是最优的，在准确率和纯度方面分别比次优的方法提高 1%2%和 1%3%。这些实验结果证明l2，1范数和局部相似性的学习集成在一个非负矩阵分解模型中，使非负矩阵分解更具竞争力和稳定性。表 2各个方法在 Semeion数据集上的聚类性能Table 2Clustering performance of methods on Semeion dataset%N246810AverageN246810AverageAccuracyNMF87.6072.4061.5559.5251.4166.50PurNMF87.6072.8163.5361.0554.1167.82CNMF88.1870.3257.5053.5245.2062.94CNMF88.1871.9161.0355.7245.2064.41ONMF87.1068.4860.6455.6350.7864.53ONMF87.1070.2862.9657.7552.9266.20WNMF87.5771.9558.2559.6355.5666.59WNMF87.5772.3360.9160.5856.5667.59SemiNMF87.4472.4464.3863.3859.0169.33SemiNMF87.4472.6965.3064.6160.9570.20TCNMF88.2767.6756.7555.1452.9864.16TCNMF88.2769.3260.3757.2255.3766.11KOGNMF88.8675.3264.4063.4748.3468.08KOGNMF88.8676.5166.8965.4050.6669.66RLSNMF88.8675.3265.4765.1161.9671.34RLSNMF88.8676.5167.7767.2161.9672.46表 3各个方法在 PIX数据集上的聚类性能Table 3Clustering performance of methods on PIX dataset%N246810AverageN246810AverageAccuracyNMF94.0095.0088.1782.6282.0088.36PurNMF94.0095.0089.5085.3885.0089.78CNMF96.5088.0077.5078.5080.0084.10CNMF96.5089.0079.0081.1283.0085.72ONMF89.0085.2577.6780.8869.0080.36ONMF89.0087.0081.5081.7576.0083.05WNMF94.0092.7585.0080.8874.0085.33WNMF94.0092.7587.3383.8879.0087.39SemiNMF94.0093.7586.5082.3788.0088.92SemiNMF94.0093.7588.5084.6388.0089.78TCNMF94.0092.5086.3387.1383.0088.59TCNMF94.0092.5088.8388.3886.0089.94KOGNMF94.5096.2589.1785.0078.0088.58KOGNMF94.5096.2590.5085.3880.0089.33RLSNMF95.0096.2590.5088.1383.0090.58RLSNMF95.0096.2591.1789.1387.0091.711132侯兴荣 等：基于局部相似性学习的鲁棒非负矩阵分解在 Jaffe数据集上，RLSNMF 在绝大部分子集中表现最优，尤其相对于比较有竞争力的 KOGNMF方法，在 N=8 和 N=10 时，RLSNMF 在准确率方面比 KOGNMF 都提高了 9%。在准确率和纯度方面，RLSNMF 的平均性能分别比次优方法提高 2%和 3%。相对于具有鲁棒性的方法 TCNMF，RLSNMF的准确率的平均性能比 TCNMF提高 3%。在 Semeion 数据集上，RLSNMF 在所有子集上都达到了最优的表现。在小的子集上，KOGNMF的性能和 RLSNMF 的性能表现相同，TCNMF 的表现也仅次于 RLSNMF，但在比较大的子集上，TCNMF 和 KOGNMF 的准确率明显低于 RLSNMF。例如，在 N=2 时，RLSNMF 在准确率上仅比TCNMF高不到 1%，但在 N=6时，RLSNMF在准确率上比 TCNMF提高 8%，在 N=10时，RLSNMF比KOGNMF提高13%。RLSNMF在除了N=2的所有子集上都比TCNMF提高5%以上。在 PIX 数据集上，CNMF 在 N=2 时有最优的表现，但随着 N 增大，RLSNMF 具有较高的性能，CNMF 的性能反而降低了。在小的子集上，KOGNMF 和 NMF 都与 RLSNMF 性能相近，但随着子集变大，这两种方法远不如 RLSNMF。在准确率和纯度方面，RLSNMF 在所有子集上的平均性能都比NMF 提高 2%。RLSNMF 虽然没有在所有子集上取得最优表现，但在 12种情况的 8种里取得了最优表现，而且在所有子集的平均性能上，RLSNMF的表现依然是最优的。在 COIL20数据集上，NMF 和 TCNMF 在个别子集上达到了最优表现，但它们在数据集的所有子集上的平均性能依然比 RLSNMF 低。而且在 COIL20 数据集的 12 个统计结果中，RLSNMF 在 7 个统计结果中达到了最优表现，NMF 和 TCNMF 达到最优表现的情况远少于 RLSNMF。TCNMF 作为比较有竞争力的方法，虽然在 COIL20 数据集上的表现与 RLSNMF 的表现相当，但是它在 Jaffe、Semeion 和 PIX 数据集上的表现远不如 RLSNMF。这也说明了 RLSNMF 方法在多个数据集上的稳定性。为了说明 RLSNMF 在大规模数据集上同样有效，实验引进 COIL100 数据集，关于该数据集的部分示例如图 2所示。表 4各个方法在 COIL20数据集上的聚类性能Table 4Clustering performance of methods on COIL20 dataset%N48121620AverageN48121620AverageAccuracyNMF74.7270.4565.8068.0063.9668.59PurNMF74.9772.8067.9168.8565.5670.02CNMF73.1966.7058.1657.8352.6461.70CNMF73.2369.1160.5160.1056.4663.88ONMF63.8567.3461.1958.4357.0161.56ONMF66.9470.0265.1661.9659.3864.69WNMF72.3666.8267.0763.7766.8867.38WNMF72.7469.9368.9665.5267.9969.03SemiNMF70.7366.3566.2566.5660.6366.10SemiNMF71.9469.2568.2268.3761.8167.92TCNMF71.6767.6070.6865.6169.1768.95TCNMF72.4071.0271.7667.3270.3570.57KOGNMF74.1372.4765.9863.8851.8165.65KOGNMF75.5974.5768.0466.2654.9367.88RLSNMF76.8875.6170.0065.3059.1769.39RLSNMF78.5177.2971.7767.4461.6071.321133数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023COIL100 数据集相对于前面 4 个数据 集，最 大 的 子 集 数 达 到 了 100。在COIL100 数据集上进行同样的实验，结果如表 5 所示。可以看出，RLSNMF 在所有比较方法中几乎都达到了最优表现，在准确率和纯度方面都能较次优的方法提高 1%。在 COIL100 数据集的 12个统计结果中，RLSNMF 在 9 种情况下达到了最优表现，而 NMF 和 KOGNMF仅分别在 1个和 2 个情况下达到了最好的结果。由观察可发现，在一些小规模数据集上表现好的方法在 COIL100 数据集上表现不一定好。例如，KOGNMF 在 Semeion 和 PIX 数据集上的性能仅次于RLSNMF，在个别子集上甚至与 RLSNMF表现相当，而在 COIL100数据集的大部分子集上表现不如RLSNMF。这说明局部几何结构的学习在大规模数据集上也能提高聚类性能，l2，1范数的使用也使RLSNMF更具稳定性，进一步证明了 RLSNMF的有效性。总之，RLSNMF在所有数据集的绝大部分子集中表现都是最好的。像 TCNMF和 KOGNMF等比较有竞争力的方法，并没有在所有的数据集中表现突出，而且在每个数据集的大多数情况下，RLSNMF的表现也都是最优的，实验结果进一步证实了其聚类性能的高效性。在固定参数=0.001，=0.001的条件下，RLSNMF在Semeion数据集上3个类和COIL20数据集上6个类的聚类效果如图3所示。4.4收敛性分析本节通过实验说明了 RLSNMF 的收敛性，实验选取了每个数据集的全部数据，并固定参数=0.001，=0.001。实验分别观察了内部循环目标函数值f(W(t，s)，G(t，s)|E(t-1)、外部循环目标函数值图 2COIL100数据集上的示例Fig.2Examples selected from COIL100 dataset表 5各个方法在 COIL100数据集上的聚类性能Table 5Clustering performance of methods on COIL100 dataset%N20406080100AverageN20406080100AverageAccuracyNMF59.9654.3152.3345.8043.5851.20PurNMF63.3858.4455.6149.4747.0054.78CNMF55.2143.2337.0832.8935.0040.68CNMF58.2146.4040.7436.3438.3344.00ONMF59.2155.1050.5448.2645.3351.69ONMF62.3359.2354.5752.0450.3355.70WNMF61.3352.7149.5744.9246.6751.04WNMF65.0057.1053.4748.6548.4254.53SemiNMF58.3348.9843.6137.2133.2544.28SemiNMF61.5453.3147.4040.5535.8347.73TCNMF60.5855.7551.2444.8545.1751.52TCNMF63.7559.4255.0149.2148.4255.16KOGNMF61.5455.3850.8647.5848.0852.69KOGNMF64.2158.6754.5150.8451.2555.90RLSNMF62.1356.1752.0348.7646.9253.20RLSNMF65.2560.2555.8652.7050.9257.001134侯兴荣 等：基于局部相似性学习的鲁棒非负矩阵分解F(W(t)，G(t)，E(t)、序列W()t和序列G()t的收敛情况，Semeion 和 COIL20 数据集上的实验结果如图46所示，其中，图 4和图 5分别为内部循环目标函数值和外部循环目标函数值随迭代次数的变化。图 3RLSNMF在 Semeion和 COIL20数据集上的聚类效果图Fig.3Clustering results of RLSNMF on Semeion and COIL20 datasets图 4Semeion和 COIL20数据集上的目标函数值在内部迭代中的收敛性Fig.4Convergence of objective function values on Semeion and COIL2