基于多维相关性的弱类属属性学习.pdf

D0I:10.1322023.04.015CNATURASCIENCEJuly,20232023年7 月JOURNANIVERSITYVol.59,No.4第59 卷第4期南京大学学报（自然科学）基于多维相关性的弱类属属性学习王一宾1.2,葛文信1,程玉胜1.2*,吴海峰1.2（1.安庆师范大学计算机与信息学院，安庆，2 46 133；2.智能感知与计算安徽省高校重点实验室，安庆，2 46 133）摘要：传统的多标签学习一般基于完整的标签信息，但随着数据量的增大，很难为每个实例获得完整的标签信息，导致弱标签问题在多标签数据集中广泛存在，严重影响了多标签的分类性能。为了提升相关性能，不少学者在实际分类中考虑特征、标签和实例部分的关联性，却忽略了它们之间的相关性.基于此，提出一种基于多维相关性的弱类属属性学习算法：首先，根据特征和标签之间的相关性，采用余弦相似度计算出标签之间的相关性；其次，根据特征与实例之间的相关性，采用密度峰值聚类获得实例相关性，并从中选择具有监督信息的标签矩阵，与分解希尔伯特矩阵获得的特征相关性结合构建流形正则化；最后，在多个不同缺省率的多标签数据集上进行了大量实验，验证了提出的算法的有效性。关键词：弱类属属性学习，标签相关性，特征相关性，密度峰值聚类，实例相关性中图分类号：TP181文献标志码：AWeak-label-specific features learning based on multidimensional correlationWang Yibin-,Ge Wenxin,Cheng Yusheng,Wu Haifeng.?(1.School of Computer and Information,Anqing Normal University,Anqing,246133,China;2.Key Laboratory of Intelligent Perception and Computing of Anhui Province,Anqing,246133,China)Abstract:Traditional multi-label learning is generally based on complete label information.However,as the volume of dataincreases,it is difficult to obtain complete label information for each instance,which leads to the widespread presence of weaklabels in multi-label datasets.In turn,the classification performance is seriously affected.Many scholars considered the partialassociation of features,labels and instances in practical classification,while ignoring the correlation between them.Therefore,this paper proposes a weak-label-specific features learning based on multidimensional correlation.Firstly,the correlationbetween features and labels is measured according to the cosine similarity.Secondly,based on the correlation between labelsand instances,density peak clustering is used to obtain instance correlation,which are combined with feature correlationobtained from decomposing hilbert matrices to construct streamwise regularization.Finally,experiments are conducted onmultiple multi-label datasets with different missing rates,and the results verifiy the effectiveness of our algorithm.Key words:weak-label-specific feature,label correlation,feature correlation,density peaks clustering,instance correlation在多标签学习中，标签、特征和实例均具有相关性，如拼图块与颜色和形状相关，也与模型本身相关；苹果logo与形状和颜色相关，也与手机等电子产品相关.多标签学习的目的是为未知实例分配一组适当的标签，早已应用于文本分类1、图像自动注释2 、蛋白质功能检测3 和个性化推荐4等多个领域中，传统的多标签学习假设标签空间是完整的，而现有的多标签数据集大都通过人工标注或网页爬虫得到，人工标注的标签常受到人为意志的影基金项目：并行与分布处理国防科技重点实验室项目（WDZC202252501），安徽省自然科学基金（2 10 8 0 8 5MF216）收稿日期：2 0 2 3一0 5一2 4*通讯联系人,E-mail:691王一宾等：基于多维相关性的弱类属属性学习第4期响，随着数据量的增大，标注的成本也越来越高，网页爬虫的方法虽然有效降低了人工标注的成本，但有些爬取的数据是未知的,所以标签完整的假设显然不成立.标签信息不完整导致弱标签问题广泛存在，而对于弱标签或者缺省标签的问题，现有的研究主要有三种处理方法：（1)在已知标签上构造一个损失函数5;（2)将缺省标签当作负标签进行处理，但会损失许多重要的语义信息；(3)是利用标签相关性7 来恢复缺省的标签.然而上述方法大都不稳定，随着标签缺省程度的增加，只利用一维相关性很难恢复缺省导致的弱标签问题.机器学习中，特征可以看作简单线性变量中的自变量，标签可以看作简单线性模型中的因变量,所以,标签是由一个或者多个特征组成，而实例是由一个或者多个标签来描述的，可以看出标签与特征和实例均有一定的关联性，如图1所示，图1a是不同形状和颜色的特征，图1b是不同特征组成的标签，图1c和图1d是不同标签组成的实例.图1c和图1d也可以看作CH3一H和CH:一OH的分子结构,不同之处在于连接碳原子的基团不同,所以两个基团模型的区别在于组成标签的特征不同，组成的分子结构也就不同.因此,部分基团（标签)未知时,可以分解CH3一H和CH3一OH的结构式（实例）,结合各种颜色和形状（特征)来获得各种未知的基团等（标签）,并利用丰富后的各种基团（标签）特有的颜色和形状（特征)来分类.即可以利用特征、标签和实例之间的多维相关性来解决多标签学习中的弱标签问题，并有效完成弱标签的分类任务。(a)特征(b)标签(c)实例1(d)实例2图1特征-标签-实例的关系图Fig.1The relationship of feature-label-instance基于上述分析，提出一种基于多维相关性的弱类属属性学习算法（Weak-Label-SpecificFeatures Learning Based on Multidimensional Correla-tion,WSMDC).本文的贡献：(1)利用标签与特征之间的相关性，相似的类别标签具有相似的特征，所以可以利用余弦相似度来度量标签相关性和特征间的共有信息。（2)利用特征与实例和标签与实例之间的相关性，在采用密度峰值聚类计算实例代表性的过程中，正标签的概率为阈值,与分解希尔伯特矩阵获得的特征相关性结合来构建流形正则化.（3)采用多维相关性来有效地解决弱标签问题，并在分类器中有效完成多标签的分类任务，在多个不同缺省率的数据集上验证了算法的有效性。1相关工作多标签学习是处理标签与特征和实例相关联的框架，现有的多标签学习算法大致可分为两类：将多标签问题转化成一个或多个二分类问题，或自适应地改变传统的多标签学习算法.例如，BR(BinaryRelevance)算法8 对ML-KNN9进行了改进，但采用相同的特征来进行分类不合理.ZhangandWul10提出类属属性算法LIFT，首先根据标签的正负实例利用K-means进行聚类分析，然后利用SVM（Su p p o r t Ve c t o r M a c h i n e)对多标签进行分类，该方法与问题转换和算法自适应相比，有效提高了多标签学习算法的性能，但没有考虑标签相关性，导致其分类性能差.Huangetal11的LLSF算法和Zhang et al12的MLFC算法在类属属性学习中加人标签相关性，有效地提高了多标签的分类性能.Jiaetal13的LFCMLL算法将标签相关性直接约束在标签的输出上，有效避免了与类属属性学习的参数数量的冲突。缺省多标签学习中只有部分标签有效，缺省标签的恢复大致分两种.（1)基于一维相关性.例如，Wangetal14的JLCLS算法利用标签相关性692第59 卷南京大学学报（自然科学）来恢复缺省的标签信息,Huangetal15的LSML算法通过标签相关性来恢复缺省的标签，虽然可以初步恢复缺省的标签，但这种做法没有考虑标签缺省引人的噪声标签问题.Zhaoetal16的WS-RLC算法通过联合标签相关性重构标签语义空间来防止标签缺省带来的语义噪声，解决多标签学习中的弱标签分类任务.（2)基于二维相关性，例如，Cheng et al17的NeLC-MS算法，从特征和标签两个角度，通过均值聚类和信息熵分别获得特征中的隐藏信息和标签相关性，利用非平衡化参数来恢复缺省的标签.Zhuetal18的GLOCAL算法，通过矩阵分解方法，利用标签的局部和全局相关性来恢复缺省的标签.但上述两种方法只能较好地处理缺省率低的标签，在缺省率较高时效果较差.Wang etal19的LE-TLLR算法在两级标签恢复模型中通过标签和实例相关性来恢复缺省标签，在缺省率较高时表现良好，但在缺省率较低时占优不明显.KumarandRastogi20的LRMML算法在全局和局部标签相关性的基础上，利用低秩标签子空间变换来提升缺省率较高时的恢复效果.Zhang etal21的MSWL算法采用流形正则化稀疏模型框架，利用特征与标签之间的关系和标签的全局与局部信息来弱标记数据中恢复的缺省标签.但上述算法有的利用一维中的标签相关性，有的利用二维中的特征和标签相关性与标签和实例相关性，但没有充分利用特征、标签和实例相关性.因此，本文采用多维相关性来解决因标签缺省导致的弱标签问题，2WSMDC模型的构建与优化2.1多标签模型多标签学习中有特征矩阵X，标签矩阵Y,其中，XER,YERI,l为标签数,n为样本数,d为特征数,D=(z1,yi).（z 2,y e),，（m,y）)为多标签数据集，其中a,=(（m,Tm,ua)为特征向量,y,(ym,yn2,a)为标签向量.然而，在多标签学习中采用相同的特征来分类不合理，只能通过标签的特定特征来分类.结合Huangetal的LLSF算法，WSMDC基础模型可写为：min1XW-YI+W(1)W2其中，为特征稀疏化参数，W是权重系数且W=(w1,w2，,w小,WER为每个标签的特定特征.2.2多维相关性的构建多标签学习中，标签由一个或多个特征组成，实例由一个或多个标签来描述,所以特征、标签、实例均具有一定相关性，首先通过余弦相似度度量标签之间的相关性。假设标签y和y具有强相关性，它们之间的余弦相似度C越大，权重矩阵w,和w,越相似，则组成两个标签的特征之间也具有较强的相关性，它们的共有信息越多.其中,R,=1一Cj.结合式（1),式(2)可构建为：1minXW-Y,+tr(RWTW)+Wl,(2)W在标签大量缺省时，利用余弦相似度方法很难准确计算标签的相关性来恢复缺省的标签，可以从特征视图的角度，通过分解希尔伯特矩阵2 2 来获得特征之间的相关性矩阵P,如式(3)所示：HSIC(X,X)=(n-1)-tr(HKHR)=(3)(n-1)-tr(PTxTHKHXP)其中,K=XTX,K=XPPTXT,H=In为nX1的向量,I为nXn的单位矩阵.再通过密度峰值聚类2 3-2 4 从特征中计算实例代表性S.Qian etal24在利用密度峰值聚类计算局部密度时，阈值是固定的，没有考虑每个数据集标签真实分布的情况，本文根据每个多标签数据集的实际情况来计算局部密度的阈值，可以更准确地获得更能代表实例信息的标签.实例代表性可以为特征流行选择具有监督信息的标签Ys，如式(4)所示：2S=Zd.X(4)(5)nXI其中，o,=mindj,d,是a,和a,之间的距离;d.为阅值；i=1,2,l,j=1,2,l,且ij;p为局部点之间的密度,=,x(d,一d.);如果ewhena;1,10-时，一些标签的特定特征会被忽略，选择的标签特定特征过于稀疏，实验效果较差.所以，建议超参数的取值范围为10-10,10,10-10,10”,10-10,10-4.2消融性分析为了证明多维相关性的有效性，将WSMDC算法依据正则项拆解为只考虑标签相关性的WSC算法.在缺省率为0.1的12 个多标签数据集上利用五个评价指标来分析这两个算法的综合性能，实验结果如图3所示.由图可见,HL指标，WSMDC稍微优于WSC;AP,OE，RL，C V 指标，WSMDC显著优于WSC.可以看出，采用多维相关性来处理弱标签优于只利用标签相关性.但WSMDC也有一定的缺点,其将特征相关性和实例相关性放在一个正则化里，没有将它们拆解出来做消融性分析.4.3统计假设检验采用显著性水平=0.0 5的弗里德曼检验2 8 来评估WSMDC算法在各个数据集上的综合性能.对F与F检验的临界值进行比较，若FF，拒绝原假设，反之则不拒绝.0.80.30.60.40.20.40.20.10.20002-1020-802-8-10-222404-840-6-2-2-6-6-2404-84-8-2-8-10-820-10-8-10-1020.40.40.30.30.20.20.10.1002200-22-2240408-2-2-84-84-66-108-10-8-10-10图2Birds数据集上的参数敏感性分析Fig.2Parameter sensitivity analysis on Birds dataset702第59 卷南京大学学报（自然科学）Hamming LossAveragePrecisionOneError0.2000.50.175+0.80.4-0.150+0.60.1250.30.1000.40.20.0750.0500.2-0.10.0250.0000.0Soclety Science SocialBirds Computer EnterHealthImageMedicalSociety ScienceSoclal0.0.ArtsBirdsComputer EnterHealthImageMedicalRecRefArtsRecRefArtsBirdsComputerEnterHealthImageMedicalRecRefSoclety SclenceiSoclalDatasetsDatasetsDatasetsRanking LossCoverage0.2000.250.1750.200.1500.1250.15WSMDC0.100WSC0.100.0750.0500.050.0250.000Birds Computer EnterHeathImageMedical0.00ArtsRecRefSocietyScienceSocialArtsBirds Computer EnterHealthImageMedicalRecRefSociety ScienceSocialDatasetsDatasets图3WSMDC和WSC算法在缺省率为0.1的12 个多标签数据集上的消融性分析的结果Fig.3Ablativity analysis of WSMDC and WSC algorithms on 12 multi-label datasets with a missing rate of 0.1实验结果如表7 所示，WSMDC算法五个评价指标的F均大于临界值，所以都拒绝原假设.然后采用显著性水平=0.0 5的Nemenyi检验2 8 ，在所有数据集上将WSMDC算法与其他五种算法进行对比.若两个算法在所有缺省和完整数据集上的平均排序差值均大于临界值（CD），认为存在显著性差异，反之，则不存在显著性差异，CD的计算方法为CD=q/K(K+1)/6N,其中,K=6,N=48,q=2.85,CD=1.0884.图4展示了WSMDC算法与其他算法的五个评价指标的Nemenyi检验结果，图中算法性能从左向右依次递减，由图可见，HL，A P，O E指标，WSMDC和其他算法之间均存在显著性差异；CV表7 每每个评价指标的弗里德曼检验值F，和临界值Table 7The Friedman statistics Fp of the critical valueandeachevaluationmetric评价指标FF临界值HL49.1169AP33.6400OE28.94742.252RL29.0327CV32.0061和RL指标,WSMDC和MSWL,LRMML,JLCLS,LSML之间有显著性差异，和GLOCAL之间没有显著性差异，以上两次统计假设检验的实验结果，证明了本文提出的WSMDC算法的有效性.CD=1.0884CD=1.0884CD=1.0884123456123456123456十+WSMDCJLCLSWSMDCJLCLSWSMDCJLCLSLRMMLMSWLLRMMLLSMLLRMMLLSMLLSMLGLOCALMSWLGLOCALMSWLGLOCAL(a)Hamming Loss(b)Average Precision(c)One ErrorCD=1.0884CD=1.0884123456123456十十WSMDCJLCLSWSMDCJLCLSGLOCALLSMLGLOCALLSMLLRMMLMSWLMSWLLRMML(d)Ranking Loss(e)Coverage图4WSMDC算法与其他算法的五个评价指标的Nemenyi检验结果Fig.4Nemenyi test of five metrics for WSMDC algorithm and other algorithms703土一宾等：基于多维相关性的弱类属属性学习第4期5结论随着数据量的增大，通过爬虫或者人工标注的方法获取完整实例的标签越来越困难，而获取标签信息不完整的弱标签则相对容易.基于此，本文提出WSMDC算法，利用特征、标签和实例之间的多维相关性来解决弱标签问题.实验表明，在不同缺省率的数据集上，WSMDC算法的五个评价指标均表现较好，多次的统计假设检验和消融性分析也证明WSMDC算法和其他算法相比具有一定的优势但该算法也存在一定的局限性。例如，在数据集的缺省率较高时，采用余弦相似度难以获得较准确的标签相关性；在利用密度均值聚类方法计算实例代表性时，其阈值设置为正标签的概率值，而当正标签较少时，难以获得较准确的聚类效果.所以，WSMDC算法在高缺省率和稀疏标签结构的数据集上，部分指标表现较差，但在缺省率低于0.7 时，实验结果较好未来将尝试应用WSMDC算法来解决多标签多视图领域中的缺省问题.参考文献1Wei W,Wu Q,Chen D,et al.Automatic imageannotation based on an improved nearest neighbortechnique with tag semantic extension model.Procedia Computer Science,2021(183):616-623.2Qian T,Li F,Zhang M S,et al.Contrastive learningfrom label distribution:A case study on textclassification.Neurocomputing,2022(507):208-220.3Xia W Q,Zheng L Y,Fang J B,et al.PFmulDL:Anovel strategy enabling multi-class and multi-labelprotein function annotation by integrating diversedeep learning methods.Computers in Biology andMedicine,2022(145):105465.4Liu S H,Wang B,Liu B,et al.Multicommunitygraph convolution networks with decision fusion forpersonalized recommendation/Proceedings of the26h Pacific-Asia(ConferenceonKnowledgeDiscoveryandDataIMining.SpringerrBerlinHeidelberg,2022:16-28.5Yu H F,Jain P,Kar P,et al.Large-scale multi-labellearning with missing labels/Proceedings of the 31stInternational Conference on International Conferenceon Machine Learning.Beijing,China:JMLR,2014:I-593-I-601.6Sun Y Y,Zhang Y,Zhou Z H.Multi-label learningwith weak label/Proceedings of the 24h AAAIConference on Artificial Intelligence.Atlanta,GA,USA:AAAI,2010:593-598.7Jiang L,Yu G X,Guo M Z,et al.Feature selectionwith missing labels based on label compression andlocal feature correlation.Neurocomputing,2020(395):95106.8Boutell M R,Luo J B,Shen X P,et al.Learningmulti-label scene classification.Pattern Recognition,2004,37(9):17571771.9Zhang M L,Zhou Z H.ML-KNN:A lazy learningapproachtomulti-labellearning.PatternRecognition,2007,40(7):2038-2048.1o Zhang M L,Wu L.Lift:Multi-label learning withlabel-specific features.IEEE Transactions on patternAnalysis and Machine Intelligence,2015,37(1):107-120.11 Huang J,Li G R,Huang Q M,et al.Learning labelspecific features for multi-label classification/2015IEEE International Conference on Data Mining.Atlantic City,NJ,USA:IEEE,2015:181-190.12 Zhang J,Li C D,Cao D L,et al.Multi-label learningwith label-specific features by resolving labelcorrelations.Knowledge-Based Systems,2018(159):148-157.13 Jia X Y,Zhu S S,Li W W.Joint label-specificfeatures and correlation information for multi-labellearning.JournalofComputerScienceandTechnology,2020,35(2):247-258.14 Wang Y B,Zheng W J,Cheng Y S,et al.Joint labelcompletion and label-specific features for multi-labellearning algorithm.Soft Computing,2020,24(9):6553-6569.15 Huang J,Qin F,Zheng X,et al.Improving multi-label classification with missing labels by learninglabel-specific features.Information Sciences,2019(492):124146.16 Zhao D W,Li H,Lu Y X,et al.Multi-label weak-label learning via semantic reconstruction and labelcorrelations.InformationSciences，2 0 2 3(6 2 3):379401.杨可盛（责任编辑第59 卷704南京大学学报（自然科学）17 Cheng Y S,Zhao D W,Zhan W F,et al.Multi-labellearning of non-equilibrium labels completion withmean shift.Neurocomputing,2018(321):92-102.18 Zhu Y,Kwok J T,Zhou Z H.Multi-label learningwith global and local label correlation.IEEETransactions on Knowledge and Data Engineering,2018,30(6):1081-1094.19 Wang Y B,Zheng W J,Cheng Y S,et al.Two-levellabel recovery-based label embedding for multi-labelclassification with missing labels.Applied SoftComputing,2021(99):106868.20 Kumar S,Rastogi R.Low rank label subspacetransformation for multi-label learning with missinglabels.Information Sciences,2022(596):53-72.21 Zhang J,Li S Z,Jiang M,et al.Learning from weaklylabeled data based on manifold regularized sparsemodel.IEEE Transactions on Cybernetics,2022,52(5):38413854.22 Zhang Y,Zhou Z H.Multilabel dimensionalityreduction via dependence maximization.ACMTransactions on Knowledge Discovery from Data,2010,4(3):14.23 Rodriguez A,Laio A.Clustering by fast search andfind of density peaks.Science,2014,344(6191):1492-1496.24 Qian K,Min X Y,Cheng Y S,et al.Weight matrixsharing for multi-label learning.Pattern Recognition,2023(136):109156.25 Beck A,Teboulle M.A fast iterative shrinkagethresholding algorithm for linear inverse problems.SIAM Journal on Imaging Sciences,2009,2(1):183202.26 Lin Z C,Ganesh A,Wright J,et al.Fast convexoptimization algorithms for exact recovery of acorrupted low-rank matrix.Technical Report.Urbana:Coordinated Science Laboratory,2009:2214.27王一宾，郑伟杰，程玉胜，等.基于PLSA学习概率分布语义信息的多标签分类算法.南京大学学报(自然科学),2 0 2 1,57(1):7 5-8 9.(WangYB,ZhengW J,Cheng Y S,et al.Multi-label classificationalgorithm based on PLSA learning probabilitydistribution semantic information.Journal of NanjingUniversity(Natural Science),2021,57(1):7589.)28程玉胜，徐玉婷，王一宾，等.基于共享子空间的潜在语义学习.南京大学学报（自然科学),2 0 2 2,58(5)：816-826.(Cheng Y S,Xu Y T,Wang Y B,et al.Latent semantic learning based on shared subspace.Journal of Nanjing University(Natural Science),2022,58(5):816-826.)