直觉模糊的结构化最小二乘孪生支持向量机.pdf

Mar.2024Electronics and Information EngineeringJOURNALOF APPLIED SCIENCES2024年3 月Vol.42No.2第42 卷第2 期应学科用报学DOI:10.3969/j.issn.0255-8297.2024.02.015直觉模糊的结构化最小二乘李生支持向量机张法滢1,2,吕莉 1,2,韩龙哲1,2,刘东晓1,2,樊棠怀1,21.南昌工程学院信息工程学院，江西南昌330 0 9 92.南昌工程学院南昌市智慧城市物联感知与协同计算重点实验室，江西南昌330 0 9 9摘要：针对最小二乘李生支持向量机（least squarestwin supportvectormachine,LS-TSVM）对噪声或是异常数据敏感和忽略数据内在结构信息的问题，提出了一种直觉模糊的结构化最小二乘李生支持向量机（intuitionfuzzyand structuralleast squarestwin supportvectormachine,IF-SLSTSVM)。首先采用孤立森林对输入样本点进行预处理；然后通过直觉模糊数的概念，赋予输入样本点不同的权重以减少噪声或是异常数据对分类超平面产生的影响；最后采用K-Means算法，以协方差的形式获取输入样本点之间的结构信息。IF-SLSTSVM在LS-TSVM的基础上，考虑了输入样本点在特征空间中的分布信息及输入样本点之间的关系，提高了模型的鲁棒性。实验采取UCI数据集，在0%、5%、10%以及2 0%的不同比例噪声环境对IF-SLSTSVM算法的有效性进行验证。结果显示相较于6 种对比算法，IF-SLSTSVM算法有更好的鲁棒性。关键词：支持向量机；孤立森林；结构信息；直觉模糊；聚类：协方差中图分类号：TP391文章编号：0 2 55-8 2 9 7(2 0 2 4)0 2-0 350-14Intuition Fuzzy and Structural Least Squares TwinSupport Vector MachineZHANG Fayingl,2,ILYU Lil,2HAN Longzhel,2,LIU Dongxiaol,2,FAN Tanghuail,21.School of Information Engineering,Nanchang Institute of Technology,Nanchang 330099,Jiangci,China2.Nanchang Key Laboratory of IoT Perception and Collaborative Computing forSmart City,Nanchang Institute of Technology,Nanchang 330099,Jiangci,ChinaAbstract:Addressing the sensitivity of the least squares twin support vector machine(LS-SVM)to noise or abnormal data,and its tendency to overlook intrinsic structural in-formation in the data,this paper introduces an intuition fuzzy and structural least squarestwin support vector machine(IF-SLSTSVM).Firstly,the input sample points undergopreprocessing using isolated forest.Subsequently,leveraging the concept of intuitionisticfuzzy,varying weights are assigned to the input sample points to mitigate the impact of收稿日期：2 0 2 2-11-0 2基金项目：国家自然科学基金（No.62066030）；江西省重点研发计划项目（No.20192BBE50076，No.2 0 2 0 3BBG L-73225）资助通信作者：吕莉，教授，研究方向为智能计算与计算智能、大数据与人工智能。E-mail：l v l i 6 2 3 16 3.c o m351第2 期张法滢，等：直觉模糊的结构化最小二乘李生支持向量机noise or abnormal data on the classification hyperplane.Finally,the K-Means algorithm isemployed to extract structural information,represented in the form of covariance,amongthe input sample points.Built upon LS-SVM,IF-SLSTSVM takes into account the distri-bution information of input sample points in the feature space and their interrelationships,thereby enhancing the models robustness.Experimental validation is performed usingthe UCI dataset in noise environments with different proportions of 0%,5%,10%,and20%.The results demonstrate that the IF-SLSTSVM algorithm exhibits superior robust-ness compared to six other evaluated algorithms.Keywords:support vector machine,isolated forest,structural information,intuition fuzzy,clustering,covariance支持向量机（supportvectormachine，SVM）是Vapnik等 1】在19 9 5年提出的一种基于最小化结构风险和最大化间隔原理的监督学习方法 2 。SVM通过求解一个凸二次规划问题（quadratic programmingproblems，Q PPs）得到一个分类超平面，对数据进行二元分类。由于QPPs问题的求解过程计算复杂度较高，导致SVM计算速度较慢。为解决该问题，Jayadeva等 3 在2 0 0 7 年提出了李生支持向量机（twin supportvector machine,T-SVM)，旨在寻找两个不平行的超平面，使每个超平面尽可能靠近一类样本并且远离另一类样本。T-SVM将SVM中规模较大的QPPs问题转化为两个规模较小的QPPs问题，提高了SVM 的计算速度。为进一步提高T-SVM 的计算速度，文献 4 在文献 5 的基础上，提出了最小二乘李生支持向量机（least squares twin support vectormachine,LS-TSVM)，LS-T SVM用等式约束替代不等式约束，通过求解线性方程替代复杂的QPPs问题，已广泛应用于模式分类 6 聚类 7-8 、图像识别 9-10 和异常检测 1-13 等领域。虽然LS-TSVM在计算速度方面有较大的提升，但是依然存在一些问题：1）对噪声和异常数据非常敏感，尽管支持向量机有严格的数学基础，使其理论更加可靠和稳定，但是其依赖输入样本点的数量以及每一个样本点的质量；2）未考虑数据内在的结构信息，大多数的LS-TSVM改进算法专注于分解数据本身，而忽略了数据内在的结构紧密性信息。针对以上问题，研究人员提出了许多LS-TSVM的改进算法。为了克服样本中噪声和离群点的影响，文献 14 使用一种指数函数计算输入样本点的密度值，并将此密度值用于正、负两类所有输入样本点误差量的权重计算，可以有效去除交又噪声对数据分类的影响。文献 15为每个超平面引入一个能量因子，改变LS-TSVM中超平面与另一类点距离为1的约束，同时根据先验知识选择不同的能量参数，减小噪声或是异常数据对算法的影响。文献 16 在文献 15 的基础上，将正则化项引入每个目标函数，最大化分类超平面的间隔，确保优化问题正定以实现结构风险最小化，从而最小化泛化误差的上界。文献 17 将K近邻隶属度函数和类内超平面的隶属度函数结合，并加入正则化项和额外的约束条件，降低算法对噪声的敏感性。为了获取样本中的结构信息，文献 18 使用K最近邻图分别表征类内紧密性和类间可分性，充分利用样本之间的相似信息，实现更高的分类精度和更好的泛化能力。文献 19 在文献18的基础上加入多视图学习，从不同角度利用类间和类内K近邻尽可能多地挖掘样本中的潜在信息，提高算法的分类精度。文献 2 0 通过WardsLinkage层次聚类算法以协方差矩阵的形式获取类内的结构信息，最小化每个类内各个簇之间的紧密度，以提高算法的泛化能力。文献 2 1 通过加入Lp范数图正则化项利用数据中嵌入的几何信息，降低噪声对算法性能的影响。虽然上述的LS-TSVM改进算法都能取得更优的分类效果，但是大多数都将重点放在解决单一问题上。文献 2 2 同时将样本的模糊隶属度和结构信息引入到目标函数中，通过使用第42 卷352应用科报学学模糊隶属度表明，不同样本对分类超平面的不同作用，同时利用结构信息进一步提高算法的泛化能力。但文献 2 2 在模糊隶属度函数的确定上只是简单考虑了样本点与其所在类的关系，而对于情况复杂的样本点，不能很好地进行处理，容易导致分类错误。综上所述，本文提出了一种直觉模糊的结构化最小二乘李生支持向量机（intuitionisticfuzzy structural least squares twin support vector machines,IF-SLSTSVM)。首先,通过孤立森林对输入样本点进行预处理；其次，对于每个样本点而言，通过直觉模糊数中的隶属度函数、非隶属度函数以及直觉指数，得到输入样本点最终的得分函数，赋予其一个0 1之间的权重，体现不同样本点对最优分类超平面的不同贡献；最后，通过K-Means算法，获取样本点之间的结构信息，使得IF-SLSTSVM具有更好的鲁棒性。实验选取了6 种对比算法对IF-SLSTSVM性能进行验证，结果表明IF-SLSTSVM具有更高的分类精度及鲁棒性。1相关工作1.1LS-TSVM假设在Rn空间中训练数据集定义为D=【(c i,y i)l i=1,2,，m，其中ai是输入样本点，yiE+1,-1)是对应的样本标签。D有m个训练样本，每个样本有n个属性，其中正类样本m1个，负类样本m2个，分别用矩阵A和B来表示。LS-TSVM在保留T-SVM优势的基础上，降低了T-SVM在求解QPPs问题过程中的计算复杂度。线性LS-TSVM的最优分类超平面Tw1+b1=0和Tw2+b2=0，可通过下面的约束优化问题进行求解7min(Aw1+e1b1)/2+2一w1,b12(1)s.t.-(Bw1+e2bi)+2=e2minl(Bw2+e2b2)12+25T51w2,b222(2)s.t.(Aw2+eib2)+S1=e1式中：A为正类样本矩阵；B为负类样本矩阵；IIl为L2范数；Ci和c2为惩罚参数：S1和S2为松弛变量；e1和e2是一个适当维度的单位向量。将约束条件替换至目标函数中可求得其最优分类超平面的解为W1=-(FTF+ETE)-1FTe2(3)b1C1W2=(ETE+=FTF)-IETe1(4)b2C2式中：E=Aei，F=Be 2 ，因为上式存在逆矩阵，为保证矩阵可逆，一般将逆矩阵改写为（FTF+ETE+I)-1；是一个极小的正数，可取10-16；是一个单位矩阵，用以解决矩阵“奇异性”问题。对于测试点，其决策函数为aTw1+b1aTw2+b2f()=arg min(5)wTW1W2W2e2353第2 期张法滢，等：自觉模糊的结构化最小乘李生支持向量机非线性LS-TSVM的模型可表示为下面的约束优化问题min1,1(6)s.t.-(K(B,CT)u1+e21)+E2=e2min1 K(B,CT)u2+e221/+C2T52-2,222(7)s.t.(K(A,CT)u2+e12)+i=ei式中：C=ATBTjT；K 为选择的核函数。同线性LS-SVM的求解方式相同，求得两个非平行的分类超平面K(T,CT)u1+1=0和 K(T,CT)u2+2=0 的解如下u1=-(HTH+GTG)-1 HTe2(8)C171山2=(GTG+=HTH)-1GTe1(9)C22式中:G=K(A,CT)ei;H=K(B,CT对于测试点，其决策函数为K(c,CT)u1+bilK(a,CT)aT u2+b2lf()=arg min(10)uTK(c,CT)ui/uTK(a,CT)u21.2孤立森林孤立森林（isolation forest，i Fo r e s t）算法是由文献 2 3 提出的一种直接刻画样本与样本之间疏离程度的无监督异常检测算法。由于其对样本差异的描述不通过距离、密度等指标进行，避免了高阶运算，因而被广泛使用。该算法在异常数据检测中具有准确率高、速度快且在高维数据上表现较好，因此本文采取孤立森林算法用于噪声或是异常数据的检测。IForest认为噪声或是异常数据更容易落入叶子结点，这意味着噪声或是异常数据在孤立树（isolation tree，i T r e e）上距离根节点最近。因此可通过计算训练样本点在已构建的孤立森林模型下的平均路径长度求其异常值，其处理效果取决于iTree 的数目与样本数据量 2 4。对于任一个样本点d，根据其在每棵iTree中的路径长度h(d)，可通过式（11）和（12）计算其异常值，从而评价其异常情况。c(m)=2H(m-1)-2(11)m-E(h(d)s(,m)=2(12)c(m)式中：m为每棵iTree上的样本总数；c(m）用于对样本子集的路径长度进行归一化处理；H(d)为在每棵树中的高度且H(d）=ln d+，=0.57 7 2 156 6 49 为欧拉常数，s(c,m)E0,1为的异常分数，E(h(d)）为在所有iTree中所有路径长度h(d）的期望。第42 卷354应用报科学学1.3直觉模糊集在实际问题中，人们通常对客观事物有一种非此即彼的概念，当情况变得错综复杂时，很难有一个明确的逻辑对其进行归属判断。19 6 5年，文献 2 5 提出模糊集的概念，通过隶属度信息帮助人们在不确定的情况下给出更好的决策信息。而模糊集只表示事物肯定的程度，未考虑否定以及犹豫的情况。于是在19 8 6 年，文献 2 6 提出了直觉模糊集的概念，通过事物的隶属度信息，非隶属度信息和决策指数更好的描述了事物的详细信息。定义1诊设非空集合X是一个给定论域，则X上的一个直觉模糊集A可以表示为 2 6 A=(a,A(c),UA()lc E X)(13)式中：A(）和A(）分别是样本点的隶属度函数和非隶属度函数，满足A(）E0,1，U A(c）0,1 以及0 A()+A(）l。对于X中的每个直觉模糊子集，称A(）为的直觉指数，它表示对A犹豫程度的度量，可以定义为TA()=1-A(c)-VA()(14)显然，对于每个EX，有0 A()1成立。的得分函数定义为 2 7 H(a)=2-(a.)-(i)1-(ci)(15)定义2 设=（i,）是一个直觉模糊数，定义s(i）=i为的记分函数，h(i）=i+U;为i的精确函数，遵循以下原则 2 8 ：1)若存在s(1)s(2)，则2的排序优于1;2)若存在s(1)=s(2)，则当h(1)h(2)时，1的排序优于2；当h(1）=h(2）时，Q2和1排序相同。1.4K-Means 算法K-Means算法是一种采用距离作为相似度评价指标的聚类算法该算法认为两个样本点的距离越近，则相似度越大。K-Means通过随机选取K个点最为初始质心，通过不断迭代更新质心，最终将所有样本点分入K个簇中。K-Means算法具有聚类效果较好，且需要进行调优的参数较少等优点，因此本文采取该算法对样本进行聚类。通过K-Means算法得到样本的协方差矩阵，可以更好地确定样本之间的相似度。样本的协方差矩阵反映了样本之间的相对位置关系以及样本分布形状，通过分析协方差矩阵可以得到样本的结构信息，从而获得更准确的样本相似度度量。假设通过K-Means算法得到K个簇，其中正类样本Ki个，负类样本K2个，计算每个簇的协方差矩阵并求和m1Ci(16)m1式中：c为任一簇的簇中心；m为簇内样本数。K1pi=lci-Cp:ll,P=ZxTpiX(17)=1K2ni=lci-Cnall2,N=ZxTmiX(18)=1355第2 期张法滢，见模糊的结松化最小乘李生支持向量机式中：pi和ni分别为正类样本和负类样本第i簇中所有样本点到簇中心的距离，X为任一簇的样本矩阵；P和N分别为正类样本和负类样本的协方差矩阵之和。2IF-SLSTSVM2.1直觉模糊数为使SVM算法有更好的鲁棒性，常选择适当的模糊函数来确定不同样本点的权重，来减少噪声和离群点对最优分类超平面的影响。但模糊函数只能给出样本点有多大程度属于其所在类，而对较复杂的情况，很难做出正确的决定。例如：位于两个类边界的样本对于两个类有相同的隶属度，容易给出不正确的决策信息，进而导致分类错误。如果给两个类边界的样本赋予较小的权重，赋予与边界距离较大的样本更大的权重，不仅可以减少噪声或异常数据对最优分类超平面的影响；同时可以尽可能最大化分类超平面间隔，使算法具有更好的分类精度。直觉模糊数考虑了样本点的隶属度、非隶属度两方面的信息，因此比传统的模糊函数在处理模糊性和不确定性等方面更加具有灵活性和实用性 2 9 。本文通过直觉模糊数的概念，赋予每个样本点一个直觉模糊值。通过隶属度函数、非隶属度函数给出样本的得分函数，最终确定样本对于其所在类的隶属程度。2.1.1隶属度函数隶属度函数可以衡量输入样本点对其所在类的隶属程度，隶属度越高，表明该样本点属于其所在类的隶属程度越高。本文用距离作为度量标准对隶属度函数进行确定，通过样本点与所在类中心的距离计算其隶属度函数。由于类中心容易受到噪声和离群点影响，所以在计算类中心之前，通过iForest对噪声或是离群点进行处理，得出较为合适的类中心。具体方法为1c=i(19)m1r=max li-c 12(20)式中：c是正（负）类样本的类中心；士是正（负）类样本到其所在类类中心的最大距离。t=1 _ I2i-c*I2(21)士+式中：是样本点的隶属度；取10-8。2.1.2非隶属度函数非隶属度函数可以衡量样本点与异类的隶属程度，非隶属度越高，表明样本点属于异类的隶属程度越高。本文通过比较样本点与同类类中心和异类类中心的距离作为样本点的非隶属函数。S+(22)S+$+-(1-t)S-S-+S-+(1-s)(23)式中：S+=ll(i）c+为正类样本的同类相似度；S+=l s(i）c-112 为正类样本的异类相似度；S-=Ils(ai）-c 2 为负类样本的同类相似度；S-+=(ai）-c+2 为负类样本的异类相似度。第42 卷356应用科报学学2.1.3得分函数上节给出了样本点的隶属度函数和非隶属函数，根据其得分函数计算样本的直觉模糊值，赋予其相应的权重。定义样本点的得分函数为(1,Ui=0Si=0,iUi(24)1-Ui其他2-山i-Ui当vi=0时，认为该样本点完全属于其所在类，赋予其权重为1；当ii时，认为该样本点是噪声或者离群点，赋予其权重为0；否则，将通过得分函数计算样本点相应的直觉模糊值。2.2线性IF-SLSTSVM由于LS-TSVM对噪声或异常数据非常敏感，易忽视样本点之间的结构紧密性信息。因此，IF-SLSTSVM在LS-TSVM的基础上，考虑输入样本点在特征空间中的分布信息及输入样本点之间的关系，通过对不同样本点赋予其相应的直觉模糊值以及分析样本的结构信息获得两个非平行超平面wTc+b1=0和w+b2=0，对应的约束优化问题为minllAwi+eibil/2+CwT)TW1+(/w1/2+b)+C3s25T52wi,b1,12P(25)s.t.-(Bw1+e2b1)+&2=S2,520C5minW2+(w2ll2+b2)+C6sTsTs1W2,b2,522N(26)s.t.IlAw2+eib2ll2+$1=S1,$10式中：Z和分别为正负类样本点的协方差矩阵；8 1和.s2分别为正负类样本点的直觉模PN糊值。将式（2 5）和（2 6）中的约束条件代入目标函数中可得TZC2minL1=l/Awi+eibi/+CiwT)W1+(/1l1)+C3s21Bw1+e2b1+s2112(27)wi,b122PminW2+C5(l/2l12)+C6sT Bw2+eib2+81l/2(28)W2,b22将L1，L2 分别对w和b求梯度为0 可得oLi=AT(Awi+eibi)+cl)Tw1i+C2W1+C3sTBT(Bw1+e2b1+$s2)=0(29)w1P(30)b1aL2=B(Bw2+ezb2)+cs)Tw2+C5w2-C6s AT(-Aw2-eib2+$1)=0(31)w2N8L22=el(Bw2+e2b2)-csTel(-Aw2-1b2+81)=0(32)8b2输出输入训练样本D，测试样本第2 期357张法滢，等：直觉模糊的结构化最小乘李生支持向量机将式(2 9)(32)）合并整理可得W1=-Ci(HTH+C3I+C5J)-1GTs2(33)b1W2=C2(GTG+C4I+C6F)-1 HTs1(34)6b200式中:H=A ei;G=B e2;J=PF：N。对于测试点，其决策函数为0000可参考式(5)。在线性情况下，IF-SLSTSVM算法的具体步骤如下：算法1线性IF-SLSTSVM测试样本的类别y利用网格搜索法，选取惩罚参数选取惩罚参数ci(i=1,2,3,4);采用孤立森林对数据集进行预处理，得到新的训练样本D*；根据式(2 1)(2 4)计算样本的模糊隶属度；通过K-Means算法和式（17)(18）得到正负类样本的协方差矩阵；根据式(33)(34)求得原始问题w1，W 2，b 1和b2的最优解；根据决策函数式（5）判断测试样本的类别。2.3非线性IF-SLSTSVM对于线性不可分的样本点来说，在原始空间中无法找到最优分类超平面。这时可以通过核函数K(a,y)=(ac)o(y)，将训练样本点映射到高维空间，使复杂的样本点在高维空间中线性可分。此时，所求的分类超平面为K(T,CT)u1+b1=0和K(T,CT)u2+b2=0，其中C=ATBTT，所对应的约束优化问题为1minIl(A,CT)u1+e1b1l2+CTo(C)T(C)u1+c2(llu1l/2+b)+C32Ts2ui,bi,512Ps.t.-(K(B,CT)u1+e2b1)+2=82,2 0(35)Il(B,CT)u2+e2b212+Cau2g(C)T Z0(C)ua2+ca(lla212+b)+CcesT$TS1minU2,b2,522Ns.t.K(B,CT)u2+eib2ll2+S1=$1,610(36)同线性情况的求解方法相同，可求得解为山1=-Ci(HTH+c3I+C5J)-1GTs2(37)b1山2=C2(GTG+CAI+CgF)-1 HTs1(38)b2根据决策函数式（10判断测试样本的类别。根据式(37)(38）求得原始问题1，bi和b2的最优解；通过K-Means算法和式（17（18）得到正负类样本的协方差矩阵；根据式(2 1)(2 4)）计算样本的模糊隶属度；采用孤立森林对数据集进行预处理，得到新的训练样本D*；1,2,3,4)，以及高斯核参数；利用网格搜索法，选取惩罚参数选取惩罚参数ci（i输出测试样本的类别y训练样本D，测试样本输入步骤如下：第42 卷358应用报学科学S(C)T(C)0式中：H=K(A,CT)ei，G =K(B,C T)e 2 ,PF00s(C)T(C)000。对于测试点，其决策函数可参考式（10)在非线性情况下，IF-SLSTSVM算法的具体算法2非线性IF-SLSTSVM3实验结果与分析3.1实验设置本实验所有算法均采用十折交叉验证和网格寻优选取最优参数，分别选用线性核函数K(i,j）=和高斯核函数K(ai,）=e x p l 一ll2/22)进行高维处理。惩罚参数c，的取值范围在 2-10,2-9,，2 4,2 5 中，核参数。的取值范围在 2-4,2-3,23,24)中。为实验计算方便，设ci=C2，C3=C4=C=C6。实验环境为Win10系统，16 G内存，AMDRyzen74800UwithRadeonGraphics1.80GHz处理器，编程环境为PyCharm2020。为评估IF-SLSTSVM的性能，本节选取10 个UCI数据集进行实验，数据集的详细信息如表1所示。将IF-SLSTSVM与最小二乘李生支持向量机 4、模糊加权李生支持向量机（fuzzy twin supportvectormachine,FTSVM）30 、模糊最小二乘李生支持向量机（fuzzyleast squares twin support vectormachine,FLST-SVM)31、结构模糊最小二乘李生支持向量机(least squares structural fuzzy twin support vector machine,LS-SFTWSVM)32、直觉模糊李生支持向量机（intuitionisticfuzzy twin support vector machine,IF-TSVM)9、密度加权最小二乘李生支持向量机（density weighted twin support vector machine,DWLSTSVM）3等6 种算法进行相关实验测试，对线性核函数和高斯核函数映射下的平均准确率进行分析比较。实验分为两部分：UCI数据实验与鲁棒性实验3.2UCI数据实验结果与分析第1部分实验是在UCI数据集上对比6 种算法的测试准确率，具体结果如表2 和3所示。从表2 可以看出，IF-SLSTSVM在8 个数据集中，分类精度都高于对比算法。尤其是在数据集ionosphere和haberman中，相较于其他6 种对比算法中的最优结果，IF-SLSTSVM在准确率上提高了1.40%和0.8 8%。而在数据集Bupa-liver中，LS-SFTWSVM的表现较优秀，准确率可达7 7.9 9%；在数据集german中，IF-TPSVM的表现更胜一筹，准确率可359第2 期张法滢，等：自觉模糊的结构化最小乘李生支持向量机表1UCI数据集Table 1 UCI dataset数据集样本数目属性数目类别german1000212haberman30632ionosphere351342Bupa-liver34562diabetes520142transfusion74842fertility10092sonar208602cmc1.47393balance62543表2 7 种算法在线性核函数映射下的准确率比较Table 2 Accuracy comparison of 7 algorithms under linear kernel function mapping%LS-F-FLST-LS-IF-DWLSIF-数据集TSVMTSVMSVMSFTWSVMTSVMTSVMSLSTSVMgerman76.0074.9074.9075.9076.8075.9476.20haberman76.7879.7580.4079.7178.7678.4581.28ionosphere85.8088.3490.3291.5094.9294.0296.32Bupa-liver71.2773.0074.1477.9977.8977.6677.63diabetes89.4294.4294.8195.1994.3194.8695.38transfusion79.0479.5779.9779.1779.8479.4281.04fertility89.0092.0090.0090.0094.0092.0094.00sonar91.9093.3394.7697.6295.3896.7198.10cmc48.9849.3250.6753.2653.3953.2753.73balance86.4084.8087.2088.0088.0089.0489.60Avg79.3680.9481.7282.8383.3383.1484.33达7 6.8 0%；在数据集fertility中，IF-TPSVM和IF-SLSTSVM同时达到了最优的分类结果。当IF-SLSTSVM在处理三分类数据集cmc和balance时，其表现也优于对比算法，准确率提高了0.34%和0.56%。从平均准确率来看，LS-SFTWSVM较于对比算法分别提高了4.97%、3.39%、2.6 1%、1.50%、1.0 0%和1.19%，说明本文算法性能优于对比算法。从表3中我们同样也可以看出，相较于其他6 种算法，IF-SLSTSVM在准确率上表现更好。IF-SLSTSVM在数据集haberman和Bupa-liver中，相较于其他6 种算法中的最优结果，准确率上分别提高了1.9 8%和1.9 1%。同时在german、d i a b e t e s、s o n a r 等高维数据中，IF-SLSTSVM表现也十分优异，准确率可以达到7 9.6 0%、9 8.8 5%、9 9.0 5%。而在数据集cmc中，IF-SLSTSVM表现仅次于DWLSTSVM，准确率为57.8 8%。在数据集balance第42 卷360应报用学学科表37 种算法在高斯核函数映射下的准确率比较Table 3 Accuracy comparison of 7 algorithms with Gaussian function mapping%LS-F-FLST-LS-IF-DWLSIF数据集TSVMTSVMSVMSFTWSVMTSVMTSVMSLSTSVMgerman70.8073.2076.0074.0075.4074.3879.60haberman72.8973.5572.8981.0577.7674.1983.03ionosphere87.1993.4593.4493.7596.5997.4798.02Bupa-liver72.1470.1072.1375.9176.0976.0978.00diabetes97.5098.4697.597.3694.2397.7398.85transfusion77.9777.9877.1780.6480.1179.8579.97fertility90.0089.0090.0095.0094.0094.0095.00sonar94.2993.3393.8198.5795.7196.6799.05cmc56.4657.6357.9756.2758.0358.1257.88balance87.2088.1888.8888.8890.4089.5790.40Avg80.6481.4981.9884.1483.8383.8185.98中，IF-SLSTSVM与IF-TSVM准确率相同，均达到9 0.40%。综合10 个数据集的平均准确率，IF-SLSTSVM较于对比算法，分别提高了5.34%、4.49%、4.0 0%、1.8 4%、2.15%和2.17%，说明了本文算法的有效性。结合表2 和3可以看出，IF-SLSTSVM在线性核和高斯核映射下的性能都十分优异。其采用直觉模糊函数通过隶属度函数、非隶属度函数和得分函数更好地刻画了样本在空间中的分布情况以及样本与类别之间的关系。同时，通过K-Means计算协方差矩阵获取到样本的结构信息，能得到更准确地样本相似度度量，并显著提高IF-SLSTSVM的准确率。3.3鲁棒性实验结果与分析第2 部分实验为评估IF-SLSTSVM算法的鲁棒性，本文随机选择6 个数据集，通过置换标签的方法，将数据集5%、10%及2 0%的标签进行置换以作为噪声或者异常数据，实验结果如图1和2 所示。图1为线性核映射下，添加不同比例噪声后7 种算法的准确率变化。可以看出当添加不同比例的噪声后，7 种算法在分类精度上均有不同程度的下降。噪声的存在使样本在空间中分布混乱，模糊了两类样本之间的界限，导致超平面偏移，分类精度下降。FLST-SVM在大部分数据集中，精确度的变化不是很明显，说明该算法的稳定性较好，但分类精度总体不高。而IF-SLSTSVM不仅可以保持较稳定的表现，而且分类精度优于其他的算法。例如在数据集german中，无噪声存在时，IF-SLSTSVM准确率会低于IF-TSVM，当噪声比例增加至2 0%时，其准确率达到最优；在Bupa-liver数据集中，无噪声存在时，IF-SLSTSVM准确率排名为4，而随着噪声的增加其最终准确率排名为2。在随机选择的6 个数据集中，当噪声比例为20%时，IF-SLSTSVM在5个数据集中准确率为最优。从图2 中可以看出，当数据集添加了2 0%的噪声后，在选取的6 个数据集中，IF-SLSTSVM的准确率均为最佳。在数据集german和haberman中，IF-SLSTSVM的准确率略有轻微下降，远高于其他6 种对比算法，而这两个数据集中IF-TSVM的准确率也较平稳，但分类精度不如IF-SLSTSVM。361第2 期张法滢，等：直觉模糊的结构化最小乘李生支持向量机82778178768076%/本聊7376707572681051015200510152005101520噪声比例/%噪声比例/%噪声比例/%(a)German(b)Haberman(c)Bupa-liver(a)German(b)Haberman(c)Bupa-liver549094529388%/本联50%/本聊%/幸业48864689448488421825051015200510152005101520噪声比例/%噪声比例/%噪声比例/%(d)Fertility(e)Cmc(f)Balance(d)Fertility(e)Cmc(f)Balance-LS-TSVM-F-TSVM-FLST-SVMLS-SFTWSVM-IF-TSVMDWLSTSVM+IF-SLSTSVM图1在线性核函数映射下数据集添加不同噪声的准确率变化Figure 1 Accuracy variation with different noises added to the dataset under linear kernelfunction mapping80F84c78788076%/率聊7674767272707068681051015200510152005101520噪声比例/%噪声比例/%噪声比例/%(a)German(b)Haberman(c)Bupa-liver(a)German(b)Haberman(c)Bupa-liver96r915894905792%/率聊我8988875486865384851051015200510152005101520噪声比例/%噪声比例/%噪声比例/%(d)Fertility(e)Cmc(f)Balance(d)Fertility(e)Cmc(f)Balance-LS-TSVM-F-TSVM-FLST-SVMLS-SFTWSVMIF-TSVM-DWLSTSVM+IF-SLSTSVM图2 在高斯核函数映射下数据集添加不同噪声的准确率变化Figure 2 Accuracy variati