改进的有监督跨域协议缺陷预测算法.pdf

Computer Engineering and Applications计算机工程与应用2023，59（16）网络应用随着互联网时代的发展已经走入人们的生活，支撑着各个领域的发展，如通讯设备、工业生产、一体化控制、城市智慧建设等领域。网络通常是基于协议约定进行协调工作，完成指定的网络服务。然而，基于设计人员的经验，以及安全性等因素干扰，协议中往往存在若干缺陷。所谓软件缺陷，即为计算机软件或程序中存在的某种破坏正常运行能力的问题、错误，或者隐藏的功能缺陷。缺陷的存在会导致软件产品在某种程度上不能满足用户的需要，甚至会发生安全故障。近十年中，严重的网络协议缺陷层出不穷。“永恒之蓝”爆发于 2017 年 4 月 14 日晚，利用 Windows 系统的SMB协议缺陷来获取系统的最高权限，以此来控制被入侵的计算机，这个缺陷导致攻击者在目标系统上可以执行任意代码。基于SSH的文件传输协议SCP（securecopy protocol）被曝存在安全缺陷，SCP客户端无法验证SCP服务器返回的对象是否与请求的东西一致，该问题从1983年起就已经存在，直到2019年才发布补丁进行修复。2019年，波音737飞机发生事故，经调查报告显示为坠毁客机的自动防失速系统存在设计缺陷，协议代码存在缺陷。利用代码的复杂性、耦合度等特征，借助机器学习改进的有监督跨域协议缺陷预测算法周超，王震，秦富童，刘义中国人民解放军63891部队摘要：针对软件代码的缺陷预测是常见的研究问题，但基于协议的代码缺陷预测暂时无人尝试研究。提出了改进的有监督跨域协议缺陷预测（enhanced supervised cross-domain protocol defect prediction，ESCPDP）算法，解决跨域缺陷预测中类不平衡及特征冗余等问题。首先提出Mean-ReSMOTE算法来解决数据集的类不平衡问题，其次提出Hybrid-RFE+算法对过采样后的数据进行特征选择，得到最优子集，最后使用支持向量机（support vector machine，SVM）构建有监督缺陷预测模型。在 NASA 数据集和自主搜集构建的 Net协议缺陷数据集上，以 Acc、Recall和F1值作为评测指标对提出的模型进行验证，实验结果表明改进的有监督跨域协议缺陷预测算法要优于其他经典算法，具有更好的预测效果。关键词：缺陷预测；类不平衡；过采样；特征选择；有监督学习文献标志码：A中图分类号：TP393.08doi：10.3778/j.issn.1002-8331.2204-0442Enhanced Supervised Cross-Domain Protocol Defect Prediction AlgorithmZHOU Chao,WANG Zhen,QIN Futong,LIU YiUnit 63891 of PLA,ChinaAbstract：Defect prediction for software code is a common research problem,but protocol-based code defect predictionis an unknown problem for the time being.In this paper,an enhanced supervised cross-domain protocol defect prediction（ESCPDP）algorithm is proposed to solve class imbalance and feature redundancy problems in the cross-domain defectprediction.Firstly,mean-RESMOTE is proposed to solve the problem of class imbalance in the dataset.Secondly,Hybrid-RFE+is proposed to solve the problem of feature selection carried out on the over-sampled data for getting the optimalsubset.Finally,support vector machine（SVM）is used to build a supervised defect prediction model.Acc,Recall and F1values are used as evaluation indexes to verify the proposed model on the NASA dataset and the Net protocol defect datasetindependently collected and constructed.Experimental results show that ESCPDP algorithm is superior to other classicalalgorithms and has better prediction effect.Key words：defect prediction;class imbalance;over-sampled;feature selection;supervised learning作者简介：周超（1993），男，硕士，助理工程师，研究方向为信息安全，E-mail：；王震（1986），男，硕士，工程师，研究方向为网络与信息安全；秦富童（1985），男，硕士，工程师，研究方向为信息安全；刘义（1977），男，博士，高级工程师，研究方向为通信工程。收稿日期：2022-04-25修回日期：2022-07-05文章编号：1002-8331（2023）16-0256-062562023，59（16）技术判断出协议代码有无缺陷是一种可行的技术，及时发现协议代码中的安全隐患，可以减少带来的损失风险，避免事故的发生。但是，协议缺陷预测中数据集存在类分布不平衡等问题，即缺陷类数据和非缺陷类数据分布比例不均匀，现有的采样方法如ROS（random oversample）1、SMOTE（synthetic minority over-sampling technique）2、ADASYN（adaptive synthetic sampling）3等生成样本多样化不足，本文将对此方面问题进行提升。不少研究人员已经建立了多样化针对软件缺陷代码模块的模型来进行缺陷预测，尚未对协议代码模块进行检验，且目前对特征冗余与类不平衡问题的考虑不完善。因此，本文提出了改进的有监督跨域协议缺陷预测算法，利用从软件缺陷代码中学习到的知识，通过均衡化处理进行协议代码缺陷预测，最终再基于传统的支持向量机（support vector machine，SVM）算法进行模型训练，主要提出了两个改进算法：（1）对数据集中的样本，提出Mean-ReSMOTE算法进行过采样，增加少数类样本，删除重复样本，减少机器学习模型的过度泛化。（2）对于过采样后的数据，提出 Hybrid-RFE+算法进行特征选择，对数据集样本进行递归式搜寻、混合式特征选择，去除不相关、冗余的特征，提升机器学习模型的鲁棒性与准确率。最后，对过采样后与特征选择后的数据集进行训练。本文基于 NASA MDP 数据集和自主搜集构建的Net协议缺陷数据集进行实验，经过与传统机器学习算法对比发现，本文提出的两个算法都能取得较好的实验结果。1研究背景1.1跨域缺陷预测研究跨域缺陷预测是由于目标项目没有足够多的历史标记数据，而使用其他项目中的标记数据构建缺陷预测。根据源项目数据和目标项目数据是否相同的度量元，又可以进一步将这些方法划分为同构跨域缺陷预测和异构跨域缺陷预测。由于协议缺陷代码与软件缺陷代码整体存在较高的相似度，本文针对自主搜集的协议代码，采用同构跨域预测。同构跨域缺陷预测可以分为无监督学习、半监督学习与有监督学习。基于有监督的跨项目预测方法直接使用源项目中标记的历史数据作为训练数据，并在该训练数据上构建预测模型，然后在目标项目上检验模型预测性能。本文使用的源项目和目标项目均为有标签数据，本文主要聚焦于有监督学习。跨域缺陷预测中，普遍存在源项目与目标项目分布差异过大、相似度较低的问题。源项目和目标项目数据来自不同的数据分布，因此在源项目上构建的缺陷预测模型通常在目标项目上表现不好。为了使得源项目中的数据可以有效地构建适用于目标项目的预测模型，亟待解决的问题是如何缩小两个项目之间的差异。近年来，在跨项目缺陷预测领域中，研究人员已经提出了多种解决方法。为有效减少源项目和目标项目的差异，Pan等人4在源项目与目标项目中，分别度量特征度量元之间的相似性，选择两者中相似的度量元作为有效的特征度量，借助机器学习算法构建软件缺陷预测模型；Nam等人5提出 HDP（heterogeneous defect prediction）迁移学习方法，通过对特征进行选择与特征映射，将源项目与目标项目中与缺陷相关性较高的特征度量元映射到分布相似的空间中来减少差异分布；Jing等人6提出CCA+（canonical correlation analysis）方法找到源项目与目标项目的共有软件度量空间减少分布差异；Turhan等人7通过计算源项目和目标项目欧氏距离，选择最近的k个项目作为训练数据用于后续模型训练。采用机器学习模型进行协议代码缺陷预测，输入端应该是代码的特征提取数据，代码的特征提取应该是依据某种度量元指标来进行。基于协议代码的复杂度，本文拟采用现有较为通用的度量元指标进行协议代码的特征提取，利用LOC度量指标、Halstead度量指标、运算复杂度等度量元指标进行考量。LOC度量计算代码中总行数、可执行代码行数、注释行数、代码中存在的注释行数等多种维度。此种度量主要是基于代码行角度，随着代码行数的增加，代码中出现缺陷的概率会增加。Halstead度量计算代码中的操作数与操作符个数，综合考量代码的复杂情况，利用操作符和操作数基本指标，计算出程序模块的算法实现难度、编程工作量、操作符与操作数复杂度、程序所占体积等多种指标。此种度量主要是基于操作符和操作数，随着运算程度的复杂化，代码中出现缺陷的概率会增加。McCabe度量通过计算代码模块的圈复杂度（衡量一个模块判定结构的复杂程度，数量上表现为线性无关的路径条数，即预防错误所需测试的最少路径条数）、基本复杂度（衡量程序非结构化程度，非结构成分降低了程序质量，增加了代码的维护难度，使程序难于理解）等指标。此种度量主要是基于代码复杂度，随着计算复杂度的增加，代码中出现缺陷的概率增加。具体有26个指标，如表1所示。1.2类不平衡问题通常，一个项目中有缺陷模块的数量要远小于无缺陷模块的数量，因此缺陷数据集是类不平衡数据集。目前大多数缺陷预测模型并没有进行不平衡数据处理，因而数据集中多数类无缺陷数据的特征更加明显。这样导致分类器将大量的有缺陷模块误划分为无缺陷模块，周超，等：改进的有监督跨域协议缺陷预测算法257Computer Engineering and Applications计算机工程与应用2023，59（16）严重影响缺陷预测模型的预测性能。因此首先对源项目进行类不平衡数据处理，使得源项目中有缺陷模块和无缺陷模块的数量平衡。针对类不平衡问题，解决方案有欠采样和过采样。欠采样主要通过删除多数类样本的数量，保持少数类样本和多数类样本数量一致，常见的算法有随机欠采样等。但是删除样本本身会导致模型学习信息减少。过采样技术主要是通过增加少数类样本来实现样本平衡，减少机器学习模型过度泛化的问题。常见的方法有随机过采样方法，通过随机选择少数类样本进行复制；SMOTE方法主要基于KNN算法对少数类样本生成一定数量的样本，保持样本数量平衡；Borderline-SMOTE8方法是 SMOTE 方法的一种改进，主要关注于多数类与少数类中难以分类的边界点；ADASYN算法考虑了不同特征之间的相关性及重要性不同，为不同的特征学习不同的权重；MAHAKIL9关注样本生成的多样性进行少数类生成，但生成的部分样本出现误差，降低了机器学习模型的预测准确率。1.3特征选择方法有监督特征选择方法中，常见的可以分为三类：Filter类，Wrapper类，Embedded类。Filter类方法的特征选择过程独立于模型，其主要基于样本中的某项评价指标的分数进行选择，选择评价指标分数位于前列的特征，常见的指标有方差、皮尔森系数、信息熵等，其对特征的选择与模型的融合程度不足，部分情况下效果不理想。Kwak等人10提出了一种基于Parzen窗口计算输入变量和标签间的互信息。Dash等人11使用不一致度量去评估特征子集。孙广路等人12将最大信息系数理论作为评价标准，采用马尔科夫毯作为特征选择方法。Wrapper类特征选择算法针对Filter类算法的不足进行改进，对特征子集的选择依赖于训练模型的评测性能。Yang等人13提出了基于包装器的多层感知器神经网络特征选择方法，提升了特征选择的表示能力与评价能力。张戈等人14提出ABC-CRO高维特征选择方法，将蜂群算法与改进化学反应算法相结合进行迭代选择。Embedded类方法是将特征选择过程嵌入到模型训练过程中，模型训练的同时也在进行特征选择。常见的代表性方法包括决策树算法，如ID315、C4.516、CART17等。三种方法对比而言，Filter类方法运行速度快，但缺少了对数据与模型的融合考虑过程；Wrapper类方法评价准则与效果相对较好，但是算法时间复杂度过高，不太适用于高维数据的特征选择；Embedded类方法相对较少，性能的好坏主要取决于模型训练器的性能。2算法描述2.1算法框架图1为改进的有监督跨域协议缺陷预测算法的框架图。初始情况下，训练数据集少数类样本较少，多数类样本较多，存在较为明显的类不平衡问题，提出Mean-ReSMOTE算法进行过采样，实现二者的平衡；过采样后的数据集一般特征总数较多，存在部分冗余特征，提出Hybrid-RFE+算法进行特征选择，得到最优特征子集；最后借助支持向量机（SVM）分类器构建算法模型，对测试集进行预测，得出预测结果。度量元表示LOC_TOTALLOC_EXECUTABLELOC_CODE_AND_COMMENTLOC_COMMENTSLOC_BLANKNUMBER_OF_LINESHALSTEAD_DIFFICULTYHALSTEAD_EFFORTHALSTEAD_VOLUMEHALSTEAD_PROG_TIMEHALSTEAD_LENGTHHALSTEAD_CONTENTHALSTEAD_LEVELPARAMETER_COUNTNUM_OPERATORSNUM_UNIQUE_OPERATORSNUM_OPERANDSNUM_UNIQUE_OPERANDSCYCLOMATIC_COMPLEXITYMAINTENANCE_SEVERITYESSENTIAL_COMPLEXITYESSENTIAL_DENSITYPERCENT_COMMENTSCYCLOMATIC_DENSITYNORMALIZED_CYCLOMATIC_COMPLEXITYHALSTEAD_ERROR_EST概述给定模块的总行数模块可执行代码行数代码有注释行的行数注释行行数空行行数总行数实现算法的困难程度编程工作量程序在词汇上复杂性编程时间操作符与操作数总数程序容量反映程序效率模块参数个数操作数个数去重操作数个数操作符个数去重操作符个数圈复杂度可维护指数基本复杂度基本复杂度密度注释占比圈复杂度密度标准化圈复杂度程序错误预测值表1度量元指标选择Table 1Metric indicator selectionMean-ReSMOTE过采样训练数据集Hybrid-RFE+特征选择SVM分类器训练输出预测结果最优特征子集结束开始图1改进的有监督跨域协议缺陷预测算法框架图Fig.1Framework diagram of improved supervisedcross-domain protocol defect prediction algorithm2582023，59（16）2.2过采样算法过采样算法Mean-ReSMOTE可以分为两部分：（1）特征范围统一：不同的特征具有不同的表示范围，区间值差异过大，软件到协议软件的跨域预测，本文采取的度量元是一致的，但测算出来的区间值范围差异很大。首先利用Min-Max方法，将所有特征的值都转换到0-1区间之内，控制在同一区间内，减少因度量差异造成的预测干扰。（2）少数类样本的采样：缺陷数据存在的问题即正例样本过少，有缺陷样本过多，机器学习模型一般设定训练样本中有无缺陷比例一致，有缺陷样本过多会对模型造成训练精确度的干扰。本文基于SMOTE方法进行改进采样，首先计算出少数类样本数量Nmin和多数类样本数量Nmax,计算出需要生产的新数据量N=Nmax-Nmin,对少数类样本基于KNN算法生成一定数量的近距离样本S。KNN 最初由 Cover 和 Hart 于 1968 年提出，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路非常简单直观。如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中大多数属于某一个类别，则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。对新生成的样本S进行去重处理。去重主要是通过衡量样本之间的距离，每当生成系列样本之后，将新生成的样本加入数据集中，并计算样本间的距离，淘汰新生成样本间距离域值较低的5%样本，重新生成，保证新生成样本的多样性，避免生成的样本距离较近过于重复，对后续模型训练造成干扰。同时，去掉重复的样本后检查样本数量是否满足预期值，若不满足重复生成样本的期望数量，则基于新生成的样本与原来的少数类样本重新迭代原计算过程，满足则停止。经过去重可以较好地避免原SMOTE算法生成重复的样本过度泛化的问题。Mean-ReSMOTE算法伪代码如下所示。输入：初始标记样本集合S。输出：过采样后的标记样本S。1.计算S样本中多数类Nmax和少数类Nmin的值2.计算需要新生成的少数样本数量N=Nmax-Nmin3.基于KNN算法，对少数样本类生成新样本，并将其添加到集合S中4.对S集合进行去重处理，删除相似度过近的样本5.检查生成的样本数是否大于N。如果大于N，跳到步骤6结束算法，否则重复步骤36.结束算法执行，输出S2.3特征选择算法源项目和目标项目中存在过多的特征，部分特征存在一定的冗余性，对模型的预测效果存在干扰。基于过采样后的数据集，通过特征选择技术挑选出最优的特征子集，提升模型预测准确率，提出一种Hybrid-RFE+算法：首先通过特征度量元的皮尔森相关系数进行筛选，同时过滤掉特征度量元的数值中近乎相同的度量指标，进而对特征按重要性降序排列，为每个特征分配一个权重，基于随机森林构建训练模型对带有权重的数据集进行训练，剔除掉权重过小的值，不断进行递归循环，直到得到最优性能，达到收敛条件。选出最优的特征子集有以下优点：（1）提升模型预测效果。（2）减少特征子集之间的相关性，避免重复性干扰。（3）增加分类识别的信息量。Hybrid-RFE+算法伪代码如下所示。输入：数据集D、特征集合F、特征选择的数目K。输出：最优特征子集F。1.对数据集D的特征进行皮尔森相关系数选择和重复特征度量元素筛选2.对特性进行重要性排序，并为不同的特性子集分配不同的权重3.通过训练模型对有权值的数据集进行训练，消除权值过小的值，继续进行递归循环4.如果不满足收敛条件，则返回执行步骤2的迭代算法；否则执行步骤55.实现收敛条件迭代，最优特征子集为输出F3实验方案3.1实验数据集本文选用了具有代表性的NASA数据集和自主搜集维护的Net数据集，训练数据为NASA数据集，预测数据为自己维护的Net数据集。Net数据集涵盖计算机网络应用层等多层协议，如TCP/IP、OpenSSL等协议模块源码，依据特征度量元标准而生成。实验数据如表2和表3所示。3.2实验评测指标协议缺陷预测是二分类问题，即判断协议预测结果是有缺陷还是无缺陷。对于样本的标记可以分为两种，一种是真实的标签情况，另一种是训练模型预测的标签结果。经过组合表示，如表4所示。数据集CM1MC1MC2KC3PC1编写语言C/C+C/C+C/C+JavaC/C+度量元数2626262626模块总数4981 1521231 1451 109缺陷模块数49364428577缺陷率/%9.833.1335.7724.896.94表2NASA数据集信息Table 2NASA dataset information数据集Net编写语言C/C+度量元数26模块总数62缺陷模块数19缺陷率/%30.65表3Net数据集信息Table 3Net dataset information周超，等：改进的有监督跨域协议缺陷预测算法259Computer Engineering and Applications计算机工程与应用2023，59（16）下面是常见的四种机器学习评价指标：（1）准确率：样本中预测结果正确的样本占总预测样本的总数。Acc=TP+TNTP+FN+FP+TN（1）（2）精确度：预测为有缺陷的实例中，真实有缺陷的实例占比。Precision=TPTP+FP（2）（3）召回率：所有真实类别中有缺陷的实例被正确预测出有缺陷的实例占比。Recall=TPTP+FN（3）（4）F1度量：精确度与召回率一种综合评估指标，权衡二者的利弊。F1=2PrecisionRecallPrecision+Recall（4）准确率是评判一个模型预测效果是否准确的重要指标，召回率是覆盖面的度量，F1值是对精确率和召回率的综合定义，避免极端现象出现。因此本实验采用Acc值、Recall值和F1值作为实验评价标准。3.3实验结果分析图 2为 NASA数据集与 Net数据集基于 SVM分类器使用不同采样算法的Acc值、Recall值和F1值对比情况图。为了验证本文提出的过采样算法Mean-ReSMOTE相较于以往经典过采样方法的有效性，分别采用Mean-ReSMOTE、ROS（random oversample）、SMOTE、Borderline-SMOTE和ADASYN算法进行实验。通过控制变量的方法，基于SVM分类器进行跨域预测，以Acc值、Recall值和F1值作为指标对比。经过分析发现，本文提出的Mean-ReSMOTE算法与ROS、SMOTE、Borderline-SMOTE、ADASYN 算法相比，准确率分别提升了 29.02 个百分点、33.86个百分点、33.86个百分点、33.87个百分点，具有较好的提升效果。图3为在NASA数据集与Net数据集使用不同特征选择算法的Acc值、Recall值和F1值对比图。为了验证本文提出的 Hybrid-RFE+特征选择算法相较于传统的特征选择方法的有效性，分别采用Hybrid-RFE+算法、SVM算法、随机森林模型、朴素贝叶斯模型、CLAMI模型进行实验。通过控制变量的方法，采用Mean-ReSMOTE算法作为过采样算法，以Acc值、Recall值和F1值作为指标对比。经过分析发现，本文提出的Hybrid-RFE+算法与SVM算法、随机森林模型、朴素贝叶斯模型、CLAMI模型相比，准确率分别提升40.32个百分点、30.65个百分点、41.93个百分点、30.64个百分点，具有较好的预测提升效果。4结束语本文利用软件代码信息预测协议代码缺陷信息，提出了一种计算复杂度合理、效果良好的监督预测算法。结合Mean-ReSMOTE过采样算法和Hybrid-RFE+特征选择算法，通过选择合理的度量元、去重、分配权重等方法，解决了目前缺陷预测跨域、类不平衡、特征冗余的问样本真实为+样本真实为-预测模型标记为+TPFP预测模型标记为-FNTN表4组合表示矩阵Table 4Combinatorial representation matrix37.1032.2632.2632.2566.1251.2344.9645.1945.9752.0149.3547.5047.5047.5047.66010203040506070ROSSMOTEBorderline-SMOTEADASYNMean-ReSMOTE数值/%采样算法AccRecallF1图2不同采样算法Acc值、Recall值和F1值结果对比图Fig.2Comparison of Acc，Recall and F1 values of different sampling algorithms32.2641.9330.6541.9472.5846.9954.6340.9533.6960.6647.5053.6844.1528.0057.0301020304050607080SVM随机森林朴素贝叶斯CLAMIHybrid-RFE+数值/%特征选择算法AccRecallF1图3不同特征选择算法Acc值、Recall值和F1值结果对比图Fig.3Comparison of Acc，Recall and F1 values of different feature selection algorithms2602023，59（16）题。实验表明，改进的有监督跨域协议缺陷预测算法相较于以往的模型具有更好的预测效果。下一步的工作将聚焦于挖掘协议自身特征，找出新的协议度量元，提高模型预测准确率等方面。参考文献：1 MLLER R R，BEREYHI A，MECKLENBRUKER C F.Oversampled adaptive sensing with random projections：analysis and algorithmic approachesC/2018 IEEE Inter-national Symposium on Signal Processing and Informa-tion Technology，2018：336-341.2 CHAWLA N V，BOWYER K W，HALL L O，et al.SMOTE：synthetic minority over-sampling techniqueJ.Journal ofArtificial Intelligence Research，2002，16：321-357.3 LU C，LIN S，LIU X，et al.Telecom fraud identificationbased on ADASYN and random forestC/2020 5th Inter-national Conference on Computer and CommunicationSystems，2020：447-452.4 PAN S J，TSANG I W，KWOK J T，et al.Domain adap-tation via transfer component analysisJ.IEEE Transactionson Neural Networks，2010，22（2）：199-210.5 NAM J，FU W，KIM S，et al.Heterogeneous defect pre-dictionJ.IEEE Transactions on Software Engineering，2017，44（9）：874-896.6 JING X，WU F，DONG X，et al.Heterogeneous cross-company defect prediction by unified metric representa-tion and CCA-based transfer learningC/Proceedings ofthe 2015 10th Joint Meeting on Foundations of SoftwareEngineering，2015：496-507.7 TURHAN B.On the dataset shift problem in softwareengineering prediction modelsJ.Empirical Software Engi-neering，2012，17（1）：62-74.8 HAN H，WANG W Y，MAO B H.Borderline-SMOTE：anew over-sampling method in imbalanced data sets learn-ingC/2005 International Conference on Intelligent Com-puting.Berlin，Heidelberg：Springer，2005：878-887.9 BENNIN K E，KEUNG J，PHANNACHITTA P，et al.MAHAKIL：diversity based oversampling approach to alle-viate the class imbalance issue in software defect pre-dictionJ.IEEE Transactions on Software Engineering，2017，44（6）：534-550.10 KWAK N，CHOI C H.Input feature selection by mutualinformation based on parzen windowJ.IEEE Transac-tions on Pattern Analysis and Machine Intelligence，2002，24（12）：1667-1671.11 DASH M，LIU H.Consistency-based search in feature selec-tionJ.Artificial Intelligence，2003，151（1/2）：155-176.12 孙广路，宋智超，刘金来，等.基于最大信息系数和近似马尔科夫毯的特征选择方法J.自动化学报，2017，43（5）：795-805.SUN G L，SONG Z C，LIU J L，et al.Feature selectionmethod based on maximum information coefficient andapproximate Markov blanketJ.Acta Automatica Sinica，2017，43（5）：795-805.13 YANG J B，SHEN K Q，ONG C J，et al.Feature selec-tion for MLP neural network：the use of random per-mutation of probabilistic outputsJ.IEEE Transactions onNeural Networks，2009，20（12）：1911-1922.14 张戈，王建林.基于混合ABC和CRO的高维特征选择方法J.计算机工程与应用，2019，55（11）：93-101.ZHANG G，WANG J L.High dimensional feature selec-tion method based on hybrid ABC and CROJ.ComputerEngineering and Applications，2019，55（11）：93-101.15 BHARDWAJ R，VATTA S.Implementation of ID3 algo-rithmJ.International Journal of Advanced Research inComputer Science and Software Engineering，2013，3（6）.16 QUINLAN J R.C4.5：programs for machine learningM.San Francisco：Morgan Kaufmann Publishers Inc，2014：17-27.17 BREIMAN L，FRIEDMAN J H，OLSHEN R A，et al.Classification and regression treesM.S.l.：Routledge，2017：297-318.周超，等：改进的有监督跨域协议缺陷预测算法261