基于改进的哈里斯鹰优化算法的特征选择.pdf

第49 卷第5期2023年10 月文章编号：16 7 3-5196（2 0 2 3)0 5-0 0 93-0 9基于改进的哈里斯鹰优化算法的特征选择赵小强*1,2.3，强睿儒（1.兰州理工大学电气工程与信息工程学院，甘肃兰州7 3 0 0 50；2 兰州理工大学甘肃省工业过程先进控制重点实验室，甘肃兰州730050；3.兰州理工大学国家级电气与控制工程实验教学中心，甘肃兰州7 3 0 0 50）摘要：特征选择是一项旨在通过移除不相关、余的数据来减少特征数量，同时可以保持较高的分类精度的机器学习任务.针对哈里斯鹰优化算法(HHO)不能在离散的特征空间进行特征选择，以及算法后期种群多样性减少、易陷入局部最优等问题，提出了基于改进的哈里斯鹰的特征选择算法.首先使用混沌映射初始种群多样化，以确保在种群质量较优的前提下能够均匀分布于搜索空间；其次，通过引入高斯变异算子对免子的位置进行重新更新，以避免算法陷入局部最优；最后设计二次优化算法的二进制版本并将其应用于基于KNN分类器的包裹式特征选择问题中.通过在18 个经典的UCI数据集进行特征选择仿真实验，结果显示该算法在适应度值、平均分类准确度以及平均特征选择数量上比其他主流算法都能获得更好的结果，从而表明该算法能够进行有效的提取特征子集和得到更准确的数据分类，并能够实现更高的寻优精度.关键词：包裹式特征选择；哈里斯鹰优化算法；混沌映射；高斯变异中图分类号：TM761Feature selection based on an improved Harris hawk optimization algorithm(1.School of Electrical Engineering and Information Engineering,Lanzhou Univ.of Tech.,Lanzhou 730050,China;2.Key Laboratory ofAdvanced Control of Industrial Processes of Gansu Province,Lanzhou Univ.of Tech.,Lanzhou 730050,China;3.National Electrical andControl Engineering Experimental Teaching Center,Lanzhou Univ.of Tech.,Lanzhou 730050,China)Abstract:Feature selection is a machine learning task that aims to reduce the number of features by re-moving irrelevant and redundant data while maintaining high classification accuracy.In order to addressthe problems that Harris hawk optimization algorithm(HHO)cannot perform feature selection in the dis-crete feature space,and that the population diversity is reduced and is easy to fall into local optimality inthe later stage of the algorithm,a feature selection algorithm based on an improved Harris Hawk is pro-posed here.First,chaotic mapping is used to diversify the initial population to ensure that it can be evenlydistributed in the search space under the premise of better population quality.Secondly,the position of therabbit is re-updated by introducing a Gaussian mutation operator to avoid the algorithm falling into the lo-cal maximum.Finally,the binary version of the secondary optimization algorithm is designed and appliedto the wrapped feature selection problem based on the KNN classifier.Through feature selection simula-tion experiments on 18 classic UCI data sets,the results show that the proposed algorithm in this papercan obtain better results than other mainstream algorithms in terms of fitness value,average classificationaccuracy and average feature selection number.So the proposed algorithm in this paper can effectively ex-tract feature subsets and obtain more accurate data classification,and can achieve higher optimization accuracy.Key words:wrapped feature selection;Harris hawk optimization algorithm;chaotic mapping;Gaussianmutation兰州理工大学学报Journal of Lanzhou University of Technology文献标志码：AZHAO Xiao-qiang.-2.3,QIANG Rui-ruVol.49No.5Oct.2023收稿日期：2 0 2 1-11-2 3基金项目：国家自然科学基金（6 2 2 6 3 0 2 1），甘肃省教育厅产业支撑计划项目（2 0 2 3 CYZC-24）通讯作者：赵小强（196 9-），男，陕西宝鸡人，博士，教授，博导.Email：x q z h a o l u t.e d u.c n94随着科学技术的不断发展与进步，,在商业、科学研究以及社交媒体等领域都在不断地产生庞大而复杂的数据，与此同时，数据特征的维度也在不断增加.处理海量数据是当今数据挖掘中出现的一个具有挑战性的问题,即使技术在不断进步,机器学习也正面临着“维数灾难”的问题.由于需要大量的存储空间和计算时间，过高维度的数据会妨碍数据挖掘的过程2 1.作为数据挖掘中数据预处理的关键，特征选择可以基于某种评价准则,在原始拓展空间中选择有助于输出的信息特征最佳子集来减少计算时间，以此来改善数据挖掘的性能3.因此，如何研究特征选择问题并将其有效利用，成为数据挖掘当中的一项重点以及难点问题.为了解决特征选择问题，研究人员提出一系列的特征选择方法.基于特征选择和学习算法结合方式的不同，可以将特征选择方法分为过滤式、嵌人式、集成式和包裹式四种类型4.其中,过滤式的特征选择算法和学习算法互不相干，特征选择是后者的预处理过程；嵌人式算法可以将特征选择算法嵌入到学习算法中，特征子集随分类算法训练过程的结束而得到；集成式算法借鉴了集成学习的思想，通过训练多个特征选择算法，对比多个特征选择方法的结果，可以得到比单个特征选择方法更好的性能；包裹式算法可以将选用的算法包装成黑盒并通过它在特征子集上的预测性能评价特征子集，然后结合搜索策略获取最优子集5.而在评估获得的特征子集的质量方面，包裹式算法通常会选择一种分类器来进行，例如K-近邻（KNN）、支持向量机（SVM)等.包裹式相较于过滤式可以获得性能更好的特征子集且效率高于嵌人式和集成式4，包裹式主要包括启发式优化算法6.启发式优化算法是由研究人员受到自然物理现象的启发或模仿生物行为而提出用以寻求最优解的算法.其中，优化算法主要分为进化类、基于物理原理类和群智能类.进化类算法受到自然进化规律的启发，以遗传算法（genetic algorithm，G A)7 为代表,搜索过程通过模拟生物进化过程来找寻最优解；基于物理原理的算法通过模仿宇宙物理规则找寻最优解，最为经典的算法为模拟退火（simulated an-nealing，SA）8 和万有引力算法（gravitationalsearch algorithm,GSA)9等；群智能优化算法基于模仿动物群体社会行为而来，最具代表性的算法为粒子群算法(particle swarm optimization,PSO)101,其灵感来自于鸟类群体的搜索食物机制，个体值通过迭代来计算最优解.此类算法还包括灰狼优化算法兰州理工大学学报(graywolf optimizer,GWO)11、鲸鱼优化算法(whale optimization algorithm,WOA)12和樽海鞘优化算法(salp swarm algorithm，SSA)13 等,尽管三类优化算法的机制不同，但搜索终值均为某域内最优解，在不同的领域中发挥着重要作用.嵇友迪等141通过设计响应全面试验，结合精英策略的非支配排序遗传算法对多目标优化函数进行优化求解，通过仿真验证汽车油箱托盘成形件质量得到改善；宋汶秦等15以风-光打捆发电系统为研究对象，模拟退火算法优化光热电站出力，有效降低了单位发电成本；朱昶胜等16 提出基于改进果蝇算法随机森林回归模型用以风速预测，且经过实验证明了其模型具有更高的预测精确度.近年来，启发式优化算法凭借自身的优势，在特征选择上受到广泛关注。研究人员开始将二者结合以提高分类精度.Emary等11提出了灰狼优化算法的二进制版本并将其应用在特征选择中，相较于传统算法，有效地提高了分类精度.Tawhid 等17 提出了基于粗糙集的鲸鱼优化算法的二进制版本，并在C4.5 等分类算法下验证了其优越性.Mafarja 等18 提出了三个版本的二进制蚱算法并应用于特征选择问题，使用经典UCI数据集进行实验且效果良好.李琴等19基于黑寡妇算法开发了其二进制版本以此进行特征选择，分别在回归、分类等方面验证其优越性.然而，元启发式优化算法本身具有易陷入局部最优、早熟收敛等问题，并且由于包裹式特征选择所选取的特征子集的性能对学习算法依赖度高，因此算法性能优劣也决定了特征选择的子集性能的好坏.以上优化算法在特征选择中的应用表明，使用元启发式优化算法进行特征选择可以灵活地利用智能优化机制自身的探索能力.每种算法根据自身的工作方式所控制的标准来随机地生成特征子集，并且已被证明2 0 它们可以有效地帮助减少执行时间并获得准确结果.但由于特征选择问题的复杂性,将单一的优化算法仅进行二进制改进很难取得更好的效果.根据No-Free-Lunch定理2 1可得，没有一种优化算法可以解决所有的优化问题，若想要将优化算法具体应用在某一特定问题，需要对优化算法进行二次改进或优化.综合上述分析，本文主要对哈里斯鹰优化算法2 2 1进行改进,并将其应用于基于 KNN分类器的包裹式特征选择问题中.首先对哈里斯鹰优化算法后期种群多样性减少和易陷人局部最优的问题，引人混沌映射以及高斯变异来对其进行改进，提出了第49 卷第5期混沌哈里斯鹰优化算法，并分别设计哈里斯鹰优化算法和混沌哈里斯鹰优化算法的二进制版本，将二者应用在基于KNN分类器的包裹式特征选择问题中.通过对经典的UCI数据集进行测试,并与其他已有的特征选择算法进行对比，本文所提算法在求解精度方面有显著提升。1相关理论1.1口哈里斯鹰优化算法哈里斯鹰优化算法(HHO)22是以哈里斯鹰的捕猎行为为基础进行模拟，于2 0 19年提出的启发式优化算法.HHO将鹰群捕猎行为分为全局探索阶段、由全局探索阶段向局部开发阶段转换和局部开发阶段三个部分，并且局部开发阶段展示出4种围攻策略，其流程图如图1所示.开始初始化种群Nmax结束Y计算适应度，确定最优个体更新E和J支E1NE0.5r0.5N渐近式快速硬围攻软围攻渐近式快速全局搜俯冲硬围攻俯冲软围攻索阶段图1HHO算法流程图Fig.1Framework of the HHO1.1.1全局探索阶段在HHO中，每只哈里斯鹰都被认为是候选解，并且在每次迭代中最优解被认作为预期的猎物位置.哈里斯鹰随机栖息在某些位置,并根据两种策略来等待并发现猎物，该阶段哈里斯鹰的位置X更新如下式所示：Xrand(t)-r1|Xrand(t)-2r2X(t)|X(t+1)=(Xrabit(t)-X,(t)-rs(Lp+(r4(UB-LB)(q 0.5)其中：X（t 十1)表示下次迭代中鹰的位置向量；赵小强等：基于改进的哈里斯鹰优化算法的特征选择100r0.5YN95.Xrabbit(t)表示兔子的位置；X（t)表示当前老鹰的位置;r1、r 2、r 3、r 4和q为在（0,1)的随机数，r：为缩放系数,用以进一步增加规则的随机性，r4取接近1的值；UB、LB表示变量的上界与下界.当q0.5时，老鹰随机栖息在高大的树木上（群体家庭范围内的随机位置)；当q1时，鹰群搜索不同区域以探索兔子的位置，此时哈里斯鹰处于全局搜索阶段；当|E|1时，鹰群转向局部开发阶段.1.1.3局部开发阶段在此阶段，鹰群针对不同的情况展示了4种不同的捕猎策略.根据猎物的逃离威胁的情况，设r为猎物在突袭前成功逃离（r0.5)或者未逃离的机会，此时结合猎物逃逸能量E，进行不同围攻策略，具体如下：1）软围攻：当r0.5且IE10.5时，鹰群发动软围攻，其位置更新如下式所示：X(t+1)=X(t)-E|JXr a b it(t)-X(t)l(X(t)=Xr a b b i (t)-X(t)其中：X(t)为兔子在迭代次数t中的位置向量与400500(4)96当前位置向量的差值；为每次迭代中用以表示兔子运动性质的随机变化的数值.2）硬围攻：当r0.5且|E0.5时发动硬围攻，位置更新如下式所示：X(t+1)=Xrbi(t)-E|X(t)/(5)3）渐进式快速俯冲的软围攻：当r0.5且E0.5时，免子有足够的能量逃脱，鹰群发动渐进式快速俯冲的软围攻，其位置更新如下：(Y=X rabbit(t)-E|JX rabbit(t)-X(t)|Z=Y+SXLF(D)LF(a)=0.01X元r(1+)X sin22(Y,if F(Y)F(X(t)X(t+1)=(Z,if F(Z)F(X(t)其中:LF()是为了模拟兔子逃跑阶段的欺骗性运动而引人的莱维飞行策略;、为（0,1)内的随机值；为1.5的默认常数值.4）渐进式快速俯冲硬围攻：当|E|0.5且r0.5时，兔子已经没有足够的能量逃跑，鹰群在此时构筑硬围攻捕捉并且杀死猎物，位置更新如下：(Y=Xrabbit(t)-E|JXrabbit(t)-Xm(t)l(8)(Z=Y+SXLF(D)(Y,if F(Y)F(X(t)X(t+1)=(z,if F(Z)f(X(t)and rand 0.5Zm=lo，其他其中:Zm为解向量的离散形式.图3 为 CHHO在特征选择问题中的示例.00图3 特征选择中的 CHHO示例Fig.3CHHO example in feature selection2.3基于CHHO算法的优化特征选择模型本文使用CHHO的二进制版本进行分类问题的特征选择.在特征选择中，对于一个特征数为N的数据集，其特征子集的组合具有2 N种情况，这是一个巨大的特征选择空间，需要使用二进制的CHHO在特征空间自适应搜寻特征子集组合.最佳的特征子集组合应是具有最大分类性能和最少特征选择数量的组合，在算法迭代过程中，通常选用适应度函数来评判每个解的质量,CHHO算法将分类的准确性以及特征子集作为指标,故用于评估CHHO在特征选择问题的适应度函数2 7 如下式所示：Fitness=Er(D)+其中：ER(D)为分类的错误率,其表达式如下：Er(D)=1-Accurcy其中:R为所选特征子集的长度;C为特征长度;为分类的精确性,通常E（0,1);为所选特征在适应度函数中所占的权重，在本文中,取为0.9 9，且=1-.KNN算法是一种简单且常用的分类方法，作为一种监督学习方法，其精度高，对异常值不敏感.它事先了解存有标签的样本数据与所属分类的对应关系，当没有标签的新数据被输入后，算法将新数据的每个特征与原样本集中的数据特征进行比较，然后提取样本集中特征最相似（最近邻)的分类标签.因此,在该特征选择模型中,使用KNN算法进行分类以确保所选特征的优良性.在 CHHO中,使用KNN分类器（其中K=5)建立包裹式特征选择模型，以评估CHHO选定特征子集的质量.赵小强等：基于改进的哈里斯鹰优化算法的特征选择(15)0197.本文提出的基于 CHHO的特征选择模型流程图如图 4 所示。开始输入数据集数据归一化处理数据特征二进制编码初始化改进后哈里斯鹰种群计算哈里斯鹰个体适应度10RI(16)TCI(17)计算数据特征并输入KNN分类器中进行特征子集选取更新哈里斯鹰种群位置TtmaxYN输出分类准确率、适应度和所选特征个数结束图4CHHO特征选择流程图Fig.4CHHO feature selection flowchart3实验与结果分析3.1实实验设置为了验证算法 CHHO在基于KNN分类器的包裹式特征选择问题中的有效性,本文采用UCI数据库中的18 个经典数据集进行实验，数据集在维度和样本数量上的不同代表着实际应用中的不同问题.对每个数据集，以交叉验证的方式将其分为三个不同的部分，即训练集、验证集和测试集.每个数据集的特征个数、样本数的详细信息如表1所列.在本文实验中，为了保证实验的客观全面，本文还选取了已经应用于特征选择的优化算法用作对比,分别是灰狼优化算法（GWO)1、遗传算法(GA)28、粒子群算法(PSO)29以及未优化的哈里斯鹰优化算法(HHO),其具体参数：种群大小为8，迭代次数为7 0,维度为数据特征数量,搜索域为0，1,重复运行次数为2 0,GA交叉概率Pc=0.8，PSO惯性因子=0.1,适应度函数中的=0.99，适应度函数中的=0.01.为保证公平的原则，本文实验均在AMDRyzen75800HCPU3.20GHz的运行环境下，使用Py-98thon3.8进行，每次实验都重复2 0 次，以验证其稳定性.表1UCI经典数据集Tab.1UCI classic data set序号数据集1Breastcancer2BreastEW3Congress4Exactly5Exactly26HeartEW7lonosphere8KrVsKpEW9Lymphography10M-of-n11PenglungEW12Sonar13SpectEW14Tic-tac-toe15Vote16WaveformEW17Wine18Zoo为验证本文提出算法在特征选择过程中的优化效果，本文使用如下指标来评估算法性能：1）平均分类准确率：描述给定所选特征集的分类准确度的平均值，用下式表示：MMean=(acc(i)1其中：M为算法运行次数；acc(i)为第i次的分类准确率。2）平均适应度Average：描述算法在运行时，计算所得的适应度平均值，用下式计算：1MAverageFitness(i)M=13）最佳适应度值Best：描述在2 0 次算法运行时，所得适应度的最佳值。4）最差适应度值Worst：描述在2 0 次算法运行时，所得适应度的最差值.5）平均所选特征个数Avg selected:描述算法在特征选择问题中所选特征子集个数的平均值，用下式表示：Avg selected-6）适应度标准差（std)：描述算法在M次实验中所体现的稳定性能力，标准差越小说明算法的稳定性越好，表达式为/MZ(Fitnes(i)-Average)std=兰州理工大学学报3.2实验结果与分析表2 为对比算法2 0 次运行获取的适应度函数的平均值,可以看到,本文所提出的 CHHO算法对于适应度函数的平均值能够在绝大多数低维、高维特征数样本数96993056916435131000131 000132703435136319618148131 0003257360208222679958163004050001317816101(18)(19)MSize(i)M台第49卷数据中表现出良好的性能，也验证了 CHHO算法相较于其他算法具有更好的自适应搜索特征空间的能力.同时，类似的结果也可以从表3 和表4中看到，表2 各算法适应度函数平均值Tab.2Average of fitness function of each algorithm数据集CHHOHHOGWOBreastcancer0.024BreastEW0.036Congress0.028Exactly0.179Exactly20.239HeartEW0.160Ionosphere0.075KrVsKpEW0.029Lymphography0.158M-of-n0.060PenglungEW0.105Sonar0.117SpectEW0.119Tic-tac-toe0.155Vote0.034WaveformEW0.176Wine0.044Zoo0.052Avg0.099表3 各算法适应度函数的最佳值Tab.3The best value of the fitness function of each algorithm数据集CHHOHHOGWOBreastcancer0.014BreastEW0.020Congress0.009Exactly0.014Exactly20.237HeartEW0.126Ionosphere0.040KrVsKpEW0.025Lymphography0.112M-of-n0.010PenglungEW0.080Sonar0.090(20)SpectEWTic-tac-toeVoteWaveformEWWineZoo(21)AvgGA0.0260.0310.0500.0370.0330.0570.2140.3150.2420.2440.1860.1360.0890.1060.0440.0650.1630.1960.0730.1350.1170.2420.1340.1740.1410.1780.1680.2330.0370.0560.1830.2140.0610.0440.0780.1270.1130.1440.0140.0170.0370.0210.0170.0410.0140.2750.2420.2130.1360.1220.0670.0850.0310.0560.0940.1430.0540.0870.0900.1670.1140.1450.1030.1160.1470.1370.0120.0120.1700.1720.0230.0390.0210.0380.0700.079PSO0.0270.0280.0270.0330.0440.0480.2910.2770.2420.0490.1420.1440.1110.1010.0470.0550.1680.1590.0670.0680.2500.2500.1540.1540.1600.1660.2330.2230.0400.0420.2060.2210.0530.0470.1180.1330.1320.122GAPSO0.0170.0170.0050.0160.0280.0340.2570.1800.2340.2340.1110.1220.0940.0850.0350.0310.1220.1430.02100.1670.1250.0720.1010.1460.1240.2160.2000.03000.2060.199000.07700.1140.0940.1460.21200.20500.0770.096第5期表4各算法适应度函数的最差值Tab.4Worst value of fitness function of each algorithm数据集CHHOHHOGWOBreastcancer0.029BreastEW0.060Congress0.035Exactly0.244Exactly20.241HeartEW0.180lonosphere0.096KrVsKpEW0.034Lymphography0.181M-of-n0.089PenglungEW0.158Sonar0.144SpectEW0.140Tic-tac-toe0.190Vote0.048WaveformEW0.182Wine0.061Zoo0.076Avg0.122表3 和表4表示所有运行次数中获得最佳与最差的适应度函数值.表5表示了所有运行次数中各个算法对于适应度函数的标准差，用以描述算法的鲁棒性和可重复性.可以看出，CHHO在大部分数据集中性能不仅明显优于GWO、G A 以及PSO算法，而且相较于HHO算法性能提升显著,这表明了该算法具有鲁棒性和可重复性达到最优的能力.表5各算法适应度函数的标准差Tab.5Standard deviation of fitness of each algorithm数据集CHHOHHOGWOBreastcancer0.004BreastEW0.011Congress0.007Exactly0.080Exactly20.001HeartEW0.014Ionosphere0.014KrVsKpEW0.003Lymphography0.023M-of-n0.021PenglungEW0.036Sonar0.020SpectEW0.013Tic-tac-toe0.013Vote0.009WaveformEW0.003Wine0.011Zoo0.018Avg0.017赵小强等：基于改进的哈里斯鹰优化算法的特征选择GAPSO0.0370.0430.0670.0530.0500.0830.3110.3350.2420.2600.2340.1560.1240.1200.0640.0780.2240.2650.0940.2010.1360.4170.1750.2460.1680.2130.2090.2560.0660.0700.2050.2320.1120.1190.1050.1760.1460.1850.0070.0120.0100.0130.0100.0170.1140.0240.0010.0210.0300.0140.0190.0160.0100.0100.0370.0550.0140.041.0.0400.1040.0190.0420.0170.0270.0250.0150.0170.0190.0100.0110.0220.0460.0200.0430.0230.02999.根据表6 所示的分类精度实验结果可以看出CHHO算法的性能,在平均分类精度这一指标上除Breastcancer和Exactly2数据集外，CHHO算法的0.0390.0340.0470.0470.0690.0760.3260.3230.2510.2600.1670.189.0.1280.1200.0640.0720.2040.1840.1410.1230.4580.4170.2460.2030.2020.1800.2530.2310.0600.0800.2210.2290.0510.0510.1760.1760.1720.166GAPSO0.0090.0070.0160.0130.0170.0200.0250.0590.0080.0110.0210.0260.0120.0140.0120.0160.0330.0170.0480.0530.1210.114.0.0690.0510.0290.0150.0210.0090.0250.029.0.0090.0090.0220.0210.0690.0380.0310.029性能优于 GWO、G A、PSO 等算法,并且相较于HHO算法,分类准确度平均提升了2.1%.虽然在Breastcancer和Exactly2数据集中的表现未达到最优，但其表现的性能在五种算法中可以达到次优，这表明该方法能够针对不同维度的数据进行有效分类.因此可得，本文所提的 CHHO算法在基于KNN分类器的包裹式特征选择问题中具有明显竞争力.表6 各算法的平均分类准确率比较Tab.6Comparison of the average classification accuracy ofeach algorithm数据集CHHOHHOGWOBreastcancer0.972BreastEW0.947Congress0.959Exactly0.782Exactly20.744HeartEW0.803Ionosphere0.894KrVsKpEW0.966Lymphography0.819M-of-n0.932PenglungEW0.899Sonar0.854SpectEW0.824Tic-tac-toe0.843Vote0.958WaveformEW0.820Wine0.948Zoo0.928Avg0.883表7 是对不同数据集所选择特征个数的平均值.如表7 所示，CHHO算法平均特征选择数为7.67个，相较其余4种优化算法特征选择数明显减少，这表明在大多数情况下CHHO都可以选择相对较少的特征，尽管在BreastEW、K r Vs K p EW等数据集中未得到最优的结果，但在大部分数据集中的表现达到了最优,并且相对于HHO算法而言,改进效果明显.因此，相对于对比算法而言，本文所提算法在数据降维问题上具有明显优势.同时，图5是将所有数据集的最佳、平均和最差适应度值作平均，从图中可以得出，CHHO的性能明显优于对比的4种优化算法.图6 及图7 是对所有数据集的分类精度的平均值以及选取特征个数的平均值的比较结果，可以看出，CHHO所选特征个GA0.9690.9760.9420.9240.9540.9350.7540.7080.7270.7450.7490.7760.8770.8070.9650.9440.8060.7440.9140.9080.8640.6000.8250.7310.8060.8200.8410.7280.9350.9120.8150.7860.9060.9300.9220.8790.8650.825PSO0.9680.9670.9350.9330.9320.9280.6740.6880.7460.7300.7800.7870.8140.8190.9200.9410.7000.6960.8610.9210.5840.5840.7540.7370.7930.8220.7190.7350.9040.9040.7730.7620.9370.9330.8550.8610.8140.819.100数为5 种算法中最少的,并且在此基础上,CHHO可以达到最高的平均分类准确率,因此,CHHO可以在选择较少特征个数的情况下得到良好的分类性能.表7 各算法所选特征平均数Tab.7 Average number of features selected by each algorithm数据集CHHOHHOGWOBreastcancer3.4BreastEW3.3Congress3.3Exactly2.6Exactly21.8HeartEW2.3Ionosphere4.1KrVsKpEW17.8Lymphography4.1M-of-n4.8PenglungEW32.8Sonar13.8SpectEW7.6Tic-tac-toe5.3Vote2.6WaveformEW20.8Wine4.0Zoo3.7Avg7.670.20AvgBaestWorst0.150.100.050CHHOHHOGWOGAPSO优化算法图5对所有数据集的适应度最佳、最差和平均值Fig.5Best,worst and average fitness for all data sets20151050CHHOHHOGWOGAPSO优化算法图6 对所有数据集的分类精度平均值Fig.6 Average classification accuracy of all data sets兰州理工大学学报0.900.880.860.840.82GAPSO4.54.19.03.84.83.76.04.31.93.95.924.66.19.028.620.211.76.74.326.95.18.310.32第49卷0.804.74.82.86.14.75.95.97.02.64.64.15.35.411.813.829.05.76.56.06.034.767.015.917.47.18.55.95.74.04.317.629.73.73.65.85.18.3312.370.780.760.74CHHOHHOGWOGAPSO2.1优化算法5.0图7 对所有数据集的特征选择个数平均值9.5Fig.7Select the average number of features for all data sets19.77.56.6122.422.88.27.35.222.55.06.415.224结论本文首先针对传统的哈里斯鹰优化算法种群多样性减少、易陷入局部最优等缺陷，第一步引入混沌映射来增加种群多样性，第二步引人高斯变异等策略来避免其陷人局部最优；其次将本文所提CHHO算法进行二进制转化并应用于基于KNN分类器的包裹式特征选择问题中.通过对经典UCI数据集进行分类，并与HHO、PSO、G WO、G A 等优化算法进行比较,本文所提的CHHO算法在寻求特征子集方面具有显著优势.由于特征选择可以有效地改善不平衡分类中过采样所引起的过拟合现象，故未来研究将本文提出的算法与过采样算法相结合，使其可以应用到不平衡数据分类的问题中。参考文献：1 VENKATESH B,ANURADHA J.A review of feature selec-tion and its methods J.Cybernetics and Information Tech-nologies,2019,19(1):3-26.2ZEBARI R,ABDULAZEEZ A,ZEEBAREE D,et al.A com-prehensive review of dimensionality reduction techniques forfeature selection and feature extraction JJ.Journal of AppliedScience and Technology Trends,2020,1(2):56-70.3 姚旭，王晓丹，张玉玺，等.特征选择方法综述J.控制与决策,2 0 12,2 7(2):16 1-16 6.4李琴，杜建强，聂斌，等.特征选择方法综述.计算机工程与应用，2 0 19,55(2 4)：10-19.5BARRAGAN M J,LEGER G.Feature selection and featuredesign for machine learning indirect test:a tutorial reviewCJ/2019 16th International Conference on Synthesis,Mod-eling,Analysis and Simulation Methods and Applications toCircuit Desi