基于多维特征提取的资源数据识别与校核算法.pdf

现代电子技术Modern Electronics Technique2023年12月1日第46卷第23期Dec.2023Vol.46 No.230 引 言随 着信息与通信技术（Information and Communications Technology,ICT）的快速发展，数据逐渐成为各个行业的重要资产之一，大数据技术在医疗、金融、商务与网络安全等方面的应用日渐广泛13。而在数据应用过程中，数据的准确性和可靠性至关重要，因此异常数据的检测识别也受到众多研究学者的关注46。异常数据的识别原理可以分为基于距离、密度、子空间和集成学习的 4类检测算法，但不同算法在数据维数高、数据样本大的情况下，其准确性及时效性也较为有限79。电力行业在高速发展的同时，也积累了海量的人力资源数据，对这些数据的深入挖掘可以有效提高电网的运营管理水平。而目前针对大规模人力资源数据的识别与校核算法仍存在计算速度慢、成本过高以及准确度低等缺陷。针对此，本文在传统孤立森林算法基础上引入了加权随机、平方预测误差（Squared Prediction Error,基于多维特征提取的资源数据识别与校核算法汤 伟1，2，徐声龙2，杨 慧2，刘佳颖2，李卉茹2（1.武汉大学 电气与自动化学院，湖北 武汉 430072；2.国网湖北省电力有限公司 超高压公司，湖北 武汉 430050）摘 要：针对现有资源数据异常识别与智能校核算法准确性和可靠性差的问题，设计了一种基于多维特征提取的资源数据识别与校核算法。该算法以多维指标数据作为输入，通过加权随机算法构建初始孤立森林，再以平方预测误差（SPE）统计量作为判据，实现孤立森林的冗余消除，进一步采用离散粒子群算法优化选取最优子森林，从而实现对异常数据的智能高效检测。基于人力资源数据进行的算例分析测试结果表明，所提 RRADPSOWRIF 算法的异常数据识别准确率可达95%，多次计算的偏差在2%以内，相比传统算法具有更高的检测准确率与稳定性，能够为人资数据的管控提供决策支撑。关键词：孤立森林；离散粒子群；异常检测；多维特征提取；数据校核；人力资源数据中图分类号：TN9934；TP277 文献标识码：A 文章编号：1004373X（2023）23010905Design of resource data recognition and verification algorithm based on multidimensional feature extractionTANG Wei1,2,XU Shenglong2,YANG Hui2,LIU Jiaying2,LI Huiru2(1.School of Electrical Engineering and Automation,Wuhan University,Wuhan 430072,China;2.EHV Company,State Grid Hubei Electric Power Co.,Ltd.,Wuhan 430050,China)Abstract：In view of the poor accuracy and reliability of anomaly recognition and intelligent verification algorithms for existing resource data,a resource data recognition and verification algorithm based on multidimensional feature extraction is designed.In this algorithm,the multidimensional indicator data is taken as the input,an initial isolated forest is constructed by weighted random method,and then the squared prediction error(SPE)statistics is used as the criterion to eliminate redundancy in the isolated forest.Furthermore,the discrete particle swarm optimization(DPSO)is used to optimize the selection of the optimal sub forest,so as to achieve intelligent and efficient detection of abnormal data.The test results of case analysis based on human resource data show that the accuracy rate of abnormal data recognition of the proposed RRADPSOWRIF algorithm reaches 95%,and its deviation of multiple calculations is within 2%.In comparison with the traditional algorithms,the proposed algorithm has higher detection accuracy and stability,and can provide decisionmaking support for the control of human resource data.Keywords：isolated forest;discrete particle swarm;abnormal detection;multidimensional feature extraction;data check;human resource dataDOI：10.16652/j.issn.1004373x.2023.23.020引用格式：汤伟，徐声龙，杨慧，等.基于多维特征提取的资源数据识别与校核算法J.现代电子技术，2023，46（23）：109113.收稿日期：20230625 修回日期：20230718基金项目：国家自然科学基金重点支持项目（U1805263）109109现代电子技术2023年第46卷SPE）统计量去冗余和粒子群优化等方法，以提升孤立森林算法的准确性与可靠性，实现对异常数据的智能化高效检测。1 孤立森林算法通常情况下，数据集中异常数据的占比较少，而且与正常数据之间存在着明显的特征差异，孤立森林算法1013根据这一原则对数据集进行随机划分，进而实现异常数据的识别。孤立森林由多个孤立树构成，孤立树为二叉树，父节点根据某一随机维度在最大值与最小值范围内进行数据样本分割。左分叉子树由该维度取值小于父节点的所有数据样本构成，右分叉子树由该维度取值大于父节点的所有数据样本构成。孤立树的构建过程包含以下步骤：1）对于具有D维空间的原始数据集A，从中随机选取一个非空数据子集B；2）从 数 据 子 集B中 随 机 选 取 一 个 维 度d，d1,2,D；3）在数据子集B维度d的最大值与最小值范围内随机选取一个分割值v；4）对数据子集B中的每个数据样本xb进行分割，若xb在维度d的取值xbd v，则xb被划分至左分叉子树B1，若xbd v，则xb被划分至右分叉子树B2；5）对左分叉子树B1和右分叉子树B2重复步骤2）步骤 4），直至树达到最大高度限制或者所有数据均已被划分完毕，由此孤立树构建完成。孤立森林则是由多株孤立树构成，每次在原始数据集A中随机选取非空子集进行孤立树构建。数据点在每个孤立树上都具有唯一的高度，即该孤立树的根节点到该数据点的路径长度。根据数据点在所有孤立树上的平均高度可计算数据的异常评分值，如式（1）所示：S(a,N)=2-h(a)b(N)（1）式中：S(a,N)为数据样本a的异常评分值；N为数据集中数据样本的总数；h(a)为数据样本a的平均高度；b(N)为标准化因子。b(N)的计算方法如下：b(N)=2H(N-1)-()2(N-1)NH(i)=ln i+0.577 215 664 9 （2）式中H(i)为谐波数。根据上述公式可以计算数据的异常评分值S，且满足0 S 1。当某个数据样本的异常评分值S越接近1时，表明该数据样本越有可能是异常值；而当S越接近0时，则表明该数据样本越有可能是正常值。根据上述原则，即可实现数据校核与异常识别。基于孤立森林的异常数据校核识别算法框架如图1所示。图1 孤立森林算法示意图2 基于多维特征提取的数据识别算法2.1 算法整体架构本文所设计算法的整体架构如图 2 所示。以多维指 标 数 据 作 为 输 入，首 先 利 用 加 权 随 机 孤 立 森 林（Weighted Random Isolation Forest,WRIF）算法进行初始孤立森林的构建；然后采用基于平方预测误差（SPE）统 计 量 的 去 冗 余 算 法（Redundancy Reduction Algorithm,RRA）进行剪枝；再进一步基于离散粒子群优化（Discrete Particle Swarm Optimization,DPSO）算法进行最优子森林的优化选取，最后输出数据校核与异常识别结果。图2 数据校核与异常识别算法架构2.2 改进的孤立森林算法孤立森林算法是一种利用数据集中异常数据较少且易于被划分的特点，实现异常数据快速识别的人工智能算法。但是孤立森林在构建过程中具有较强的随机性，导致其在计算精度和稳定性方面存在一定的缺陷。为了提高算法的准确性，需要随机构建大量的孤立树，110第23期大幅降低了算法的计算效率。同时，随着孤立树数量的增加，难免会存在差异度较小的孤立树，造成了一定程度的冗余。针对此，本文提出了改进的孤立森林算法，从而提高算法的准确性、稳定性与检测效率。改进算法的具体构建方式如下。2.2.1 基于随机加权算法的孤立树构建假设原始数据集为A，其评分向量为p。A=a11a1Dandan1aND （3）式中and为第n个数据样本第d维的取值。p=p1,p2,pn,pNT （4）式中pn为第n个数据样本的评分值。根据数据集矩阵和评分矩阵的关系，可以计算不同维度指标的偏好向量k=k1,k2,kDT。p1=k0+k1a11+kDa1Dp2=k0+k1a21+kDa2D pn=k0+k1aN1+kDaND （5）进一步可以计算得到权重矩阵：w11w1DwndwN1wND=p1pN (k1 k2 kD)（6）式中wnd为d维度影响因素与第n个数据样本之间的关联系数。对权重矩阵进行标准化后即可得到不同维度指标的权重系数：Wd=n=1NwndWd=Wdi=1DWi （7）式中：Wd为标准化前d维度指标的权重值；Wd为标准化后d维度指标的权重值。进一步，采用逻辑回归实现构建孤立树时分割维度的加权随机选取。Wtotal=W1+W2+WD （8）式中Wtotal为所有维度的权重之和。每个维度被随机选中的概率gi为：gi=WiWtotal（9）则基于逻辑回归，第d维度指标是否被选中的判据为：i=1DWi()Wtotal rand i=1DWi+1 （10）式中rand为0,1区间内的随机数。2.2.2 SPE统计量孤立森林算法在数据集以及分割维度的选取上均具有较强的随机性，为了提高算法的准确性，通常需要构建大量的孤立树。而随着孤立树数量的增加，难以避免地会存在两个孤立树相似度极高的情况。因此，文中提出了基于 SPE的孤立森林去冗余算法。孤立森林中每个孤立树相当于一个分类器，对于具有K棵孤立树的算法，其分类器集合为C=C1,C2,Ck,CK，对于原始数据集合A=a1,a2,an,aN。孤立树对于数据集A的分类结果用矩阵Y=()yknK N描述，其中，ykn为孤立树Ck对于数据样本an的分类结果，当孤立树Ck能够正确分类数据an时，ykn=1；当孤立树未能正确分类数据an时，则ykn=0。任意两个孤立树Ci和Cj对于数据集A的分类结果存在如表1所示的对应关系。表1 孤立树Ci和Cj分类结果的对应关系数据样本数量Ci分类结果10Cj分类结果1H11H010H10H00表 1中：H11表示孤立树Ci和Cj均能够正确分类的数据样本数量；H00表示孤立树Ci和Cj均未能正确分类的数据样本数量；H10表示孤立树Ci能够正确分类而孤立树Cj未能正确分类的数据样本数量；H01表示孤立树Cj能够正确分类而孤立树Ci未能正确分类的数据样本数量。此外，数据集A样本容量满足N=H11+H00+H01+H10。孤立树Ci和Cj之间的SPE统计量SPEi,j为：SPEi,j=H11H00-H01H10H11H00+H01H10 （11）由式（11）可知|SPEi,j 1。当|SPEi,j越接近1，表明孤立树Ci和Cj之间的差异度越小；当|SPEi,j越接近0，表明孤立树Ci和Cj相互更为独立。因此，基于SPE统计量可以实现剔除孤立森林中相似度较高的孤立树，从而完成去冗余。基于SPE统计量的孤立森林去冗余算法步骤如下：1）从原始孤立树集合C中随机选取一个孤立树Ci加入去冗余的孤立树集合C，并将Ci从C中剔除；2）从C中随机选取孤立树Cj，计算Cj与C中任意孤立树Ci之间的SPE统计量SPEi,j；汤 伟，等：基于多维特征提取的资源数据识别与校核算法111现代电子技术2023年第46卷3）若SPEi,j大于单体阈值，则将Cj从C中剔除，并返 回 步 骤 2）；若SPEi,j小 于 单 体 阈 值，则 继 续 进 行步骤4）；4）计算Cj与C中除Ci外其他孤立树的SPE统计量之和TSPEi,j；若TSPEi,j大于统计阈值，则将Cj从C中剔除，返回步骤 2）；若TSPEi,j小于统计阈值，则将Cj加入C中，并将Cj从C中剔除，进行步骤5）；5）判断C是否为空集，若是则停止算法，完成孤立森林去冗余过程，若为否，便返回步骤2）继续循环。2.2.3 基于粒子群算法的子森林优化通过SPE统计量进行孤立树去冗余后，需要进一步采用粒子群算法1415实现最优子森林的选取。假设去冗余后孤立森林仍有L棵孤立树，则粒子的维度为L，每个粒 子 可 以 表 示 为Xi=Xi1,Xi2,Xil,XiL，其 中Xil0,1。当Xil=1时，表示选择第l棵孤立树构成子森林；当Xil=0时，则表示未选择第l棵孤立树构成子森林。粒子飞行速度更新机制为：Vi(t+1)=Vi(t)+c1r1Pi,best-Xi(t)+c2r2Gbest-Xi(t)（12）式中：Vi(t)与Xi(t)分别为t时刻第i个粒子的速度及位置；Pi,best为第i个粒子当前最优位置；Gbest为粒子种群的当前最优位置；c1和c2为学习因子；r1及r2为区间0,1范围内的随机数。为了使粒子群算法能够适用于子森林的优化选取，需要对粒子位置更新机制进行改进，具体如下：Xi,j=1,rand 0,1 T()Vi,j0,else （13）式中：Xi,j和Vi,j为第i个粒子第j维度的位置与飞行速度；T()Vi,j为与飞行速度相关的中间值，计算方法如下：T()Vi,j=11+e-Vi,j（14）粒子优化过程的适应度函数为：F()Xi=11+e-()w1Ai+w2Bi（15）式中：F()Xi为第i个粒子的适应度值；Ai和Bi分别为第i个粒子所表示的子森林的整体精度值与所有孤立树的精度值之和；w1和w2为权重系数。3 算例分析为了验证本文所提基于多维特征提取的数据校核与异常识别算法的准确性和有效性，对某供电企业人力资源数据进行仿真分析。数据集的大小及异常数据的占比如表2所示。算法参数设置如表3所示。仿真环境为AMD Ryzen 75800H3.20 GHz，内存16.0 GB。表2 数据集的基本参数数据集12345数据数量49 09711 2833 7725 802683异常点比例/%0.6511.893.315.5819.33表3 算法的参数设置参数学习因子c1学习因子c2惯性权重w1惯性权重w2取值1.51.50.80.8参数初始森林大小K子样本空间最优子森林大小L取值100256503.1 算法性能分析为分析文中所提 RRADPSOWRIF算法的性能，将其与IF（Isolation Forest）、WRIF、RRAWRIF算法进行对比。4 种算法对于不同数据集的数据校核与异常识别结果如图 3所示。可以看到传统 IF算法识别准确率在85%以下，WRIF 算法识别准确率在 84%90%，RRAWRIF算法的识别准确率为88%93%，而文中所提RRADPSOWRIF算法识别准确率在95%98%范围内。图3 算法准确性对比4种算法对于同一数据集重复计算5次的数据校核与异常识别结果如图4所示。可以看到IF、WRIF、RRAWRIF算法识别准确率波动幅度较大，识别准确率偏差达到约5%，而文中所提算法多次计算波动较小，识别率偏差范围在 2%以内。可见，本文所提算法具有更强的稳定性。3.2 实际应用将文中所提算法应用于实际人力资源数据校核与异常识别场景，共发现 105条异常数据，不同类型指标数据异常占比情况如图 5所示。工作状态和基本素质112第23期二者数据异常占比超过70%，应加强对这两类数据的管控，以提升数据的质量。图4 算法稳定性对比图5 实际应用情况分析4 结 语针对电力行业人力资源数据异常检测的问题，文中提出了一种 RRADPSOWRIF 算法。通过仿真分析表明，所提算法异常识别准确率大于 95%，相比传统 IF算法提升了将近10%。本文所提算法具有更强的稳定性，对于同一数据集，该算法多次计算的异常识别偏差在2%以内。在实际应用中发现工作状态和基本素质两类数据占比较高，应加强对这两类数据的质量管控。然而所提算法虽然实现了异常数据的准确检测，但如何针对异常数据进行智能修复仍有待下一步的研究。参考文献1 张明武，黄嘉骏，韩亮.医疗大数据隐私保护多关键词范围搜索方案J.软件学报，2021，32（10）：32663282.2 吴良.基于大数据平台的信令数据采集技术研究J.电子科技，2019，32（5）：8991.3 孙震，白云鹤，王潮.大数据交易平台的定价模型和定价指标体系研究J.微型电脑应用，2022，38（8）：9193.4 向黎藜，肖私宇，钟爱，等.基于PCA和决策树模型的异常电费数据检测和识别研究J.电力大数据，2022，25（4）：4247.5 潘玲玲，刘俊，夏旻.基于多尺度深度残差网络的时间序列异常数据检测与修正J.计算机应用与软件，2022，39（7）：3843.6 邢雪，于德新，周户星，等.多源非平衡交通检测数据的异常识别方法J.哈尔滨工业大学学报，2019，51（9）：165170.7 吴志强，张胜，包晓玲，等.针对 WSN 异常数据检测改进的孤立森林方法J.小型微型计算机系统，2021，42（1）：127131.8 熊学锋，张涵，荣功立，等.基于并行分类算法的电网输电量异常数据检测方法研究J.电子设计工程，2020，28（24）：9194.9 夏海南，王项南，李强，等.潮流能发电装置输出功率异常数据识别方法研究及应用J.太阳能学报，2022，43（8）：472476.10 马俊彦，杨仲江，王昊.基于孤立森林算法的电涌保护器异常参数监测研究J.电子测量与仪器学报，2020，34（7）：5863.11 徐迪，陆煜锌，肖勇，等.基于孤立森林算法的配电网线损异常判定J.电力系统保护与控制，2021，49（16）：1218.12 赵嫚，李英娜，李川，等.基于模糊聚类和孤立森林的用电数据异常检测J.陕西理工大学学报（自然科学版），2020，36（4）：3843.13 李倩，韩斌，汪旭祥.基于模糊孤立森林算法的多维数据异常检测方法J.计算机与数字工程，2020，48（4）：862866.14 郭成，张万达，王波，等.多种群并行协作的粒子群算法J.计算机与现代化，2022（1）：3340.15 余振洲，许志红.基于粒子群算法的智能换相策略J.福州大学学报（自然科学版），2022，50（1）：6773.作者简介：汤 伟（1985），男，湖北老河口人，硕士，高级政工师，研究方向为电网企业人力资源管理。汤 伟，等：基于多维特征提取的资源数据识别与校核算法113