基于机器学习的尾矿库监测数据异常识别研究.pdf
《基于机器学习的尾矿库监测数据异常识别研究.pdf》由会员分享,可在线阅读,更多相关《基于机器学习的尾矿库监测数据异常识别研究.pdf(8页珍藏版)》请在咨信网上搜索。
1、文章编号:1004-4051(2023)08-0072-08DOI:10.12075/j.issn.1004-4051.20230469基于机器学习的尾矿库监测数据异常识别研究楚一帆1,2,王伟象1,2,王莎1,2,梅国栋1,2(1.矿冶科技集团有限公司,北京 100160;2.国家金属矿绿色开采国际联合研究中心,北京 102628)摘要:尾矿库在线监测是尾矿库安全预警的重要手段,如何识别监测数据中不符合实际情况的异常值,是提升尾矿库安全预警准确率的关键,也是尾矿库在线监测面临的重要问题。采用单类支持向量机、局部离群因子和 3 准则三种方法,对三组尾矿库在线监测数据进行异常识别;根据分类评价指
2、标,研究了不同方法对异常数据的识别效能。结果显示,单类支持向量机、局部离群因子和 3 准则三种方法的平均查准率分别为 0.962、0.934 和 0.929,平均查全率分别为 0.960、0.910 和 0.256,平均正确率分别为 0.984、0.970 和 0.855,平均 F1 分值分别为 0.960、0.921 和 0.393,平均计算耗时为 0.023 s、7.549 s 和 0.348 s。研究结果表明,单类支持向量机法和局部离群因子法的异常识别效果显著优于 3 准则法,单类支持向量机法识别效果优于局部离群因子法,计算速度显著优于局部离群因子法,其异常识别正确率高、计算速度快、综合
3、性能较好。研究结果为尾矿库在线监测预警领域异常数据识别提供了有益参考。关键词:尾矿库在线监测;数据异常识别;单类支持向量机;局部离群因子;机器学习中图分类号:TD926.4;TD67文献标识码:AResearch on anomaly detection of tailings dam monitoring data based onmachine learningCHU Yifan1,2,WANG Weixiang1,2,WANG Sha1,2,MEI Guodong1,2(1.BGRIMM Technology Group,Beijing 100160,China;2.National C
4、entre for International Research on Green Metal Mining,Beijing 102628,China)Abstract:Online monitoring is an important means of tailings dam warning.How to detect abnormaldata that does not match the actual situation of the tailings dam in the monitoring data is the key toimprove the accuracy of saf
5、ety early warning of tailings pond,it is also an important issue in tailingsdam monitoring.Three methods including one-class support vector machine,local outlier factor and 3rule are used to detect anomalies for three sets of tailings dam monitoring data.Based on classificationevaluation matrix,the
6、anomaly detection performance of different methods is studied.The results showthat the average precision of one-class support vector machine,local outlier factor and 3 rule are 0.962,收稿日期:2023-06-28责任编辑:刘硕基金项目:矿冶科技集团探索项目资助(编号:02-2271);矿冶科技集团科研基金项目资助(编号:02-2201)第一作者简介:楚 一 帆(1996),男,汉 族,河 南 郑 州 人,硕 士,
7、助 理 工 程 师,主 要 从 事 尾 矿 库 监 测 预 警 等 方 面 的 研 究 工 作,E-mail:。通讯作者简介:梅 国 栋(1982),男,汉 族,江 西 临 川 人,博 士,正 高 级 工 程 师,主 要 从 事 矿 山 安 全 及 监 测 预 警 方 面 的 研 究,E-mail:。引用格式:楚一帆,王伟象,王莎,等.基于机器学习的尾矿库监测数据异常识别研究J.中国矿业,2023,32(8):72-79.CHU Yifan,WANG Weixiang,WANG Sha,et al.Research on anomaly detection of tailings dam mo
8、nitoring data based on machine learningJ.ChinaMining Magazine,2023,32(8):72-79.第 32 卷第 8 期中国矿业Vol.32,No.82023 年 8 月CHINA MINING MAGAZINEAug.20230.934 and 0.929 respectively;the average recall are 0.960,0.910 and 0.256 respectively;the averageaccuracy are 0.984,0.970 and 0.855 respectively;the averag
9、e F1 scores are 0.960,0.921 and 0.393respectively;the average calculation time are 0.023 s,7.549 s and 0.348 s respectively.The resultsindicate that the anomaly detection performance of one-class support vector machine and local outlierfactor are significantly better than that of 3 rule.The anomaly
10、detection performance of one-classsupport vector machine is better than that of local outlier factor,with a significantly faster calculationspeed than local outlier factor as well.The one-class support vector machine is highly accurate,computationally efficient,and performs well in detecting anomali
11、es.The research provides usefulreference for tailing pond monitoring warning systems.Keywords:tailings dam online monitoring;anomaly detection;OCSVM;LOF;machine learning 0引言尾矿库是用于储存选矿废料的场所,由坝体及周边地形围筑而成,通常具有较高的势能。尾矿库一旦发生漫顶、溃坝等事故,不仅给生态环境带来严重污染,还会对下游生产、生活设施造成严重破坏1-4。尾矿库在线监测是实时掌握尾矿库运行情况的一种重要手段5,我国政府高度重视
12、尾矿库在线监测系统建设及预警体系建立,相继出台了关于加强非煤矿山安全生产工作的指导意见(矿安20224 号)、尾矿库在线安全监测系统工程技术规范(GB511082015)、尾 矿 库 安 全 监 测 技 术 规 范 (AQ20302010)等文件和标准。随着监测技术及设备的发展,尾矿库在线监测系统取得了广泛的应用6。然而,受到天气、设备及人为因素等方面的影响,尾矿库在线监测数据中会出现不能反映真实情况的异常值,给尾矿库的安全预警造成大量干扰。因此,如何识别监测数据中的异常值,是尾矿库在线监测亟需解决的重要问题4。目前,已有诸多学者针对监测数据异常识别进行了相关研究。高鹏飞7提出了基于阈值的近邻
13、差值跳跃异常检测算法,通过比较近邻数据差值与正常数据波动阈值,判别尾矿库监测异常数据。DONG等4基于云模型改进了 3 准则判别阈值,并用于尾矿库监测数据异常识别。王鑫磊8通过基于距离和聚类的方法,研究了尾矿库异常监测数据的识别。易思成等9采用基于孤立森林的方法,研究了尾矿坝位移监测异常值诊断。在其他领域,李伟华10采用基于箱型图的方法,研究了水库监测数据异常值检测。何黎等11采用 k-Shape 聚类的方法,研究了城市排水管网连续液位的异常数据识别。上述研究的方法可分为基于阈值的方法、基于统计的方法及基于机器学习的方法等。基于阈值的方法需要人为对监测点已有的历史数据进行分析,难以广泛推广应用
14、,本文不再对此类方法进行分析。基于统计的方法将不符合统计模型的数据判别为异常数据,需要假设监测数据服从特定的统计分布,然而事先假设尾矿库监测数据的分布类型较为困难12。基于机器学习的异常数据识别方法,包括无监督学习、有监督学习和半监督学习方法13。有监督学习方法,需要通过带有标签的数据进行训练,而尾矿库在线监测产生大量的监测数据,难以进行人工标记13。无监督学习方法,是一种数据驱动的方法,此类方法无需进行数据标注,使用较为简便,当局部异常数据较多时,识别效果受到异常数据的影响。半监督学习方法,如单类支持向量机法等,不需要进行数据标记,通过输入正常数据进行训练,即可用于异常数据识别。目前,针对尾
15、矿库监测数据异常识别研究主要采用的是基于阈值、统计或无监督机器学习的方法,采用半监督机器学习方法的尾矿库监测数据异常识别研究较少。基于上述分析,为了研究不同类型的方法对尾矿库监测数据异常识别的效能,使用基于半监督机器学习的单类支持向量机法(One-Class SupportVector Machine,OCSVM)、基于无监督机器学习的局部离群因子法(Local Outlier Factor,LOF)和基于统计分析的 3 准则法,对河北省某尾矿库的在线监测数据进行异常识别,通过分类评价指标定量分析异常识别效果,并进行对比,优选相对适用于尾矿库在线监测数据异常识别的方法,为尾矿库在线监测系统安全
16、预警提供科学参考。1方法原理与异常数据识别效果评价指标 1.1单类支持向量机(OCSVM)有监督的支持向量机(SVM)是一种经典的机器学习分类模型,由于其需要对训练数据中的正常数据和异常数据进行标记,因此将其应用于异常检测比较困难14。SCHLKOPF 等15提出了一种基于超平面的 OCSVM 算法,通过非线性核函数将数据从输入空间隐式映射到特征空间,将特征空间的原点作为异常点,在特征空间中找到一个与原点距离最大的超平面,将训练数据与特征空间的原点分离。当第 8 期楚一帆,等:基于机器学习的尾矿库监测数据异常识别研究 73 测试数据位于超平面内时,则认为数据正常;反之,当数据位于超平面以外时,
17、则认为数据异常。CAMPBELL等16通过使用径向基函数(RBF)核,提出了一种适用于 OCSVM 的规划方法,将超平面构造于特征空间数据的平均值,OCSVM 法的原理如下所述。x1,x2,xN X1)构建核函数。对于包含 N 个数据的训练数据集,为 X 映射到特征空间中的特征函数,通过核函数 K 计算特征空间的内积,K 的表达式见式(1)。K(x,y)=(x)(y)(1)2)转化为最小值问题。求解决策超平面问题可转化为对偶问题,即由超平面到特征空间原点距离的最大值问题转化为最小值问题,表达式见式(2)。min12ijijK(xi,xj)(2)ij式中:、为拉格朗日乘子,满足约束条件式(3)和
18、式(4)。0 1N(3)式中:为训练数据集中的异常比例上限;N 为训练数据集元素的数量。ii=1(4)12N3)迭代求解最小值问题。该最小值问题为凸二次规划问题,使用最小序列优化方法进行求解,得到,。i4)计算平均偏离距离。针对所有,按照式(5)计算平均偏离距离。=jjK(xj,xi)(5)f(x)f(x)xf(x)x5)计算决策函数值。决策函数见式(6),决策函数值为 1 或1,当为 1,则认为数据 为正常数据,若为1,则认为数据 为异常数据。f(x)=sgn(iiK(xi,x)(6)1.2局部离群因子(LOF)法LOF 是一种基于密度的聚类方法,属于无监督机器学习方法的一种,该方法通过计算
19、每一个数据点的离群程度来判断是否为离群点,进而识别异常数据。数据点的离群程度通过局部离群因子 LOF 表示17-18,计算 LOF 的步骤如下所述。1)计算数据点 p 的 k 距离。定义一个数据集为D,数据集 D 中与点 p 最近的第 k 个点为点 o,则数据点 p 的 k 距离由式(7)表示。kdist(p)=ni=1(pioi)2(7)Nk(p)2)数据点 p 的 k 近邻。数据点 p 的 k 近邻是指在数据集 D 中,与点 p 的距离不大于点 p 的 k 距离的所有点的集合,记为。3)数据点 p 关于 o 的可达距离。数据点 p 关于o 的可达距离是指数据点 o 的 k 距离和点 p 与
20、点 o 之间距离的最大值,由式(8)定义。reachdistk(p,o)=maxkdist(o),d(p,o)(8)4)点 p 的局部可达密度。点 p 的局部可达密度是指点 p 与 k 近邻点的平均可达距离的倒数,由式(9)定义。lrdk(p)=1/(oNk(p)reachdistk(p,o)?Nk(p)?)(9)5)点 p 的局部离群因子。点 p 的局部离群因子是指点 p 的 k 近邻点平均局部可达密度与点 p 的局部可达密度的比值,表示的是点 p 与 k 近邻的相对局部可达密度,由式(10)计算。LOFk(p)=oNk(p)lrdk(o)?Nk(p)?/lrdk(p)(10)LOF 越接近
21、于 1,则表明点 p 的局部可达密度与k 近邻的局部可达密度越接近,则点 p 为离群点的可能性越低。通过计算每个数据点的 LOF 分值,并根据给定的异常比例阈值,则判别出哪些数据点是异常点。1.33 准则法3 准则是一种基于正态分布的经典异常识别模型,已被广泛用于数据异常识别19-22。3 准则假定当数据符合正态分布时,数据分布在(3,+3)内的概率为 99.74%,即仅有 0.26%的数据与均值的差的绝对值大于 3 倍标准差。将 3 准则应用在数据异常识别时,定义一个数据集 D,当数据满足式(11),即认为是异常数据。|xi|3(11)式中:为数据集 D 的平均值;为数据集 D 的标准差。X
22、ki将 3 准则应用在数据集 D 的局部,定义邻域数量 k,则满足式(12)。Xki=xik+1,xik+2,xi(12)1.4异常数据识别效果评价指标异常数据识别问题是一种二元分类问题23,即将数据分为正常类和异常类。采用分类评价指标对不 74 中 国 矿 业第 32 卷同的异常数据识别方法进行定量表示,有助于分析各异常识别方法的效果。将异常识别结果与数据真实分类进行对比,可将异常识别结果分为四类,即真正类 TP、假正类 FP、真反类 TN 和假反类 FN11。各分类定义见表 1。表 1 异常识别结果分类定义Table 1 Classification of abnormal detecti
23、on results真实数据分类异常识别结果异常正常异常TPFN正常FPTN 采用查准率、查全率、正确率和 F1 分值对异常识别结果进行统计,计算方法见式(13)式(16)。查准率表示识别为异常的数据中,真异常数据的比例。查全率表示识别为异常的数据占所有真异常数据的比例。正确率表示分类正确的数据占总体的比例。F1 分值是查准率和查全率的调和平均值,综合反映查准率和查全率对结果的影响11,24。查准率=TPTP+FP(13)查全率=TPTP+FN(14)正确率=TP+TNTP+TN+FP+FN(15)F1=2查准率查全率查准率+查全率(16)2异常数据识别 2.1监测数据本文使用的三组数据均为河
24、北省某尾矿库在线监测设备实测数据。数据 1、数据 2 和数据 3 分别有48 557 条、3 644 条和 4 087 条数据,采用随机方法划分训练数据集和测试数据集,并将异常数据全部划分到测试数据集。用于 OCSVM 训练的分别有 22 691条、1 607 条和 1 837 条数据,用于 OCSVM、LOF 和3 准则异常识别的分别有 25 866 条、2 037 条和 2 250条数据。为了对比研究方法的识别效果,人工识别并统计了异常数据,数据 1、数据 2 和数据 3 分别有3 403 条、480 条和 346 条异常数据。根据异常数据在监测数据序列中的分布特征,可将异常数据分为单点异
25、常和连续异常。如果某一数据显著偏离该数据序列的分布,则认为该数据是单点异常数据。如果数据发生显著偏离并保持了一段时间后再恢复,则认为该段数据为连续异常数据。图 1 为数据 1 的监测数据及异常数据类型。10月738739740741742监测数据/m74374474574611月12月 1月 2月月份(a)单点异常监测数据异常数据3月 4月 5月 6月 7月10月738739740741742监测数据/m74374474574611月12月 1月 2月月份(b)连续异常3月 4月 5月 6月 7月监测数据异常数据22:28738.5739.0739.5740.022:5223:16单点异常11
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 机器 学习 尾矿 监测 数据 异常 识别 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。