基于半监督聚类方法的管道运行状态识别研究.pdf
《基于半监督聚类方法的管道运行状态识别研究.pdf》由会员分享,可在线阅读,更多相关《基于半监督聚类方法的管道运行状态识别研究.pdf(11页珍藏版)》请在咨信网上搜索。
1、CNATURCIENCEMay,20232023年5月JOURNALCHNANJINCIUNIVERSITYVol.59,No.3第3期第59 卷南京大学学报(自然科学DOI:10.13232/ki.jnju.2023.03.007基于半监督聚类方法的管道运行状态识别研究方明月1,2,冯马早1.2*,朱雪峰1.2(1.昆明理工大学信息工程与自动化学院,昆明,6 50 50 0;2.云南省矿物管道输送工程技术研究中心,昆明,6 50 50 0)摘要:目前工业现场采集的大部分数据缺失标记信息,若仅使用其中的标记数据和未标记数据的局部信息会造成学习器的性能下降,而传统半监督学习对标记数据的利用具有随
2、机性且没有考虑监督信息数量的变化对性能的影响.针对上述问题,提出一种主动学习策略下基于最小生成树的变分贝叶斯推理半监督高斯混合模型,利用主动学习策略在标记信息中重新筛选构建高质量成对约束信息,利用最小生成树聚类来初始化模型参数,提升模型在标记样本数量受扰动时的鲁棒性,选用实验室采集的管道状态检测数据集对提出的模型进行验证,实验结果表明,当标记样本占总体样本的比例从50%下降到10%时,提出的组合模型的预测准确率依旧保持在7 2.4%以上,而且,当某一类别的样本完全失去监督信息时,该组合模型的聚类效果仍然可以分析判断数据类别的所属类型.关键词:半监督聚类,主动学习策略,高斯混合模型,成对约束中图
3、分类号:TP277文献标志码:AResearch on pipeline operation status identification based onsemi-supervised clustering methodFang Mingyuel2,eng Zaol,Zhu Xuefeng.-(1.School of Information Engineering&.Automation,Kunming University of Science and Technology,Kunming,650500,China;2.Mineral Pipeline Engineering Technol
4、ogy Research Center of Yunnan,Kunming,650500,China)Abstract:Most of the data in current industrial field data collection are unlabeled,and the performance of the learner isdegraded if only the labeled data in the dataset and the local information of the unlabeled data are used.Traditional semi-super
5、vised learning uses the labeled data randomly and does not consider the impact on the performance when the number ofsupervised information changes.To address these problems,this paper proposes a semi-supervised Gaussian mixture modelbased on minimum spanning tree with an active learning strategy for
6、 variational Bayesian inference.In the model,the activelearning strategy is used to re-screen and construct high-quality pairwise constraint information among the labeledinformation,and the minimum spanning tree clustering is used to initialize the parameters of the model and improve therobustness o
7、f the model under the perturbation of the number of labeled samples.Experimental results show that theprediction accuracy of the proposed combined model remains above 72.4%when the proportion of labeled samples decreasesfrom 50%to 10%of the total samples.The clustering effect of the combined model i
8、s stll able to analyze the data categorywhen a category completely loses the supervisory information.Key words:semi-supervised clustering,active learning strategy,Gaussian mixture model,pairwise constraints基金项目:国家自然科学基金(6 156 30 2 4)收稿日期:2 0 2 3-0 312*通讯联系人,E-mail:6 48 39 7 5 q q.c o m436第59 卷南京大学学报
9、(自然科学)在现场环境数据采集中,随着数据采集设备与存储设备的推陈出新,数据的获取不再困难,简单的重复实验即可获得大量的无标签数据.同时,由于一些先验知识、专家经验等原因,只有小部分数据带有监督信息,如果仅仅用这些数据进行监督学习,过少的标记数据量往往会导致学习器过拟合、对新样本的适应能力不足.对数据进行标注会花费很多时间,增加实验的支出;若通过传统的无监督学习方法实现聚类,则会导致难以获取的监督信息的利用率大大降低(1.半监督学习利用数据集中仅有的监督信息指导学习器对剩下的无标签数据集进行分类,避免了学习器仅利用数据集中单一局部信息而出现的问题,但却增加了半监督学习器对监督信息的依赖性,针对
10、半监督学习对监督信息的依赖性问题,如何筛选监督信息以达到少量的监督信息即可完成有效的半监督学习的目标以及减少监督信息中噪声样本对半监督学习器的影响等,成为半监督学习研究的热点:另外,在半监督学习中还经常遇到样本数量过少和样本间数量不均衡的问题,如何在小样本数据或不均衡数据下实现半监督学习亦是当下的研究热点.如史蕴豪等 2 提出一种基于伪标签的半监督学习技术的小样本调制方式分类算法,解决在只包含少量标签样本时存在的通信信号识别度不高的问题;杨宇等 3提出基于增量式半监督多变量预测模型,有效地解决了小样本的故障诊断问题,并缩短了分类时间.半监督学习的全面发展为半监督聚类奠定了良好基础,半监督聚类在
11、道路检测、医学、图像、故障诊断等领域取得了一定进展,如张建朋等 4 提出进化因子图模型,弥补传统聚类只从静态图出发难以满足建模动态变化的真实网络图的要求.刘少鹏等 5 提出一个以半监督为基础的对抗网络的分阶段混合模型,用以解决医学领域中带有标签的数据较少导致的不足以完成神经网络模型的训练的问题,获得了良好的医学图像分割效果,针对上述实测数据不包含标记信息、少量监督信息只能从专家经验对部分样本的赋予和从实验室已有监督信息中获得、监督信息的利用通常具有随机性等问题,本文提出一种主动学习策略下基于变分贝叶斯推理的半监督高斯混合模型:(1)通过主动学习策略建立高质量成对约束条件,实现了标记信息的有效利
12、用,提升了半监督变分贝叶斯推理高斯混合模型(下文均简称为半监督高斯模型)的学习性能。(2)在实验中不断减少标记样本的数量,探索标记样本数量对模型的影响.为了进一步提升模型在标记样本数量不断减少时的识别准确率,还在模型中引人最小生成树聚类对半监督高斯模型的主要参数进行初始化,提升模型在面对标记样本数量不断发生变化时的稳定性。(3)当某一类别的标记样本数量减少到0,即完全缺失该类别的标记信息时,本文提出的主动学习策略下基于最小生成树的变分贝叶斯推理半监督高斯混合模型依旧可以实现有效的判别,1相关算法1.1半监督聚类半监督聚类将类标签或成对约束等先验知识融人传统聚类方法来获得更高质量的聚类结果根据先
13、验知识的不同,半监督聚类大致可分为基于距离的半监督聚类方法和基于约束的半监督聚类方法。基于距离的半监督聚类方法利用数据集中一些标记数据来指导聚类机制.Wuetal6设计了一种基于密度敏感的半监督聚类法,得到一种改进的密度敏感的距离度量,可以有效地增大位于不同稠密区域的样例的距离,并缩小位于同一稠密区域内的样例的距离.Bijral etal7以基于密度的距离估计为基础,提出一种用图上的最短路径进行计算的简单有效的方法,适用于稠密的全连接图,能有效地减少运行时间.范九伦等 8 提出半监督截集式可能性C-均值聚类算法,提高彩色图像分割的效率和准确率。基于距离的半监督聚类方法的缺点是其聚类效果很大程度
14、上依赖于标签数据集的规模和质量.基于约束的半监督聚类方法在为簇分配数据时利用监督信息来限制可行解,或直接通过改变分配策略来防止违反监督信息的分配 9 ,或在监督信息被违反、得到满足的情况下,通过惩罚、奖励目标函数间接进行,缺点是求解时易出现约束违反的情况,刘如辉等 10 通过建立成对约束关系,将快速密度峰值聚类算法引入半监督学习,结437方明月等:基于半监督聚类方法的管道运不行状态识别研究第3期合集成学习的思想解决原算法中的自动选择时误选和漏选中心点、簇的数量需要主观先验判断、算法使用受场景局限等缺陷.张鑫等 11 在拉普拉斯特征映射算法的基础上,对标记样本点进行置信度约束,提出基于改进的拉普
15、拉斯特征映射算法的半监督故障诊断模型,优化了聚类效果,1.2基于主动学习策略的成对约束筛选选为了提高聚类性能,一般将先验知识加人无监督聚类算法来提升聚类的效果,进而提出一系列改进的半监督聚类算法.最常见的先验知识有两种:一是标签信息;二是存在于数据点之间的成对约束信息,即必连约束和勿连约束 12 .必连约束是隶属于相同类型的成对的数据,而勿连约束是隶属于不同类型的成对的数据。一般地,在半监督聚类算法中,若被提供的监督信息占总的数据信息的比重较小,或者该类信息是聚类算法自身可以捕捉的,会导致该类信息不易指导算法完成聚类,难以提升算法的性能 13.因此,需要找到只通过算法自身很难发现的数据间的密切
16、联系,利用该数据关系可以获取信息规模更大的监督信息,而这些信息对提高半监督聚类学习器的聚类性能大有神益.如图1所示,用三角形和圆形两种不同形状分别表示两种不同类型的数据,其中勿连约束用红色虚线表示,必连约束用黑色实线表示.图1a中,构成必连约束的数据点空间位置相邻甚至出现重叠情况,而构成勿连约束的数据点之间相距较远,聚类算法总是将构成必连约束的数据集分到同一类别中,将构成勿连约束的数据集归为不同类别,导致先验知识失去了对聚类算法的指导作用,得到的监督信息是无效的、低质量的.图1b中的约束集与图1a相反,同类别之间距离较远的点构成了必连约束,不同类别之间距离较近的点构成了勿连约束,这样可以更充分
17、地体现数据之间的结构,而仅仅通过聚类算法难以发现这个结构,因此,通过这种方式得到的数据一般具有较高的信息量建立高质量成对约束的主动学习策略以数据集D(r*c)r 为样本数,c为特征维数)和已有的成对约束集为基础,其中输人为已有的必连约束集(a)低质量的监督信息(b)高质量的监督信息图1监督信息特性的示例Fig.1Examples of supervisory information characte-ristics和勿连约束集,输出为新的必连约束集和勿连约束集.该策略的伪代码如算法1所示,其中,D_ML,D_CL分别表示必连约束距离和勿连约束距离,T表示迭代次数,Ur,U,分别表示Q中数值对应
18、到矩阵D中的两个数.Algorithm 1 Reconstruction of paired constraintsbased on active learning strategy1.Input:ML,CL,D(r*c)2.Initialize new_MLML,new_CL-CL3.Calculate the distance matrix,ascending sort andget Q(r*r)4.Modify Q(r*r):D_ML+-0,D,CLo05.WhileT0.5*rdo:Select the first term not equal to oo from backto fr
19、ont in Qwhile(1):if v,and v,belong to the same category:add(ur,)into new_MLiterations T increase onebreakelse:Select the next term u not equal to co fromback to front in Qu6.Repeat Step 5,add the new constraints to new.CL,438第59 卷南京大学学报(自然科学)but the order is from front to back and the fiducial value
20、 is O7.output:new_ML,new_CL1.3主动学习策略下基于最小生成树的变分贝叶斯推理的高斯混合模型基于谱图的最小生成树半监督聚类主要依赖距离矩阵,将每个顶点看作一个独立的树,在满足约束条件下依据距离合并最小生成树以达到聚类目的,直至最后聚类簇数小于等于目的类簇数为止.其输出为类别标签,这些标签信息被用来对变分贝叶斯推理的高斯混合模型中的参数(均值、协方差以及混合系数)进行初始化。2017年Bleietal14提出变分高斯混合模型(Variational Bayesian Inference for Gussian Mix-tureModel,VBIGMM),应用于无标记样本
21、数据集.假设从K个独立的高斯分本中抽出n个样本,,为一个样本数据,u为每个高斯分布的均值,c;表示样本,对应的高斯分布.则高斯混合模型的生成过程 15 如下:N(o,o),k=1,.,K(1)c,categorical(1/K,.,/K),i=1,n(2)a/ciN(ci,1),i=1,n(3)根据贝叶斯定理计算样本的联合概率分布:p(,c,)=p(u)IIp(c.)p(c:lci,)(4)i-1其中,n为样本的个数.假设变分参数为m=(m1,.,mt),s?=(si,s),=(pi,p,),m和s是对应于均值的两个变量,是对应于类别c,的变量.变分分布9 由前面的三个参数共同影响:q(c)=
22、IIk-,g(rima,s)II-1g(cig.)(5)根据平均场的性质,每个潜在变量都由其自身的变分因子控制.因子q(us;mk;s)是第k个混合组件均值参数的高斯分布,其平均值为k,方差为s.因子q(c;,)是第i个观测值混合分配,其分配概率为K维向量9 i.变分贝叶斯推断的目标是寻找一个恰当的联合分布使其近似代替P(),即最大化变分下界ELBO.ELBO越大,近似估计的概率分布和数据整体真实的概率分布的相似度就越高ELBO(m,s,0)=ZK,1gp(a);m,si+EK-,1g(cs:.)-Z-,g(ri mas)(6)更新类别参数:Puoc exp(Eur;ma,si x,-Eu;m
23、a,si/2)(7)更新m和s:mk(8)1(9)为了合理利用监督信息,在上述变分贝叶斯推理高斯混合模型中引人必连约束和勿连约束.在推理过程中,勿连约束使具有不同标签的样本不能分配给相同的高斯分量,必连约束使具有相同标签的样本不能分配给不同的高斯分量主动学习策略下基于最小生成树的变分贝叶斯推理的高斯混合模型以数据集与新的必连约束集和勿连约束集作为输入,以数据的标签向量作为输出,该算法的伪代码如算法2 所示,其中,N表示簇数,P表示概率矩阵,G表示无向权重图,su和su分别表示构成G中边的两个点,u表示均值,c.表示质心,M.表示协方差矩阵,Algorithm 2 Semi-supervised
24、 VBIGMMbased onminimum spanning tree under active learning strategy1.Input:D(r*c),new_ML,new_CL,N2.Constract G from data,w is the Euclidean distance3.Select the shortest side sfor(i=0;iN;i+):if(su,so)Enew_ML and(su,su)new.CLand su!=so):label_ su,label,sv belong to the same cluster4.Calculate the par
25、ameters of the Gaussian mixturemodel:uk,ce,M.5.EvaluateELBOwhile ELBO not converged do:Compute m;using ceCalculate si using MPerform“Cannot-link and“Must-link”usingnew_ML,new_CLEvaluate he probility i(i-o.of the point as-439方明月等:基于半监督聚类方法的管道运行状态识别研究第3期signed to one clusterUpdate ceand M.If meet the
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 监督 方法 管道 运行 状态 识别 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。