基于CNN-LSTM-LOF的过程故障预测模型.pdf
《基于CNN-LSTM-LOF的过程故障预测模型.pdf》由会员分享,可在线阅读,更多相关《基于CNN-LSTM-LOF的过程故障预测模型.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 51 卷 第 1 期2024 年北京化工大学学报(自然科学版)Journal of Beijing University of Chemical Technology(Natural Science)Vol.51,No.12024引用格式:程志磊,章国宝,黄永明.基于 CNN-LSTM-LOF 的过程故障预测模型J.北京化工大学学报(自然科学版),2024,51(1):121-127.CHENG ZhiLei,ZHANG GuoBao,HUANG YongMing.A prognosis model for process fault based on CNN-LSTM-LOFJ.Jour
2、nal of Beijing University of Chemical Technology(Natural Science),2024,51(1):121-127.基于 CNN-LSTM-LOF 的过程故障预测模型程志磊摇 章国宝*摇 黄永明(东南大学 自动化学院,南京摇 210018)摘摇 要:在现代工业过程中,故障预测可以及时预测设备的潜在故障,减少事故的发生以及降低经济损失,因此故障预测对于过程系统至关重要。由于过程系统的复杂性以及运行数据集分布不均,使用正常数据集离线预测运行状态的方法没有较好的泛用性,且不太准确。针对以上问题,将卷积神经网络(CNN)与长短期记忆网络(LSTM)
3、相结合,用于提取设备运行数据的特征,在线预测之后的运行状态;随后将预测结果送入在离线状态下训练好的局部异常因子(LOF)模型中,计算预测出时间序列的异常值;最后将异常值与离线状态下训练出的故障阈值进行比较,大于阈值则认为存在潜在故障。将模型用于田纳西-伊斯曼(TE)时间序列进行验证,并与传统的故障预测方法进行比较,实验结果表明:本文所提模型对于多故障以及单故障预测相比传统故障预测方法均具有更好的效果,可以提前 1 个采样窗口检测到数据异常,有应用于工业故障预测的潜力。关键词:故障预测;田纳西-伊斯曼过程;长短期记忆;局部异常因子算法;卷积神经网络中图分类号:TP277摇 摇 DOI:10.13
4、543/j.bhxbzr.2024.01.014收稿日期:2022-12-13基金项目:江苏省科技计划(BE2021750);江苏省重点研发计划(BE2022135)第一作者:男,1999 年生,硕士生*通信联系人E鄄mail:guobaozh 引摇 言在工业过程中,一旦设备发生故障,将会造成巨大的经济损失,因此对于过程故障的预测尤为重要。现有的故障预测方法大体可以分为3 类1:基于模型的方法,基于数据驱动的方法以及基于专业知识的方法。由于工业设备中一旦出现故障就会造成巨大的损失,因此在工业生产环境下,当设备发生故障时,操作人员会立即停止运行及时止损。然而这同时会导致故障数据集较少,无法很准确
5、地根据现有故障数据训练出合适的模型来预测过程系统的运行状态;另一方面,由于工业过程大多是多输入多输出系统,多个输入相互耦合,这也增加了构建模型的困难性。对于基于专业知识的方法,由于生产环境不可能完全相同,因此大部分专业模型没有很好的泛用性。由于工业 4郾 0 更加注重设备自主运行,因此使用浅层和深度学习算法等基于数据驱动的方法成为主流2。目前主要使用的深度学习算法包括卷积神经网络(CNN)、递归神经网络(RNN)、自动编码器(AE)和受限玻尔兹曼机(RBM)方法等3。Cheng 等4指出 CNN 可以提取一维传感器的特征,Jin 等5提出一种基于 CNN 的故障诊断算法,具有更少的参数。同时,
6、基于 RNN 的模型也应用于时间序列以进行故障预测6-7,以及基于自动编码器的故障预测方法也取得了一定的效果8-9。长短期记忆网络(LSTM)由 Hochreiter 等10提出,相较于传统的递归神经网络,LSTM 网络解决了RNN 网络不能“记忆冶的缺点,广泛应用于长时间跨度序列领域,在语音识别方面取得了巨大的突破。在故障预测中,最常用的深度学习算法是 CNN、RNN 以及自编码网络11。近年来,Gao 等12建立了一种基于 CNN-LSTM 的神经网络模型,CNN 用于从数据中提取特征,LSTM 则用来分析来自 CNN的特征序列。张敬川等13将 LSTM 与降噪自编码器(DAE)相结合来进
7、行故障诊断,但是只用 LSTM来提取时间序列特征的准确度不高,因此模型有待改进。Huang 等14将 CNN-LSTM 模型应用于复杂系统故障检测,但是 CNN-LSTM 模型首先需要在离线状态下对模型进行训练,其次由于数据集中故障数据的不均衡,训练出的模型很难保证具有良好的效果,因此直接将其应用于过程故障预测可能达不到预期,需要对其做出改进。局部异常因子算法(LOF)是基于密度的经典算法,由 Breunig 等15提出,被广泛应用在异常值检测领域中,在数据挖掘以及深度学习领域可发挥重要作用。Ding 等16通过评估观测数据与整体数据之间的偏差,应用 LOF 来检测光伏系统中的故障。Cheng
8、 等17使用基于隔离森林和局部离群因子算法的集成算法来进行数据集的异常值检测。Ortner等18将局部异常因子算法与稳健主成分分析法(ROBPCA)19结合,并将其应用到高维异常值检测中。然而这些异常值检测算法都是基于当前状态的检测数据是否异常,无法对之后的状态进行预测,不能直接将其应用到时间序列,因此不能直接用于故障预测。在设计用于故障预测的深度神经网络时,需要考虑如下问题:使用无监督方法很难准确预测到故障情况,而通过正常数据集训练模型再通过离线计算来预测故障情况是不准确的。因此本文从上述考虑出发提出了一种基于 CNN-LSTM-LOF 的故障预测方法,将 CNN-LSTM 模型用于特征提取
9、,将 LOF应用到对预测数据的异常值检测中,并且对提出模型在田纳西-伊斯曼(TE)过程数据集中进行验证,证明了模型的有效性和优越性。1摇 基于 CNN-LSTM-LOF 的故障预测模型1郾 1摇 CNN-LSTM 方法本文将 CNN 与 LSTM 相结合,CNN-LSTM 的输入与输出均为多维时间序列数据,CNN 主要用于从时间序列数据中提取出数据特征,再将其送入LSTM 网络中。LSTM 内部由 3 个门结构组成,分别是输入门、遗忘门和输出门。输入门主要是决定有多少输入可以进入模型,输出门是为控制最终输出多少数据而设计的,遗忘门则决定保留和遗忘上一个输出的哪几个部分。LSTM 将当前输入以及
10、上一次输出一起训练,在最后加入全连接层,用于将前面层中提取的所有特征组合起来转换为特征数据。首先,模型通过窗口对输入数据进行采样,采样后一维时序数据为X=X1,X2,Xn(1)其中 n 为数据序列的窗口长度。接着对数据进行标准化X忆=X-滋滓(2)式中,滋 表示数据的均值,滓 代表样本标准差。在一维卷积过程中,卷积核在每个样本上滑动并进行卷积,卷积层输出维度由卷积核的数目确定,每个样本转化为特征图,公式如下。Fi=琢(棕TXi:i+n-1+茁)(3)式中,棕T代表卷积核矩阵的转置,琢 表示非线性激活函数,茁 表示偏置变量,Xi:i+n-1代表从 i 到 i+n-1的输入变量。最后将多个特征图组
11、成一维向量作为CNN 的输出。LSTM 中的遗忘门可以与输入门组合在一起,公式如下。Ct=ftCt-1+it寛Ct(4)式中,ft为遗忘门的输出,Ct为当前状态,it数值为从0 到 1,决定更新哪些值保留下来生成此时状态,寛Ct为新的状态候选向量。输出门的作用是选取当前状态的一部分作为输出ht=ottanh(Ct)(5)其中输出门就是将上一个状态与当前状态整合在一起作为当前状态的权重 ot,Ct经过一个 tanh 激活函数与 ot相乘得到输出信号。最后,在 LSTM 之后设置全连接层,将前面提取出的特征数据组合起来生成输出数据,公式如下。y=琢(Wfh+茁)(6)式中,琢 是非线性激活函数,W
12、f为全连接层的权重矩阵,茁 为偏置向量,h 为输入向量,即 LSTM 网络的输出向量。1郾 2摇 用于故障预测的混合网络本文提出的 CNN-LSTM-LOF 模型完整的训练框架如图 1 所示。首先使用正常数据训练 LOF 模型,计算离线状态下异常值的大体范围,并且根据异常值的最大值进行一定的放缩,将其作为阈值来判断运行数据是否发生故障。多变量时间序列的长度由滑动窗口的大小决定,将采样后的数据帧送入CNN 进行特征提取,模型采用 ReLU 激活函数,经过LSTM 模型进行预测,并将结果送入离线状态下训练好的 LOF 模型中。LOF 会对 CNN-LSTM 预测的221北京化工大学学报(自然科学版
13、)摇 摇 摇 摇 摇 摇摇摇 摇 摇 摇 摇 摇 摇 摇 2024 年时间序列进行异常值检测,并且标记每个数据,其中+1 代表正常运行状态,-1 代表数据异常即发生故障。本算法计算每个窗口输出值中-1 的个数,并与离线状态下计算好的阈值作比较。当异常值的数量大于阈值时,即代表预测窗口处于故障状态,从而实现故障预测的效果。由于在模型中应用了多个神经网络,带来了较多的超参数,这些超参数的选取均通过测试结果的优劣来设定。本文模型的预测时间主要由 CNN-LSTM 模型的计算时间以及滑动窗口采集数据的时间来决定。图 1摇 CNN-LSTM-LOF 模型故障预测框架Fig.1摇 Framework of
14、 the CNN-LSTM-LOF faultprognosis model在所提模型中,首先使用 CNN-LSTM 来提取输入时间序列的特征,同时预测下一个状态的时间序列,然后使用 LOF 即基于密度的异常值检测算法进行检测,将检测结果与预处理的故障阈值进行比较,从而预测机器是否发生故障。完整的模型如图 2 所示。该模型首先通过窗口从数据集中截取一部分,将输入的数据进行标准化处理。本文中输入数据为TE 数据集中的连续时间变量,维度为 21 维。一维卷积神经网络卷积核的数目为 8,即卷积输出维度为8,卷积窗口的长度为13。在此之后为两层 LSTM网络,其中第一层隐藏神经元的数量为 12,第二层
15、神经元的数量为 6,输出结果为连续的时间序列,输出维度与神经元的数量一致。之后有两层全连接层,第一层有 4 个神经元,第二层有 n 个神经元,n的大小由输入维度唯一确定,在本文采用的模型中n 的大小为 21,与输入时间序列相同。最后使用LOF 算法对于预测数据进行异常值检测,将其与设定的故障阈值作比较。图 2摇 CNN-LSTM-LOF 故障预测模型Fig.2摇 Fault prognosis model based on CNN-LSTM-LOF摇2摇 TE 过程验证2郾 1摇 故障数据集采用 TE 过程数据集对所提出的故障预测模型进行验证。TE 过程数据集模拟工业生产过程中的数据检测过程,
16、同时模拟了 21 种不同故障条件下数据的变化情况,因此被广泛应用于故障诊断以及故障预测的模型验证中20。如表 1 所示,数据集中一共包括 21 种故障类型。在每一种故障数据集中共有 52 个观测变量,其中 21 个变量是连续过程的观测变量,19 个变量是成分变量,12 个是操纵变量。由于故障预测依靠连续的时间序列来预测之后的状态,因此这里选择 21 个连续变量作为验证数据集,即作为模型的输入。故障 IDV1 7 与被观测变量的阶跃变化有关,故障 IDV8 12 的发生是由于观测变量的随机变化,故障 IDV14、15 和 21 与阀门有关,故障 IDV16 20 是没有被定义的故障,即故障原因不
17、明。为了验证本文所提模型可以有效地进行321第 1 期摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 程志磊等:基于 CNN-LSTM-LOF 的过程故障预测模型故障预测,即对于多故障及单故障有良好的预测效果,选择故障 IDV1、4 和 5 测试模型对于阶跃故障的准确性,选择故障 IDV11 和12 来测试随机故障的发生情况,选择故障 IDV14 和15 来测试模型对于黏性故障的预测效果。每一种故障数据集均包含1 500 组数据,其中 1 000 个样本数据是正常操作下的,其余 500 组数据是故障情况下的数据。根据1郾 2 节的网络训练模型,本文从正常样本中提取 500组数据用于训练
18、 LOF 模型,得到故障阈值,其余数据作为测试集对故障进行预测。表 1摇 TE 故障过程Table 1摇 Tennessee-Eastman process faults故障编号故障描述故障类型IDV1 3物料含量改变阶跃IDV4反应器冷却温度改变阶跃IDV5冷凝器冷却温度改变阶跃IDV6物料缺失阶跃IDV7物料压力损失阶跃IDV8物料组成比例改变随机IDV9、10进料温度改变随机IDV11反应器冷却温度改变随机IDV12冷凝器冷却温度改变随机IDV13动力学参数改变漂移IDV14、15、21阀门粘住黏性IDV16 20未知未知2郾 2摇 模型超参数调优本文所提出的 CNN-LSTM-LOF
19、模型涉及较多的超参数,其中适应性矩估计(Adam)优化器中的学习率和迭代次数是两个重要的超参数,它们对于CNN-LSTM 网络的运行时间以及故障预测的准确性有很大的影响。为了确定 Adam 优化器中学习率的大小以及学习迭代次数,本文选择均方误差(mean squareerror,MSE)用于评估模型的性能。均方差为预测值与真实值之间差值的平方和的均值,利用均方差处处可导便于使用梯度下降法。MSE 可用于评价数据的变化程度,其值越小,说明模型的精准度越高。EMSE=1m移mi=1(yi-y忆i)2(7)式中,m 代表一次采样的样本数量,yi和 y忆i分别为真实值与预测值。图 3 显示了不同学习率
20、下 CNN-LSTM 及 LSTM方法的均方误差的变化情况。由图可知,学习率过大或过小都会导致均方误差收敛较慢,从而致使模型达到局部最优时间或运行时间过长。同时可以看出,使用 CNN-LSTM 方法明显比 LSTM 方法得到的均方误差更小,这主要是因为 CNN 对输入时间序列进行特征提取,使得 LSTM 预测的准确度更高。综合考虑 MSE 的收敛速度和所花费时间,本文选择模型的学习率为 0郾 01,迭代次数为 300。图 3摇 学习率对于 Adam 优化器的影响Fig.3摇 The effect of learning rate on the Adam optimizer摇另一方面,对本文所提
21、模型有较大影响的是训练出的 LOF 模型的准确率。由图 2 可知,模型在离线状态下通过训练正常样本数据得到故障阈值,以确定在线状态下采样窗口的数据是否超过阈值,从而判断是否存在潜在的故障。阈值的计算方式如式(8)所示,阈值权值为根据不同的训练样本通过实验产生的经验值。Threshold=琢*max(anomaly_cnt)(8)式中,琢 为设置故障阈值的权重,anomaly_cnt 为异常值的个数。经实验确定,异常值的比例为0郾00006。CNN-LSTM 模型的其他超参数如表 2 所示。2郾 3摇 实验结果分析将所提模型对于每一种故障数据集均进行了验421北京化工大学学报(自然科学版)摇 摇
22、 摇 摇 摇 摇摇摇 摇 摇 摇 摇 摇 摇 摇 2024 年表 2摇 CNN-LSTM 模型的超参数Table 2摇 Hyper鄄parameters of the CNN-LSTM model超参数符号表示数值卷积核数目filters8卷积窗口长度kernel_size13Adam 优化学习率learning_rate0郾 01迭代次数epoch300批训练大小batch_size25证。以 IDV12 故障为例,图 4 展示了模型预测值与实际值的对比情况,图中虚线代表 LOF 在离线状态下正常样本中训练出的故障阈值。由图可知,此时故障阈值为 25,当大于此阈值时即认为发生故障。从图 4
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 CNN LSTM LOF 过程 故障 预测 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。