大坝渗流安全监测数据异常检测的改进DSAE模型.pdf
《大坝渗流安全监测数据异常检测的改进DSAE模型.pdf》由会员分享,可在线阅读,更多相关《大坝渗流安全监测数据异常检测的改进DSAE模型.pdf(11页珍藏版)》请在咨信网上搜索。
1、第 42 卷第 10 期 水 力 发 电 学 报 Vol.42,No.10 2023 年 10 月 Journal of Hydroelectric Engineering Oct.2023 收稿日期:收稿日期:2023-04-22 接受日期:接受日期:2023-06-13 基金项目:基金项目:国家自然科学基金雅砻江联合基金(U1965207)作者简介:作者简介:余红玲(1994),女,博士生.E-mail: 通信作者:通信作者:王晓玲(1968),女,教授.E-mail: 大坝渗流安全监测数据异常检测的改进 DSAE 模型 余红玲1,王晓玲1,程正飞2,喻葭临2,吴国华1,郑鸣蔚1(1.天津
2、大学 水利工程仿真与安全国家重点实验室,天津 300072;2.水电水利规划设计总院,北京 100120)摘摘 要:要:针对现有大坝渗流安全监测数据异常检测方法存在检测效率和精度较低的不足,以及在异常阈值拟定过程中大多未能综合考虑监测数据随机性和模糊性的问题,提出大坝渗流安全监测数据异常检测的改进深度稀疏自编码器(deep sparse autoencoder,DSAE)模型。在以奇异谱分析方法提取监测数据残差分量的基础上,采用基于混沌初始化和非线性飞行速率改进的天鹰优化(improved Aquila optimization,IAO)算法对 DSAE 的超参数进行优化,建立 IAO-DSA
3、E 模型,实现对监测数据残差分量的高精度重构;然后,在异常阈值的拟定过程中,将逆向云算法中的期望和熵值分别替代传统 3 法中的均值和标准差,以综合考虑监测数据的随机性和模糊性对异常阈值拟定的影响,提高异常检测结果的可靠性。工程案例研究表明,相比于基于统计模型法和 3 法的异常检测方法,根据所提方法处理后的渗流安全监测数据建立的预测模型,预测精度的平均提高幅度分别为 5.56%和 6.99%,验证了所提方法的有效性。关键词:关键词:渗流安全;异常检测;深度稀疏自编码器(DSAE);逆向云;改进天鹰优化(IAO)算法;奇异谱分析 中图分类号:中图分类号:TV698.1+2 文献标志码:文献标志码:
4、A DOI:10.11660/slfdxb.20231012 论文引用格式:论文引用格式:余红玲,王晓玲,程正飞,等.大坝渗流安全监测数据异常检测的改进 DSAE 模型J.水力发电学报,2023,42(10):128-138.YU Hongling,WANG Xiaoling,CHENG Zhengfei,et al.Improved DSAE model for anomaly detection of dam seepage safety monitoring data J.Journal of Hydroelectric Engineering,2023,42(10):128-138.(
5、in Chinese)Improved DSAE model for anomaly detection of dam seepage safety monitoring data YU Hongling1,WANG Xiaoling1,CHENG Zhengfei2,YU Jialin2,WU Guohua1,ZHENG Mingwei1(1.State Key Laboratory of Hydraulic Engineering Simulation and Safety,Tianjin University,Tianjin 300072,China;2.China Renewable
6、Energy Engineering Institute,Beijing 100120,China)Abstract:Dam seepage safety monitoring suffers a drawback of low detection efficiency and low accuracy by previous abnormal detection methods,and a problem that most of them fail to consider comprehensively the randomness and fuzziness of monitoring
7、data in formulating the abnormal threshold values.This paper presents an improved deep sparse autoencoder(DSAE)method for the anomaly detection of dam seepage safety monitoring data.This method optimizes the hyperparameters of DSAE by using the improved Aquila optimization(IAO)algorithm based on cha
8、otic initialization and nonlinear flight rate,and extracting residual component of monitoring data by the singular spectrum analysis method.The new IAO-DSAE method so obtained can realize a high-precision reconstruction of the residual 余红玲,等:大坝渗流安全监测数据异常检测的改进 DSAE 模型 129 components of monitoring dat
9、a.To improve the reliability of anomaly detection,we modify the process of anomaly threshold formulation by adopting the expectation and entropy of the reverse cloud algorithm in replacement of the mean and standard deviation used in the traditional 3 method,so as to achieve a comprehensive consider
10、ation of the influence of randomness and fuzziness of monitoring data on the formulation.An engineering case study shows that compared with the anomaly detection methods based on statistical model method and 3 method,the prediction based on the seepage safety monitoring data that are processed by ou
11、r new method can raise the accuracy by 5.56%and 6.99%,respectively,verifying the applicability and effectiveness of the new method.Keywords:seepage safety;anomaly detection;deep sparse autoencoder(DSAE);reverse cloud;improved Aquila optimization(IAO)algorithm;singular spectrum analysis 0 引言引言 大坝渗流安全
12、监测数据是分析和评价大坝渗流性态的重要基础。然而,人为原因、外界干扰和设备故障等因素1-2导致大坝渗流安全监测数据中不可避免地存在一定量的异常值。这些异常值对于大坝渗流性态的分析和评价具有较大影响。因此,对大坝渗流安全监测数据中的异常值进行检测,保证大坝渗流安全监测数据的准确性和可靠性,对于大坝渗流性态的分析和评价具有重要意义。传统的大坝安全监测数据异常检测方法主要有过程线法、统计概率法和数学模型法等。然而,传统的异常检测方法对专家经验水平的依赖性较强,耗时耗力、效率较低,且容易出现“判多为少”和“判有为无”的情况3。随着人工智能技术的迅速发展,许多机器学习算法也逐渐应用于大坝安全监测数据的异
13、常检测研究中。例如,张晓4、Song 等5和刘燚等6采用聚类方法对监测数据中的异常值进行了检测;Yang 等7提出了基于改进局部离群因子的混凝土坝变形异常值检测方法;张海龙等8和赵新华等9基于孤立森林法对大坝监测数据进行了异常检测;Pyayt 等10、Fisher 等11和 Salazar 等12基于一类支持向量机对大坝监测数据中的异常值进行了识别;Li 等13、Hellgren 等14和 Chen 等15通过建立预测模型,对大坝监测数据的异常值进行了检测;王丽蓉等16、Shao 等17和 Zheng 等18基于图像学习技术开展了大坝监测数据的异常检测研究;曹翔宇19、Shu 等20和 Oze
14、lim 等21基于自动编码器对大坝监测数据进行了异常检测。自动编码器是一种无监督网络模型,可以从输入数据中学习其深层表示,从而利用网络的重构误差实现数据的异常检测22。基于自动编码器的异常检测方法原理简单、易于实现。然而,现有研究大多基于经验试算确定模型超参数,容易影响模型对数据的重构精度,且大多采用 3 准则确定异常阈值,未能综合考虑渗流安全监测数据的随机性和模糊性,导致异常检测结果的可靠性较低。智能优化算法是确定模型超参数的有效选择,其中天鹰优化器(Aquila optimizer,AO)是Abualigah 等23于 2021 年提出的一种新型智能优化算法,具有较强的全局搜索能力和较快的
15、收敛速度。然而,AO 算法采用简单的随机方式对种群初始化,难以保证初始化种群分布的均匀性和多样性,并且在开发阶段容易陷入局部最优。相关研究表明24-26,通过混沌映射产生的混沌序列具有规律性、遍历性、随机性等特点,能够增强种群的均匀性和多样性。而非线性飞行速率更新策略对增强算法局部搜索能力具有重要作用。因此,本研究提出基于混沌初始化和非线性飞行速率更新策略改进的 AO(improved Aquila optimization,IAO)算法,对深度稀疏自编码器(deep sparse autoencoder,DSAE)的超参数进行自适应调优,从而提高 DSAE的数据重构精度。此外,逆向云算法是云
16、模型中云的一种生成算法,其本质是一个参数估计过程,即利用统计学方法对数据样本进行参数估计,从而得到云的数字特征。逆向云算法具有云模型能够综合考虑数据中随机性和模糊性的优势,从而为确定可靠的异常阈值提供了一种新的思路。综上所述,针对现有大坝渗流安全监测数据异常检测方法检测效率和精度较低,且在异常阈值拟定过程中大多未能综合考虑监测数据随机性和模糊性的问题,提出一种大坝渗流安全监测数据异常130 水力发电学报 检测的改进 DSAE 模型。其中,采用基于 IAO 算法优化的 DSAE 模型对渗流安全监测数据残差分量进行高精度重构,并基于逆向云算法拟定异常阈值,从而提高大坝渗流安全监测数据异常检测的准确
17、性和可靠性。1 基于基于 IAO-DSAE 的大坝渗流安全监测数据重构方法的大坝渗流安全监测数据重构方法 大坝渗流安全监测的原始数据通常呈现出非线性非平稳特点,若直接对其进行异常检测则难以保证检测效果1。由于原始监测数据的残差分量能够保留环境和结构变化导致的异常数据特征,故采用分解方法分离出原始监测数据的趋势分量,再基于剩下的残差分量进行异常检测能够有效保证异常检测效果。奇异谱分析(singular spectral analysis,SSA)是一种非参数分解方法,能有效提取时间序列数据中的趋势性分量和残差分量27。SSA 主要包括嵌入、奇异值分解、分组和对角平均四个步骤,其具体实现过程可参考
18、相关文献28-29。本文在采用奇异谱分析提取大坝渗流安全监测数据的残差分量之后,再采用基于 IAO 算法优化的 DSAE 对其进行数据重构,以提高异常检测结果的准确性和可靠性。1.1 深度稀疏自编码器模型深度稀疏自编码器模型 1.1.1 稀疏自编码器稀疏自编码器 自动编码器是一种由编码器和解码器组成的无监督机器学习算法,其基本思想是分别采用编码器和解码器对输入数据进行降维和重构,通过训练降低重构数据和输入数据之间的重构误差,从而学习数据的内部特征表示30。通过重构数据,自动编码器从数据中学习复杂的高维特征,具有增强正常数据与异常数据可分性的优势31。自动编码器是一个具有对称结构的三层前馈神经网
19、络,其结构如图 1 所示。编码过程和解码过程可表示为:11()()hf xsxbW(1)T22()()yg hshbW(2)式中:x 为输入数据,即通过 SSA 提取的大坝渗流安全监测数据的残差分量;h 为编码后的数据;y为大坝渗流安全监测数据残差分量的重构数据;W 和1b分别为输入层到隐藏层的权重矩阵和偏置;TW和2b分别为隐藏层到输出层的权重矩阵和偏置;1s和2s均为非线性函数,通常可选择 sigmoid 函数。自动编码器的学习目标是使得重构数据和输入数据尽可能的接近,即最小化重构误差的值,则自动编码器的损失函数可表示为:211(,)()liiiL x yxyl(3)式中:l为大坝渗流安全
20、监测数据残差分量的训练样本个数;(,)L x y为大坝渗流安全监测数据残差分量的重构误差。图图 1 自动编码器结构示意图自动编码器结构示意图 Fig.1 Schematic of the autoencoder 由于自动编码器需要更新的参数较多,训练时间较长32,Olshausen等33提出了稀疏自编码器(spare autoencoder,SAE)。SAE通过向自动编码器中添加稀疏性限制的方法实现对数据特征的稀疏提取,可减少整个模型需要更新的参数数量,提高特征提取的效率,增强自动编码器的性能34。为了实现自动编码器隐藏层的稀疏性限制,SAE将在自动编码器的损失函数中添加一个惩罚 因子,通常选
21、取如下式所示的相对熵(|)LjK 作 为该惩罚因子:(1)(|)lg(1)lg(1)LjjjK(4)式中:为期望稀疏性参数;j为隐藏层神经元j的平均稀疏激活度。j的计算公式如下:11()ljjiiaxl(5)式中:ix为大坝渗流安全监测数据残差分量的第i(1,2,)il个训练样本;()jia x为输入为ix时隐 余红玲,等:大坝渗流安全监测数据异常检测的改进 DSAE 模型 131 藏层神经元j的激活值。在自动编码器的损失函数中添加稀疏性限制条件后,SAE的损失函数可表示为:SAEAE1(,)(,)(|)mLjjLx yLx yK(6)式中:SAE(,)Lx y为SAE的损失函数;AE(,)L
22、x y为 式(3)所示的自动编码器的损失函数;为稀疏性限制条件的权重系数;m为隐藏层神经元的数目。1.1.2 深度稀疏自编码器深度稀疏自编码器 稀疏自编码器属于浅层网络,难以提取数据的深层特征。针对该问题,通过建立深度稀疏自编码器(deep spare autoencoder,DSAE),以前一层稀疏自编码器的隐藏层输出作为后一层的输入,从而实现深层特征的提取,如图2所示。DSAE的训练分为预训练和微调两个阶段。在预训练过程中,由于DSAE属于深度神经网络模型,传统训练方法会导致出现“梯度消失”问题,故可采用逐层训练每个稀疏自编码器的方法30。预训练完成后,再采用BP算法对DSAE进行微调:首
23、先,根据正向传播过程,求出大坝渗流安全监测数据残差分量输入数据的重构数据;然后,根据误差反向传播过程,采用梯度下降算法对权值和偏置进行反向更新30,以进一步优化模型参数。图图 2 深度稀疏自编码器结构示意图深度稀疏自编码器结构示意图 Fig.2 Schematic of deep sparse autoencoder 1.2 改进的天鹰优化算法改进的天鹰优化算法 针对传统天鹰优化算法采用简单的随机方式对种群初始化,难以保证初始化种群分布的均匀性和多样性,且在开发阶段容易陷入局部最优的问题,基于混沌理论中的Tent混沌映射和非线性飞行速率更新策略对传统天鹰优化算法进行改进,进而提出改进的天鹰优化
24、(IAO)算法。Tent混沌映射是一个二维混沌映射,具有均匀的分布函数和良好的相关性。Tent混沌映射通过将传统的正态分布序列转换为混沌序列,能够增强种群间不同个体之间的联系,增加初始种群整体的随机性,从而提升算法前期的全局搜索能力。采用 Tent混沌映射生成混沌序列初始化天鹰位置,i jx的 过程如下:首先,由Tent混沌映射生成混沌序列:,1,12 0212(1)12i ji ji ji ji jxxxxx(7)式中:1,2,iN,N为种群中天鹰的总数;1,j 2,D,D为待优化超参数的维数;,i jx为0,1内 的随机值。然后,将式(7)中的混沌序列映射到解的搜索空间,得到混沌初始化种群
25、:new,1,1()i jji jjjxLBxUBLB(8)式中:jLB和jUB分别为第j维待优化参数取值的 下界和上界。天鹰优化算法的全局搜索能力较强,但其局部开发能力较弱,容易陷入局部最优解而导致寻优精度降低。虽然天鹰优化算法在开发阶段中引入了随机性较强的莱维(Levy)飞行策略,增强了算法跳出局部最优的能力,但是莱维飞行策略在迭代后期容易出现搜索距离过大而导致难以发现全局最优 位置的问题。天鹰飞行速率2G是天鹰优化算法在 缩小开发阶段中的一个重要参数,对于提高算法优 化性能具有重要意义。然而,天鹰飞行速率2G随 着迭代次数的增加而呈现线性下降的变化趋势。相关研究35-37表明,智能优化算
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大坝 渗流 安全 监测 数据 异常 检测 改进 DSAE 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。