智能运维中多维监测指标异常定位算法及试验研究.pdf
《智能运维中多维监测指标异常定位算法及试验研究.pdf》由会员分享,可在线阅读,更多相关《智能运维中多维监测指标异常定位算法及试验研究.pdf(3页珍藏版)》请在咨信网上搜索。
1、中国新技术新产品2024 NO.2(下)-4-高 新 技 术智能运维系统中的异常信息发生在监测时段内,但是监测模型对时间与异常之间的关联性反映不足。构建一种能够识别异常现象以及对应发生时刻的算法模型具有突出的实践价值。同时,多维监测指标对异常信息的影响程度存在主次之分,算法模型应该具备分析根本原因的功能。1 基于变分循环网络的异常定位算法1.1 异常定位算法的实施流程智能运维系统中存在多种维度的监测指标,当部分指标在监测时间内出现异常时,要求算法工具能够在相关的时间序列内检测出异常时刻。假设时刻t为监测时序中的一个时间节点,数据集 xt-N,xt-1,xt 为时刻 t 之前的历史监测数据。基于
2、变分循环网络(Variational Recurrent Neural Network,VRNN)的异常定位算法可用于检测异常时刻,其实施流程为利用最小化损失函数训练多维监测指标数据,形成异常定位模型。计算模型重建概率,判断重建概率是否大于设定的阈值,当判断结果为大于时说明数据异常。1.2 基于 VRNN 网络的异常定位算法建模在异常检测中,变分自编码器(VAE)的使用十分广泛,但是以 VAE 为基础的检测方法并没有考虑时间序列内时间的相关性,而 VRNN 网络以 VAE 和长短期记忆(LSTM)网络为基础,VAE 网络模块分布在每个时刻 t 上,长短期记忆网络的状态变量(记为 ht-1)是
3、VAE 网络模块在时刻 t 的重要条件。在此基础上,VRNN 网络模型能够反映监测数据的时序特征,进而定位异常数据对应的时间点,其网络结构如图 1 所示。其中,xt和 zt分别为 VAE 模型在时刻 t 的输入变量和隐藏变量1。xt为矢量数据,如果以智能运维系统中的数据为标量,就需要对其进行矢量化表示,可采用滑动窗口技术实现。VAE 是 VRNN 的重要基础,因此 VRNN 中也存在隐蔽变量 z,其先验分布参数的数学表达如公式(1)所示。tprior(ht-1)=ztN(ztprior,(ztprior)2I),ztprior,ztprior(1)式中:zt为隐藏变量 z 随时间的先验分布;z
4、tprior,ztprior为 zt中的参数,分别为该分布的均值和标准差;函数 tprior为神经网络,其输入参数为 ht-1;I 为指示策略;N 为采样集。该先验分布表达式在智能运维监测数据和时间序列之间建立了关联。从公式(1)可知,tprior主要取决于 2 个参数。将 ht-1的非线性映射结果记为 ht-1,其运算过程如公式(2)所示。ht-1=ReLU(linear(ht-1)(2)式中:linear()、ReLU()分别为线性变换函数、一种非线性激活函数;ztprior,ztprior2 个参数的计算方法均与 ht-1有统计学意义,具体计算过程如公式(3)、公式(4)所示。ztpri
5、or=linear(ht-1)(3)ztprior=Softplus(linear(ht-1)(4)式中:Softplus 为另一种非线性激活函数。求解标准差可通过该激活函数和(服从标准正态分布的变量)导出 x和 z。VRNN 网络能够重新构建 xt,重构过程与隐藏变量在前一时刻的状态变量以及其随时间的先验分布有统计学意义,其解码过程与 VAE 网络模块的解码原理基本一致。以高斯分布描述经过重建的 xt,采集隐藏变量的近似后验分布样本,通过 VRNN 解码网络的映射变换获取 xt重建时的参数分布,重构过程如公式(5)所示。xt|ztN(xt2xtI),xt,xt=dec(z(zt),ht-1)
6、(5)式中:当以高斯分布表示重构的 xt时,需要引入对应的均值参数和标准差参数 xt、xt;z(zt)为神经网络的特征提取阶段,用于从隐藏变量中提取有效的特征点;dec()为神经网络模型的解码阶段,以重构的 xt为数据,经过解码后生成参数分布。Softplus、ReLU 这 2 种激活函数可构建出神经网络特征提取阶段和解码阶段的函数表达式2。VRNN 网络模型在迭代的过程中需要更新隐藏状态,参数 ht也随之变化,ht与 ht-1之间的关系如公式(6)所示。ht=f(x(xt),z(zt),ht-1)(6)式中:f为 LSTM 网络的运行机制。通过以上分析可知,VRNN 网络兼顾了长短期记忆网络
7、的时序特征和变分自编码器的隐藏变量,形成了具备时序特征的建模能力。2 优化根因分析算法在智能运维系统的多维指标监测中,除了定位异常指标及其发生的时间点,还需在此基础上进一步分析异常的原因,根因分析算法用于确定系统运维数据异常的根本原因。传统的根因分析算法采用 MCTS 原理,但是该算法在实际使用中存在一定的局限性,因此本研究以该算法为基础,建立了一种优智能运维中多维监测指标异常定位算法及试验研究耿玉冰1赵剑飞1汪德军2(1.上海大学,上海 200444;2.华能贵州清洁能源分公司,贵州 贵阳 550081)摘 要:智能运维系统涉及多种维度的监测指标,系统的重要功能是异常信息检测和原因自动化分析
8、。本研究基于变分循环网络建立了异常信息时序定位算法,利用蒙特卡洛树搜索(Monte Carlo Tree Search,MCTS)设计针对多维因素的根因分析优化方法。利用系统实际监测数据训练算法模型,并对其性能进行检验。结果显示,与对照组相比,设计算法在精确率、召回率等方面具有优势。关键词:智能运维;多维监测指标;异常定位算法;性能试验中图分类号:TP31文献标志码:A中国新技术新产品2024 NO.2(下)-5-高 新 技 术化的根因分析算法,实现过程如下。2.1 定义算法中的符号智能运维系统的监测指标通常具有多个维度,即使确定了指标异常的具体时间点,但是各属性在异常现象中的作用有所差异,问
9、题也无法解决。因此只有确定根因属性的组合,才能为异常问题的解决创造条件3。智能运维系统的监测数据由事件、时间戳以及属性值组成。事件包括多个属性,例如所在省份(记为 P)、通信频道(记为 C)、数据中心(记为 D)以及运行商类型(记为 I)。1 个事件记为 E(P,I,D,C),示例为(北京,电信,DC1,Channel3)。时间戳为系统检测出的事件发生的具体时间点。将根因分析算法中的异常属性组合记为 e=(p,i,d,c),其中的 4 个属性为各自对应属性集中的 1 个元素。将所有属性组合 e 组成 1 个集合,将该集合记为 LEAF,元素 e 在时间尺度下的实际值记为 v(e),其对应值记为
10、 Value。2.2 计算潜在分数为了以形象化的方式表示多维监测指标,在分析过程中引入数据立方体(Data Cube)模型,其作用为支持多维度数据查询。根因集合中存在多个元素,其中任一元素的变化都会在数据立方体中产生影响,使后者发生一定程度的变化。元素 e 是否属于集合 LEAF 的判断条件为 e 中是否存在通配符*,如果存在,则 e 不属于 LEAF。将元素 e 在数据立方体中的子代元素记为 e,而元素 ei属于子代元素集合,记为ei Desc(e)4。当元素 e 发生变化时,将其变化量记为 h(e),如公式(7)所示。h(e)=f(e)-v(e)(7)式中:f(e)为对元素 e 的预测值,
11、可将元素 e 相应历史数据的均值赋值给 f(e);v(e)为智能运维监控系统在数据立方体下的实测结果;作为 e 的子代元素,ei的预测值为 f(ei),其在元素 e 中占有一定的比例,该比例关系记为 a(ei),其计算过程如公式(8)所示。a ef eh ef ef ef ei(),?0(8)但是需要注意,在不同维度拆分下元素 e 存在很多可能性,例如当 e=(p1,i1,d1),则 e 有可能是(p1,i1,*)、(p1,*,d1)或者(*,i1,d1)。因此,当对不同维度、不同集合的某一元素进行推导时,得到的 a(ei)也存在差异。潜在分数的计算阐明了根因集合中的元素对根因分析的整体影响程
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 智能 运维中 多维 监测 指标 异常 定位 算法 试验 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。