运维中自动化监控和预警方法研究.pdf

故障诊断与处理Trouble Shooting/运维中自动化监控和预警方法研究I陕西郭朋杨晓良编者按：介绍在信息系统运维中对后台进程运行状态实现自动化监控和预警的方法，有效预防后台进程掉线的系统性风险。笔者负责运维一个核心业务系统（以下简称JCPT)，该系统主要功能是通过整合多个生产信息系统的相关数据，构建基础数据平台，从而实现数据集中与信息共享。JCPT分为总公司和分公司两级，两级JCPT的数据均来自基层单位，基层单位各生产系统通过后台报告上传进程，将数据传输至两级JCPT。为保证报告上传质量，总公司对所有分公司和基层单位上传的报告实行多项指标考核。近期，该系统多次出现因基层单位后台报告上传进程掉线，导致考核指标下滑。作为分公司JCPT运维人员，笔者函需找到解决方案，预防基层单位后台报告上传进程掉线的系统性风险。故障问题分析JCPT数据采集架构如图1 所示。基层单位的报告上传至分公司MQ服务器，由分公司三级转发平台分别向本地队列和远程队列转发。本地队列由分公司的报告接收程序取出，对报文进行解析后，写入分公司数据库。远程队列转发至总公司MQ队列，传输至总公司MQ服务器，由总公司报告接收程序解析后，写入总公司数据库。最终，分公司和总公司均通过网页程序对入库的数据进行统计、分析和报告接收服务器MQ服务8报告接收服务器数据库MQ服务器A类报告展示，以此实现数据集中与信息共享。由此可见，在整个数据传输流程中，基层单位是两级JCPT的数据来源，基层单位后台报告上传进程是保证两级JCPT数据及时性和准确性的关键。因此，解决基层单位后台报告上传进程掉线问题，对报告上传质量、考核指标，以及提高两级JCPT数据准确性，具有重要意义。笔者通过对基层单位报告上传进程的深入研究和分析，总结出后台报告上传进程掉线的主要原因有以下几点。1.后台进程健壮性和稳定性不足，存在自动掉线问题，同时缺少程序自检和数据补传功能。2.缺乏对后台进程的监控手段。由于后台进程数据库.B类报告类报告图1 JCPT数据采集架构JCPT网页JCPT网页D类报告总公司分公司基层单位投稿信箱 2023.8151Trouble Shooting故障诊断与处理/责任编辑赵志远的多样性和分散性，每个基层单位均部署多个报告上传进程，导致分公司JCPT运维人员无法及时查看各基层单位后台进程状态。3.基层单位信息人员缺少对后台进程运行状态及考核指标的关注，同时考核指标计算又存在滞后性，无法及时发现问题。解决思路和方法基于以上问题，如果实现对所有基层单位后台报告上传进程的监控和异常情况预警，则可以有效防止后台进程掉线问题。笔者在无法直接对后台进程进行统一监控和管理的情况下，通过深入分析系统数据流向、存储机制和业务规则，得出以下结论和解决思路。基层单位后台报告上传进程将数据通过MQ分别传输至分公司和总公司两级JCPT。正常来说，只要MQ传输通道配置无误，传输通道状态正常，报告传到分公司也说明同时传到了总公司。因此，通过分析分公司JCPT报告接收情况，就可以实时监控各基层单位报告传输情况。分公司JCPT通过报告接收程序，对所有基层单位上传的报文进行解析并入库，入库的日志信息保存在数据库日志表report_log中，通过分析日志表中报告的入库信息，就可以掌握分公司JCPT报告接收情况。在图1中，每个基层单位均向两级JCPT上传多种类型的报告，图中用A、B、C、D 类报告表示。每类报告对应一类生产业务、一个后台报告上传进程及一个信息系统，每个基层单位部署多个报告上传进程。由于每类报告涉及业务不同，根据业务规则，对每类报告设置一个最大时间差（业务规则最大时间差），超过该时间差没有此类报告上传，则判定为异常情况。通过对每个基层单位每类报告最新上传的一份报告的入库时间距离、当前计算时间的时间间隔和业务规则最大时间进行比较，间接判断后台进程是否掉线，从而解决基层单位后台报告上传进程分散无法监控及总公司考核指标滞后的问题。后端通过存储过程对报告入库日志表进行分析和计算。数据处理的主要过程是：分析每个基层单位每一类型报告最后一次上传报告的入库时间，与当前时间求差得到时间间隔，再根据业务规则每类报告的最大时间差，判断该基层单位的该类型报告在该时间间隔内没有报告上传是否正常；通过定时任务，实现后台存储过程定时自动执行，每日整点进行计算，保证数据定时自动更新。以A类报告为例，对于一个基层单位，该基层单位管辖的所有子单位均通过在该基层单位部署的A类报告上传进程实现数据上传，在报告入库日志表report_log中，查找到该基层单位所有子单位的A类报告中最新上传的一份A类报告，并将报告单位、报告类型、报告版本、报文名称和入库时间写入数据表report_analyse中，对所有基层单位进行遍历，得到每个基层单位最新上传的A类报告信息。该数据处理过程的核心代码如图2 所示。最后，计算每个基层单位最新上传A类报告的入库时间和程序计算时间的时间间隔，判断该时间间隔是否在业务规则最大时间差范围内（A类报告设置为4h），以此来推测和判断后台进程的状态。若时间间隔大于业务规则最大时间差，即某个基层单位超过4h没有上传A类报告，则认为有可能是后台进程掉线。对于这种情况，会在前端页面进行重点提示和预警。前端通过帆软报表，对分析后的数据表report_analyse进行展示，包括每个基层单位所 2023.8投稿信箱责任编辑赵志远Trouble Shooting故障诊断与处理有报告类型的最新上报单位、报告类型、报告入库时间和时间间隔。页面提供了单位名称和报告类型两种方式的条件查询。表1 是以报告类型进行查询，表2 是以单位名称进行查询。针对程序判断为异常的情况，会在该页面用红色重点显示。例如，对于表2 中单位的C类报告，最新一份报告入库时间和计算时间的间隔为3 h，超过C类报告的业务规则最大时间差（2 h），页面以红色标注进行重点提示和预警。通过该监控页面，可以直观地看出分公司管辖范围内所有基层单位的报告上传情况，实现对所有基层单位后台报告上传进程的监控。在该页面出现异常情况提示和预警时，分公司JCPT运维人员可以及时发现问题，提醒基层单位检查后台进程状态，从而有效防止后台报告上传进程掉线问题。通过实践和业务验证，该监控页面能够很好地达到预期效果，实现对分公司管辖范围内所有基层单位后台报告上传进程的监控和异常情况预警，便于及时发现问题，提升了各类考核指标值，化解了系统性风险，得到了业务部门和基层单位的广泛好评。结语本文提出的后台进程自动化监控方法，解决了JCPT涉及的各类报告上传进程分散，无法集中统一监控、管理和维护的问题。根据监控页面，可以轻松地掌握分公司管辖范围内所有基层单位的报告上传情况，对进程掉线起到了很好的提示和预警作用。一方面，提升了各类考核指标；另一方面，为运维人员提供便利的管理辅助工具。N二遍历所有基层单位，JCDWZD：基层单位字典forjcdvin(selectdumcfrom JCDWZD)100P本次循环的基层单位最新一份A类报告信息写入REPORT_ANALYSE表inSertinto REPORT_ANALYSE子单位代码，子单位名称，报告类型，报告版本，报文名称，入库时间select zdudm,zdumc,bglx,bgbb,bmc,rksj from-查找报告入库日志表REPORT_LOGselect*frOmREPORT_LOGtvhere一单位名称n（本次镭环的基层单位管结的所有子单位）：ZDWZD：、子单位字典t.dme in(select dhmc From ZDwzD where ssdhmc-jcdw.dumo)二报告类型一A类报告：andebglx-A类报告：一报告版本-1.0：and.t.bgbb-i.o.-入库标惠位=1andt.flag-1二一以入库时间例序排序order by t.rksy desc一筛选最新一份报告whererownum2commit,endloopi基层单位子单位报告类型序号报告最后间隔时间/h入库时间2023-05-111A2B3C4D5E基层单位序号子单位11A类报告16:12:352023-05-112B类报告16:40:45A2023-05-113C类报告14:29:042023-05-114qD类报告16:55:29图2 后台数据处理核心代码表1 前端页面展示-筛选报告类型mA类报告16:45:242023-05-11nA类报告16:37:252023-05-11qA类报告14:39:032023-05-11kA类报告16:12:292023-05-11A类报告16:28:54表2 前端页面展示-筛选单位报告类型入库时间报告最后间隔时间/h 2023-05-11103000211投稿信箱 2023.8153