行业卷烟生产经营决策管理系统运维工作详述.doc

附件：行业卷烟生产经营决策管理系统运维工作详述第90期 一、工业企业维护情况使用决策管理系统的工业企业包括：16家中烟工业公司，中烟实业发展中心，上海烟草（集团）公司，总厂28家，分厂80家。本期共受理工业企业突发事件257个。具体见下表：表一、工业企业运行情况表事件分类事件数（个）占事件总量（%）已解决（个）打 码3212.531扫 码207.820数据采集3112.131管 理 机10741.6107接 口31.23数据统计187.018基础代码72.77国家局端3714.437其 他20.82总 计257100.0256引发事件的主要原因统计分析如下图所示：图.事件按故障根源统计所占比例分布图（工业）注：目前尚有1个事件未确定故障根源。本期主动监控发现各类事件67个，占所有突发事件的26.1%。监控类事件详细分类如下表所示：类型事件总计（个）故障原因数量（个）管理机端51文件系统剩余空间不足27表空间剩余不足4硬件故障6MQ传输通道异常5应用异常2服务器时间异常7停机（断电或人为关机）0数采上报16系统环境14人为原因2接口因素0本期工业方面的重要事件：1.12月8日，贵州中烟反映近期多次发生WAS服务切换现象，且WAS服务器宕机。运维人员经详细排查，初步确定WAS服务切换是由于服务器系统环境异常所致；赴现场为客户调整了系统环境，系统已恢复正常。2.12月9日，河北白沙烟草有限责任公司反映不能正常上报11月份月报。运维人员经详细排查，发现客户的CDBOLD数据库部分表的表结构发生变动，导致部分月报的审核页面无法打开；为用户重新恢复了这部分表后，页面恢复正常，数据成功上报国家局。3. 12月15日晚9点，重庆卷烟厂反映MQ服务器宕机，公司下发的计划无法处理。运维人员手动为客户下发了计划，确保客户的正常生产，并在WAS服务器上重建了MQ通道及队列，系统运行恢复正常；远程排查初步确定MQ宕机原因是主板故障，已赴现场为客户更换了出现故障的硬件。4.12月15、17日，川渝中烟、广东中烟、陕西中烟及云南中烟在分解2010年度的结转计划出错。经详细分析，分解出错的原因皆为1至11月各中烟的产量出现超出计划量或未达到计划量的交错情况，需要重新调整前11个月的计划量，使其与下达量一致，才能正常下发结转量；目前运维人员已协助各中烟顺利下达2010年度的剩余计划量和结转量。512月21日，贵州中烟反映登录本地决策管理系统页面显示异常。运维人员经详细排查，发现客户的WAS服务器宕机，WAS服务切换到DB2服务器上，但由于切换时中文环境未加载成功，导致客户数据采集相关页面显示乱码；为其调整环境变量，重启服务加载中文环境成功，系统登录正常。WAS服务器宕机的原因确定为CPU卡故障，已赴现场为客户更换了故障的硬件。二、商业企业维护情况使用决策管理系统的商业企业包括：33家省级局（包括深圳、大连两个计划单列市），346家地市公司。本期共受理商业企业事件545个。具体见下表：表二、商业企业运行情况表事件分类事件数（个）占事件总量（%）已解决（个）扫 码397.2 39工商数采14927.3 149管 理 机24044.0 240接 口8515.6 85数据统计71.3 7基础代码254.6 25国家局端00.0 0其 他00.0 0总 计545100.0545引发事件的主要原因统计分析如下：图.事件按故障根源统计所占比例分布图（商业）本期主动监控发现各类事件253个，占所有突发事件的46.4%。监控类事件详细分类如下表所示：类型事件总计（个）故障原因数量（个）管理机端194文件系统剩余空间不足74表空间剩余不足10硬件故障0MQ传输通道异常69应用异常3服务器时间异常12停机（断电或人为关机）26数采上报59系统环境13人为原因45接口因素1本期商业方面出现的重要事件：1.12月8日，河南周口市公司无法打开本地决策管理系统页面。运维人员经排查发现管理机上的web.xml配置文件中存在乱码，删除web.xml文件中的乱码并重新启动应用后，故障得到排除。2.12月13日，辽宁省局反映无法登录本地决策管理系统。运维人员经排查发现系统在进行管理机端升级（数据统计应用项目）、修改文件系统后没有在HA中同步；为其同步并重启HA服务后，故障得到排除。3.12月20日，陕西省局反映无法登录本地决策管理系统。运维人员经详细排查，发现管理机端配置存在错误，为其调整相应配置（子系统管理项类型修改为“普通应用B/S结构”）后，故障得到排除。4.12月31日，上海烟草集团、贵州省局、湖南省局无法登录本地决策管理系统。运维人员排查发现管理机端ResouceOne产品许可证书错误，经协调相关方替换license许可证后，故障得到排除。三、国家局数据中心维护情况本期国家局数据中心受理事件3个。（详见表三） 表三、数据中心运行情况表事件分类事件数（个）占事件总量（%）已解决（个）代码系统133.31工商数采00.00平台系统266.72生产系统00.00数据展现00.00其 他00.00总 计3100.03引发事件的主要原因统计分析如下：图. 事件按故障根源统计所占比例分布图（国家局数据中心）本期国家局出现的重要事件：12月23日，国家局数据加工过程异常中断。运维人员经排查发现是由于基础表数据错误，导致加工数据调用无法执行，手工调整后重新进行数据加工后系统恢复正常。第 7 页