客户系统健康检查报告.doc

客户系统健康检查报告232020年4月19日文档仅供参考XXXX客户系统健康检查报告一、综述3二、系统环境3核心业务系统3三、工作日志4四、系统健康检查详细列表41.核心业务系统4五、日常维护建议10六、故障出现时,系统处理的步骤11七、命令介绍11一、 综述应XXXX客户要求,倚博公司中间件技术专家针对客户的核心业务系统做了一次完整的系统健康检查。整体上讲,公司的核心系统运行比较稳定,故障率和客户业务系统的MTBF (Mean Time Between Failure)都比较小。但从系统维护的管理工作的规范和完善角度讲,还未建立完善中间件的维护,监控的方案。现阶段,主要是利用维护人员的现场应急处理经验保证系统的运行正常,未合理的规划维护流程,未确认中间件的监控指标,未建立完善的监控,预警和应急处理方案。本文档总结了这次现场工作的各项情况,并根据现场维护人员的要求,增加了系统维护方法的扼要说明。二、 系统环境核心业务系统客户系统名称:核心业务系统OS CPU:8OS Memory: 16 GBOS: Red Hat AS 4 KENERL: 2.6.9-42.ELsmpJBOSS Application Server 4.2.3JDK:Java(TM) 2 Runtime Environment, Standard Edition (build 1.5.0_17-b04)Java HotSpot(TM) Server VM (build 1.5.0_17-b04, mixed mode)三、 工作日志 6月5日 上午 9:30 系统健康检查四、 系统健康检查详细列表1. 核心业务系统 操作系统配置检查系统配置:名称建议值实际值是否符合要求操作系统版本Linux/HpRed Hat AS4Y主机名N/AApp1YCPU 1GHZ8*1.9G,Y内存 2G16GY磁盘空间20G360GY系统内核参数:名称建议值实际值是否符合要求说明文件句柄数4096或更大8192Y进程的最大文件句柄数JAVA虚拟机配置检查虚拟机安装路径:/opt/jdk1.5.0_17/名称建议值实际值是否符合要求说明JVM 版本1.5JDK 1.5.0_17YJVM HEAP初始值 -Xms514M1024MYJVM HEAP最大值 -Xmx512M-1536M1536MYPermsize64M256MJBOSS配置检查安装路径:/opt/jboss/jboss-4.2.3.GA参数值建议值说明线程数400一个CPU对应50个线程左右线程的个数应与CPU的处理能力匹配。JSP编译的调试信息标志falsefalse生产环境中建议将JSP编译调试功能关闭,减少因编译占用系统资源对系统的影响。开发模式的设置falsefalse应用使用的连接池数量400400生产环境中建议将连接的数量与线程总数保持统一。应用使用的连接池初始值100400最小值和最大值保持一致,避免运行状态在创立连接时消耗系统资源。连接池Prepared Statement Cache无10缺省JBOSS服务器是不会Cache Prepared Statement对象的,为了提高性能我们能够设定每个连接Cache的 Prepared Statement对象的个数运行期系统状态检查名称平均值峰值是否异常CPU35%以下60%未出现长时间CPU使用率超过100%内存使用3.5G以下无页交换的情况磁盘空间20%满足应用日志或者JBOSS日志所用磁盘空间要求网络流量200K/S800K/S无网络阻塞和网络风暴运行期虚拟机状态检查名称实际情况是否符合要求说明JVM HEAP最小值280MYJVM HEAP最大值1100MY为今天的观察结果运行期JBOSS组件状态检查名称正常值实际值是否符合要求说明线程使用情况使用率50%70%Y启动目录core文件的检查在JBOSS启动目录中发现”core”文件和”hs_err_pid*.log”的错误日志文件,说明系统出现过JVM core dump和异常退出故障,故障出现在一个虚拟机的解压缩操作,希望能经过进一步与开发商,维护人员沟通找出具体的故障原因,并提出解决方案。日志检查名称建议值实际值是否符合要求说明日志中Error信息检查Review All LogsReview All LogsN对日志中Error消息进行检查,参考下面例子。日志文件中发现错误信息如下:1) 启动JBoss时报如下错误:出现过一次22:53:52,907 ERROR MainDeployer Could not create deployment: file:/D:/新建文件夹/jboss-4.2.2.GA/server/default/conf/jboss-service.xml org.jboss.deployment.DeploymentException: - nested throwable: (java.lang.reflect.UndeclaredThrowableException) at org.jboss.system.ServiceConfigurator.install(ServiceConfigurator.java:196) at org.jboss.system.ServiceController.install(ServiceController.java:226) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) at org.jboss.mx.interceptor.ReflectedDispatcher.invoke(ReflectedDispatcher.java:155) at org.jboss.mx.server.Invocation.dispatch(Invocation.java:94) at org.jboss.mx.server.Invocation.invoke(Invocation.java:86) at org.jboss.mx.server.AbstractMBeanInvoker.invoke(AbstractMBeanInvoker.java:264) at org.jboss.mx.server.MBeanServerImpl.invoke(MBeanServerImpl.java:659) at org.jboss.mx.util.MBeanProxyExt.invoke(MBeanProxyExt.java:210) at $Proxy4.install(Unknown Source) at org.jboss.deployment.SARDeployer.create(SARDeployer.java:249) at org.jboss.deployment.MainDeployer.create(MainDeployer.java:969) at org.jboss.deployment.MainDeployer.deploy(MainDeployer.java:818) at org.jboss.deployment.MainDeployer.deploy(MainDeployer.java:782) at org.jboss.deployment.MainDeployer.deploy(MainDeployer.java:766) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) at org.jboss.mx.interceptor.ReflectedDispatcher.invoke(ReflectedDispatcher.java:155) at org.jboss.mx.server.Invocation.dispatch(Invocation.java:94) at org.jboss.mx.interceptor.AbstractInterceptor.invoke(AbstractInterceptor.java:133) at org.jboss.mx.server.Invocation.invoke(Invocation.java:88) at org.jboss.mx.interceptor.ModelMBeanOperationInterceptor.invoke(ModelMBeanOperationInterceptor.java:142) at org.jboss.mx.server.Invocation.invoke(Invocation.java:88) at org.jboss.mx.server.AbstractMBeanInvoker.invoke(AbstractMBeanInvoker.java:264) at org.jboss.mx.server.MBeanServerImpl.invoke(MBeanServerImpl.java:659) at org.jboss.mx.util.MBeanProxyExt.invoke(MBeanProxyExt.java:210) at $Proxy5.deploy(Unknown Source) at org.jboss.system.server.ServerImpl.doStart(ServerImpl.java:482) at org.jboss.system.server.ServerImpl.start(ServerImpl.java:362) at org.jboss.Main.boot(Main.java:200) at org.jboss.Main$1.run(Main.java:508) at java.lang.Thread.run(Unknown Source) Caused by: java.lang.reflect.UndeclaredThrowableException at org.jboss.system.ServiceCreator.install(ServiceCreator.java:236) at org.jboss.system.ServiceConfigurator.internalInstall(ServiceConfigurator.java:451) at org.jboss.system.ServiceConfigurator.install(ServiceConfigurator.java:171) . 36 more Caused by: java.lang.Error: ERROR: it turns out the root cause is not always a runtime exception! at org.jboss.mx.server.MBeanServerImpl.handleInstantiateExceptions(MBeanServerImpl.java:1295) at org.jboss.mx.server.MBeanServerImpl.instantiate(MBeanServerImpl.java:1237) at org.jboss.mx.server.MBeanServerImpl.instantiate(MBeanServerImpl.java:286) at org.jboss.mx.server.MBeanServerImpl.createMBean(MBeanServerImpl.java:344) at org.jboss.system.ServiceCreator.install(ServiceCreator.java:157) . 38 morejboss-service.x配置错误,经过修改具体错误配置,并解决了这个问题。2) NoClassDefFoundError错误,当前的类装载器不能找到这个类文件,频率:出现一次java.lang.NoClassDefFoundError: Could not initialize class org.jboss.aspects.security.SecurityActions$ContextInfoActions at org.jboss.aspects.security.SecurityActions.getContextException(SecurityActions.java:467) at org.jboss.aspects.security.AuthenticationInterceptor.authenticate(AuthenticationInterceptor.java:131) at org.jboss.aspects.security.AuthenticationInterceptor.invoke(AuthenticationInterceptor.java:66) at org.jboss.ejb3.security.Ejb3AuthenticationInterceptor.invoke(Ejb3AuthenticationInterceptor.java:110) at org.jboss.aop.joinpoint.MethodInvocation.invokeNext(MethodInvocation.java:101) at org.jboss.ejb3.ENCPropagationInterceptor.invoke(ENCPropagationInterceptor.java:46) at org.jboss.aop.joinpoint.MethodInvocation.invokeNext(MethodInvocation.java:101) at org.jboss.ejb3.asynchronous.AsynchronousInterceptor.invoke(AsynchronousInterceptor.java:106) at org.jboss.aop.joinpoint.MethodInvocation.invokeNext(MethodInvocation.java:101) at org.jboss.ejb3.stateless.StatelessContainer.localInvoke(StatelessContainer.java:240) at org.jboss.ejb3.stateless.StatelessContainer.localInvoke(StatelessContainer.java:210) at org.jboss.ejb3.stateless.StatelessLocalProxy.invoke(StatelessLocalProxy.java:84) at $Proxy147.getInitConfigAsInteger(Unknown Source) at com.police.alarm.AlarmAction.execute(AlarmAction.java:28) at org.apache.struts.action.RequestProcessor.processActionPerform(RequestProcessor.java:431) at org.apache.struts.action.RequestProcessor.process(RequestProcessor.java:236) at org.apache.struts.action.ActionServlet.process(ActionServlet.java:1196) at org.apache.struts.action.ActionServlet.doGet(ActionServlet.java:414) at javax.servlet.http.HttpServlet.service(HttpServlet.java:690) at javax.servlet.http.HttpServlet.service(HttpServlet.java:803) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:290) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) at com.police.filter.SystemUserFilter.doFilter(SystemUserFilter.java:61) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:235) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) at com.police.filter.SetCharacterEncodingFilter.doFilter(SetCharacterEncodingFilter.java:37) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:235) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) at org.jboss.web.tomcat.filters.ReplyHeaderFilter.doFilter(ReplyHeaderFilter.java:96) at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:235) at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:230) at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:175) at org.jboss.web.tomcat.security.SecurityAssociationValve.invoke(SecurityAssociationValve.java:182) at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:524) at org.jboss.web.tomcat.security.JaccContextValve.invoke(JaccContextValve.java:84) at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:127) at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102) at org.jboss.web.tomcat.service.jca.CachedConnectionValve.invoke(CachedConnectionValve.java:157) at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:109) at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:262) at org.apache.coyote.http11.Http11Processor.process(Http11Processor.java:844) at org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler.process(Http11Protocol.java:583) at .JIoEndpoint$Worker.run(JIoEndpoint.java:446) at java.lang.Thread.run(Thread.java:619)NoClassDefFoundError错误,经过找到类所在的文件,并经过正确配置或使其在正确的类路径中来解决此问题。 故障汇总1) 在JBOSS启动目录中发现”core”文件和”hs_err_pid*.log”的错误日志文件,说明系统出现过JVM core dump和异常退出故障,故障出现在一个虚拟机的解压缩操作,希望能经过进一步与开发商,维护人员沟通找出具体的故障原因,并提出解决方案。2) 部署问题,部署描述符配置错误,需仔细检查部署描述符号。3) NoClassDefFoundError,原因为在当前的类装载器路径中,不能找到相关的类文件,需检查类装载路径里面是否存在这个类文件4) 监听端口配置问题。在分配服务器的监听端口时,需检查操作系统中这个端口是否被占用。Netstat an | grep port另外,也需要咨询系统管理员对主机端口的分配。五、 日常维护建议管理上,建议安排专人负责中间件的管理和维护,负责应用的部署,保证中间件的稳定运行。对于日常维护工作能够从以下几个方面入手:1) 系统运行的监控和调优 监控操作系统的内存和CPU使用状况 虚拟机内存和线程的使用情况 各个主要应用的并发访问情况2) 日志文件的管理 日志文件合理规划空间,不同类型日志使用不同的文件路径 过期的日志文件定时存档清理3) 应用程序的更新和部署4) 系统出现故障时的应急处理倚博能够为客户提供完整的系统监控方案,系统维护手册和系统应急处理方案,满足客户对系统高可用性,规范维护和预防性维护的需求。六、 故障出现时,系统处理的步骤1) 观察硬件的CPU和内存使用情况并记录 Vmstat,top等命令。2) 经过”ps ef”命令中观察JBOSS对应的Java进程是否存在3) 使用”kill -3 pid”来生成系统的线程堆栈,查看是否所有线程的运行状态都正常,跟踪并解决长时间运行的任务。4) 查看日志并收集日志。收集的日志包括(nohup.out,jboss server.log)七、 命令介绍Linux操作系统查看系统内核版本命令:uname -a查看CPU配置: grep model name /proc/cpuinfo查看内存配置:more /proc/version查看进程的各项阈值:”ulimit a”设置文件句柄数:”ulimit n 4096”查看CPU运行状态: vmstat,top查看IO状态: iostat查看文件句柄数 : lsof p pidJava进程的线程堆栈:”kill -3 pid