软件测试体系与管理经验分享与探讨.pptx

Welcome to HUAWEI Technologiespresentation太保寿险软件测试体系与管理经验 分享和探讨2011年07月目目录前言组建独立测试团队建立质量管理规范探索集成测试方法统计分析质量评估其他经验前前言言 太保寿险测试服务是针对整个太保寿险公司使用的各个系统，具有以下特点：以业务系统为核心的38个主系统业务部门、开发部门、测试部门、发布部门系统多近20个合作商部门多涉及寿险所有业务内容开发商多从06年开始的5年时间业务复杂持续时间长前前言言TIMETIMETIME组建独立的测试团队建立质量管理规范 探索集成测试方法统计分析质量评估06年9月07年9月08年9月09年9月10年9月太保寿太保寿险测试管理介管理介绍前言组建独立测试团队建立质量管理规范探索集成测试方法统计分析质量评估其他经验建立独立的建立独立的测试团队TIMETIMETIME组建独立的测试团队建立质量管理规范 探索集成测试方法统计分析质量评估06年9月07年9月08年9月09年9月10年9月概概述述测试团队从初期的非独立5人小组，发展至今拥有60人的专业独立测试团队。06年的5人测试小组08年的20人测试团队09年完全独立的60热测试团队IT 团队关系关系 信息技术部开发部门测试部门开发商供应商A供应商B测试团队的管理的管理 测试管理测试管理需求组需求组功能组功能组性能组性能组集成组集成组验证组验证组技术组技术组需需求求分分析析功功能能测试性性能能测试集集成成测试验证测试技技术支支持持项目目形成形成总体框架体框架 太保寿太保寿险测试管理介管理介绍前言组建独立测试团队建立质量管理规范探索集成测试方法统计分析质量评估其他经验建立建立质量管理量管理规范范TIMETIMETIME组建独立的测试团队建立质量管理规范 探索集成测试方法统计分析质量评估06年9月07年9月08年9月09年9月10年9月概概述述为了加强对太平洋寿险公司信息技术部软件测试的质量控制及各与测试相关部门、人员更好理解测试过程而建立文件化的测试规范，从07年底开始逐步建立和完善了质量管理规范。质量管理量管理规范范质量管理规范的建立和健全测试流程中的管理工具使用质量管理量管理规范范-目目标及策略回及策略回顾总体目标：l建立一个规范的、科学的、先进的、适合寿险的测试质量管理规范。策略：l基于CMMI3标准测试过程界定l结合测试处实际情况，强调可操作性和实效性2007.12 项目启动2008.07 项目计划确定2009.01 首个过程文档及 模板样本V0.12009.05.第一批过程文档及模板文档初稿2009.05 第一批过程文档及模板文档初评2009.06 第一批过程文档及模板文档修改稿2009.06 第一批过程文档及模板文档评审2009.07 第一批过程文档及模板文档V1.02009.07至今 过程文档改进质量管理量管理规范建范建设-阶段段进度情况度情况需求分析及需求分析及规划划开开 发 阶 段段 2009.07-至今08.07-09.07 2007.12启启动多方多方评审运行推广及运行推广及过程改程改进规范范设计编制制质量量规范建立及范建立及过程程优化的思考化的思考在体系建立的过程中，对测试工作待优化的环节有了新的认识测试组织结构优化全局测试过程优化测试工具应用深入测试组织优化化/工具工具应用深入用深入组织优化工具深入需求需求组+功能功能组+性能性能组+集成集成组+验收收组+技技术组测试过程中程中采用如下工具采用如下工具进行行测试管理，提高管理，提高测试效率：效率：QC：深度：深度应用于整个用于整个测试过程全局管理程全局管理 需求需求-测试计划划-测试用例用例-用例用例执行行-缺陷管理缺陷管理-质量量报告告用例用例对需求的覆盖需求的覆盖 测试对需求的覆盖需求的覆盖LoadRunner-压力力测试工具工具+性能分析工具性能分析工具(应用、用、DB）QTP:自自动化化测试，实现批量大批量大规模回模回归测试 整体整体优化化测试过程程Time测试开发试运行投产需求需需求求评审单元元测试功功能能测试模模块集集成成测试大大集集成成测试优化性性能能测试验收收测试质量管理量管理规范范质量管理规范的建立和健全测试流程中的管理工具使用QualityCenter概述概述 QualityCenter：QC是基于WEB的测试管理工具。能够帮助我们系统地控制整个测试过程，创建整个测试工作流的框架和基础，管理软件测试过程的每个阶段，包括测试需求定义、测试计划、测试执行和缺陷跟踪。它能让测试人员、开发人员或其它的IT人员通过一个中央数据仓库，在不同位置就能互通测试信息。目前系统已经有开发、测试、发布用户600个，用户可以完全实现远程登录，操作直观、方便；同时QC中自定义了常规/项目/集成等集中符合寿险IT规范的工作流程，以实现监控管理开发、测试及发布过程。QC应用背景用背景 大量的项目整合，对开发、测试、运行等600个相关人员管理难度加大，为了提高工作效率，降低管理难度，加强测试跟踪力度，在测试管理过程中，采用QC测试管理工具。QCQC流程起始流程起始开发人开发人员员QCQC过程流转过程流转测试人测试人员员QCQC状态终止状态终止发布人发布人员员QC的流的流转测试需求测试计划测试用例测试执行缺陷管理使用使用QC的管理流程示例的管理流程示例QC测试流程分解流程分解-单元元测试阶段阶段名称名称QCQC状态状态状态说明状态说明角色角色单元单元测试测试 阶段阶段新建新建申请待审核申请待审核 新建测试任务：新建测试任务：1）开发人员完成编码，通过单元测试；2）新建QC，附上单元测试报告及测试申请文档，提交测试程序；3）状态改为”申请待审核”，并分配给开发处(组)长 开发人员 申请已审核申请已审核 审核测试任务：审核测试任务：1）开发处（组）长对申请人提交的测试申请及代码进行审核2）审核通过，改状态未“申请已审核”，将程序提交运行员；开发处(组)长项目经理 已修正已修正 缺陷修复：缺陷修复：1）测试人员在测试过程中发现缺陷，“退回”给开发人员；2）开发人员确认SIT（UAT）测试人员提交的缺陷，并进行修复；3）开发人员将状态改为“已修正”，分配给项目经理审核；4）重新进入审核流程；开发人员 QC测试流程分解流程分解-功能功能/集成集成测试阶段阶段名称名称QCQC状态状态状态说明状态说明角色角色功能功能/集成集成测试测试 阶段阶段(FT、SIT)FT/SIT已更新已更新更新功能测试环境：更新功能测试环境：1）接收开发人员提交的测试程序；2）部署程序、更新功能测试环境，状态改为“FT已更新”，分配给相关测试经理；发布人员（运行处）FT/SIT待测试待测试分配测试任务：分配测试任务：1）审核测试申请及单元测试报告；2）状态改为“FT待测试”，分配给测试人员；测试经理FT/SIT测试中测试中退回退回FT/SIT测试待测试待审核审核执行测试任务：执行测试任务：1)接收测试任务，状态改为”FT测试中”，”FT测试人”改为本人；2)根据测试申请及单元测试报告，编写测试计划及测试实验室；3）执行测试，发现缺陷时，将状态改为“退回”，并分配给开发人员；4）完成测试工作，提交测试报告5）状态改为”FT测试待审核”，分配给测试组长（经理）测试人员FT/SIT测试通测试通过过FT测试结果：测试结果：1）审核测试用例及报告；2）状态改为“FT通过”，分配给开发人员；测试组长（经理）QC测试流程分解流程分解-发布布阶段段阶段阶段名名称称QCQC状态状态状态说明状态说明角色角色发布发布阶段阶段提交发布提交发布发布审核已通过发布审核已通过已关闭已关闭发布工作：发布工作：审核SIT测试通过程序及文档，状态改为“提交发布”；完成发布审核，状态改为“发布审核已通过”，并将程序发布到生产环境；完成生产环境发布工作，将状态改为“已关闭”，测试任务流转结束。发布人员（运行处）太保寿太保寿险测试管理介管理介绍前言组建独立测试团队建立质量管理规范探索集成测试方法统计分析质量评估其他经验集成集成测试背景背景随着寿险系统不断的增加推广，业务面不断的延伸，从起初的3个主要系统单一的功能及接口测试，逐步发展到40多个系统的整合上线。我们如何确保上线后的这么多系统间的数据流转的准确性？是否真的能符合用户的需求？整合后各系统的稳定性及可靠性能保证吗？必须通过集成测试来满足这些要求。集成集成测试采用的方法采用的方法独立的测试小组专用且独立的集成测试环境成立集成小组所有系统间的数据流转的说明建立集成环境数据流转路径覆盖创建数据流图大数据量自动化模拟测试集成路径设计测试工具使用集成集成测试数据流数据流图集成路径集成路径设计方法方法根据上图标出路径设计流程测试案例 用例示例:Test1:A1-B1-D3-E3 Test2:A2-B3-D3-E5其中，核心系统业务类型全覆盖，周边系统按数据流转划分测试路径，并以各路径的数据来源系统为发起方，以实现与接口相关的数据流转全覆盖的目的。集成路径分集成路径分类方法方法A类系统：录单外包、远程出单、银保通、传真；B类核心系统：FF、综意险；C类系统：两核、人员、区县、保全审批、打印、再保、两核统计；D类系统：集中出单、影像系统、打印平台、银行代收付；G类接口：包括EAI、IDS（P11）；E类系统：人员、财务接口、报表、绩效、再保、单证、精算、反洗钱、档案、急难救助。太保寿太保寿险测试管理介管理介绍前言组建独立测试团队建立质量管理规范探索集成测试方法统计分析质量评估其他经验测试质量量统计分析工作分析工作测试处定期统计、分析软件开发、测试质量；提交质量管理周报、月报、年报，总结测试工作的经验和教训，及时发现软件测试中的质量问题，提出改进措施。20092009年测试工作汇总年测试工作汇总统计项统计项项目总数项目总数测试申请总数测试申请总数执行案例总数执行案例总数发现缺陷发现缺陷/问题总数问题总数常规测试464285367801847项目测试2424175411774专题测试234621698710性能测试2727872106自动化测试1120/本年累计1214383769114437软件件质量考核指量考核指标指标说明件均缺陷=本年常规测试缺陷总数/常规测试申请数注：件均缺陷表示每个常规测试申请产生的缺陷数；缺陷率=10*本年（常规测试+项目测试）缺陷总数/本年测试用例总数注：缺陷率表示每执行10个用例产生的缺陷数（包含项目及常规测试），其中参数10是根据本年累计测试数据得出的参考值，用例总数/测试申请数=10，平均每一个测试申请对应10个测试用例；综合指数=（件均缺陷+缺陷率）/2系系统整体整体质量量趋势分析（分析（2009.1-2010.2）主要系主要系统整体整体质量量趋势图太保寿太保寿险测试管理介管理介绍前言组建独立测试团队建立质量管理规范探索集成测试方法统计分析质量评估其他经验内容提要内容提要测试知识库人员的培训与储备测试技术的研究与储备测试知知识库的建立背景的建立背景如何提供一个平台来实现共享呢？保险业务知识复杂新产品不断推出系统多涉及面广测试规范推广测试技术交流测试知知识库的建立的建立保险业务知识应用系统的操作流程及案例测试方法测试技术术语测试用例的编制方法测试环境和测试工具测试经验和心得测试知知识库实例例分分类测试知知识库实例例保保险业务知知识测试知知识库实例例应用系用系统内容提要内容提要测试知识库人员的培训与储备测试技术的研究与储备人人员的培的培训与与储备业务知识的系统培训测试规范的培训测试技术的定期培训业务知识的专家的储备交叉测试的方式（系统、人员）适当的换岗制度（功能与性能）培训储备内容提要内容提要测试知识库人员的培训与储备测试技术的研究与储备测试技技术的研究与分的研究与分类技术团队测试方法测试工具性能评估系统构架、软件开发、环境配置测试管理工具QC、性能测试工具LR自动化测试工具QTP、监控分析工具在复杂的环境中准确模拟负载进行性能评估测试技技术的研究与的研究与积累累技术团队人员兼具系统构架、软件开发、测试、环境配置等多方面知识，在复杂应用环境下能准确的模拟负载并进行性能评估的综合能力。团队整理出一套完整的性能测试规范和流程；此后进一步在性能测试工具的基础上定制了相关辅助套件，是更快速、有效的组织测试并对测试数据进行挖掘和分析。Welcome to HUAWEI Technologiespresentation谢谢！