自动化测试平台解决专项方案V.docx

Smart Robot自动化测试处理方案

目录
1. 迫切需要处理问题 4
1.1. 智能移动设备软件系统和硬件方案复杂组合，造成APP实现多机型兼容难度大，投入大。 4
1.2. 灵敏开发、迭代开发，产品追求快速上线，造成回归测试可靠性测试等任务重，形成测试工作量波峰。 4
1.3. 开发框架多、开发人员能力不足造成安全漏洞突出 4
1.4. 市场竞争，产品同质化严重，追求用户体验差异化关键性凸现。 4
2. 自动化测试平台整体处理方案 4
3. 自动化测试平台实现功效 5
3.1. 兼容性测试系统 5
3.1.1. SMART 平台 5
3.1.2. 智能源码扫描 7
3.2. 安全监控系统 10
3.2.1. 高精度电流监控 10
3.2.2. 监控应用及整机文件系统 11
3.2.3. 监控应用及整机数据流量监控，统计非法数据传输等情况 12
3.2.4. 用户行为跟踪，监控电话、短信、拍照、摄像、录音等经典动作 12
3.3. 性能测试系统 13
3.3.1. 响应时间测试系统 13
3.3.2. 流畅度测试系统 16

1. 面临问题
1.1. 智能移动设备软件系统和硬件方案复杂组合，造成APP实现多机型兼容难度大，投入大。
1.2. 灵敏开发、迭代开发，产品追求快速上线，造成回归测试、可靠性测试等任务重，无法有效应对测试工作量波峰。
1.3. APP开发框架多、开发人员能力不足造成安全漏洞突出
1.4. 软件硬件设计交叉影响，性能优化难度加大。

2. 自动化测试平台整体处理方案
为处理移动应用开发商面临以问题，结局方案设计以下。可全方面处理移动应用开发面临兼容性问题、安全性问题、测试工作量波峰、用户体验问题，并全程为移动应用开发保驾护航。

整体处理方案
兼容性测试系统：智能源码扫描，即经过解析APK文件，将源码和问题特征库自动比对，查找兼容性问题，并自动生成测试汇报。
SMART平台，实现被测设备管理+测试用例制作、管理、自动化实施、并生成测试汇报。可实现APP定制用例多机自动化运行、适配性测试、功效及UI测试；
安全监控系统：监测系统文件改变、监测数据流量、耗电情况、监控非法用户行为等。
性能测试系统：经过专业自动化测试设备（硬件工具），测量流畅度卡顿数据、量化响应时间指标，为研发人员提供毫秒级数据，助力改善用户体验。
3. 处理方案实现
3.1. 兼容性测试系统
3.1.1. SMART 平台
SMART兼容性测试平台，提供自动化测试处理方案，提供用例制作、管理、自动化运行、测试结果自动校验。无需人员干预即可实现各类APP自动化用例运行，并自动生成测试汇报。
3.1.1.1. 测试步骤

测试步骤
a) 自动化测试脚本开发
b) 真机运行脚本
c) 输出测试汇报
3.1.1.2. 测试框架

测试框架
经过手机usb接口实现对手机控制，完成测试工具及app下发，运行及测试结果拉取和展示。测试工具采取lua脚本编写测试case，经过进程注入技术获取屏幕显示信息，结合Touch事件模拟，能够实现基于控件等级复杂测试case，测试结果以Log、屏幕截图等形式输出。
3.1.1.3. SMART平台可实现功效
Ø 适配性测试：进行被测应用安装、开启、运行、卸载测试，验证在不一样终端类型上是否存在安装失败、开启闪退、运行瓦解等不兼容现象。
Ø 功效及UI测试：支持遍历测试和业务主步骤脚本测试，验证应用功效，同时检测是否存在黑边、白屏、拉伸、混淆、变色等UI问题。
Ø 系统性能检测：测试过程中需要获取移动终端设备CPU、内存、流量耗用、电池性能等数据，判定应用运行情况，同时包含安装时间、开启时间、CPU均值占用、CPU峰值占用、内存均值占用、内存峰值占用、流量耗用、电池温度、卸载时间等。
Ø 测试汇报：所提供测试结果汇报，直观全方面，包含原始数据、汇总后图表展示和故障点截图，对应问题log信息，并支持离线阅读。

兼容性测试汇报
3.1.2. 智能源码扫描
使用该系统在研发阶段即可发现代码中兼容性缺点，直接给出问题定位，根源及处理方案。针对源代码构建静态语法树，辅以程序控制流和数据流分析，结合庞大兼容性问题特征库和处理方案库，正确定位问题代码，并直接提供已验证处理方案。
智能源码扫描适配可覆盖Android系统全部功效点，涵盖1300多个兼容性问题特征及处理方案，扫描支持机型超出500款；10w行级源码45s内完成扫描，30w行源码2分钟内完成扫描，60w行源码5分钟内完成扫描；
包含SDK差异，缺点分析特征库达成10000条以上。
3.1.2.1. 系统架构
系统架构
系统包含用户端和服务端两个模块：
服务端：存放适配问题特征库和处理方案库，包含特征库、处理方案库、扫描引擎三大模块。
用户端：经过在浏览器端上传源代码或apk，进行智能源码扫描，扫描结果定位问题并给出对应处理方案。
3.1.2.2. 智能源码扫描特征库

智能源码扫描特征库
3.1.2.3. 智能源码扫描处理方案库

智能源码扫描处理方案库
3.1.2.4. 智能源码扫描引擎

智能源码扫描引擎
3.2. 安全监控系统
安全监控系统经过实时监控终端系统内部行为、状态等，检测并发觉并定位安全问题点，为用户汇报查找潜在软硬件设计中安全漏洞。规避造成信息泄露、耗用系统流量、文件系统篡改等安全隐患。
3.2.1. 高精度电流监控
3.2.1.1. 终端功耗自动化测试模块是一款经过自动化操作手机终端，同时检测、
统计、分析电流改变，该模块能够自动测试终端、应用电流消耗情况，经过正确监控手机电流改变，进而辅助分析手机电流改变内在原因。该模块由终端自动化测试模块及电流监控模块组成。系统可检测安捷伦等电源设备输出电流信息，并结合测试动作分析，对系统进行复测，提供测试汇报等

3.2.1.2. 智能监控安全电流阈值
系统可设定终端设备工作时电流阈值，在测试过程中全程监控电流值，自动分析并统计超出阈值范围电流时刻及所运行用例场景，进而确定造成电流异常App及其行为。
系统含有自动调整测试策略功效，即依据电流信息反向控制用例实施场景。在发觉电流异常时自动进行异常处理及缺点判定，系统集成复测机制可对所运行场景跟踪测试，进而判定所实施用例场景功耗问题。
系统集成测试管理相关功效，可对测试用例、测试脚本、测试任务、测试汇报等进行有效管理。可快速生成测试用例并投入使用，测试任务结束后即时生成测试汇报，直观显示功耗测试结果。

3.2.2. 监控应用及整机文件系统
系统对整机文件系统，包含系统文件及存放卡文件全方面进行监控，对于系统中植入恶意进程，或恶意APP程序进行监测，当系统文件发生篡改时进行具体统计，最终汇总文件系统变更情况等。

3.2.3. 监控应用及整机数据流量监控，统计非法数据传输等情况
系统能够监控整机及某个指定应用数据流量，经过监控数据流量方法，能够监测一些不应使用数据流量应用或时机，经过分析这些异常流量指标，进而发觉系统中对应存在使用流量相关非法操作。

3.2.4. 用户行为跟踪，监控电话、短信、拍照、摄像、录音等经典动作
开启用户行为跟踪后，系统将监控用户电话、短信、拍照、摄像、录音等功效，一旦系统发生了上述行为，系统将一一统计，如经典窃密步骤：经过后台进程以静默方法开启录音，并经过数据通道传至某个远端位置，以后删除目前录音。以上三个动作，用户行为检测（录音）、数据流量检测（上传至远端位置）、文件检测（删除录音）系统全部能够一一截取。

3.3. 性能测试系统（FTS 系统）
性能测试系统采取点击、滑动、长按、拖拽、按键等操作方法。经过外置电子眼工业相机，对操作过程中终端进行高速跟踪、测试，进而正确度量终端性能指标，有效改善用户体验。
3.3.1. 响应时间测试系统（RTS系统）
对应时间是指移动应用对其操作（点击、拖拽、滑动等）响应时间，响应时间测试系统采取人工操作加高帧相机方法计算移动应用对应时间，正确测试了对应起始时间，量化移动应用响应时间。
3.3.1.1. 集成电子眼、触控传感器等高端设备正确计算设备响应性能

响应时间测试系统
系统采取电子眼相机并配合触控传感器，捕捉用户操作过程。如用户需检测滑屏时间，只需将设备置于测试工作台之上，电子眼自动立即跟踪设备界面改变，当用户完成滑屏动作后，智能分析软件分析帧图改变并自动查找动作起始点及结束点，计算二者之间时间差，最终量化响应时间。
3.3.1.2. 智能视觉图像处理技术，快速、正确识别和分析图像
电子眼对置于工作平台上设备进行监控，并逐帧进行图像抓取，图像分析模块对大量图像数据进行比对，智能分析图像改变，检索最有价值图像信息。

智能捕捉用户触屏过程
3.3.1.3. 经过高频手势感应技术快速捕捉用户操作过程
系统采取智能触控传感器，监控用户对设备触控过程，短时间内可获取大量触控数据，并捕捉每一帧数据改变。辅以手势智能分析模块，对压力数据进行分析，确定触控数据中按下、滑动、抬起等一系列动作，从而确定一组最有效触控操作过程。

高频手势感应数据（手势为按下后抬起）
3.3.1.4. 高速数据处理芯片可即时运算电子眼、智能传感器产生海量数据
系统采取超高速图像分析技术及智能触控数据分析技术，高速计算图像及触控数据。高速数据处理模块在确保立即处理数据同时，将有效图像及触控数据进行智能拼接，并以最小内存及CPU开销，最优处理方法合理分配资源，并实现数据存放。
3.3.1.5. 图像差异识别、智能比对等图形算法有效确保正确计算设备响应时间
经过差异化比对方法处理设备界面改变图像，以60帧/秒摄像头为例，每秒钟捕捉到60张图片。若无有效差异存放技术，则每秒钟需要处理60张图片，全部图片均需存放到磁盘用以配合传感器分析用户动作及界面响应情况，所以磁盘I/O及CPU计算速度会大大影响计算效能。同时，若采取差异化处理方法，只存放改变图片，会大大降低需要处理图片数量，以最少磁盘开销、I/O写入频率及CPU运算速度处理图片，从而将更多资源留给电子眼及触控传感器使用。以确保响应时间计算正确性。
3.3.2. 流畅度测试系统
流畅度测试系统完全满足移动应用开发商对流畅度测试要求，结合多年图像处理、软件算法等众多领域经验，能够正确量化手机卡顿过程相关数据，进而正确测量终端流畅度指标。
3.3.2.1. 图像轮廓识别技术，测量手机流畅度相关指标，分析手机流畅度瓶颈
系统对流畅度测试结果进行全方位、立体化分析，量化用户对手机流畅度感知最显著指标项，如列表滑动时最大连续卡顿帧数，滑动过程卡顿总帧数，和平均卡顿帧数等数据。

卡顿帧数指标汇总
系统提供对同一测试场景不一样测试结果进行对比分析功效，可逐帧播放，从而查看并对比两款手机或同一款手机两次测试结果流畅度情况，和卡顿点出现位置等。

同时逐帧播放测试结果，对比测试过程
同时可对多机型测试结果进行对比分析，得出相同用例在多个不一样机型手机上流畅度表现，进而对提升手机流畅度提供数据支持。

多款机型流畅度指标对比
3.3.2.2. 集成电子眼工业级相机，采集手机界面元素，捕捉运动过程
系统集成高帧工业级电子眼，利用图像识别技术，可大大提升图像对比精度，正确判定、分析手机画面改变过程。
3.3.2.3. 智能视觉图形处理技术，快速、正确识别和分析图像元素轮廓
系统内置图形处理技术，对电子眼拍摄海量数据进行扫描分析，图形处理模块将图像进行分解，基于灰度阈值进行图像分割，利用数学形态学方法对二值图像进行缺点修补，经过链码跟踪存放轮廓信息，实现轮廓快速提取和存放，进而判定轮廓位移量及速度等数据。

3.3.2.4. 智能追踪画面元素位移及速度，自动分析运动过程卡帧数据
电子眼对置于工作平台上设备进行拍摄，并逐帧进行图像抓取，图形分析模块对大量图像数据进行分析，统计图像改变过程。如一个滑屏操作，图形处理分析模块智能匹配图标显示过程虚影信息，依据虚影改变过程判定是否发生卡顿。

智能捕捉图标改变过程
3.3.2.5. 有效管理测试设备和用例，便于分析测试指标，比较测试结果
系统内置测试管理功效，对厂商、机型、测试用例及测试任务等进行有效管理，测试用例实施后产生测试结果数据自动统计，并对测试结果进行比对分析，进而找出性能瓶颈，从而有助提升手机流畅度。

4. 总结
经过本方案设计自动化测试平台，可覆盖原始需求所对应急需处理问题。本方案中使用技术、产品、方法、经验数据等全部得到过中国多个手机厂商、APP开发企业测试工作长久验证。大家一致认为，相关技术处理方案满足使用要求，并含有行业内一定技术领先性。