数据处理平台-技术方案.doc

数据处理平台技术方案2016年06月目录1。项目说明11。1背景11。2术语定义及说明12。建设目标和原则12.1建设目标12。1。1建设和完善数据处理流程12.1。2建设和完善管理平台12。1。3建立良好的容错机制12。2设计原则22.2。1可靠性22.2.2易用性22。2。3扩展性23.功能需求23。1需求概述23.2功能模块33。2。1数据收集33。2。2数据清洗33。2。3数据存储33。2。4对外输出33。2.5流程监控33。2.6管理平台33。3其他需求43.3。1性能需求43.3。2可靠性要求43。3.3进度计划43。3。4故障处理要求44.方案总体设计44。1技术路线选择44。2总体架构44。2。1架构介绍54。2.2数据处理流程55。安全设计55.1数据的备份和恢复系统55。2管理层安全51. 项目说明1.1 背景因项目数据拆分，*将要创建一套完备的数据管理体系,替换原有的数据处理方式。为用户提供更高效、便捷的服务.1.2 术语定义及说明名称解释数据格式对原始数据文件中数据格式的定义,比如json、数组等数据类型原始数据的类型，比如实况、指数等文件类型原始数据的文件类型，比如。dat、。txt文件2. 建设目标和原则2.1 建设目标2.1.1 建设和完善数据处理流程基于原有的处理流程,采用新技术架构，重构现有处理平台，彻底解决现有平台的问题。2.1.2 建设和完善管理平台建设和完善管理平台，可以为运维人员提供更好的维护管理的工具，并且能够让管理员可以根据多种数据的不同要求设置出适应数据的处理规则。2.1.3 建立良好的容错机制建立良好的容错机制，设置更优的数据处理规则,为数据处理提供优质服务。2.2 设计原则2.2.1 可靠性随着系统的建成，必然各平台之间的信息传递对系统的依赖程度将变得很高，系统失效所造成的影响也就越大。因此,系统的设计必须，从系统结构、技术措施、设备选型以及厂商的技术服务和维修响应能力等方面综合考虑,以确保系统运行的可靠性和稳定性.2.2.2 易用性我们系统设计必须考虑到使用者和以后的维护的方便容易。所以，在系统的设计中要求系统架构易于理解，系统管理方便简洁，系统维护自动容易。2.2.3 扩展性平台的建设是一项长期的工程，要充分考虑其将来潜在的需求.科学的设计思想应着眼于目前的应用系统及现有的技术，并考虑以最小的代价来适应网络技术不断的发展，使现有系统能够与需求同步增长，使系统在元数据不断增加的基础上，维护者能够很方便的扩充平台功能。3. 功能需求3.1 需求概述实现对不同来源的多种数据类型文件进行收集、存储、到最终业务的统一处理，实现数据实时对接,并具有扩展性.1)数据收集：2)数据整理：3)数据存储：4)业务接口:5）监控：3.2 功能模块3.2.1 数据收集3.2.2 数据清洗3.2.3 数据存储经估算,每天的数据约有9-10G，在如此数据量的情况下，要对数据进行存储,同时应用缓存，提高输出效率。3.2.4 对外输出为保证原有外部用户正常使用，数据输出与原有输出保持一致.3.2.5 流程监控针对整个流程进行数据监控监控原始数据站点缺失、监控非法数据。以便反馈给原始数据提供方，后期优化。3.2.6 管理平台管理平台需要有如下功能：3.3 其他需求3.3.1 性能需求3.3.2 可靠性要求3.3.3 进度计划待定3.3.4 故障处理要求软件故障：如操作系统死机、崩溃、数据库管理系统过载或其他原因崩溃，通过自动或手动重新启动系统解决，如重新启动不能解决问题,可以切换至备用服务器;硬件故障：如硬盘故障,采取措施是定期进行数据库备份，一旦出现硬件故障,可以使用备份文件恢复数据库。4. 方案总体设计4.1 技术路线选择4.2 总体架构4.2.1 架构介绍4.2.2 数据处理流程5. 安全设计5.1 数据的备份和恢复系统在安全建设中必不可少的一个环节就是数据的常规备份和历史保存。一般在生产本地的备份目的主要有两个:一是生产系统的业务数据由于系统或人为误操作造成损坏或丢失后,可及时在生产本地实现数据的恢复；另一个目的是在发生地域性灾难（地震、火灾、机器毁坏等）时,可及时在本地或异地实现数据及整个系统的灾难恢复。5.2 管理层安全网络安全架构的最高层就是管理平台内部网进行操作、维护和到使用的内部人员进行管理。对人员的管理和安全制度的制订是否有效,直接影响这一层的安全问题.制定用户权限划分级别，不同权限人员,分管权限内的功能等