省环保厅项目云平台技术方案建议书模板.docx

江苏省环境保护厅
1831项目云平台
技术方案提议书

、

目 录
1 系统总体概述 3
1.1 系统基础功效 3
1.2 系统建设关键设计思想和设计目标、设计标准 4
1.3 系统关键技术特点 4
1.4 系统总体构架 5
1.5 cStor云存放系统介绍 6
1.6 cProc云处理平台介绍 9
1.7 系统设计性能 11
1.7.1 数据流量处理能力 11
1.7.2 数据存放读取能力 11
1.8 系统功效 13
2 系统设计实施和关键技术方法 14
2.1 cStor云存放系统 14
2.1.1 技术架构 14
2.1.2 工作原理 16
2.1.3 管理机制 17
2.1.4 关键技术 18
2.2 cProc云处理平台 20
2.2.1 数据立方(DataCube) 20
2.2.2 任务监控器（JobKeeper） 22
2.2.3 cProc数据处理 25
2.2.4 Zookeeper可靠性 27
2.3 八大环境监控子系统 29
2.3.1 饮用水水源地监控系统 29
2.3.2 流域水环境监控系统 31
2.3.3 空气环境监控系统 32
2.3.4 辐射环境监控系统 33
2.3.5 关键污染源监控系统 34
2.3.6 机动车监控系统 35
2.3.7 危险废物监控系统 36
2.3.8 风险源监控系统 37
2.4 平台安全 41
2.4.1 云处理平台信任保护 41
2.4.2 基于多级信任保护访问控制 45
2.4.3 云处理平台安全审计 48
2.4.4 云处理平台安全网关 51
3 项目管理和实施 54
3.1 项目开发周期 54
3.2 项目实施 54
3.3 用户受益 55

1 系统总体概述
1.1 系统基础功效
“1831”生态环境监控系统建设工程，是建设一个全省联网资源共享生态环境自动监控平台，实现对全省生态环境现代化监管，系统于生态省建设，为管理和决议提供参考和依据。系统集饮用水水源地监控、流域水环境监控、空气环境监控、辐射环境监控、关键污染源监控、机动车监控、危险废物监控、风险源监控八大子系统于一体，在省、市、县组建三级环境监控中心，经过一套环境监控管理措施，达成自动监控、科学管理、合理决议生态建设目标。
系统各子系统基础功效和组成以下：
饮用水水源地监控系统
能够对省内111个集中式饮水水源地水质进能监测、汇报等。
流域水环境监控系统
能够对全省252个河流水质进行实时监测，预警和保护。
空气环境监控系统
能够实时检测分析全省环境空气质量，确定空气污染程度。
辐射环境监控系统
能够对全省529个放射源辐射环境进行实时监控、实时查询分析。
关键污染源监控系统
能够实时监测全省集中式污水处理厂和污水处理情况和燃煤电厂鼓风机电量。
机动车监控系统
能够实时监控全省分析机动车尾气污染情况。
危险废物监控系统
能够监控危险废物情况，和对废物管理部门采集数据进行实时分析。
风险源监控系统
能够监控全省环境风险源，并对风险源进行分析。
1.2 系统建设关键设计思想和设计目标、设计标准
设计思想：自动监测设备将采集到实时监测数据上报到省环境保护厅云存放系统存放。八大监控子系统操作平台向省环境保护厅云处理平台发出查询请求，云处理平台经过并行计算高效快速从云存放系统查询数据并分析汇总，向各监控子系统提供查询数据。

设计目标：采取云计算、物联网和信息网格技术，对在用业务系统进行分析，确定那些信息需要从原系统中抽取出来进行集成，然后建立一个基于云存放、可扩展，含有统一规范数据格式中心数据库，将各业务系统关键数据抽取到中心数据库进行数据集成；利用云计算平台强大处理能力进行数据处理和挖掘；最终，在中心数据库上开发建立包含企业信息全寿命管理（即从企业登记开始到企业注销全程信息管理）、数据正确分析、处理决议、趋势分析等在内应用，并为其它系统预留数据调用接口，最终建成一个涵盖在用系统数据，支持全局信息管理分析和应用监控系统。

设计标准：
（1）技术领先，性能优异
系统将采取国际优异云存放和云计算技术，并在此基础上提供高效查询和分析处理。
（2）数据安全可靠
系统将采取多个容错技术确保留放数据安全和故障自动恢复。
1.3 系统关键技术特点
实时性：平台在高效率并行分布式软件支撑下，能够实时完成数据入库、分析和管理工作。海量数据入库不会出现数据堆积现象，各类分析和查询工作基础全部在秒级完成，含有前所未有高效性。

高可靠性：基于对云计算可靠性深厚研究积累，根本处理了目前分布式计算平台易出现单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不会出现丢失数据现象。

可伸缩性：在不停机情况下，增加节点，平台处理能力自动增加；降低节点，平台处理能力自动缩减。这么，能够做到和云计算平台无缝对接，依据计算和存放任务动态地申请或释放资源，最大程度地提升资源利用率。

高性价比：采取X86架构廉价计算机构建云计算平台，用软件容错替换硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统小型机加商用数据库方案节省10倍左右成本。

全业务支持：采取分布式数据库模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少许实时性要求很高数据存放于关系数据库中，可支撑多种类型业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。
1.4 系统总体构架
江苏省环境保护厅1831项目关键包含八大环境监控子系统：饮用水水源地监控系统、流域水环境监控系统、空气环境监控系统、辐射环境监控系统、关键污染源监控系统、机动车监控系统、危险废物监控系统、风险源监控系统。这八大环境子系统共同组成一个完整环境监控系统，它们全部是充足利用现有监测设备，和省环境保护厅联网后，数据信息汇聚存放至省环境保护厅云存放系统中，然后再由省环境保护厅云处理平台负责对数据进行索引、分析等处理，并向八大系统应用层提供API调用，快速反馈分析结果。

图表1 系统示意图
以数据为中心，数据从最底层数据采集层中采集到，将这些数据传输到数据中心，同时进行数据索引、分类、分割、清理等操作，将遵照一定规范数据和索引数据同时实时存放到云存放系统中，在云处理平台上提供数据接口，并和最上层前台应用层交互数据。
1.5 cStor云存放系统介绍
cStor云存放系统是南京云创存放科技自主研发、含有自主知识产权高科技产品，是中国最早实现并保持领先云存放系统，整套系统包含软件和硬件，是一个海量云存放平台。

图2 C1000系列云存放产品存放机柜
和传统大规模存放系统相比，cStor针对绝大多数数据密集型应用特点从多个方面进行了优化，从而在一定规模下达成成本、可靠性和性能最好平衡。cStor凭着超低价格、优异性能、高度可靠、绿色节能、无限容量、在线自动伸缩、易用通用等很多压倒性优势，取得了广电、安防、刑侦、政务、交通、动漫等各行业用户青睐，产品代理和销售商已发展到数十家。
现在，cStor云存放系统已成熟应用于安防视频监控、刑侦、广电、交通、电信、医疗、政务等很多领域，性能卓越，表现出色，从未出现故障，得到用户一致称赞。

图3布署在南京政务云数据中心云创机器
下图4为一简单cStor云存放系统布署示意图。

图4 cStor云存放系统布署示意图
cStor云存放系统采取了分布式存放架构，元数据服务器采取主备双机容错方法管理各个存放节点，文件分散存放在各存放节点上。用户端和元数据服务器间只有控制流，数据流直接在各存放节点间交互。
所以，系统整体吞吐率伴随存放规模增大是线性增加，直抵达成带宽饱和利用。
1.6 cProc云处理平台介绍
云存放层包含企业自主研发云储存系统cStor和apache开源云储存系统HDFS；而在数据管理层中，包含数据立方、Hbase；数据处理层包含JobKeeper和MapReduce；最终监控协调层则包含zookeeper和Chukwa来实现对整个系统实时监控和数据管理。
下图为cProc云处理平台架构：

经过数据立方，能够对元数据进行数据分析、清理、分割。
对结构化数据任意关键字索引，形成一个多维数据模型，数据立方命名也由此而来。数据立方是独立于cProc云处理平台技术架构，用户能够选择性采取数据立方，也能够单独采取Hbase、Hive等技术框架，经过数据立方或Hbase，能够将结构化数据看成一张无限大表，操作这张表跟操作传统关系型数据库一样，上层应用无需修改，完全符适用户原来操作习惯。
对于非结构化数据，cProc云处理平台采取企业自主研发超安存算法，对这些数据块进行分割，散乱存放到云储存系统上，然后采取分布式并行处理，对数据进行实时处理，cProc云处理平台处理性能伴随节点增多而成倍数增加。
cProc云处理平台拥有以下特点：
1.对任意多关键字实时索引
2.支持类SQL复杂并行组合查询
3.分布式万兆实时数据流秒级处理
4.高可靠性，系统无单点，确保意外情况下，系统正常运行
以上特点由云创企业自主研发下面几大功效来提供确保，分别是数据立方，分布式数据处理,调度均衡器、数据传输接口等。
数据立方对数据建立高效索引结构。数据立方是云创企业研发高效数据结构，该结组成功处理了海量数据快速索引和查问询题，使得百亿条统计级数据能够秒级处理。
分布式数据处理是云创企业研发处理海量数据处理框架，用于对大规模数据集并行处理。处理能力能够经过增加或降低机器达成动态调整。采取优异容错技术，确保处理任务可靠性，即使在异常情况下，如机器宕机、断网情况下，确保处理任务实时性和正确性。
调度均衡器是云创企业研发处理单点故障一项技术，用于处理系统内单点问题，确保某机器应用程序状态在宕机或断网时，可将状态从异常机器转移到其它机器上，中间无数据丢失。
数据传输接口是云创企业经过多年积累，专门针对地面数据传输研究出高性能可靠文件传输协议，采取并行流水线方法、将传输和存放作联合优化，并支持多点中继高效传输。经过多项实地远程传输试验，结果表明该技术传输效率在1Gb/s光纤线路上达成了带宽80%左右，处于国际最高水平。
几大功效相辅相成，高效且可靠地处理海量数据，确保响应快速，传输速度快，处理结果正确。

1.7 系统设计性能
1.7.1 数据流量处理能力
以下是各部分处理能力统计：
l 数据存放查询系统器
配置： 8核CPU×2，主频2GHz以上,内存32G，硬盘8×2T SATA
处理能力：折合数据入库流量 80Mb/s

l 应用分析系统器
配置： 8核CPU×2，主频2GHz以上,内存32G，硬盘8×2T SATA
处理能力：折合处理并发访问量1000次/s

1.7.2 数据存放读取能力
原始数据存放采取云存放平台，分布式文件系统存放系统。
性能指标：
l 存放量指标
单系统应支持PB级存放容量。
l 吞吐量指标

Infiniband网络上文件读、写性能:
(1)写文件性能

1个用户端写250G文件，文件平均写性能为932MB/s，峰值为1.9GB/秒。

(2)读文件性能

1个用户端读250G文件，文件平均读性能为852MB/s，读文件峰值为1.2GB/s
上述性能测试数据是1个用户端、8个存放节点测试结果，因为此次测试受测试资源影响，没能完全测出Infiniband最优性能。但在8个存放节点上，文件写性能达成932MB/s，写峰值为1.9GB/s，读性能达成852MB/s，读峰值为1.2GB/s。
吞吐量是指在没有帧丢失情况下，设备能够接收最大速率。吞吐量依据应用系统读写方法和应用系统读取存放内容大小分成四个指标。分布式文件存放系统根据32个节点并发500个用户计算，单节点8块2T大小硬盘情况下，每个节点指标具体内容以下表所表示：
表8分布式文件存放系统吞吐量指标
编号
读写方法
存放内容大小
总吞吐量指标(MBps)
平均吞吐量指标(MBps)
1
100%读
250GB
24000
48
2
100%写
250GB
0
40
3
100%读
100KB
23000
46
4
100%写
100KB
19000
38
图表 分布式文件存放系统吞吐量指标
l 系统响应时间指标
千兆网络环境下，局域网用户端从分布式文件存放系统中读取4096字节存放内容响应时间应不高于20ms。
1.8 系统功效
数据存放：经过云存放平台存放海量数据。
实时查询：经过业务层API支持应用层实时查询，依据应用层要求查询相关数据返回给应用层。
定时汇总：依据用户定制要求定时汇总相关数据到数据库中，以备历史数据查询和报表统计。
状态监控：能够实时监控自动监测设备和中心系统器运行状态，提供设备运行数据并存放到数据库，以备历史数据查询和设备运行分析。
历史查询：对存放在云存放中心历史数据进行查询
2 系统设计实施和关键技术方法
2.1 cStor云存放系统
C1000系列产品采取cStor分布式云存放文件系统对数据进行集中式海量存放和统一管理，其技术架构和关键技术在下面章节中分别具体介绍。
2.1.1 技术架构
cStor云存放文件系统采取分布式存放机制，将数据分散存放在多台独立存放服务器上。它采取包含元数据管理服务器（Master Server）和数据存放节点服务器（Chunk Server）和用户端节点结构组成一个虚拟海量存放卷，以下图所表示。

图2-1 cStor云存放系统架构
其中，Master Server保留系统元数据，负责对整个文件系统管理，Master Server在逻辑上只有一个，但采取主备双机镜像方法，确保系统不间断服务；Chunk Server负责具体数据存放工作，数据以文件形式存放在Chunk Server上，Chunk Server个数能够有多个，它数目直接决定了cStor云存放系统规模；用户端即为服务器对外提供数据存放和访问服务窗口，通常情况下，用户端全部布署在Chunk Server上，每一个块数据服务器，立即存放服务器也是用户端服务器。对每一个节点，cStor云存放系统提供管理监控中心全部能够对其进行管理，包含设备运行状态、磁盘运行状态、服务在线情况和异常告警等功效；另外，网管监控中心还提供有如FTP账户添加等用户端管理和配置工具。
这种分布式系统最大好处是有利于存放系统扩展和实现，在小规模数据扩展时，只需要添加具体Chunk Server即可，而不需要添加整套设备。
下图2-2为cStor云存放系统布署示意图。

图2-2 cStor云存放系统布署示意图
cStor云存放系统全部节点均经过网络方法连接起来，其中存放节点采取廉价计算机节点，利用自适应副本管理技术进行容错。全部存放节点同时担任对外服务功效，用户端分别挂载到不一样存放节点访问云存放系统。经过增加或降低存放节点方法，即能够对存放系统进行在线伸缩，因为采取了自适应副本管理技术进行容错，系统在线伸缩过程中，不影响系统对外提供服务。
下面简单介绍下cStor系统工作原理和管理机制。
2.1.2 工作原理
对于cStor云存放用户来说，经过cStor用户端能够将海量云存放系统映射成一个当地海量磁盘（Windows用户端）或映射到一个目录（Linux用户端），对于此磁盘或目录读写操作，即可实现云存放系统数据读写。同时，因为cStor文件系统支持POSIX接口规范，对于现在通常应用不需要做二次开发即可使用。
下面具体介绍一下cStor云存放系统实际读写过程。
下图2-3是cStor用户端向系统中写数据步骤图。
图2-3 cStor用户端写数据步骤
其具体过程是：
1) cStor用户端向元数据服务器提议数据写请求；
2) 元数据服务器依据其管理存放节点工作和使用情况，依据负载均衡原理，在相关存放节点上创建部分新数据块；
3) 相关存放节点服务器创建成功，将结果返回给元数据服务器；
4) 元数据服务器首先备份和同时此元数据信息，其次将相关存放节点信息返回给用户端；
5) 用户端依据得到存放节点信息，向对应存放节点发出数据写请求，并向存放节点发送数据；
6) 存放节点接收数据并存放到对应块，同时也向其它存放节点提议备份；
7) 当当地写和备份均成功后，存放节点将成功信息返回给用户端；
8) 用户端收到成功信号后，即完成数据存放。
下图为cStor用户端读数据步骤图以下所表示：
图2-4 cStor用户端读数据步骤
总来说，cStor云存放系统控制流和数据流是分离，首先降低了元数据服务负担，使得其处理能力更强，其次将数据读写负担分担到各存放节点，使得系统整体性能得到了提升，和节点数目成正相关。
2.1.3 管理机制
cStor云存放系统采取是一个基于网络管理工具，称之为cStor网管监控中心，关键用来对cStor云存放系统进行远程监控和管理，其具体功效包含：
1) 提供存放机架虚拟化管理；
2) 能够监测到每个节点服务器运行状态（包含主备元数据服务器和存放节点服务器内存、CPU、系统盘利用情况等）；
3) 磁盘运行状态和使用情况监控；
4) cStor服务开启和关闭；
5) 全部服务器重启、关闭；
6) 卷管理服务器设置和账户管理；
7) FTP账户批量添加和删除等。
2.1.4 关键技术
2.1.4.1 负载自动均衡技术
cStor采取中心服务器模式来管理整个云存放文件系统，全部元数据均保留在Master Server上，文件则划分为多个chunk存放在不一样Chunk Server上。
Master Server维护了一个统一命名空间，同时掌握整个系统内Chunk Server使用情况，当用户端向元数据服务器发送数据读写请求时，元数据服务器依据Chunk Server磁盘使用情况、网络负担等情况，选择负担最轻Chunk Server对外提供服务，自动均衡负载负担。
另外，当某有一个Chunk Server因为机器故障或其它原因造成离线时，Master Server会将此机器自动屏蔽掉，不再将此Chunk Server提供给用户端使用，同时存放在此Chunk Server上数据也会自动备份到其它可用Chunk Server上，自动屏蔽Chunk Server故障对系统影响。
2.1.4.2 高速并发访问技术
用户端在访问cStor时，首先访问Master Server节点，获取将要和之进行交互Chunk Server信息，然后直接访问这些Chunk Server完成数据存取。cStor这种设计方法实现了控制流和数据流分离。
Client和Master Server之间只有控制流，而无数据流，这么就极大地降低了Master Server负载，使之不成为系统性能一个瓶颈。Client和Chunk Server之间直接传输数据流，同时因为文件被分成多个chunk进行分布式存放，Client能够同时访问多个Chunk Server，从而使得整个系统I/O高度并行，系统整体性能得到提升。
通常情况下，系统整体吞吐率和Chunk Server数量呈正比。
2.1.4.3 高可靠性确保技术
对于元数据，cStor经过操作日志来提供容错功效，当Master Server发生故障时，在磁盘数据保留完好情况下，能够快速恢复以上元数据。为了预防Master Server根本死机情况，cStor还提供了Master Server远程实时备份，这么在目前Master Server出现故障无法工作时候，另外一台备Master Server能够快速接替其工作。
对于Chunk Server，cStor采取副本方法实现容错。每一个chunk有多个存放副本（默认为两个），分布存放在不一样Chunk Server上。副本分布策略考虑了多个原因，如网络拓扑、机架分布、磁盘利用率等。对于每一个Chunk Server，必需将全部副本全部写入成功，才视为成功写入。在其后过程中，假如相关副本出现丢失或不可恢复等情况，Master Server会自动将该副本复制到其它Chunk Server，从而确保副本保持一定个数。在有多个Chunk Server情况下，任意损失一个节点，数据全部不会丢失，而且伴随Chunk Server数目标增多，整个系统可靠性越大。
2.1.4.4 高可用技术
系统中全部服务节点均是经过网络连接在一起，因为采取了高可靠容错机制，系统增减节点无须停止服务，可在线增减存放节点，存放节点和元数据节点间经过注册管理机制自适应管理，实现自动伸缩。
元数据服务器采取主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止；存放节点采取冗余备份机制，多个存放节点情况下，任意损失一个节点，数据不丢失，服务不停止。

2.2 cProc云处理平台
数据处理是对数据采集、存放、检索、加工、变换和传输。数据是对事实、概念或指令一个表示形式，可由人工或自动化装置进行处理。数据形式能够是数字、文字、图形或声音等。数据经过解释并给予一定意义以后，便成为信息。数据处理基础目标是从大量、可能是杂乱无章、难以了解数据中抽取并推导出对于一些特定大家来说是有价值、有意义数据。数据处理是系统工程和自动控制基础步骤。数据处理贯穿于社会生产和社会生活各个领域。数据处理技术发展及其应用广度和深度，极大地影响着人类社会发展进程。
2.2.1 数据立方(DataCube)
我们以B+树结构建立了字段索引，每个B+树结构字段索引相当于一个数据平面，这么一个全局数据表和其多个关键字段索引就组成了一个类似于立方体数据组织结构，我们称之为“数据立方(DataCube)”。以下图所表示：

数据立方(DataCube)是一个用于数据分析和索引技术架构。它是针对大数据(big data)处理利器，能够对元数据进行任意多关键字实时索引。经过数据立方对元数据进行分析以后，能够大大加紧数据查询和检索效率。
数据立方原理：由一个或多个管理节点，一个或多个处理及存放节点（数据节点）组成，系统在数据建立和查询时，分布式建立和应用数据立方索引结构，在数据建立及存放时，对规范化数据设定1个或多个关键字字段，将不一样关键字字段分别建立索引，每张不一样索引生成一张独立B+树结构，多个B+树结构垛叠在一起，和全局数据表形成一个完整数据立方结构。利用数据立方存放索引结构，可方便快捷在海量数据云处理系统中正确检索定位数据。B+树插入仅在叶结点上进行。 每插入一个(关键码-指针)索引项后全部要判定结点中子树棵数是否超出范围。当插入后结点中子树棵数大于 m 时, 需要将叶结点分裂为两个结点。它们双亲结点中应同时包含这两个结点最大关键码和结点地址。以后, 问题归于在非叶结点中插入了。在非叶结点中关键码插入和叶结点插入类似, 非叶结点中子树棵数上限为m, 超出这个范围也要进行结点分裂。在做根结点分裂时, 因为没有双亲结点, 就必需创建新双亲结点, 作为树新根。这么树高度就增加一层了。

当有新统计到来时，我们要将新数据统计对应一条索引统计插入到全部字段索引中，这时要采取一定写入策略。当新统计积累到n1条或经过一定时间t1时，对于存放在MemCache中字段索引，能够将这些数据统计对应索引统计一次性批量写入；当新统计积累到n2条或经过一定时间t2时，能够将这些数据统计对应索引统计一次性批量写入HDFS（固态磁盘）上索引文件。
对B+树查找类似于二分查找，对于m阶，叶子节点中统计个数为nB+树来说，其查找时间复杂度为O(log m+(n+1)/2)。所以对于值匹配和范围查找来说，有很快速度。另外，因为对值根据大小次序进行了指针链接，所以m阶B+树还能够进行对值进行次序查找。
我们对关键字段建立索引，存放在HDFS（固态磁盘）上。将最近常见字段索引加载到MemCache中，同时删除最不常见字段索引以节省空间。具体来说，对于每次查询，系统统计每个字段索引被调用次数，对于被调用次数最多那些字段索引就被加载到MemCache中，而在MemCache中被调用次数最少一些字段将被删除。
数据立方是凌驾于数据存放层和数据库系统之上，经过数据立方解析后，能够大大增加数据查询和检索等业务，能够让系统平台含有数据实时入库、实时查询、查询结果实时传输等优势。
2.2.2 任务监控器（JobKeeper）
JobKeeper调度平台是建立于虚拟化资源层之上，统一调度，统一配置管理平台，用于对集群中任务实时处理调度，实时结果集反馈，集群负载均衡，失败调度，集中管理，集中配置平台。用来确保整个集群超低人员干预。同时，提供完善集群伸缩机制为整个服务提供更高可靠性。
JobKeeper云调度技术架构图

应用层是一组用于管理和结果反馈显示组件。用于显示任务处理情况和集群中机器活动情况，同时其也是一个上层应用和底层服务对接平台。是整个系统面向用户和开发人员基础承载。
业务层是对于应用层相关功效业务化，数字化处理，用于将应用层需求任务进行规则化划分，形成统一处理化模式。
数据处理层是独立数据处理程序，是对不一样需求数据统一处理方案，她运行和监控工作将由JobKeeper调度平台进行统一配置管理。
存放层是用来存放数据存放层处理结果集或其它中间结果集单元。
虚拟化资源层是将实体机器进行虚拟化，形成更大范围服务集群。
JobKeeper调度平台是由一组管理节点（Master Node）和一组处理节点（Task Node）组成，管理节点组是一组基于WebserverRPC(RPC采取用户机/服务器模式。请求程序就是一个用户机，而服务提供程序就是一个服务器。首先，用户机调用进程发送一个有进程参数调用信息到服务进程，然后等候应答信息。在服务器端，进程保持睡眠状态直到调用信息抵达为止。当一个调用信息抵达，服务器取得进程参数，计算结果，发送回复信息，然后等候下一个调用信息，最终，用户端调用进程接收回复信息，取得进程结果，然后调用实施继续进行。)服务器，负责对处理节点系统信息和任务处理信息进行实时跟踪和保留，对应信息镜像存放在基于cStor或NFS服务存放系统上，确保每个管理节点中镜像信息实时同时。同时架设在管理节点上ZooKeeper服务(ZooKeeper是一个分布式，开放源码分布式应用程序协调服务，包含一个简单原语集。分布式应用能够使用它来实现诸如：统一命名服务、配置管理、分布式锁服务、集群管理等功效。)用于对整个管理节点组进行统一配置化管理。处理节点组经过RPC远程调用获取各自节点任务处理目标，并实时和处理节点上任务处理目标进行对比，控制程序实施和结束。（注：这里程序，能够是任何语言任何形式独立程序，不过必需提供实施脚本，和运行参数选项）处理节点组会在一个设定心跳间隔内主动和管理节点组联络一次，汇报节点存活状态。假如在若干个心跳间隔后管理节点组仍然没有获取四处理节点心跳汇报，那么该处理节点将会被踢出处理节点组，同时该节点处理全部处理任务也会被重新调度。伴随集群处理数据量不停增大，处理节点组提供了简单高效自动化布署方案，当新机器加入处理集群后，会主动和管理节点组同时心跳信息，从同一配置服务器ZooKeeper上获取相关配置信息，经过WebServer服务获取任务列表，开始实施数据处理工作。
JobKeeper调度平台提供了一套基于Web管理化界面，能够实时观察各个处理节点任务运行状态，和任务列表分配情况，机器负载情况等。用户在管理系统界面上能够完成全部工作，如新任务添加，任务手动调度和集群日志查看和分析等。

任务处理节点和管理节点之间维护一个心跳时间，实时向管理节点汇报任务处理信息，同时，任务处理节点在每个心跳时间内向管理节点获取该处理任务列表，并和本机正在处理任务列表进行比对，完成相关任务调度工作。若一个处理节点在多个心跳时间范围内仍然没有主动和管理节点相互联络，那么管理节点将会依据各机器负载情况，将失去心跳连接处理节点上任务进行任务重新分配和实施。

2.2.3 cProc数据处理
cProc云处理是云创企业研发处理海量数据处理框架，特点是实时性高。主从式管理节点监控着全部处理节点（slave），并接收任务，分配子任务，监控任务和处理各类异常情况。处理节点（slave），接收子任务，监控子任务，向主节点汇报任务。
结构以下图所表示：

cProc云处理是cProc云处理平台分布式关键。该架构内部避免了大多数分布式系统内部存在单点问题。里面两个管理员节点(主节点和备节点)对整个集群进行着管理，经过优异调度监控器处理了管理节点单点问题和数据同时问题，确保在主节点异常情况下，主从节点切换不丢失管理数据。
cProc云处理内部采取高效数据结构cProcJob,维护每个任务和子任务状态，并严格根据任务状态转移表进行任务状态切换。
在cProc分布式数据处理过程中，系统采取以下三个标准：
1.数据尽可能当地性标准
在任务提交后， 管理节点依据数据所在位置分配处理，这么在每个处理节点上要处理存放介质上数据块就在当地，直接操作当地文件，避免了数据移动，极大地降低了网络IO负载，缩短了处理时间。
2.数据分布平衡性标准
cProc并行处理架构能够周期性地对存放介质上数据进行维护，保持存放节点上所存放数据量平衡，降低因数据负载不平衡而造成处理负载不平衡。
3.调度任务公平标准
公平调度是一个多用户给予作业（job）资源策略，它目标是让全部作业伴随时间推移，全部能获取和权值对应共享资源。当单独一个作业在运行时，它将使用整个集群。当有其它作业被提交上来时，系统会将任务空闲处理单元赋给这些新作业，以使得每一个作业全部大约获取到和权值对应处理时间。这个特征让短作业在合理时间内完成同时又确保了长作业服务质量。
公平调度器按资源池（pool）来组织作业，默认情况下，每一个用户拥有一个独立资源池。在Slave处理节点上设置有同时运行任务个数上限，若未达成上限，则就产生了空闲处理单元。当集群上出现空闲处理单元时，调度按两步进行，首先空闲处理单元在作业池之间分配，其次在作业池内作业间分配。
2.2.4 Zookeeper可靠性
ZooKeeper可为分布式应用建立更高层次同时(synchronization)、配置管理 (configuration maintenance)、群组(groups)和命名服务(naming)。在编程上，ZooKeeper使用数据模型风格很像文件系统目录树结构，简单来说，有点类似windows中注册表结构，有名称，有树节点，有Key(键)/Value(值)正确关系，能够看做一个树形结构数据库，分布在不一样机器上做命名管理。Zookeeper基础工作结构以下图所表示。

图表 1 Zookeeper基础工作结构图
Zookeeper分为2个部分：服务器端和用户端，用户端只连接到整个ZooKeeper服务某个服务器上。用户端使用并维护一个TCP连接，经过这个连接发送请求、接收响应、获取观察事件和发送心跳。假如这个TCP连接中止，用户端将尝试连接到另外ZooKeeper服务器。用户端第一次连接到ZooKeeper服务时，接收这个连接 ZooKeeper服务器会为这个用户端建立一个会话。当这个用户端连接到另外服务器时，这个会话会被新服务器重新建立。
开启Zookeeper服务器集群环境后，多个Zookeeper服务器在工作前会选举出一个Leader作为主服务器。在后续工作中，假如这个被选举出来主服务器失效，而剩下Zookeeper服务器会感知这个事件，并在活着Zookeeper集群中重新选出一个Leader作为新主服务器，选举出leader目标是为了能够在分布式环境中确保数据一致性。
查询索引创建、KPI数据统计、CDR专题数据处理、和多种查询分析处理任务处理将需要调度和使用处理集群上一组服务器节点进行并行任务分发和负载均衡处理。而负责并行任务调度和分发节点可能会出现单点故障，进而引发整个处理系统无法正常工作。所以，需要设计一个单点失效恢复机制，以确保查询分析处理可靠性，和正确并行处理任务分发和负载均衡处理。
在具体实现上，我们将使用Zookeeper基于处理集群完成统一控制和实现。基础设计和实现方法是，将处理集群中全部处理节点全部纳入Zookeeper管理，选择其中3个处理节点注册为Zookeeper服务器节点负责并行处理任务调度和分发节点，Zookeeper将自动在这3个服务器节点中选举一个主服务器节点。当主服务器节点出现故障时，Zookeeper将能自动从剩下2个服务器节点中重新选举产生一个新主服务器节点来接管失效主服务器。以此，将能确保并行处理任务分发和调度处理不会出现单点失效。
Zookeeper能感知目前所管辖节点中任何节点失效并作出对应处理。当Zookeeper确保有一个负责并行任务分发调度主服务器工作后，该主服务器将能在Zookeeper中所维护目前有效处理节点中挑选一个空闲节点，并把一个处理任务分发给该节点；当多个处理任务抵达时，主节点将能有效地将处理任务分发给不一样处理节点，从而实现并行处理任务在整个集群节点上负载均衡。

图表 基于Zookeeper查询分析处理单点失效和
2.3 八大环境监控子系统
下面对每个监控系统进行分析，关键介绍各个系统架构及功效。
2.3.1 饮用水水源地监控系统
现在，江苏省共有万吨以上集中式饮用水水源地111个，但全部未和江苏省环境保护厅联网，为确保群众饮用水安全，省环境保护厅要求各水源地必需联网自动监测、汇报。为此，饮用水水源地监测数据进行实时汇聚传输到省环境保护厅云存放系统，并对得到水质数据在省环境保护厅云处理平台进行实时分析处理，处理后得到结果会经过云平台提供API接口将数据提供给饮用水源地监控子系统，这么就能够对各大水源地进行实时监控、预警和保护，让群众能够真正放心饮水，安全饮水。

饮用水安全问题关系到广大人民群众健康、生命安全和社会友好稳定，保障饮用水安全也是中国水环境管理根本任务。本系统将经过对饮用水源地水质实时监测，动态评定饮用水源地安全情况，为相关部门和社会民众提供数据系统，保障饮用水安全。
本系统中广义终端层完成关键内容以下：
1、完成对水源地水温、pH、溶解氧、电导率、浊度、高锰酸盐指数、氨氮等项目标实时数据监测。
2、完成对出水口实时视频监控，采集实时视频数据信息。
3、各类监测设备自动故障检测、报警。
本系统关键内容以下：
1、实时显示水源地水质监测数据及其水质类别，可查询监测数据各个指标月、季、六个月、年均值及其水质类别。
2、综合评价水源地环境安全情况，对水源地环境安全指数进行统计分析，生成环境安全指数专题统计图。
3、以图表形式对同一水源地不一样年份监测数据月均值改变情况进行对比分析、对同一时间段内水源地监测数据月均值数据进行对比分析。
4、当自动监测数据超标时，自动发送报警信息，统计超标监测因子、指标值及超标倍数等。
2.3.2 流域水环境监控系统
现在，江苏已建成水质自动监测站有252个，新建水质自动监测站有21个。为确保环境保护部门对全省河流水质进行实时监测，对任何水质异常做出立即反应，要求全省各水质自动监测站数据进行实时汇聚传输到省环境保护厅云存放系统。省环境保护厅云处理平台会对各水质自动监测站数据进行实时分析处理，处理后结果经过云平台提供API接口将数据提供给流域水环境监控子系统，从而全方面实现全省关键河流