云数据采集中心及大数据计算平台建设专业方案.docx

CC 云数据采集中心及大数据计算平台
建设方案

成全部中蓝信息技术有限责任企业

目 录

1 引言 5
1.1 项目背景 5
1.2 项目目标 5
1.3 建设原则 6
1.4 参考规范 7
1.5 名词解释 9
2 云数据采集中心 10
2.1 需求概述 10
2.2 总体设计 13
2.3 核心技术及功能 18
2.3.1 分布式文件存储技术 18
2.3.2 分布式并行计算技术 27
2.3.3 分布式数据库技术 31
2.3.4 负载均衡 34
2.3.5 数据采集 39
2.3.6 开放平台 45
2.4 部署方案 48
2.5 实施计划 50
3 大数据计算平台 52
3.1 需求概述 52
3.2 总体设计 52
3.3 应用建设 57
3.3.1 收视率统计 57
3.3.2 智能推荐 60
3.3.3 拍立购 63
3.4 部署方案 69
3.5 实施计划 72
4 性能及成本分析 73
4.1 运营商网络性能分析 73
4.2 服务器网卡性能分析 73
4.2 服务器内存性能分析 73
4.3 服务器硬盘性能分析 74
4.4 服务器 RAID 模式分析 74
4.5D2B 性能分析 75
4.4DMQ 平台性能分析 75
5 存储空间规划表 76
6 机房选型 77
7 安全设计 78
8 风险分析 81

1 引言
1.1 项目背景

依据 CC 智能战略计划：做强终端、云平台建设、大数据商业模式，CC 正 迈向大数据时代，目前正面向全部智能终端提供优质服务，同时经过终端传感 器或数据采集服务能够获取海量数据，而且数据量会以 TB 级剧增。所以 CC 迫切需要建设一套高性能、高安全性、高可靠性，可扩展性云数据采集中心， 并搭建一个数据中心支撑平台，以满足当今高速增加数据存放、管理、计算 需求，同时便于未来拓展和深入改造。
现在 CC 数据中心是关键基于 CC 黑电、白电、浏览器等产品终端传感器采 集海量文本、图片数据和用户数据，为 CC 后续其它数据分析挖掘项目提供 数据支撑信息平台。对应方针——终端内容服务、云服务支撑和数据挖掘、个 性化数据价值探索。
建立统一有效云数据采集中心有利于 CC 大数据管理，符合 CC 新发 展战略，CC 黑电和白电产品终端传感器采集数据有用户行为文本数据（log）、 台标等图片数据和自建影视知识库结构化数据、电商平台海量镜像数据。 当 CC 用户量和采集数据量和日俱增时候，数据中心必需能经过添加更多 服务节点来扩展性能和负载能力，确保高可扩展性和高可用性从而满足 CC 业务 发展需要。
1.2 项目目标

l 搭建分布式存放平台（能够存放海量非结构化数据和结构化数据）、分 布式并行计算平台等等，满足海量数据采集、存放、计算需要，平

台必需含有高可用性，高扩展性，高可靠性要求。

l 为 CC 后面产品（收视率统计，智能推荐系统,拍立购，开放平台等等） 应用和实施打下坚实基础，为集团 CC 大数据提供运行支撑。
l 云中心早期建立最少确保能够正常运行 1~2 年，硬件选型，软件开始要 考虑到以后大规模扩容要求。
l 技术平台要有能力支持数据量最高 1000W 终端数量数据存放、数据计 算、信息推荐等能力。
1.3 建设标准

基于本项目标建设要求，本项目将遵照以下建设标准：

l 前瞻性和高标准 整个项目要根据企业对大数据应用需要高要求和高标准建设，参考 行业标杆应用，建立满足需求，面向未来目标，整个项目含有一定前 瞻性。
l 经济性和实用性 整个项目以现有需求为基础，充足考虑未来发展需要来确定系统架 构，既要降低系统早期投入，又能满足服务对象需求，同时系统设 计应充足考虑对已经有投资保护，对已建立数据中心、基础平台、应 用软件应提供完备整合方案。
l 优异性和成熟性 为了确保项目含有较长生命周期，应充足考虑到管理创新、技术发展 需要，根据优异建设理念，选择优异技术架构和成熟技术，满足业
务需求。

l 高性能和安全性 规范地进行系统建设和开发，提供合理且经济有效应急方案，确保系 统稳定，向各类服务对象提供可靠服务。含有安全性，在系统遭到 攻击或瓦解时能快速恢复，确保关键数据机密性和完整性。
1.4 参考规范

l GB 9361-88 计算站场地安全要求

l GB 50173-93 电子计算机机房设计规范

l GB 2887-89 计算站场地技术条件

l GB 50174- 电子信息系统机房设计规范

l GB 50462- 电子信息系统机房施工及验收规范

l GB 50311- 综合布线工程设计规范

l GB 50312- 综合布线系统工程验收规范

l GB 50395- 视频安防监控系统设计规范

l GB 50263- 气体灭火系统施工及验收规范

l GB 50394- 入侵报警系统工程设计规范

l GB/T 20269- 信息安全技术—信息系统安全管理要求

l GB/T 20984- 信息安全技术—信息安全风险评定规范

l GB/T 22239- 信息安全技术—信息系统安全等级保护基础要求

l GB/T 22240- 信息安全技术—信息系统安全等级保护定级指南

l GA/T 388-B 计算机信息系统安全等级保护管理要求

l GB/T 8567 -1988 计算机软件产品开发文件编制指

l GB/T 11457-1995 软件工程术语

l GB/T 11457- 信息技术 软件工程术语

l GB/T 16260.1- 软件工程 产品质量 第 1 部分:质量模型

l GB/T 16260.2- 软件工程 产品质量 第 2 部分:外部度量

l GB/T 16260.3- 软件工程 产品质量 第 3 部分:内部度量

l GB/T 16260.4- 软件工程 产品质量 第 4 部分:使用质量度量

l GB/T 14394- 计算机软件可靠性和可维护性管理

l GB/T 17544-1998 信息技术 软件包 质量要求和测试

l GB/T 18221- 信息技术 程序设计语言、环境和系统软件借口 独立 于语言数据类型
l GB/T 18491.1- 信息技术 软件测量 功效规模测量 第 1 部分：概念 定义
l GB/T 18492- 信息技术 系统及软件完整性等级

l GB/Z 18493- 信息技术 软件生存周期过程指南

l GB/T 7- 信息技术 软件维护

l GB/T 20272- 信息安全技术 操作系统安全技术要求

l GB/T 8- 信息安全技术 操作系统安全评定准则

l GB/T 9- 信息安全技术 数据库管理系统安全评定准则

l GB/T 20918- 信息技术 软件生存周期过程 风险管理

l GB/T 8566- 信息技术 软件生存周期过程

l SJ/T 10367-1993 计算机过程控制软件开发规程

l SJ/T 11234- 软件过程能力评定模型

l SDO (Service Data Object) for Java Specification V2.1

l SCA (Service Component Architecture)Java EE Integration Specification V1.00
l Java 2 Platform, Enterprise Edition

l Capability Maturity Model® Integration (CMMISM), Version 1.1

l Extensible Markup Language (XML) 1.0 (Fifth Edition)

l Web Services Business Process Execution Language v2.0
1.5 名词解释

l S2DFS：简单存放分布式文件系统（Simple Storage Distributed File System）

l D2B:分布式数据库（Distributed Database）

l JSS：作业调度服务（Job Scheduler Service）

l DCS：数据计算服务（Data Computer Service）

l MPS：消息处理服务（Message Process Service）

l SDS：流数据处理服务（Stream Data Service）

l DMQ：分布式消息队列（Distributed Message Queue）

l JGS：作业生成服务（Job Generation Service）

l ACS：自动清理服务进程（Automatic Cleaning Services）

l HTTP：超文本传输协定（HyperText Transfer Protocol）

l SMB：服务器信息块协议（Server Message Block）

2 云数据采集中心
2.1 需求概述

依据 CC 阶段计划，第一期云数据采集中心建立最少满足 1 至 2 年内 数据存放和计算规模，需要满足 200 万台多种智能终端数据存放和计算规模。
以后整个云数据采集中心技术平台和架构需要轻松扩展到支持 1000 万台规模 多种智能终端数据存放和计算规模。

以下数据为预估数据（基于小范围试验数据为依据）：

数据类别
文件(统计)大小 1
文件(统计)数量 1
文件(统计)大小 2
文件(统计)数量 2
台标数据（原始数据，
1 天周期）
约 16KB/台/天

(由 200Kb/台/天而得)
约 36 个文件/台/天
约 32GB/200 万台/天
约 7200 万个/200 万台/天
行为数据（原始数据，
1 天周期）
约 60KB/台/天(统计)

(由 400Kb/台/天而得,加上了 10KB 索引统计) 约 50KB/台/天(文件)
(由 400Kb/台/天而得)

（平均估值）

约 100 条统计/台/天(统计)

约 100 个文件/台/天(文件)

（平均估值）
约 120GB/200 万台/天(统计)

约 100GB/200 万台/天(文件）

（平均估值）
约 2 亿条/200 万台/天(统计)

约 2 亿个/200 万台/天(文件）

（平均估值）
行为数据（原始数据，
永久保留，压缩处理）
约 60KB/台/天(统计)

(由 400Kb/台/天而得,加上了 10KB 索引统计) 约 50KB/台/天(文件)
(由 400Kb/台/天而得)

（平均估值）

约 100 条统计/台/天

约 100 个文件/台/天

（平均估值）
约 45TB/200 万台/1 年(文件， 加上元数据描述文件）

（平均估值） 注：统计大小约为 10GB
约 35 万条/200 万台/1 年（统计）

约 35 万个/200 万台/1 年（文件）

（平均估值） 注：128MB/1 个文件
行为分析/收视率统计
/推荐/电商索引等记 录
约 10KB/1 条(统计)

（平均估值）

约 10TB/1 年（统计）

（平均估值）
约 10-15 亿条统计/1 年（统计）

（平均估值）

最少 6 大电商镜像数
据
约 30KB/1 个(文件)

（平均估值）
约 10 亿个/1 年(文件)

（平均估值）
约 30TB/1 年（文件）

（平均估值）

以 1 年为计算周期（数据整合、压缩、清洗后），初步预估： 1、 数据统计：约为 10-15 亿条；
2、 文件个数：约为 10-12 亿个；

3、 统计总大小：约为 10TB；（双份副本：需要约 20TB 存放空间）

4、 文件总大小：约为 75TB；（双份副本：需要约 150TB 存放空间）

5、 总容量大小：约为 85TB；（双份副本：需要约 170TB 存放空间）

为了数据高可靠性，为每份（文件/统计）建立镜像副本，所以总容量初 步能够计划约为 170TB。
2.2 总体设计

整个云数据采集中心分为四部分：硬件资源层、软件平台层、软件应用层、 智能终端层。

硬件资源层关键指实体硬件设备，包含用来存放数据光纤阵列柜和存放服 务器，用来作统计、分析和搜索用计算服务器，用来布署分布式消息（DMQ）
/WEB/APP 软件 WEB 及消息服务器，用来布署用 PostgreSQL 关系数据库软 件应用数据库服务器，用来布署作业调度服务进程（JSS）作业调度服务器。 作为数据通信用全千兆三层交换机等等。其中光纤阵列柜关键用来存放统计分 析后粗颗粒度数据。存放服务器用来布署分布式文件系统和分布式数据库，同 时存放非结构化和结构化（台标图片，电商图片等等）和结构化数据（行为数据， 索引数据，log 数据，清理后细颗粒度数据等等）。计算服务器关键用来完成数 据清理、统计、搜索等计算任务。为了节省成本和降低通信代价，提议存放服

务器和计算服务器合二为一，所以该服务器同时含有计算和存放数据功效，前 期也能够考虑把作业调度服务进程（JSS）进程布署在存放/计算服务器上。因为 云数据采集中心需要面对多个宽带用户（电信、移动、联通），所以，数据中心 对外网络需要直连上电信、移动、联通三家企业网络，确保以上三家企业 间通信性能高速和可靠。
软件平台层是云数据采集中心关键支撑层，也是我们这次方案设计和实施 主体部分，在关键技术章节会对“分布式文件系统（S2DFS）”、“分布式数 据库（D2B）”、“分布式消息服务（DMQ）”“作业调度服务进程（JSS）、数 据计算服务进程（DCS）”关键部分加以具体描述。软件平台层全部服务器
全部统一布署 64 位操作系统 CentOS 6.5（也能够选择 RHEL 6.5 x64）；其关键软 件或进程有：分布式文件系统（S2DFS）、分布式数据库（D2B）、作业调度服 务进程（JSS）、数据计算服务进程（DCS）、作业生成服务进程（JGS）、消息处 理服务进程（MPS）、流数据处理进程（SDS）等等。WEB 及应用服务器软件 Apache&Tomcat，消息队列软件分布式消息（DMQ）。还要实现整个云数据采集 中心资源管理及监控管理系统。

软件应用层是云数据采集中心功效实现及 UI 表示层，功效实现需要基于 软件平台层支撑，后期设计和实施主体。该层关键功效应用有：数据采集 应用、收视率统计应用、智能推荐应用、拍立购应用，云数据采集中心资源监 控及调度，经过提供标准 API，在 CC 云平台上集成第三方 APP 应用，使我们 云平台成为一个开放平台，围绕 CC 多种智能终端或第三方终端，全部 纳入到平台上来，建立一个完备而丰富运行生态圈，使 CC 在互联网时代竞
争中占得先机。

过公共数据网（电信、联通、移动）和 HTTP 协议，把终端传感器采集海量文 本、图片数据和用户行为数据存放在云数据采集中心里，以供后期分析计算用。 第一期是单向交互，关键是终端提供数据，云数据采集中心负责计算，并作推荐。 第二期会引入终端和云数据采集中心实时双向交互功效。

收视率统计应用

智能推荐应用

拍立购应用

云中心监控

第三方应用

API

存放设备

网络设备

服务器设备

JSS

DCS

JGS

MPS

SDS

开放
平台

S2DFS

D2B
PostgreSQL
Nginx
Apache
Tomcat

DMQ

CentOS 6.5 x64

智能终端

智能终端

智能终端

……

骨 干 网

资源及监控管理

资源及权限管理
WEB及消息服务器
存放/计算服务器
存放/计算服务器
WEB及消息服务器
存放/计算服务器
WEB及消息服务器
……
……
分布式数据库
服务器
数据公共网
联通/电信/移动
防火墙
分布式数据库
服务器
分布式数据库
服务器
负载均衡服务器
……
负载均衡服务器
作业调度
服务器(主)
……
作业调度
服务器(备)

云数据采集中心网络结构图

17

2.3 关键技术及功效

2.3.1 分布式文件存放技术

（1） 传统存放技术面临问题：

n 构建成本高：大容量及高网络带宽高端存放系统架构昂贵。

n 文件系统功效和性能差强人意：难以实现全局命名空间文件共享、 文件系统难以扩展，轻易形成瓶颈。
n 扩展性困难：技术存在瓶颈（Scale-up 架构决定）、扩展成本无法 控制。
n 可用性问题：潜在单点故障,数据恢复困难，代价高。

n 应用目标差异：关键面临运行商、金融行业 OLTP 应用、极少针 对海量流数据，或非结构化数据进行设计和优化。
n 异构设备繁杂：不一样时期、不一样企业、不一样操作系统异构设备纷 繁复杂，无法整合，资源利用率极低。
分布式文件系统关键为处理以上问题而出现一个新型大规模数据存放技 术架构。关键为非结构化数据（视频/文件/文档/图像/音频等非结构化数据）提 供海量存放平台，以集群方法提供线性横向扩展能力。

分布式文件系统是一个构建于通用 x86 部件之上高可用、高可靠、高可扩 展新型分布式文件系统。应用分布式文件系统，用户能够采取廉价可靠通用 服务器、SATA/SAS 硬盘和以太网络来构建媲美企业级存放产品存放系统。

（2） 分布式文件系统应正确数据特征和访问特征：

n 数据量巨大，数百 TB 或 PB 级，增加快速；

n 类型多样化，包含图像、文本、语音、视频等文件数据；

n 按时间有序生成，数据均带有时间标志 ；

n 前端数据写入速度很高，每秒钟写入数据可达几万甚至几十万条记 录或上 GB 量数据 ；
n 更新操作极少：追加方法写入，一旦写入，几乎没有数据修改，查 询包含大量磁盘读操作，查询处理产生大量临时结果，不一样类 型数据存在联合分析查询；
分布式文件系统基础原理是采取集群方法来整合物理上独立多个存放 资源，以软件方法提供单一名字空间；采取多副本方法确保数据高可用性， 任意单一节点失效均不会造成数据丢失和数据服务正常运行；同时，分布式文 件系统经过良好设计系统结构和数据分布策略，可确保系统性能高可扩展性， 并支持存放容量/性能在线扩展。

相比较于 DAS（直连存放）、SAN（存放区域网络）和 NAS（网络存放）， 应用分布式文件系统构建网络存放系统更像是一个 NAS，提供类似于传统 NAS 文件级访问接口（SAN 和 DAS 全部是块设备等级访问接口）。

（3） 分布式文件系统和传统 NAS/SAN 设备比较：

比较项
高端 NAS
FC-SAN
分布式文件系统
性能
通常双端口，性能受机头
影响，难以扩展，出口带 宽是瓶颈
通常双端口，性能受
机头影响，难以扩展， IOPS 很好
性能随节点数增加成线
性增加
扩展能力
性能及容量无法扩展，或
者有限扩展
能很好扩展，但成本
高昂
性能及容量按需扩展，动
态均衡
可用性
RAID 方法保护， 双机保
护，停机 RAID Rebuid，耗 时
RAID 方法保护，双机
保 护 ， 停 机 RAID Rebuid，耗时
基于灵活多副本机制，
自动检测，自动故障恢复， 无需停机
数据管理
企业级功效需要单独购置
企业级功效需要单独
购置（还需要单独
内嵌多个企业级应用：快
照、镜像、回收站

文件系统，100 多万一
套）

成本
专有硬件平台，软件拥
有成本高，扩展成本高
专有硬件平台，软
件拥有成本高，扩展 成本高
开发通用硬件平台，一
体化软件，成本低，扩 展成本低
可维护性
专门技术支持服务，需
要培训
结构异常复杂，需要
大量培训，厂商服务 昂贵
内嵌多个自动化故障检
测和恢复功效，中国开发， 技术支持快速

用户使用分布式文件系统如同使用当地文件系统。所不一样是，传统 NAS 通常以单一节点方法实现，容量和性能扩展能力有限，易于成为性能瓶颈和 单一故障点。而分布式文件系统则有多个节点集合地提供服务，因为其结构特征， 分布式文件系统性能和容量均可在线线性扩展，而且系统内不存在单一故障点。 对比参看下面两幅示意图：

传统存放架构图

分布式文件系统架构图 分布式文件系统设计应用尤其适合海量非结构化数据存放，大量用户端并
发 I/O 密集型应用。现在，分布式文件系统已经被应用于政府、医疗影像、 勘查数据计算、视频服务和动画制作等领域。这些领域数据访问特征均为： 数据量巨大，I/O 吞吐率高，数据增加快速和数据可用性要求高。经过长时间 实际生产环境使用，分布式文件系统已被证实是该类型应用有效处理方案。

分布式文件系统 Server端

设备卷

设备卷

设备卷

设备卷
设备卷

分布式文件系统逻辑卷
分布式文件系统用户端
NFS/Samba
卷管理
I/O调度
分布式文件系统用户端
卷管理
I/O调度
分布式文件系统用户端

分布式文件系统网关

分布式文件系统 Client端
分布式文件系统架构图 分布式文件系统服务器端程序运行于 Linux x64 系统之上，支持多个 Linux
64 位发行版，包含 Redhat、CentOS 等。分布式文件系统用户端则支持 Linux 和 Windows，同时分布式文件系统还能够经过第三方软件输出 CIFS 和 NFS 接口， 能够兼容大多数应用。

（4） 分布式文件系统关键技术及特征：

n 扩展性和高性能：分布式文件系统利用双重特征来提供几 TB 至数 PB 高扩展存放处理方案。Scale-Out 架构许可经过简单地增加资源 来提升存放容量和性能，磁盘、计算和 I/O 资源全部能够独立增加， 支持 10GbE 和 InfiniBand 等高速网络互联。分布式文件系统弹性哈 希（Elastic Hash）解除了分布式文件系统对元数据服务器需求， 消除了单点故障和性能瓶颈，真正实现了并行化数据访问。

n 高可用性：分布式文件系统能够对文件进行自动复制，如镜像或多 次复制，从而确保数据总是能够访问，甚至是在硬件故障情况下 也能正常访问。自我修复功效能够把数据恢复到正确状态，而且 修复是以增量方法在后台实施，几乎不会产生性能负载。分布式 文件系统没有设计自己私有数据文件格式，而是采取操作系统中 主流标准磁盘文件系统（如 XFS/EXT4/ZFS）来存放文件，所以 数据能够使用多种标准工具进行复制和访问。
n 全局统一命名空间：全局统一命名空间将磁盘和内存资源聚集成一 个单一虚拟存放池，对上层用户和应用屏蔽了底层物理硬件。 存放资源能够依据需要在虚拟存放池中进行弹性扩展，比如扩容或 收缩。当存放虚拟机映像时，存放虚拟映像文件没有数量限制， 成千虚拟机均经过单一挂载点进行数据共享。虚拟机 I/O 可在命名 空间内全部服务器上自动进行负载均衡，消除了 SAN 环境中常常 发生访问热点和性能瓶颈问题。
n 弹性哈希算法：分布式文件系统采取弹性哈希算法在存放池中定位 数据，而不是采取集中式或分布式元数据服务器索引。在其它 Scale-Out 存放系统中，元数据服务器通常会造成 I/O 性能瓶颈和单 点故障问题。分布式文件系统中，全部在 Scale-Out 存放配置中存 储系统全部能够智能地定位任意数据分片，不需要查看索引或向其 她服务器查询。这种设计机制完全并行化了数据访问，实现了真正 线性性能扩展。
n 弹性卷管理：数据储存在逻辑卷中，逻辑卷能够从虚拟化物理存

除，不会造成应用中止。逻辑卷能够在全部配置服务器中增加和缩 减，能够在不一样服务器迁移进行容量均衡，或增加和移除系统， 这些操作全部可在线进行。文件系统配置更改也能够实时在线进行并 应用，从而能够适应工作负载条件改变或在线性能调优。
n 完全软件实现（Software Only）：分布式文件系统认为存放是软件问 题，不能够把用户局限于使用特定供给商或硬件配置来处理。分 布式文件系统采取开放式设计，广泛支持工业标准存放、网络和 计算机设备，而非和定制化专用硬件设备捆绑。对于商业用户， 分布式文件系统能够以虚拟装置形式交付，也能够和虚拟机容器 打包，或是公有云中布署映像。开源小区中，分布式文件系统 被大量布署在基于廉价闲置硬件多种操作系统上，组成集中统一 虚拟存放资源池。简而言之，分布式文件系统是开放全软件实 现，完全独立于硬件和操作系统。
n 完整存放操作系统栈（Complete Storage Operating System Stack：分 布式文件系统不仅提供了一个分布式文件系统，而且还提供了很多 其它关键分布式功效，比如分布式内存管理、I/O 调度、软 RAID 和自我修复等。分布式文件系统汲取了微内核架构经验教训，借 鉴了 GNU/Hurd 操作系统设计思想，在用户空间实现了完整存 储操作系统栈。
n 用户空间实现（User Space）：和传统文件系统不一样，分布式文件系 统在用户空间实现，这使得其安装和升级尤其简便。另外，这也极

通用 C 程序设计技能，而不需要尤其内核编程经验。

n 模块化堆栈式架构（Modular Stackable Architecture）：分布式文件系统 采取模块化、堆栈式架构，可经过灵活配置支持高度定制化 应用环境，比如大文件存放、海量小文件存放、分布式文件系统、 多传输协议应用等。每个功效以模块形式实现，然后以积木方法进 行简单组合，即可实现复杂功效。比如，Replicate 模块可实现 RAID1，Stripe 模块可实现 RAID0，经过二者组合可实现 RAID10 和 RAID01，同时取得高性能和高可靠性。
n 原始数据格式存放（Data Stored in Native Formats）：分布式文件系统 以原始数据格式（如 EXT3、EXT4、XFS、ZFS）储存数据，并实现 多个数据自动修复机制。所以，系统极具弹性，即使离线情形下文 件也能够经过其它标准工具进行访问。假如用户需要从分布式文件 系统中迁移数据，不需要作任何修改仍然能够完全使用这些数据。
n 无元数据服务设计（No Metadata with the Elastic Hash Algorithm）：对 Scale-Out 存放系统而言，最大挑战之一就是统计数据逻辑和物理 位置映像关系，即数据元数据，可能还包含诸如属性和访问权限 等信息。传统分布式存放系统使用集中式或分布式元数据服务来维 护元数据，集中式元数据服务会造成单点故障和性能瓶颈问题，而 分布式元数据服务存在性能负载和元数据同时一致性问题。尤其是 对于海量小文件应用，元数据问题是个很大挑战。分布式文 件系统独特地采取无元数据服务设计，取而代之使用算法来定位

统服务器全部能够智能地对文件数据分片进行定位，仅仅依据文件名 和路径并利用算法即可，而不需要查询索引或其它服务器。这使 得数据访问完全并行化，从而实现真正线性性能扩展。无元数据 服务器极大提升了分布式文件系统性能、可靠性和稳定性。
n 基于标准协议：分布式文件系统存放服务支持 NFS, CIFS, HTTP, FTP 和分布式文件系统原生协议，完全和 POSIX 标准兼容。
（5） 分布式文件系统技术及性能指标：

n 支持设备数量：最大百万台以上

n 支持存放容量：最大 1024PB 以上

n 用户端数量：最大支持上亿并发

n 网络支持：以太网：1Gbps、10Gbps/INFINIBAND：10Gbps、40Gbps

n 文件副本数量：任意(缺省 1 份)

n 协议： NFS/CIFS/HTTP/FTP/WEB DAV，及原生协议,兼容 POSIX 标准
n 支持文件数量：最大上亿个文件

n 最大单个文件：16TB

（6） S2DFS 和 HDFS 比较

对比项
HDFS（GFS）
S2DFS
架构类型
带元数据库中心架构
(瓶颈及故障易发生点)
全分布式去中心架构
存在方法
分布式文件系统软件，基于 x86 平台
使用方法
CLI/REST API
NATIVE CLIENT/CIFS/NFS 标准
协议

（应用代码和平台无关性，便于移
植和维护）
系统可用性
低
高
数据可用性
复制
类 RAID
数据定位方法
INode
Hash
同时方法
异步
同时
负载均衡
自动
自动
支持网络
千兆以太网
千兆/万兆以太网，IB 网
网络写：读（万兆/单流）
约 100MB/s：160MB/s
约 800MB/s：1000MB/s
读（1*20GB）（万兆）
约 125s
约 25s
写（1*20GB）（万兆）
约 200s
约 20s
读/写（千兆）

差距不大

2.3.2 分布式并行计算技术
（1） 概述 并行计算技术真正将传统运算转化为并行运算，从而愈加充足利用广泛部

署一般计算资源实现大规模运算和应用目标，在此基础上为第三方开发者 提供通用平台，为用户提供并行服务。这里关键为门户网站提供作业调度平台， 实现日志分析，性能优化，全文检索，视频处理，用为分析等等支撑平台。

用户经过统一计算平台把任务分配给系统内多个节点，调度节点资源实施 任务，发挥多核并行处理优势，提升运算效率，充足利用网络内计算资源达成 处理大规模计算问题目标。

（2） 分布式并行计算架构图

分布式并行计算架构图

（3） 作业调度及计算过程

（4） 分布式并行计算技术特点

n 池化资源管理

利用池化技术，任何一台联在互联网上一般 PC 机从硬件到软件，

可经过池化技术加入服务器池中，等候任务分配,系统能充足利用现 有服务器资源，将全部运算子任务分配给节点服务器，有效避免计 算资源闲置现象发生。

n 无中心系统架构 在平台管理下单节点能力一致，使节点在布署上和使用上含有无 差异性，任一节点功效可由其它节点替换或强化，能够最大程度确 保平台资源使用灵活性和在灾备环境下可靠性系统架构。

n 通道式工作机制 平台为用户提供一个并行任务处理通道，处理过程对用户来说完全 透明，由平台自动进行负载均衡、资源匹配、任务传输等，使用户 专注于本身任务管理，将实施过程交由平台完成。

2.3.3 分布式数据库技术

D2B 是一个 含有高性能 高性能，可扩展，无模式，面向文档 (document-oriented)数据库，其内存放是一个 JSON-like 结构化数据分布式 数据库软件，尤其含有高扩展性和高可靠性，支持大表水平折分，和分区镜像。 提供内存缓存数据，所以数据存取速度很快，关键是因为它处理写入方法： 它们存放在内存中，然后经过后台线程写入磁盘。

该软件支持数据结构很松散，是类似 json bjson 格式，所以能够存放 比较复杂数据类型。D2B 另外最大特点是她支持查询语言很强大，其 语法有点类似于面向对象查询语言，几乎能够实现类似关系数据库单表查询 绝大部分功效，而且还支持对数据建立索引。它特点是高性能、易布署、易使 用，存放数据很方便。

关键功效特征：

l 面向集合存放，易存放对象类型数据

“面向集合”（Collenction-Oriented），意思是数据被分组存放在数据集 中，被称为一个集合（Collenction)。每个 集合在数据库中全部有一个唯一 标识名，而且能够包含无限数目标文档。集合概念类似关系型数据 库（RDBMS）里表（table），不一样是它不需要定义任何模式（schema)。
l 模式自由

模式自由（schema-free)，意味着对于存放在 D2B 数据库中文件，我们 不需要知道它任何结构定义。假如需要话，你完全能够把不一样结构 文件存放在同一个数据库里。

l 自动分片以支持云等级伸缩性：自动分片功效支持水平数据库集群， 可动态添加额外机器。
l 支持动态查询

l 支持完全索引，包含内部对象。

l 自动处理碎片，以支持云计算层次扩展性。

l 可经过网络访问

l 可用于 Windows®、Mac OS X、Linux® 和 Solaris 官方二进制版本。

l 可用于 C、C#、C++、Haskell、Java™、JavaScript、Perl、PHP、Python、 Ruby 和 Scala 官方驱动程序，和广泛可用于其它语言小区支持 驱动程序。
l Ad-hoc JavaScript 查询让您能够使用基于任何文档属性任何条件来查 找数据。这些查询对应于 SQL 查询功效，使 SQL 开发人员能够很 直观地编写 D2B 查询。
l 支持查询中正则表示式。

l D2B 查询结果存放在提供过滤、聚合和排序等一系列功效游标中，包 括 limit()、skip()、 sort()、count()、 distinct() 和 group()等等高级特征。
l 高级聚合 map/reduce 实现。

l 类似于 RDBMS 属性索引支持，能够直接在文档选定属性上创建索 引。
l 使用提醒、解释计划和分析查询优化特征。

l 类似于 MySQL 主/从复制，支持复制和故障恢复。

l 基于集合对象存放，在需要规范化数据时许可参考查询。

l 经过自动分片功效水平扩展。

l 高性能无争用并发机制即时更新。

D2B 服务端可运行在 Linux、Windows 或 OS X 平台，支持 32 位和 64 位应 用。推荐运行在 64 位平台，因为 D2B 在 32 位模式运行时支持最大文件尺寸 为 2GB。

分布式数据库（D2B） 集群示例图 D2B 和关系型数据库逻辑结构对比:
D2B
关系型数据库

数据库(database)
数据库(database)
集合(collection)
表(table)
文档(document)
行(row)

D2B 性能指标：

10 亿
约 600GB