私有云解决方案.doc

UnitedStack有云
私有云解决方案

UnitedStack有云
UnitedStack（北京）科技有限公司

目录
UnitedStack有云 1
私有云解决方案 1
1. 项目需求 1
1.1 架构需求 1
1.2 规模需求 1
1.3 技术需求 1
1.3.1 云主机需求（SDC） 1
1.3.2 存储需求（SDS） 2
1.3.3 网络需求（SDN） 2
2.平台架构介绍 3
2.1 WEB门户 3
2.1.1 用户门户 3
2.1.2 管理门户 4
2.2 计算构架 5
2.3 存储构架 6
2.4 网络构架 9
2.4.1 虚拟网卡 12
2.4.2 公网IP 12
2.4.3 路由器 13
2.4.4 安全组 13
2.4.5 负载均衡器 13
2.4.6 网络拓扑 14
3. 解决方案 14
3.1 物理架构介绍 14
3.2 硬件规划 15
3.2.1 硬件规划原则 15
3.2.2 物理服务器规划 15
3.3 网络规划 17
3.3.1 UnitedStack SDN介绍 17
3.3.2 网络设备及其它设备配置要求 19
3.3.3 网络设备推荐 20
3.3.4 网路拓扑结构 20
2.3.5 逻辑拓扑结构图 21
3.4 存储规划 22
3.4.1 性能型存储 23
3.4.2 容量型存储 23
3.5 软件规划 23
3.6 方案实施流程 24
3.6.1 设计规划阶段 24
3.6.2 实施阶段 24
3.6.3 运维阶段 24
4. 关键技术 25
4.1 统一存储架构 25
4.2 高扩展性 25
4.2.1 计算扩展性 26
4.2.2 存储扩展性 26
4.2.3 网络扩展性 26
4.3 计费服务 26
4.4 高可用性（HA） 27
4.4.1 网络节点 27
4.4.2 计算节点 27
4.4.3 容量型存储节点 28
4.4.4 数据库 28
4.4.5 消息列队的HA 28
4.5 多区域管理 28
4.6 QoS 29
4.6.1 云主机网络 29
4.6.2 云硬盘性能 29
4.6.3 云硬盘性能 29
4.6.4 其他方面 30
4.7 优化升级 30
4.8 测试 30
4.9 安全 30
4.10 监控 32
4.11 云主机监控高性能I/O 32
4.12 SDN网络 33
4.13 用户协作 35
5. 优势及功能特性 36
5.1 UnitedStack有云私有云的优势 36
5.1.1 自主控制和独享资源 36
5.1.2 服务及运维 36
5.1.3 基于开源避免厂商锁定 36
5.1.4 经过实践检验的云计算平台 37
5.1.5 与社区同步，永不落伍 37
5.1.6 收益最大化 37
6. 项目案例 39
6.1 云南天成 39
6.2 上海银行 39
6.3 森浦资讯 39
6.4 棹融股份 40
6.5 哈药集团有限公司 40
6.6 OPPO 41

1. 项目需求
1.1 架构需求
云计算平台基于OpenStack Juno版开源框架和开发标准构建，Hypervisor 使用 KVM ，操作系统使用CentOS 6.5，支持虚拟机操作系统镜像运营在开源分布式存储之上（例如Ceph），涵盖在线扩容、多份冗余（三副本）、快照、备份恢复等分布式存储特性。支持虚拟机热迁移，支持物理机HA功能，支持虚拟机的快速创建以及批量创建，支持一个虚拟机多网口。
API接口需要100%支持OpenStack原生API，需要有官方的互操作性认证，避免厂商锁定，保证API的可用性和灵敏的二次开发。
1.2 规模需求
一期规模为30台物理服务器，依据云平台集群架构上的3机柜对称部署规定，规划为3台控制节点、3台网络节点、18台计算超融合节点、6台存储节点。为保证平台的稳定性及可靠性，最终的硬件规划方案，也许需要根据实际情况，进行一定的调整。比如：节点数量、内存、网卡、RAID卡、硬盘等。
1.3 技术需求
1.3.1 云主机需求（SDC）
1. 虚拟机规定：支持开源的X86虚拟化技术，虚拟机相对于同规格物理机，性能损耗应小于8%；
2. 快速部署：云主机秒级创建和批量部署、丰富镜像支持、自定义vCPU和内存配置组合、自定义云主机密码、支持Linux密钥方式登陆等；
3. 异构利旧设备支持：能支持异构计算节点、支持不同型号主机的热迁移（CPU型号相同）和冷迁移（CPU型号不同），支持利旧服务器设备接入云平台，实现新旧设备的统一融合；
4. 高可用：能动态在线扩容计算节点，支持云主机IO设备的热插拔（网卡、硬盘等），具有虚拟机疏散和动态均衡能力（即在宿主机宕机的情况下，对虚拟主机执行自动迁移，在新宿主机上启动和恢复）；
5. 虚机套餐方面规定支持1C、2C、4C、8C、16C等，标准CPU内存比为1:2、1:4等，套餐需要支持定制化，比如CPU内存比、套餐类型等。
1.3.2 存储需求（SDS）
1. 软件定义存储（Server SAN分布式存储架构，）：基于x86通用服务器硬件的分布式存储，一套存储系统能同时提供块存储、对象存储和文献共享存储（支持文献共享，能提供多个节点同时访问同一个文献系统），能提供单盘不低于6000 IOPS及170MB/s吞吐率的IO性能。
2. 高可用数据保护：分布式存储能动态在线扩容存储节点，存储架构具有多副本冗余保护，并具有自修复能力（可以保证在一定数量物理硬盘损坏的情况下，故障硬盘自动被隔离，数据的冗余保护级别得到恢复）；实现如克隆、快照等本地数据保护功能，并提供秒级备份恢复功能。
1.3.3 网络需求（SDN）
1. 虚拟网络拓扑：具有可视化虚拟网络操作能力（路由器/互换机相关操作），自动绘制基础网络和私有网络拓扑图。
2. 虚拟主机网卡须实现如下功能：在线创建虚拟网卡、修改网卡所属安全组、自定义网卡 IP 地址、自定义网卡所属子网、在线绑定网卡到虚拟主机、在线网卡卸载、修改网卡名称、删除网卡等。
3. 虚拟路由需实现如下功能：创建及删除路由器、关闭及启动网关、绑定及解除公网 IP、自定义路由器关联子网、自定义路由器端口转发、自定义 VPN 服务等。
2.平台架构介绍
2.1 WEB门户
2.1.1 用户门户

用户门户用于云平台最终用户。最终用户重要用来申请和使用云平台的各类资源。在用户门户下，系统提供如下功能：
— 虚机管理
重要提供对虚机的管理
— 虚拟存储管理
对虚机的附加虚拟存储的管理
— 备份管理
对虚机和存储备份的管理功能
— 虚拟网络管理
对虚拟网络的管理功能
— 监控报警管理
对虚机等资源的监控报警的管理
— 消费管理
租户的消费管理

2.1.2 管理门户

UnitedStack管理门户是采用B/S结构，用于系统管理员，管理员拥有系统的所有权限，管理员可以进行系统的所有操作。
提供的功能：
— 认证管理
用户管理：管理平台中所有的用户，涉及修改用户配额、激活用户、账户充值、启用/禁用用户等。
项目管理：管理平台所有项目，涉及删除项目、删除项目资源功能。
— 配置管理
对平台中的各种配置进行设立，涉及：
系统配置：系统中各种功能开关，以及参数调整。
配置定义：修改用户控制台、运营平台、消息服务、注册页面的配置定义，涉及消息信息、消息名称等各种关键参数的调整。
产品定价：修改云资源计费中的定价
— 资源管理
监控云平台中计算资源、网络资源和存储资源的使用情况，以及平台节点状态
计算资源：查看VCPU和内存的使用情况，宿主机的使用情况和云主机的相关信息。
存储资源：查看云硬盘总数和容量、云硬盘信息、容量型和性能型云硬盘快照信息
网络资源：查看网络资源的使用情况，涉及：各种代理的运转情况、公网IP、私有网络、路由器、子网、虚拟网卡等信息。
— 财务管理
对于计费信息进行统一管理，涉及消费与充值管理
充值管理：对账户进行充值，以及产看充值记录和导出充值记录功能
消费管理：产看平台各种资源的消费信息
2.2 计算构架
UnitedStack私有云底层采用KVM虚拟化技术，由于计算节点采用超融合的构架，所以既提供计算能力，也提供存储资源。
UnitedStack云平台的计算节点均采用HA架构，最大保障虚机业务的连续性。

同时，UnitedStack云平台计算节点的负载平衡，虚机创建会自动根绝服务器的负载进行分派，保障不会出现负载的热点服务器，同时平台也会根据计算服务器的负载，自动的将虚机进行迁移，实现负载的再平衡。

2.3 存储构架
为了满足底层对于数据可靠性、高性能以及可扩展的需要，系统采用统一的CEPH分布式存储系统。CEPH分布式统一存储系统，可以同时提供用户所需的块存储、对象存储、文献存储，一套存储系统即可满足所有存储使用场景，而无需购买多套昂贵的商业存储。
CEPH分布式统一存储系统，是由CEPH社区统一维护的开源项目，可避免技术黑盒、厂商锁定等非开源问题，实现自主可控。
计算节点自带SSD形成高性能的存储池，构建存储计算超融合节点。使用单独的服务器挂载SATA磁盘，构建大容量的存储池。池的划分使用Ceph内建的pool的概念实现。
在产品上，新建云磁盘时可选择创建容量型或性能型，选择不同类型云磁盘会相应不同pool进行资源的创建和使用，从物理层面上做了安全的隔离和性能保护。通过大量验证，采用3副本+强一致性验证的方式，保障数据安全性的同时，还可以保障极高性能。在进行QoS（配额限制）的情况下，单块性能型云硬盘可以提供6000的IOPS，以及170MB/S的吞吐量，满足性能敏感型的业务系统需求。
CEPH分布式统一存储的架构如下图所示：
分布式统一存储架构示意图（请放大至200%查看）

1) 部署需求：
Ÿ SATA硬盘无容量类型规定，SSD采用Intel DC 3500 480G SSD硬盘
Ÿ 控制节点需要2块SATA做RAID1，6块SSD做RAID1+0
Ÿ 网络节点只需两块SATA做RAID1
Ÿ 计算节点需要2块SATA做RAID1，3块SSD（不需要RAID支持）
Ÿ 为了保障整体性能，CEPH存储的硬盘必须采用SSD硬盘
Ÿ CEPH存储采用10G存储网络
Ÿ 为了保障不丢失数据，部署时节点数和机柜数必须是3的整数倍
2) 数据分布
Ÿ 所有节点的系统都安装在本机的RAID1
Ÿ 管理后台安装在控制节点的RAID1+0
Ÿ 虚机存储在CEPH分布式存储
Ÿ SDN网络功能只使用网络节点的RAID1
3) CEPH的优势
Ÿ 3副本所有真实写入完毕才返回写入成功
Ÿ 机柜感知技术，保证3副本会分别写入不同的机柜
Ÿ 硬盘、物理机故障后，CEPH系统会自动迁移数据，保障数据数据始终保持3副本
Ÿ Nova、Glance、Cinder统一采用CEPH，避免了3者间的数据传输，实现了虚拟机秒级创建
Ÿ 分布式存储轻松实现整体平台存储容量和吞吐量的扩展
4) 数据可靠性
Ÿ 控制节点：2块SAS或SATA硬盘RAID1和有6块SSD做RAID1+0，单块硬盘故障后不影响系统运营
Ÿ 网络节点：2块SAS或SATA硬盘RAID1，单块硬盘故障后不影响系统运营
Ÿ 计算节点：2块SAS或SATA硬盘RAID1，单块硬盘故障后不影响系统运营；标准配置至少3块SSD硬盘用于CEPH分布式存储，UStack私有云CEPH分布式存储采用3副本机制+机柜感知技术，假如单块硬盘或单机柜多块硬盘损坏不影响整个分布式存储系统的运营。
5) 性能参数

— 忽略QoS，单云盘的最高IOPS可达20,000+，吞吐率可达 500+MB/S
— Burst特性允许云盘短时间内突破QoS，更符合实际应用的需要
资源的性能隔离，是为了从主线上避免云平台租户间的资源争抢。基于QoS的限制，我们以1TB性能型云硬盘为例，性能的SLA（服务水平）如下：

I/O类型
块大小
队列深度
IOPS
95%的响应时间
吞吐率
随机读
4KB
8
6000
< 2 ms
 -
随机读
8KB
8
6000
< 2 ms
 -
随机读
16KB
8
6000
< 2 ms
 -
随机写
4KB
32
6000
< 12 ms
 -
随机写
8KB
32
6000
< 12 ms
 -
随机写
16KB
32
6000
< 12 ms
 -
随机写
32KB
32
6000
< 12 ms
 -
顺序读
1MB
1
170
< 12 ms
170 MB/S
顺序写
1MB
1
170
< 20 ms
170 /S

2.4 网络构架
UnitedStack私有云网络设计充足考虑了网络的扩展性、可用性和网络性能，在满足用户业务需求的同时，有效减少了用户的网络投入。

云计算平台网络采用了SDN（软件定义网络）网络技术，用户的虚机网络不再是一个扁平化、无法自定义的固定的网络结构，而是一个可以提供丰富的网络功能并可以灵活配置的网络。
基于Neutron、OVS、VXLAN、NameSpace等技术，该项目中将所有物理世界的网络设备都被设计成了可操作的网络对象。只需要在云平台管理面板，就可以根据业务需要灵活快速地构建复杂的网络环境，使网络管理更加智能。

云计算平台实现了常见的网络设备的功能，将所有功能抽象为平台中的组件，用户只需简朴操作即可完毕对复杂网络环境的构建。

2.4.1 虚拟网卡
• 相应物理世界的真实网卡，实现虚机的数据传输。
• 支持绑定到虚机或从虚机解绑
• 支持自动获取绑定内网IP地址、网管等信息
• 支持可以加入私有网络并制定内网IP
• 虚机可以绑定多个虚拟网卡
• 支持直接绑定公网IP
2.4.2 公网IP
• 相应用户拥有的公网IP资源，通过公网IP绑定方式，实现外网对内部云资源的访问。
• 可绑定到虚拟网卡、路由器、负载均衡器
• 支持带宽流量限制
• 支持最高8.5G的带宽流量
2.4.3 路由器
• 相应物理世界的路由器，提供多种网络功能，可绑定公网IP。
• 子网路由：可关联多个子网，实现关联的子网间互相通信
• 端口转发：实现对关联子网中的虚机的端口转发，用户可自定义转发规则
• VPN服务：提供基于PPTP的VPN服务，用户可直接拨入连接路由器管理子网，实现安全访问
2.4.4 安全组
实现虚机的防火墙功能。
• 支持上下行双方向规则
• 支持CIDR源IP规则
• 提供常用规则选项
• 端口范围定义
2.4.5 负载均衡器
实现高性能的负载均衡功能，最大支持40000并发连接。
• 可关联基础网络和私有网络
• 支持轮询、最小连接数等多种负载方式
• 支持后端资源健康检查
• 自动故障节点隔离
• 支持7层会话保持
2.4.6 网络拓扑
支持网络拓扑可视化操作,用户可以画出自己的网络结构。
• 直观的了解网络
• 所见即所得的快速网络操作

3. 解决方案
3.1 物理架构介绍

物理架构图（请放大至200%查看）
方案中共涉及4种角色服务器，分别是Hyper节点（控制节点）、Network节点（网络节点）、Compute节点（计算超融合节点）、Storage节点（存储节点）。4种角色服务器结合必要的网络设备、存储资源共同构成云平台。
l Hyper节点：对整个云平台进行控制与资源调度、运算。涉及对CPU、内存、网络、磁盘等资源的控制和管理。需要强劲的CPU解决能力，及较高的磁盘IO能力。因此，控制节点会配置6块SSD。
l Network节点：提供云平台所需的网络资源，涉及基础网络、私有网络、虚拟路由器、负载均衡，以及其他网络功能。
l Compute节点：计算/性能型存储融合节点。用于运营客户创建的云主机（虚拟机）；同时，提供高性能云硬盘的存储空间。
l Storage节点：提供容量型存储资源，具有很高的性价比。重要用于对IOPS规定不敏感，对存储空间需求突出的业务场景。
3.2 硬件规划
硬件方面，您可以根据自身情况进行采购，我们对于服务器、互换机的品牌没有任何规定，只要硬件配置、芯片参数可以满足规定即可。
对于一些芯片及配件，我们会有品牌的指定，这是出于稳定性、兼容性的考虑。我们对市面上的主流硬件设备都进行了对比测试，我们所做的规定，来源于实际测试分析，目的是保证您的UnitedStack有云私有云可以达成与我们的公有云相同的品质。
3.2.1 硬件规划原则
1. UnitedStack有云私有云使用基于Ceph 的分布式统一存储系统，因此，不需要采购传统的商业存储
2. 由于计算存储融合，单台机器需要较为强劲的CPU
3. 每台机器需要1块2端口千兆网卡和1块2端口万兆网卡
4. 接入互换机部分，每个机柜需要1台带4口40G 全线速的48口全万兆L2 互换机和1个带2口10G 全线速的48口全千兆L2互换机（单机柜机器数量小于10，且不考虑后续扩容，否则可用24口）
5. 核心互换机需支持堆叠技术（高可用），如华为CSS，思科vPC，华三IRF2，Force10 VLT 等，此外核心互换机需要全40G L3 互换机
6. 假如要实现机柜级冗余（允许单机柜掉电或TOR失效），我们需要服务器在每三个机柜中对称部署
7. 对于互换机、服务器的品牌并不限制，只要能达成我们提出的技术指标即可，没提到的技术指标如电源功率，机箱规格，万兆连接方式均不作限制。
3.2.2 物理服务器规划
我们以当前所掌握的硬件资源情况为前提，进行服务器规划。结合客户对性能型及容量型存储的实际需求，后期也许需要进行一定的调整。目的是保证此规划既可满足用户对存储的需求，又可以满足业务服务器对计算性能、计算资源的需求。且架构上充足考虑扩展能力，在任何节点负载达成阈值时，都可以实现横向无缝扩展。
根据实践经验，内存复用比默认值设立为1:2。CPU每个物理核心的资源复用比默认为1:16，当然也可以根据实际负载进行修改。高复用比配置，可以让集群创建出更多的云主机，提高资源运用率。在负载较轻时，非常适合。若业务量连续提高，CPU压力较高（50%以上），可以将此参数调低，减少可创建的云主机数量，从而提供更强的计算能力。通常情况下，推荐的默认配置足以支撑业务使用场景。
依据客户对云主机的实际需求，套餐方面可以支持1C、2C、4C、8C、16C等，CPU内存比为1:2，1:4等。每台设备启动HT后为40个线程，扣除系统及Ceph存储的开销，按照4C（4 vCPU + 8GB Mem）的标准套餐，且每台云主机都是80%以上高负荷的状态时，每台物理机约可以承载8台云主机；若按照40%的实际负载计算（实际生产环境中往往低于这个值），每台物理机可以承载约16台4C标准配置的云主机。
存储容量规划方面，18台计算存储超融合节点，提供的性能性存储空间约为：0.48TB*3*18/3 = 8.64 TB；容量型存储节点提供的容量型存储空间约为：6TB*10*6/3 = 120 TB。此方案，即可满足云主机系统以及对性能敏感的业务的使用需求，又可以满足容量型的数据存储需求。
具体的硬件配置规划推荐如下：
设备
配置说明
品牌
数量（台）
Hyper节点
物理服务器
架构：1/2U；双电源；8/12盘位（SSD盘直接用托盘）；
CPU：E5-2660 v3 （2.6GHz/10C/25M Cache）* 2；
内存：96 GB（16*6）；
系统盘： SAS/SATA 硬盘 * 2；
硬盘：Intel DC S3510 480GB SSD硬盘 * 6；
千兆网卡：Intel芯片千兆网卡（两端口）*1；
远程管理卡：支持IPMP，基于IP的远程管理卡；
-
3
Network节点
物理服务器
架构：1/2U；双电源；8/12盘位；
CPU：E5-2660 v3 （2.6GHz/10C/25M Cache）* 2；
内存：96 GB（16*6）；
系统盘： SAS/SATA 硬盘 * 2；
万兆网卡：Intel 82599ES芯片万兆网卡（两端口）* 1；
千兆网卡：Intel芯片千兆网卡（两端口）*1；
远程管理卡：支持IPMP，基于IP的远程管理卡；
-
3
Compute超融合节点
物理服务器
架构：1/2U；双电源；8/12盘位（SSD盘直接用托盘）；
CPU：E5-2660 v3 （2.6GHz/10C/25M Cache）* 2；
内存：96 GB（16*6）；
系统盘： SAS/SATA 硬盘 * 2；
硬盘：Intel DC S3510 480GB SSD硬盘 * 3；
RAID卡：支持RAID1和RAID10，支持“直穿”功能（或Non-RAID模式）
万兆网卡：Intel 82599ES芯片万兆网卡（两端口）* 1；
千兆网卡： Intel芯片千兆网卡（两端口）*1；
远程管理卡：支持IPMP，基于IP的远程管理卡；
-
12
Storage节点
物理服务器
架构：2U；双电源；8/12盘位；
CPU：E5-2660 v3 （2.6GHz/10C/25M Cache）* 2；
内存：96 GB（16*6）；
系统盘： SAS/SATA 硬盘 * 2；
硬盘：SATA硬盘/6TB/3.5寸/7200PRM公司级/ * 10；
RAID卡：支持RAID1和RAID10，支持“直穿”功能（或Non-RAID模式）
万兆网卡：Intel 82599ES芯片万兆网卡（两端口）* 1；
千兆网卡： Intel芯片千兆网卡（两端口）*1；
远程管理卡：支持IPMP，基于IP的远程管理卡；
-
6
合计
-
-
24台
硬件资源的配置可根据实际的业务负载及需求进行调整，若有任何疑问，可随时进行沟通。
3.3 网络规划
3.3.1 UnitedStack SDN介绍
与传统解决方案不同， UnitedStack有云的SDN（软件定义网络）网络使用户的虚机的网络不再是一个扁平化、无法自定义的固定的网络结构，而是一个可以提供丰富的网络功能并可以灵活配置的网络。
基于Neutron、OVS、VXLAN、NameSpace等技术，SDN网络将所有物理世界的网络设备都被设计成了可操作的网络对象。只需要在管理面板点击配置，就可以根据业务需要灵活快速地构建复杂的网络环境，使网络管理更加智能，仅仅使用传统互换机等网络设备，而无需网络设备支持SDN，支撑了更灵活便捷的网络扩展。
UnitedStack有云SDN提供所见即所得的VDC网络环境。VDC网络是一个独立的虚拟私有数据中心，其内部的网络划分，如网络子网及IP等都与外部网络及其他VDC互相独立，网络划分只需按照用户需要进行，几乎无需考虑其他因素。
VDC示意图如下：

UnitedStack有云SDN的具体架构图示意图如下：

从上图可以看到，UnitedStack有云SDN的架构有几个重要特点：
1) 集中控制
UnitedStack有云SDN将网络设备上的控制权分离出来，由集中的控制器管理，无须依赖底层网络设备（路由器、互换机、防火墙），屏蔽了来自底层网络设备的差异。而控制权是完全开放的，可以自定义任何想实现的网络路由和传输规则策略，从而更加灵活和智能。
2) 控制转发分离
UnitedStack有云SDN控制层通过向转发层下发流表来指导最终流量的转发，转发层作为与控制层松耦合的底层转发组件，只需根据自身流表转发流量即可，无需关心控制层是如何计算转发表。
同时，在使用中无需对网络中每个网络设备反复进行配置，网络中的设备自身就是自动化连通的，只需要在使用时定义好简朴的网络规则即可。在需要更高灵活性和高度自动化网络控制时，可以通过界面操作或者编程的方式对SDN网络其进行配置，以实现更便捷的数据互换。
3) 开放的可编程接口
UnitedStack有云SDN作为一种新型网络创新架构，基于Neutron实现。借助核心技术OpenFlow将网络设备控制面与数据面分离开来，从而实现了网络流量的灵活控制，为核心网络及应用的创新提供了良好的平台。在此同时，UnitedStack有云的SDN提供了符合OpenStack社区开源标准的API，用户可以开发应用程序灵活的控制自己的SDN网络，极大的方便了用户定制自己需要的网络及其策略。

3.3.2 网络设备及其它设备配置规定
l 最少部署于3个机柜，每个机柜最少部署4台服务器
l 核心互换机，需要2台带4口40G全线速的48口全万兆L3互换机，采用堆叠方式（或其他高可用方式）
l 接入互换机部分，每个机柜需1个带2口10G全线速的48口全千兆L2互换机
l 为实现机柜级冗余（允许单机柜掉电或TOR失效），需要服务器在每3个机柜拓扑中对称部署
3.3.3 网络设备推荐
设备
配置说明
数量（台）
备注
核心互换机
32口全40Gb端口 L3互换机
2
已考虑后续扩展性
万兆互换机
48口全万兆 L3 互换机；
4个 40G全线速端口
机柜数 * 3
已考虑后续扩展性
千兆互换机
48口全千兆 L2 互换机；
2个 10G 上行端口
机柜数 * 1
已考虑后续扩展性
对于硬件规划方面，如有任何疑问，可以进行具体沟通。
3.3.4 网路拓扑结构
l XE 为万兆网卡，GE 为千兆网卡。
l 拓扑中两个千兆的Switch在物理上可以是1个千兆互换机用VLAN划分，同理万兆互换机也是如此。
l 图中3种角色：HyperNodes、ComputeNodes、NetworkNodes的硬件需求接近。细微区别为Network Nodes不需要SSD磁盘，HyperNodes需要6块SSD；Hyper nodes不需要万兆网卡。
2.3.5 逻辑拓扑结构图

具体规划如下：

虚拟机通信均由虚拟化网络SDN组件提供，NAT能力由物理拓扑中的网络节点提供。
3.4 存储规划
UnitedStack有云存储使用基于Ceph的分布式存储系统提供存储服务。分布式存储系统直接部署在X86服务器上，因此省去购买价格昂贵的商业存储，其成本远低于传统的商业存储方案。
Ceph分布式存储系统的核心优势是，一套存储可以同时提供块存储、对象存储和文献存储。一套存储系统就可以满足所有类型的存储需求。
在部署上，计算节点自带SSD形成高性能的存储池，构建计算存储超融合节点；使用单独的服务器挂载SATA磁盘，构建大容量的存储池。池的划分使用Ceph内建的pool概念实现，支持在线横向扩展。
架构图如下：

在产品上，新建云磁盘时可选择创建容量型或性能性，选择不同类型云磁盘会相应不同pool进行资源的创建和使用，从物理层面上做了安全的隔离和性能保护。
性能型存储池及容量型存储池的存储空间与最终的实际硬件规划直接相关，分布式存储系统采用三副本机制，因此最终的总可用容量为裸容量的1/3。
扩展方面，两种类型的存储池都支持在线横向扩展，这是分布式架构的先天优势。三副本机制及跨机柜冗余机制规定扩展时，物理服务器需要以3的倍数作为1个基本的扩展单位，对称部署在3个机柜中。
3.4.1 性能型存储
性能型存储，即性能比较高的存储。用来承载对IOPS和吞吐量规定较高的业务。
推荐的硬件配置：每台计算节点配置3块480GB SSD硬盘，考虑到使用3副本机制， 15个计算节点可以提供的性能型存储容量：
0.48TB * 3(块)* 15(节点)/ 3(副本数) = 8.64 TB
3.4.2 容量型存储
容量型存储，即数据量较大，性能规定不是非常高的场景。执法仪视频采集、超级情报系统可以使用容量型存储。
容量型存储需要根据自己对于存储的需要规划。根据OpenStack推荐配置，每台存储节点插10块6T容量的硬盘，考虑到3副本机制， 6台存储节点可以提供的总容量：
6TB * 10(块) * 6(台) / 3(副本数) = 120 TB
3.5 软件规划
软件均采用经公有云验证的稳定版本，保证私有云平台稳定性及可靠性。
l 操作系统
当前操作系统OS采用定制的CentOS 6.5。根据UOS功能及性能需求对CentOS 6.5进行定制：定制linux-kernel为3.1.2，定制seabios为1.7.5，定制libvirt为1.2.10等。
l OpenStack
OpenStack版本目前为Juno版本，线上版本会随着社区的版本升级每6-8个月升级一次。
l Ceph
当前Ceph版本为0.80.75（会随着产品研发，不断迭代升级）
l KVM
QEMU-KVM版本为2.1.2（会随着产品研发，不断迭代升级）
3.6 方案实行流程
整体项目我们将分为3个阶段，设计规划阶段、实行阶段、托管运维阶段。
3.6.1 设计规划阶段
我们将具体了解用户需求，掌握用户现有资源及环境，为用户制定符合其实际情况的私有云方案。
3.6.2 实行阶段
双方按照既定的方案及流程，完毕各自负责的工作，直至私有云上线运营。

3.6.3 运维阶段
由UnitedStack有云的专业运维服务团队进行云平台的运维工作。有云或经有云认证的合作伙伴已可为客户提供公司级本地化运维支持服务。
条件允许的情况下，我们建议您选择托管运维（代维），这可以用更低的成本，获得实时的监控及运维。远程托管运维模式，提供7*24*365的实时监控及运维服务。将云平台的基础运维工作交由厂商直接负责，您的运维团队就可以专注于响应业务需求，进行全局的资源管理、分派等工作。
4. 关键技术
4.1 统一存储架构

改变传统的OpenStack存储架构，将Ceph统一作为Nova/Glance/Cinder的存储后端，同时后续的产品功能涉及文献共享、对象存储、数据库服务等也都将使用CEPH作为存储后端。
— 充足运用了存储池中的存储资源，实现灵活扩展
— 单一存储池，简化了存储管理的复杂度
— 避免了三者间的数据传输，实现了虚拟机秒级创建，加快了虚机的部署速度。
4.2 高扩展性
UnitedStack云平台设计充足考虑了平台的扩展性，保证后续平台可以根据业务的需求灵活伸缩。

4.2.1 计算扩展性
当计算资源局限性时，可以通过增长计算节点数量即可实现对计算资源的扩展，由于Unitedstack使用了存储计算超融合的存储构架，增长了计算节点的数量也就扩充了整体的性能型存储容量。
4.2.2 存储扩展性
通过存储计算超融合的存储构架，只需要增长计算节点就可以实现对整体存储容量的扩容。
分布式存储的架构，可以在扩展容量的同时，扩展存储整体的I\O吞吐量。
4.2.3 网络扩展性
通过良好的网络规划，平台可以灵活的实现对于网络的扩容，同时保证平台整体性能的扩展。
4.3 计费服务
UnitedStack针对云平台在Ceilometer的基础上开发了计费服务，平台中所有占用实际资源的对象均需要计费，通过计费信息我们可以直观的了解到租户的资源使用情况，避免上线云平台后，过度申请资源导致的的资源浪费问题。

4.4 高可用性（HA）
UnitedStack有云的私有云平台中所有计算和网络节点均采用HA模式，支持跨机柜容灾。同时， UnitedStack有云托管运维中心会连续监控服务器硬件（基于IPMI）和系统状态，当发现异常时，快速定位并解决。

4.4.1 网络节点
UnitedStack有云为计算节点专门开发了故障检测程序，来判断硬件和系统异常，当发生故障时，该节点会自动被自动屏蔽，数据流量自动引流到其他网络节点。
4.4.2 计算节点
故障检测程序检测到计算节点发生故障时，会自动将节点上的虚机和配置迁移到其他虚机。

4.4.3 容量型存储节点
UnitedStack有云的私有云采用CEPH分布式多副本存储，当有单一节点故障时，不会影响平台稳定性。UnitedStack有云运维团队会第一时间通过监控了解服务器故障并解决。
API的HA:使用七层负载均衡做健康检查策略，保障每个HTTP请求均由健康的API节点提供服务，七层负载均衡使用VRRP保持服务IP的故障自动化迁移，保障API的HA。
4.4.4 数据库
DB的HA使用MySQL Replication保障，通过DNS切换避免主库故障。
4.4.5 消息列队的HA
消息列队的HA使用了RabbitMQ内建的Cluster机制：
构建一个集群: 为了构建一个高可用的集群, 特别是减小和避免网络分区带来的影响, 集群至少要有三个节点。
队列镜像：默认情况下, 集群中所有的节点共享队列信息, 但是不会同步队列中的消息. 为了保证消息的可用性及服务器的对等行, 我们需要配置队列镜像来同步队列中的消息。
对OpenStack Message客户端改造，使得所有消息均支持持久化，保障消息数据不会丢失。
4.5 多区域管理
UnitedStack有云提供多区域管理功能，可以将多套UnitedStack有云私有云平台统一使用一套管理平台，与UnitedStack有云私有云的多区域管理模式相同。

4.6 QoS
对于资源，提供网络和存储资源的QoS，保障性能稳定并不被随机抢占：
4.6.1 云主机网络
云主机网络类型
带宽（Mbps)
基础网络
1000
同一虚拟网络子网
600
不同虚拟网络子网通过路由器互联
500
4.6.2 云硬盘性能
云硬盘容量
IOPS
吞吐率
10 ~ 100 GB
1500
80 MB/s
101 ~ 999 GB
每10GB 增长50 IOPS
每 10GB 增长 1MB/S 吞吐率
1000 GB
6000
170 MB/s
注：由于使用分布式存储，大容量云硬盘的性能跟容量大小成线性关系。 若对 IO 性能有强烈需求，可考虑扩容云硬盘。
4.6.3 云硬盘性能
以1TB性能性云硬盘为例，具体参数见下表：
I/O类型
块大小
队列深度
IOPS
95%的响应时间
吞吐率
随机读
4KB
8
6000
< 2 ms
-
随机读
8KB
8
6000
< 2 ms
-
随机读
16KB
8
6000
< 2 ms
-
随机写
4KB
32
6000
< 12 ms
-
随机写
8KB
32
6000
< 12 ms
-
随机写
16KB
32
6000
< 12 ms
-
随机写
32KB
32
6000
< 12 ms
-
顺序读
1MB
1
170
< 12 ms
170 MB/S
顺序写
1MB
1
170
< 20 ms
170 MB/S

4.6.4 其他方面
对于User、Tenant维度的QoS，UnitedStack有云私有云采用quota限制，对每个用户可创建的最大资源数进行限制，保障用户对平台资源的占用比例控制。
4.7 优化升级
UnitedStack有云的研发工程师，在不断针对CEPH存储、SDN网络、OpenStack组件、平台