XXX云计算项目技术方案.doc

XXX云计算平台项目

技术方案（精简版）

二〇一三年四月十二日
目 录
第1章 XXX IT系统现状分析 - 3 -
第2章 XXX云计算平台建设方案 - 4 -
2.1 建设目标 - 4 -
2.2 建设原则 - 4 -
2.3 XXX云计算平台建设方案 - 5 -
2.3.1 XXX云计算平台总体架构 - 5 -
2.3.2 网络资源池建设方案 - 6 -
2.3.3 计算资源池建设方案 - 8 -
2.3.4 存储资源池建设方案 - 10 -
2.3.5 云管理中心 - 12 -
2.3.6 应用迁移规划 - 12 -
2.4 XXX云计算平台分期建设方案 - 14 -
2.4.1 2013年建设方案：云计算平台建设阶段 - 14 -
2.4.1 2014年建设方案：私有云数据中心建设阶段 - 15 -
2.4.1 2015年建设方案：云灾备数据中心建设阶段 - 16 -
第3章 XXX云计算平台优势 - 17 -

第1章 XXX IT系统现状分析
XXXIT系统建设取得了很大的成绩，但是仍然是按照传统模式进行建设，这种建设模式存在以下问题：
IT资源利用率低
XXX应用系统与IT资源单独绑定，每个应用都需要按照其峰值业务量进行IT资源的配置，这导致在大部分时间许多IT资源都处于闲置状态，不仅造成服务器、存储等IT资源利用率较低，造成设备投资的浪费。
IT建设成本高
在传统IT建设模式下，随着XXX业务的快速增加，服务器、网络、存储等IT设备数量也会迅速增加，会造成IT设备采购成本的大幅上升。
IT业务部署缓慢
在传统IT建设模式下，每一次新业务部署都要经历硬件选型、采购、安装、应用软件开发、上线等步骤，使得新业务的部署非常缓慢，难于满足XXX业务快速发展的需求。
数据中心网络存在单点故障
XXX数据中心核心交换机采用单台设备，该设备如果出现故障会使整个业务系统访问中断；同时原有数据中心网络系统已不满足扁平化、大二层、等云计算网络技术发展趋势。
IT建设和管理分散
XXX现有IT系统采用分业务系统建设的模式，各业务系统采用单独的IT设备，各业务系统IT资源无法进行共享和统一管理，造成整个IT系统缺乏弹性和难于管理，无法满足快速变化的业务需要和提高IT管理的效率。
综上所述，建议XXX采用最新的云计算技术，建设XXX云计算平台，包括服务器、存储、网络等资源池的建设，解决IT资源使用率低、IT建设成本高、IT业务部署缓慢、可靠性低、IT资源共享和统一管理等问题。

第2章 XXX云计算平台建设方案
2.1 建设目标
以XXX现有数据中心为基础，建设XXX云计算平台，主要建设目标有：
1. 建设高度共享一的云计算资源池，提高IT资源的使用效率，降低IT投资成本，同时也实现业务的快速部署。
2. 改造现有数据中心网络，采用扁平化、大二层、虚拟机接入等云网络技术建设云网络资源池，同时采用双核心网络设备避免单点故障，提高整个数据中心网络的可靠性。
3. 在建成共享的云计算资源池上，建设XXX私有云，为XXX IT用户提供IaaS云计算服务，大大提高IT建设的效率，大大降低整个IT系统TCO成本
4. 以“统一规化、分步建设”思想为指导，分三年建成XXX私有云数据中心，所有应用系统和数据都集中在省数据中心，实现IT资源的统一管理和集约化建设；同时建设容灾备份中心，提供统一的灾备服务。
2.2 建设原则
XXX云计算平台基于如下原则进行建设：
1. 先进性
XXX云计算平台建设采用的产品和技术具有云技术的先进性，保障云平台的使用5年内不落后。
2. 高可靠性
XXX云计算平台作为承载交通业务的重要IT基础设施，承担着稳定运行的重任，云计算平台的建设应从云资源池（计算、存储、网络）、虚拟化平台、云平台等多个层面充分考虑高可用性，保证业务的连续性。
3. 可扩展性
XXX云计算平台可通过简单的硬件扩容达到系统动态扩容的目的，可动态增加云计算资源，满足应用和用户不断增长的需要。
4. 易管理
XXX云平台要实现私有云IaaS服务，云计算资源（计算、存储、网络）要实现动态调度和分配，从云计算资源的申请、审批到分配部署实现自动化和统一管理。
5. 开放性
XXX云计算平台建设采用开放性原则，保证符合云计算标准的不同厂商云设备能很好兼容，所以设备的选型应充分考虑对已有的云计算相关标准的支持（如EVB/802.1Qbg等）。
2.3 XXX云计算平台建设方案
2.3.1 XXX云计算平台总体架构

根据XXX云计算平台的建设目标和建设原则，云计算总体架构如上图所示，整个云计算平台由以下4部分组成：
1、 网络资源池
2、 计算资源池
3、 存储资源池
4、 云管理中心
2.3.2 网络资源池建设方案

如上图所示，XXX原有数据中心网络采用“扁平化、大二层”等云网络技术进行改造，核心层交换机直接下联接入层交换机，省去了中间汇聚层交换机，扁平化大二层云网络架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移，相比传统三层架构，扁平化二层架构可以大大简化网络的运维与管理。
核心层交换机新增1台H3C S10508数据中心级交换机和原有的中兴RS8905组成双核心，避免核心网的单点故障，同时提高整网可靠性。

如上图所示，核心层交换机旁挂防火墙（FW），根据不同业务的安全需求，划分成不同的安全域，所有外部流量及跨域的横向互访流量均需通过防火墙进行安全控制，安全域划分如下：
1、外网业务域：此域内主要部署针对外网业务的VM，只允许外网用户访问
2、内网业务域：此域内主要部署针对内网业务的VM，只允许内网用户访问
3、外部域：与XXX广域网互联，非信任区域
4、管理域：此域内主要部署云平台管理服务器，只允许云管理人员访问

如上图所示，核心层交换机与接入层交换机之间采用二层协议进行互联，实现云计算大二层组网，接入层交换机负责连接计算资源池和存储资源池，满足资源池内虚拟机可在任意位置的物理服务器上迁移。
资源池接入：采用两台5820V2云接入交换机构建，划分成不同的VLAN接入区（业务VLAN、存储VLAN、管理VLAN）负责计算资源池服务器、管理服务器、IP存储的网络接入，服务器配置4个千兆接口和2个万兆接口，其中两个千兆接口捆绑做业务流接口，双网卡采用捆绑双活模式；另外两个千兆接口捆绑做虚拟机管理流接口，双网卡采用捆绑双活模式，另外2个万兆网口连接万兆IP存储。
两台5820V2部署IRF2虚拟化技术，通过跨设备链路捆绑消除二层环路、简化管理，同时大大缩短设备及链路出现故障快速切换，避免网络震荡。IRF2互联链路采用2*10GE捆绑，保证高可靠及横向互访高带宽。
设备型号
单台设备端口配置
备注
H3C 5820V2-54QS，2台
固定48个GE端口,4个SFP+端口,2个QSFP+端口
云计算接入

2.3.3 计算资源池建设方案

如上图所示，XXX计算资源池由物理主机和虚拟机系统构成：
虚拟机系统是由在X86服务器上部署服务器虚拟化软件架设形成虚拟主机系统，服务器虚拟化软件技术参数如下表：
指标项
技术参数要求
服务器虚拟化软件
支持裸金属架构，支持高性能物理器（最多支持256CPU核），支持大容量虚拟机VM（每虚拟机最大支持32 CPU核、1TB虚拟内存），支持硬件辅助虚拟化，支持高级内存管理，支持虚拟机高级资源管理，vSwitch支持VEPA虚拟机云网络标准协议(支持QoS、VLAN、IPv6、虚拟网卡等功能)。
物理主机主要是X86服务器，IBM小型机的虚拟化不考虑，物理主机可以利旧原有服务器或新购高性能服务器：
利旧原有服务器（方案1）：
XXX原有的22台物理服务器可以利旧(共30个CPU)，但原有服务器intel cpu型号（XEON X5500系列）不支持Intel EPT内存虚拟化技术，所以做虚拟化服务器时性能较差；同时原有服务器内存较少（2～4G），至少扩展到8G才能支持虚拟化软件的运行，原有服务器型号较多，内存扩容实施复杂。
同时本方案需要长时间中断业务，物理服务器需长时间停机，才能把服务器上的应用迁移到计算资源池上，具体实施的风险较大。
新购服务器（方案2）：
新增4台高性能物理服务器（每台配置2个8核CPU和64G内存），每台服务器可以支持10多个虚拟机（每虚拟机2个CPU核和4G内存，该虚拟机和原有的多数物理服务器性能一样），由4台高性能服务器组成的计算资源池最多支持30个虚拟机，可完全把现有22台X86物理服务器上应用迁移到计算资源池上。
同时本方案不需要长时间中断业务，原有物理服务器的业务可采用专业工具，在很短的时间内、逐一迁移到新建的计算资源池上，原有物理服务器上应用不删除，迁移发现问题时可把应用回退到原有物理服务器上，具体实施时风险较小。
4台高性能X86服务器技术参数如下表：
指标项
技术参数要求
类型
PC服务器
机箱形态
2U机架式
处理器
Intel C600芯片组，配置2颗Intel Xeon E5 2650 QPI CPU (8核 2.0 GHz,20MB共享三级缓存,95W)
内存
最大支持内存≥700GB，大于24个DIMM内存插槽，配置64 GB DDR3-1600内存
硬盘
最大内部硬盘容量≥8TB，最大支持8个SFF硬盘插槽。配置2个300GB 6G SAS 10K rpm SFF (2.5-inch) 硬盘
阵列控制器
最大支持2GB 非易失性阵列缓存，配置1GB非易失性阵列缓存,支持Dynamic Smart技术：备盘预先激活、ADM、逻辑盘高级迁移、阵列修复、在线分割；支持RAID0,1,5
网卡
支持主板板载千兆和万兆网卡灵活选配，配置4端口千兆网络适配器和2端口万兆网络适配器
I/O插槽
支持≥6个PCIe插槽，可以支持扩展到≥6个网卡
硬件集成管理
硬件集成1个独立管理GE端口，实现虚拟介质、远程控制台、虚拟KVM功能、集成所有系统软件及驱动在主板上，无需启动光盘即可直接部署安装服务器
电源
支持1+1通用接口热插拔高效电源模块，配置2个电源模块；
服务
配置原厂3年维保, 7*24*4服务
机柜导轨
配置球轴承导轨

利旧服务器和新购服务器方案比较：

服务器价格
虚拟化软件价格
实施风险
利旧服务器（方案1）
4万（内存等硬件扩容）
60万（30个CPU License）
高
新增服务器（方案2）
28万（4台高性能服务器）
16万（8个CPU License）
低
如上表所示，新增服务器服务器（方案2）实施风险低，同时总体价格（44万：服务器+虚拟化软件）也比利旧服务器方案1低（64万：服务器+虚拟化软件），所以建议计算资源池采用新增高性能物理服务器方案进行构建！

2.3.4 存储资源池建设方案

如上图所示，采用VM影像文件存储和数据库数据存储2套存储构建XXX存储资源池：
数据库数据存储：主要用来进行数据库数据的存放，数据库业务是实时在线业务，对存储的性能要求较高，本项目可利旧原有的IBM FC存储。
VM影像文件存储：主要用来保存云计算平台中的分配的虚拟机的映像数据文件，这些映像是在云计算平台内是透明且可见的，以确保云计算平台中每个运行的业务都具FailOver（失败切换）功能和按需在线迁移功能。
VM影像文件存储对性能要求一般，建议新增1套性价比优的IP存储系统，统一存放新增的虚拟机影像文件，原有IBM存储系统只存放数据库数据无需扩容，避免原有IBM存储扩容和连接VM时业务的中断。
2套存储系统可分别满足VM影像文件存储（性能要求一般）和数据库数据存储（高性能）的不同性能需求，该存储资源池建设方案性价比最优，也避免了原有IBM存储扩容时的风险，同时2套存储系统可以互为备份大大提高了存储资源池的可靠性：
影像文件IP存储技术参数如下表：
指标项
技术参数要求
存储架构
采用IP SAN存储架构
存储接口
配置2个10 GE iSCSI
可用性特性
支持热插拔冗余电源; 冗余风扇; 热插拔冗余硬盘、集成存储控制器（带电池支持的 DDR2 缓存）、RAID 5、6 和 10、超冗余集群存储、网络 RAID（每卷）0、5、6、10、10+1 和 10+2（最多可提供四份数据拷贝，允许在发生电源、网络、磁盘、控制器或节点故障的情况下，保持数据可用性；
集群存储
支持超冗余集群化存储，同一集群最多支持32个控制器，实现跨硬件设备的网络Raid阵列，共享存储资源
集群容量
≥230TB
实配容量
配置12 块600GB SAS硬盘，12GB 高速内存
可管理特性
集中化管理控制台，集成远程管理；
精简配置
支持SAN精简配置；
快照
支持SAN应用集成快照；
智能克隆
支持SAN SmartClone；
存储复制
支持远程复制、具有带宽限制的异步复制、带同步复制的多站点/灾难恢复解决方案包；
操作系统
支持UNIX/Linux和Windows操作系统；
硬件可靠性
配置冗余电源，冗余风扇。
维保服务
提供3年维保服务
软件配置
配置SAN集群软件许可、网络RAID许可、精简配置许可、snapshot快照许可、异步远程复制许可、同步多站点备份/容灾许可。

2.3.5 云管理中心
利旧现有的2台物理服务器，分别部署H3C iMC网管系统（含 VCM组件）和H3Cloud CAS云管理软件（含CVM和CIC组件），H3C CAS CVM实现对云计算资源池的统一管理和H3C CAS CIC实现私有云业务服务，具体技术参数如下表：
指标项
技术参数要求
云计算资源池管理
由BS架构WEB管理平台来统一管理。支持虚拟机生命周期管理（必须提供创建/修改/删除/启动/关闭/暂停/恢复/重启/下电/查询虚拟机功能），支持灵活创建虚拟机，支持虚拟资源调整，支持虚拟机快照管理，可本机内克隆虚拟机、主机间克隆虚拟机，支持虚拟机迁移，支持虚拟机克隆或转化为虚拟机模板，支持网络策略模板（包括VLAN、QoS），支持虚拟机性能监管，支持直接通过控制台登录到虚拟机系统，支持虚拟机远程桌面，支持虚拟机授权，支持虚拟机操作日志，提供P2V迁移工具，支持虚拟机模板管理，支持虚拟机灾备管理、支持虚拟机集群管理（支持高可靠性HA，动态资源调整DRS（为了在DRS过程中保障关键业务的运行，可以指定运行于一台物理服务器上的多台虚拟机中的一台虚拟机固定运行于该物理服务器上，不会因任何原因自动迁移该虚拟机。而主机上的其他虚拟机可以自动迁移来降低虚拟机对该物理服务器的资源占用）等功能），提供系统管理功能
私有云管理平台
提供私有云多租户组织管理，提供虚拟机资源池管理，提供云业务工作流管理（系统管理员对云资源的整合与分配、组织管理员对组织资源的管理、最终用户对虚拟资源的使用等云业务工作流程），云计算用户自助服务管理（支持云计算门户网站首页布局、显示云用户专属的虚拟机、显示云用户的操作日志、向云计算组织管理员提交虚拟机申请电子流、查看云用户申请的电子流状态，管理员还可审批电子流
配置30个VM授权许可，提供7X24维保服务

2.3.6 应用迁移规划
针对XXX IT现状，本次方案建议分以下三个步骤将现有业务应用逐步迁移至云计算平台中，如下图所示：

第一步：搭建云计算基础资源池及管理平台：保证云计算IaaS平台的最小工作环境，构建网络、计算、存储资源池。
第二步：业务的P2V迁移：主要针对交通厅现有应用系统进行逐步迁移，保证迁移过程中不影响其它业务应用，如下表所示把各种业务迁移到不同的安全域内。
应用系统名称
内外网
建设时间
使用频度
迁移到
厅网站
外
2006年10月
中
外网域
厅邮件
外
2006年10月
低
外网域
厅机关病毒
内
2007年1月
中
管理域
厅办档案管理
内
2007年1月
低
内网域
信用评价
外
2007年5月
高
外网域
信用评价短信服务器
外
2007年5月
低
外网域
CA正式服务器
外
2007年5月
低
外网域
二级局网站及应用系统
外
2007年5月
高
外网域
职称申报
外
2007年6月
中
外网域
科教子站及发布系统
外
2007年10月
低
外网域
XX交通电子报
外
2008年6月
低
外网域
XX交通财会通讯电子版
外
2008年6月
低
外网域
GIS综合查询系统
外
2008年8月
低
外网域
灾害系统
外
2009年5月
低
外网域
桥管系统
外
2009年10月
低
外网域
webSCAN、IPS、IDS管理应用
内
2009年10月
中
管理域
科技项目的ESB
外
2009年10月
中
外网域
SVN版本管理服务器端
外
2009年10月
中
外网域
备用厅网站
外
2010年1月
低
外网域
教育培训管理系统
外
2010年6月
中
外网域
人事专家库
外
2010年6月
低
外网域
人事教育管理平台
外
2010年6月
低
外网域
文档管理器
内
2010年6月
低
内网域
单点登录系统
外
2010年8月
低
外网域
科技项目管理系统
外
2010年8月
中
外网域
执法车辆管理系统
外
2010年12月
中
外网域
法规处执法系统
外
2010年12月
中
不迁移
OA行政许可
内
2011年7月
中
内网域
OA公文交换
内
2011年7月
中
内网域
OA电子印章
内
2011年7月
低
内网域
OA移动办公
外
2011年7月
低
外网域
OA行政办公
内
2011年7月
高
内网域
OA档案管理
内
2011年7月
低
内网域
临时电子监察系统
外
2011年7月
低
外网域

第三步：资源池的整合与扩展：将已迁移到云平台中的业务应用之前所采用的物理服务器、存储资源逐步整合到云计算资源池中，实现对现有设备的利旧，最大化的保证投资，同时进一步扩大云计算资源池。

2.4 XXX云计算平台分期建设方案
以“统一规化、分步建设”思想为指导，分三年建成XXX私有云数据中心和灾备数据中心：
2.4.1 2013年建设方案：云计算平台建设阶段
新建云计算共享资源池（含网络、计算、存储资源池的建设）和私有云管理平台，实现云计算IaaS平台服务，把省数据中心现有X86物理服务器上的业务逐步迁移到云计算平台上。（具体方案见2.3节）
2013年建设方案预算如下表（合计43万）：
序号
名称
产品配置
单价（万）
数量
总价（万）
1
服务器
配置2路8核CPU,64G内存，4个GE口
5
4
20
2
虚拟化软件
配置H3C CAS CVM服务器虚拟化（8 个CPU License）
14
1
14
6
IP存储
配置12TB IP存储（含12块1TB SAS盘）
7
1
7
7
实施服务
配置私有云和云存储实施服务费
2
1
2
2.4.1 2014年建设方案：私有云数据中心建设阶段

如上图所示，按云数据中心架构对现有的XXX数据中心进行彻底的改造，建设XX交通厅私有云数据中心，在XXX内开展私有云业务，把各分支单位的业务系统也迁移到私有云数据中心中，实现数据的大集中，IT建设和管理的大集中，最终大大降低IT建设和运维的总成本（TCO）。

2014年建设方案预算如下表（合计120万）：
序号
名称
产品配置
单价（万）
数量
总价（万）
备注
1
核心交换机
H3C S10508(含FW、LB模块)
50
2
100
新增2台核心交换机替换旧的网络安全设备
2
私有云平台
配置H3C CAS CIC私有云管理平台
20
1
20
建设XXX私有云
2.4.1 2015年建设方案：云灾备数据中心建设阶段

如上图所示，在2014年建成XXX云计算数据中心后，省交通厅所有的业务系统都会部署到云计算中心，省交通厅的所有数据也会实现大集中，当灾难或故障发生时，省交通厅云计算中心的瘫痪会造成全省交通业务的瘫痪，这时建设容灾备份中心成为当务之急。
XXX灾备数据中心在XXX内合适地点进行建设，建议采用云灾备数据中心技术进行建设，实现应用级灾备切换，当省厅云计算中心灾难或故障发生时，交通关键应用可在线迁移到灾备中心，实现交通关键业务的在线访问和数据的零丢失。交通非关键业务在灾难和故障时采用云迁移灾备技术，及时恢复非关键业务的访问和极少数据的丢失。
XXX灾备数据中心建设的同时，也必须进行灾备网络的建设，省厅主数据中心和灾备数据中心采用2条冗余的高速网络进行互联，保证主数据中心和灾备数据中心关键业务数据的实时同步；同时各分支单位增加到灾备数据中心的广域网冗余链路，实现在主数据中心灾难和故障时各分支单位能在线访问灾备中心的容灾业务系统。

第3章 XXX云计算平台优势
XXX云计算平台相对现有IT系统有如下优势：
1、大大降低IT建设和运维的总成本（TCO 降低30～60%）
通过将整合多个物理服务器到一个物理服务器降低40％软件硬件成本；每个服务器的平均利用率从5％-15%提高到60%-80%；降低70-80%运营成本， 包括数据中心空间、机柜、网线，耗电量，冷气空调和人力成本。
2、大大提高IT系统的运营效率
新业务部署时间从小时级到分钟级， 服务器重建和应用加载时间从原有IT系统的20-40 hrs 缩短到云计算平台的15-30 min， 每年节省10,00 人/小时（30台服务器）；以前硬件维护需要之前的数天/周的变更管理准备和1 - 3小时维护窗口，现在可以进行零宕机硬件维护和升级。
3、实现IT资源的动态分配
将所有IT资源做为云计算资源统一进行管理，实现云计算资源的高度共享，并按需自动进行动态云计算资源的调配，同时无需中断现有的业务可在线进行IT硬件资源的扩容。
4、大大提高IT系统的可靠性：
云计算管理平台对数据中心IT基础设施进行基于虚拟机集群的集中化管理，虚拟机集群不仅降低了管理的复杂度，而且具有很高的可用性。
5、私有云实现IT服务的自动化
XXX交通云计算平台为用户提供了一个安全的、多租户的、可自助服务的私有云IaaS服务，通过云计算管理平台提供的虚拟化资源池功能，使IT部门能够将计算、存储和网络等IT资源抽象成按需提供的弹性虚拟资源池，以消费单元（即组织或虚拟数据中心）的形式对外提供服务，IT部门能够通过完全自动化的自助服务访问，为用户提供这些消费单元以及其它包括虚拟机和操作系统镜像等在内的基础架构和应用服务模板。
- 17 -