创新存储沙龙-20131017v2.pdf

融合计算和存储-FusionStorTM分部式存储解决方案郭晧一、智慧数据：IT的新机遇世界已经改变IBMUnisysBurroughsHitachiNECBullFijitsu大型机提供新的业务机会，消除 IT 限制 符合企业需求的购买 关注 IT 员工的企业 上市速度加快 生产力提高 降低 CaPex 和 OpEx大型机首先是由 IBM DASD 推动，然后是 Fuji、Hitachi、EMC复杂管理低效利用高度可用高性能客户端/服务器数据库ERPCRMSCMHCMHCMPLMHPEMC成本管理订单输入产品配置器资料清单工程设计索赔处理清单生产项目质量控制SAP现金管理应收账款固定资产成本计算开具账单时间和费用活动管理工资单培训工作时间和考勤排班销售跟踪与市场营销佣金服务数据仓库InternetOpSourceJoyentHTata CommunicationsDatapipePPMAlterianHylandNetDocumentsNetReachOpenTextPaperHostXeroxGoogleMicrosoftIntraLinksQvidianSageSugarCRMVolusionZohoAdobeAvidCorelMicrosoftSerifYahooCyberShiftSabaSoftscapeSonar6AribaYahoo!QuadremElemicaKinaxisCCCDCCSCMADP VirtualEdgeCornerstone onDemandCyberShiftKenexaSabaSoftscapeSonar6WorkscapeExact OnlineFinancialFIntacctNetSuiteNetSuitePlex SystemsQuickbookseBay移动、社交、大数据和云Amazon Web ServicesGoGridRackspaceLimeLight Jive SXactlyPaint.NET业务教育娱乐游戏生活方式导航功能新闻照片和视频生产力参考资料社交网络运动旅游实用程序每 60 秒400,710 ads 请求2000 首歌词在 Tunewiki 上播放1,500 次 ping 操作已在 PingMe 上发送34,597 名人员在使用 Zinio208,333 分钟“Angry Birds”已演奏23,148 个应用程序已下载WorkbrainSuccessFactorsTaleoWorkday98,000 条 Tweet 消息财务FacebookLinkedInTripItPinterestZyngaZynga百度TwitterTwitterYammerAtlassianAtlassianMobilieIronSmugMugSmugMugAtlassianAmazonAmazoniHandyPingMePingMeAssociatedcontentFlickrSnapfishYouTubeATumblr.UrbanScribd.PandoraMobileFMixiCYworldQzoneRenrenXingYandexYandexHerokuRightScaleNew RelicAppFogBromiumSplunkCloudSigmacloudabilitykagglenebulaParseScaleXtremeSolidFireZillabytedotCloudBeyondCoreMozyViberFringTogglMailChimpHootsuiteFoursquarebuzzdDragon DictionSuperCamUPS MobileFed Ex MobileScanner ProDocuSignHP ePrintiScheduleKhan AcademyBrainPOPmyHomeworkCookie Doodle啊！Fasion GirlInternet 与发展超越由 www 带动-由.com 和创新推进依赖虚拟化计算最大限度地提高增长率和敏捷性时刻准备迎接任何挑战传统的计算模式数据源数据抽取数据仓库场景模型策略/计划平衡计分卡预测/预报绩效分析价值分析数据集市数据分析前端展示风险分析企业数据仓库数据仓库事实表ETL工具数据管理基于门户的Web页面固定报表多维分析即席查询数据集市MOLAPRelational立方体管理行业情报ERPHRSCMCRMStatistics外部数据财务预算数据员工状态设备状态客户信息分析报告ETL:抽取、转换和加载从计算为中心到数据为中心数据在存储与计算之间搬迁PB级数据时代数据搬迁代价巨大以搬迁计算代替搬迁数据实现PB级数据快速存储与分析以计算为中心以数据为中心层次架构走向整合架构层次架构整合架构专用的存储硬件专用的存储OS面向企业的传统应用通用硬件分布式存储OS面向Hadoop的大数据应用存储正在向现代架构发展17到20年前可预知的工作负载；固定的物理设备；巨额的IT预算有限的分析需求结构化数据UnpredictabilityVirtualization&ITaaSShifting OpEx/CapExInformation assets今天不可预知的需求虚拟化 和 ITaaS降低运营成本/资本支出数据多样性，大量的非结构化数据产生“大数据”，延展信息的价值UnpredictabilityVirtualization&ITaaSShifting OpEx/CapExInformation assets融合存储联合 和 横向扩展构建于行业标准各部件协调一致工作存储无界限客户对其存储系统有何期望IT 服务的无缝式交付主要存储支持跨物理、虚拟和云环境的所有应用程序和数据类型降低业务风险信息保护，采用重复数据删除技术进行高效、快速的备份/恢复信息的更多价值信息保留和分析在大规模“大数据”内容存储库中进行存档和搜索以下列方式提供：物理设备或虚拟存储设备上市速度加快，避免延迟推出新计划，最大限度地利用所有资源，降低 IT 成本确保所有主要 IT 资源和数据开销最低，在发生故障时恢复最快在遵守法律法规的同时，通过可预测性提高剩余收入大数据时代下的IT角色转变成本中心利润中心大数据生态圈二、分布式存储核心系统架构软件定义存储什么是软件定义存储：基于通用的标准化商用硬件平台（如X86服务器），在软件堆栈中加入不同的软件功能，利用通用平台的计算能力来替代专用电路，这就是“软件定义的存储”（Software Defined Storage）软件定义存储的优势需求n降低成本(前期购置成本/后期运营成本)n自适应基础架构自动响应业务需求n加快创新成果的创收速度功能n云、企业级虚拟化及管理成效n通过抽象资源实现无限的灵活性与可扩展性软件定义存储路线图分布式存储：存储位置虚拟化，统一存储空间传统RAID阵列分布式存储位置固定位置透明FusionStorTM设计原则InterfaceInterfaceData ModuleInterfaceInterfaceInterfaceData Module Data Module Data Module Data Module Data Module Data ModuleSwitchingSwitchingScale Out设计原则:大规模并行 细粒度数据分布 业界标准组件 紧耦合disk,RAM and CPU 虚拟化架构零管理分布式存储系统概述虚拟机x86物理主机虚拟机x86物理主机虚拟机x86物理主机虚拟机x86物理主机IP SANCloud Group IP192.168.1.100存储系统采用细粒度的数据分布，自动在节点间均衡负载分布式存储之系统IO路径lichStoragelichStoragelichStorage节点A节点B节点CVM1VM2业务外网VM3VM41VM1发起写数据块A的请求，传递到节点A2AA节点A进行本地写，同时提交节点B写另一副本3节点A确认两个副本都写完后返回写完成信号Lich是存储节点上的存储管理软件每次IO定向到的节点由存储多路径软件选定，由该节点负责本次IO存储系统与IO请求方的网络通信。每次IO选定的节点都可能不同，以保证负载均衡新写一个数据块时，存储集群按照轮询原则从LUN所在的节点中选择一个承载本次IO的节点。读的情况：如果IO定向到的节点没有要读的数据块，则由该节点向数据块主副本所在的节点读取，再返回给应用服务器。IO的瓶颈一般在存储而不是网络，上述设计将存储IO分散在不同的存储节点，充分利用网络的带宽5节点C向节点A请求数据块A6节点C向VM4返回读结果VM4发起读数据块A的请求4分布式存储之高可用性设计传统阵列MDS分布式存储-RAID 1 Group-RAID 1 Group-R1 Raidlet -R1 Raidlet -笼内RAID数据丢失概率大Shelf(chassis)Shelf(chassis)跨节点多副本容忍节点故障磁盘笼子(chassis)要保证一致性性能低(write-thru mode)SSD镜像极高性能(no write-thrumode)*控制器Component磁盘多对一重构，重构时间长（重构期间无保护）多对多数据重构，极大的缩短重构时间sparedrivespare chunklets通用X86为节点单元典型配置构成构成FusionStor存储软件+IBM System X服务器处理器处理器/内存内存1路Intel XEON 6核处理器/1 x 8GB DDR3 ECC 1333主机接口主机接口2 x Intel 82599 10 Gigabit以太网卡SSD缓存缓存2块800GB SSD（按硬盘容量10：1配置）硬盘硬盘10 x 1TB/2TB SATA(SAS)磁盘驱动器电源电源600W冗余双电源融合架构和传统架构比较收益 减少75的机房空间和电力 跨机架级高可用 轻松和可预见的规模 简单管理：服务器/应用程序不依赖于存储团队Storage Controller Storage Controller分布式中心 Before-传统基础架构-14 台服务器集群应用程序服务器共享的联网存储设备（无跨机架级的高可用）VMware Hypervisor 3 台(2U)服务器3 个FusionStor VSAsWindows ServerWindows ServerWindows ServerWindows ServerWindows ServerWindows ServerWindows ServerWindows ServerWindows ServerWindows ServerWindows ServerWindows ServerWindows ServerWindows Server分布式中心 After-融合基础架构-VMVMVMVMVMVMHP VSA16 300GB 10k HDDs with RAID 5VMVMVMVMVMVMHP VSA16 300GB 10k HDDs with RAID 5VMVMVMVMVMVMHP VSA16 300GB 10k HDDs(RAID 5)三、分布式存储系统特性介绍特性一：宽条带化与跨集群LUN分布整个存储空间被分成许多大小一致的块（大小可设置，864M，称为chunk），每个LUN的chunk均匀分布到集群中所有磁盘驱动器上数据采用伪随机算法均衡分布在整个LUN上以提高IO性能（利用全部节点的性能）LUN1LUN2LUN3存储节点1存储节点2存储节点3特性二：数据自动平衡分布每个LUN单独设置数据副本数量不同的副本存放在不同的节点以保证数据安全当节点加入、删除或者故障时，数据将重新分布，均衡仍然得以保持。磁盘故障与更换也是如此Node 2Node 3Node 1Data Module 2Data Module 1Data Module 3特性二、数据自动平衡分布Node 4Data Module 2Data Module 3Data Module 1 hardware upgrade Data Module 4每个数据块都有多个副本，不能的副本存放在不同的节点以保证数据安全当新节点加入时均衡仍然得以保持当节点移除时均衡仍然得以保持当节点故障时均衡仍然得以保持特性二、数据自动平衡分布Data Module 2Data Module 3Data Module 4Data Module 1 hardware failure 每个数据块都有多个副本，不同的副本存放在不同的节点以保证数据安全当新节点加入时均衡仍然得以保持当节点移除时均衡仍然得以保持当节点故障时均衡仍然得以保持特性三：多路径机制实现网络负载和存储IO负载均衡分布式存储池XX每次IO由多路径软件选择承载该次IO的存储节点（负责存储系统与发起该IO的应用服务器之间的通信），实现网络负载均衡在存储系统内，系统根据忙闲程度选择具体承载某IO的副本节点，获得最佳性能的I/O 负载平衡特性四：精简配置存储空间80GB30GB150GBHypervisorPhysical Host30GB30GB30GB50GBThick30GBThin50GBThin150GB只有在写数据时需要分配空间，提高存储利用率无需象以往过度预算、超买浪费精简配置按需扩容，最大化保护节省投资150GB30GB230GB50GBVMVMVM特性五：高效的多用途快照基于一个时间点逻辑盘的映像 对应一个物理上的备份特性:提供实时拷贝 可以映射到任意一个主机 可以随时读、写 不限数量(license限制，系统限制）主要应用:基于时间点的备份映像 作为卷恢复的数据源 数据挖掘、分析1:002:003:003:00特性六：热点数据自动Cache不合理数据分布导致热点优化性能和吞吐量.自动识别热点的数据并搬迁到最高性能的固态硬盘上其余的数据可以性价比更高的磁盘去存放IO加速：本地RAID卡和SSD均可用作Cache热点由于数据较差的排列优化性能和吞吐量.智能发现和处理SSDsHDDsSSDsHDDs固态盘自动分层管理特性七：灵活、安全的数据副本机制每个chunk在集群中有多个副本（可配置14个副本），确保数据绝对安全（RPO=0)数据副本可按磁盘、节点、RACK（包含多个节点）、数据中心（包含多个RACK）分布逻辑卷跨数据中心，完全支持双活数据中心LUN1ALUN2ARACK1RACK2LUN1BLUN2BLUN1CLUN2CRACK1RACK2LUN1DLUN2D主数据中心备数据中心10G链路一个集群特性八：整合客户现有资源特有的硬件无关性、支持混合节点（其他类似产品要求节点严格对称）充分利用现有服务器和存储资源：新旧节点混合使用，只需磁盘空间大小相近节点维护和硬件替换十分方便：兼容不同类型的磁盘、网络和主机*将旧存储划分LUN，划分给不同的存储服务器，使各存储节点的存储空间尽量接近，在此基础上形成集群新节点旧节点统一集群存储空间旧存储*特性九：无中断的按需扩展服务器A服务器B服务器C服务器D集群存储扩容自动精简配置和无中断扩展功能可帮助用户创建超出当前实际需求的大容量卷，然后随着应用数据的增长为卷填充数据块。特性十：可升级为计算、存储融合平台客户现有IT系统（小型机/服务器）SW ASW BOA系统财务系统IT系统FusionStor一体化平台集群，提供计算和存储服务客户新增IT应用系统VM业务系统VM业务系统VM业务系统VM业务系统VM业务系统VM业务系统接入一体化平台上的存储服务特性十一：全面监控硬件运行状况监控集群中每个节点硬件状态，确保提前发现节点的健康情况，以颜色和统计方式直接通过WEB界面呈现监控存储的负载和性能状况可通过邮件发送告警和错误情况四、虚拟SAN设备系统VSA for VMware ESXFusionStorTMVirtual SANVSAESXServerESXServerESXServerDASDASDASVSAVSAWinLinuxWinLinuxLinuxWin全功能虚拟SAN：在ESX虚拟机内交付分布式存储功能虚拟化ESX服务器的内部磁盘资源虚拟的iSCSI SANESX内部存储集群：跨多个ESX系统的高度可用的存储虚拟机的共享存储支持vMotion、DRS和HA分布式VSA高可用性FusionStorVSAFusionStorVSAFusionStorVSA分布式VSA存储平台：在ESX虚拟机内交付分布式存储功能 虚拟化ESX服务器的内部磁盘资源 全功能的虚拟iSCSI SAN 高可用的虚拟存储节点 支持vMtion、HA、DRS分布式虚拟化SANVSA经济效益通过重新利用现有的硬件保持存储采购成本低Reduce降低存储成本Reuse重用现有的硬件Recycle回收利用现有的基础设施VMware ESX ServerVSA创建任何内部或外部磁盘容量的共享存储（DAS，SAN，FC或iSCSI）VMware ESX ServerVMware ESX ServerVSAVSAVSA五、典型应用场景和解决方案FusionStorTM典型应用场景服务器虚拟化大数据分析数据库桌面虚拟化企业应用应用场景一：服务器虚拟化虚拟机池虚拟磁盘分布式存储虚拟机均匀分布在全部节点，无“热点”应用场景二：桌面虚拟化弹性和灵活性，以支持动态虚拟桌面环境线性增长的存储扩展能力高性价比的混合存储并行分布式处理，性能优化分布式存储系统优势：企业级解决方案自我管理愈合的架构从容量规划中解脱保护现有的硬件投资超弹性的资源分配线性可扩展的性能高密度的VDI大幅度提升单台虚拟主机可运行的虚拟桌面密度自动的数据冗余没有单点存储故障应用场景三：企业应用与企业ITERP满足绝大部分业务存储需求分布式存储WEB，Exchange，云网盘OA系统、IT系统证券交易虚拟机应用对时延敏感的关键业务FC交换机以太网交换机OA办公与IT应用系统FC存储应用场景四：海量数据高效存储与访问为海量非结构化数据提供高效存储访问应用:医疗影像流媒体高性能运算科研设计公共安全广告高清企业生产等大数据存储需求10Gb分布式存储应用场景五：海量数据存储+归档访问高性能节点为海量非结构化数据提供高效存储访问的同时，通过大容量归档节点为低使用率数据提供经济的归档存储更为低成本的大容量节点，为归档提供经济的转储方式归档路径对用户透明，归档数据在线访问应用:医疗影像流媒体科研设计档案管理企业生产等大数据存储及归档需求10Gb数据节点归档节点10Gb分布式存储系统应用场景六：整合客户现有资源充分利用现有服务器和存储资源：新旧节点混合使用，只需磁盘空间大小相近节点维护和硬件替换十分方便：兼容不同类型的磁盘、网络和主机*将旧存储划分LUN，划分给不同的存储服务器，使各存储节点的存储空间尽量接近，在此基础上形成集群新节点旧节点统一集群存储空间旧存储*六、超融合计算方案工作原理:让数据更接近CPUMillisecond(10E-3)Nanosecond(10E-9)ACCESS DELAY IN TIMEL1,L2&L3CPU CacheDRAMHigh IOPS Adapter5 orders of magnitudeSANHigh IOPS传统方式SAS/SSD5RAID ControllerApplicationCPU6Metadata oMetadata ProcessoFlash Flash Controller34512ioDriveApplicationCPUMetadata Metadata Processing1ioMemory rioMemory Controller2High IOPS卡直接与主机的内存DMA，大大降低时延,响应时间性能差距是万倍超融合系统简介专为虚拟化而设计的超融合系统PCIe固态闪存加速融合系统PCIe flashLocal Storage or CachingPCIe flashLocal Storage or CachingPCIe flashLocal Storage or CachingPCIe flashLocal Storage or CachingPCIeFlashSAS/SATA FlashHDD高性能、高可用、线性扩展、简化管理、节约资源、降低整体构建成本。Memblaze+FusionStorTM+FusionCloudTM分层存储，按照性能的要求，从主存储到一级，一直到三级的存储cache，相信在很长一段时间内比较慢的磁盘仍然是主存储，SSD可能是速度快一些的存储级别，PCIe是更高性能的存储，同时还有DRAM 内存存储以及更新一些的内存出现。超融合系统方案优势 Scale Up：利用 PCIe卡来降低延迟 Scale Out：为直连存储提供SAN共享能力快速 低成本故障转移 数据冗余可靠 动态分层，冷热数据均衡存储 软硬件紧密集成智能七、方案总结和价值构建下一代数据中心 利用x86架构物理迁移到虚拟 横向扩展的架构 通过软件定义数据中心提供服务 融合云架构大规模扩展弹性灵活性云时代融合系统智能软件层提供：全分布式，大规模的无共享架构硬件故障容错高级虚拟机管理功能完整的企业级存储管理功能：克隆、快照、精简存储、动态分层、高可用、复制智能计算和存储融合企业级高可用场景MMMVMLIBRADOSLIBRBDHYPERVISOR传统的双机集群局限性：传统双机集群存在单点的存储故障风险存储高可用成本高双机集群系统维护复杂，双倍的维护FusionStor分布式集群优势：系统和数据自动保留2个副本存储自愈性，修复不需要人工干预逻辑上只有一个虚拟机，系统变更免维护传统存储与云存储系统对比传统存储架构云存储架构海量数据承载能力扩展方式是通过增加硬件配置实现，属于Scale up方式存储系统可以达到PB级别的扩展空间更适合海量数据的存储、Scale Out高可用通过昂贵的硬件保证系统的高可用性通过系统自身的机制，即软件完成的自动化、智能机制来保证系统可用性存储资源动态调配的能力存储资源分配给应用后，难以回收再分配计算和存储资源虚拟化，可以按照需求分配，动态调整资源利用率和能耗低资源利用率，高能耗35%-75%的TCO节省，30%以上的软硬件成本节省，CPU利用率提升到60%-80%，70%-80%运营成本节约运维效率和成本运维效率低，维护成本高，硬件准备周期长部署时间缩短到分钟级，减少硬件准备周期管理复杂度高低方案的特色与价值高性能数据安全性横向扩展与按需扩容整合客户现有存储管理简单跨节点的LUN，使得IO能利用每个节点的性能；SSD缓存大幅改善读写性能；多节点参与重构，重构时间从10小时/TB-20min/TB；独立的后端网络，使得存储系统节点间通信不影响业务网络多副本副本可按节点、按rack、按数据中心分布高效的快照无需设定热备盘，数据丢失后随时重构无中心架构；硬件监控（节点、硬盘）强大的自愈能力，故障时无需人工干预硬件无关性，节点故障时可采用通用X86服务器进行替换谢谢！