云存储架构框架设计实现以应用为基础的服务模式.docx

云存储架构框架设计实现以应用为基础的服务模式 【导语】存储架构的变革如何适应以应用为基础的服务模式，是目前银行在探索尝试的方向，传统存储和云存储如何搭配使用，云存储如何做到适应数据结构的要求本文结合实践进行了探讨分享。引言云原生的发展带动了软件定义，由此带来的计算、网络、存储等架构均向软件定义转变，特别是金融行业的发展越来越依赖IT架构和业务系统支撑，在银行业寻求系统变革的时代，存储架构的变革如何适应以应用为基础的服务模式，是目前绝大多数银行在探讨和尝试的方向，传统存储和云存储如何搭配使用，云存储如何做到适应数据结构的要求，怎样利用数据的多样性等特点，设计出适用业务的存储架构及存储模式，软件定义存储如何做好稳定性的高要求，如何利用软件定义提高投入产出比，下面我们来展开讨论下“云存储架构框架设计如何实现以应用为基础的服务模式”。1 银行应用模式转型随着互联网的发展，带动了金融行业的业务变革，银行业从传统的柜台模式向远程化、线上化转变，网上银行、手机银行等互联网应用相继出现，越来越多的客户选择通过线上办理业务，和传统模式到银行柜台办理业务相比，新应用极大的提高了业务办理效率，致使客户越来越青睐通过线上办理银行业务。为满足客户对新应用、新业务的诉求，同时为了精准获客，要求业务系统实现快速迭代开发、更新升级，及时响应业务需求，加速业务创新，各银行均开始调整传统IT系统，敦促业务着力以客户为中心、数据为基础，利用新技术对银行客户服务和业务流程进行数字化再造，提供全渠道、无缝式、个性化的产品和服务，全面实现业务处理的数据化、自动化、智能化。银行数据化改变了原来金融数据的“狭窄”数据体系，提高数据获取能力，获取以客户为中心的完整数据，包括客户行为和金融业务数据，实现大数据分析与管理，体系化、标准化的数据结构为银行IT追求的下一阶段目标，承载数据的存储架构也变得尤为重要，各家银行均在极力寻找新的存储框架，实现满足以应用为基础的服务模式，提供更具个性化、精准化、智能化的服务模式，实现与客户交互、产品、服务的感知性和便捷性，降低银行经营成本。2 应用转型对数据结构的要求从业务的环境变化角度而言，新业务主要是互联网交易，对数据结构而言，要求满足单数据结构复杂，数据库实例明显变大，传统数据结构和数据库很难满足新业务对数据结构的要求，导致新业务场景下，银行科技部门更倾向于将传统数据分散化、灵活化，开始对传统数据库进行分库分表的研究，甚至对存储系统也开始进行云化、服务化的研究。所以从技术架构上来看，基于云化、服务化的分布式存储与两地三中心的容灾能力也是银行的研究重点。为满足对应用的诉求，新的数据结构必须具备支持如下技术能力：1.支持微服务分布式应用架构：核心系统需要能够敏捷快速地支撑产品创新，支撑场景化和平台化的金融业务，而C端客户，互联网客户的需求变化速度远高于传统模式，以微服务的方式通过领域模型的拆分与划分，进行快速的微服务迭代方式研发，并通过可支持灰度与安全可控发布的云化模式上线，才能达到这样敏捷的程度。2.支持分布式事务处理：当核心应用基于分布式改造之后，对于余额等待状态需要强一致性保障的操作而言，分布式事务的处理框架与保障机制会变得非常重要。同时在互联网高频特征下，在确保一致性的同时保证高性能，会对整个事务处理提出非常高的要求和挑战。分布式事务处理是核心改造中的一个关键性问题。3.支持分布式数据处理：在解决了核心业务应用能够敏捷进行响应的挑战之后，对于性能和扩展能力的要求也是在核心银行系统的研发过程中碰到的一个重要挑战，尤其对于基于互联网的工作负载而言，需解决底层数据的高效和安全性。3 IT系统存储的选择3.1 集中式存储集中式存储是各银行常见的存储设备，在银行应用中，主要有SAN及NAS存储、融合存储、混闪、全闪等几种存储形态，磁盘的发展经历了机械盘、SSD固态硬盘、NVMe接口全闪存等磁盘类型；随着磁盘及存储性能的稳步提升，延时和高可用性都得到了进一步的提升。银行的主要应用场景也集中在核心业务、稳态系统、数据库、虚拟化等。集中存储功能完善，稳定性好，运维简单，监控、运维体系健全，技术成熟，可选择的范围也很广，从中低端到高端产品齐全。不足是：单体容量有限，可扩展性较差。3.2 云存储在银行数字化转型的背景下，传统的存储模式，已经不适应当下金融业务所有需求。满足各类场景下存储的“软能力”变得尤为重要。随着各银行对非结构化数据、海量文件的处理，分布式存储也随之出现了块存储、文件存储、对象存储等类型。分布式云存储，使用多台PC服务器，构造一个软件定义的存储，其特点非常敏捷，资源可弹性部署、按需获取，支撑新兴业务快速上线；面对数据中心结构化、非结构化等复杂的数据类型，能提供丰富的访问接入支持；可快速海量扩展性能与容量，扩展方式非常简单，供极致性能，满足并行数据处理需求；在满足那么多功能与性能需求的同时，还能降低TCO。3.3 云存储和集中式存储区别在选择上，如果系统对延时要求高，对性能的稳定性要求高，那么最好的选择是集中式存储。如果系统对IO吞吐量的要求高，而对性能要求没那么高，云存储是较高的选择。对于海量数据的存储，分布式存储也是是更好的选择。在云计算环境、虚拟化平台所用的存储，如果虚拟机本身没有承载高IO性能要求的应用（如数据库应用），那么分布式存储是较好的选择，服务器的扩容和存储的扩容可以根据实际存储的用量同步进行。未来随着分布式技术的发展，伴随着云计算技术的发展，分布式存储也将逐步在一段时间内成为主流。对比表：4 分布式云存储的架构设计以华为分布式云存储为例。分布式云存储架构如下所示，最右侧对其按照逻辑分区抽象的分为节点池、硬盘池、资源池、存储服务层和接入层5部分，其中节点池为底层的分布式服务器设备；硬盘池是对节点池的存储硬盘进行抽象，对市面上硬盘产品进行相应的归类，大致列包括 SATA盘、SAS 盘、SSD盘和 NVMe SSD盘这 4种类型的硬盘存储；其上对由硬盘存储组成的服务类型归为块存储、文件存储和对象存储3种存储资源池类型；而存储服务层为分布式存储本身具备的一些能力和特性，如多副本、纠删码、快照、克隆、远程复制、Qos、访问控制及故障域等；接入层则表示分布式存储具备的标准化接口能力，如 iSCSI、NFS、CIFFS、S3 等业内标准的接口。左侧的管理平台则提供易管理、易操作的标准化界面，实现一体化的运维、管理和维护，同时也提供状态监控、性能监控及故障的告警显示等。分布式云存储通过系统软件将标准硬件集群的本地存储资源组织起来构建全分布式存储池，实现一套存储系统向上层应用提供块存储、文件存储和对象存储三种存储服务。-全文完-