云计算导论：概念-架构与应用PPT第4章.pptx

1 第 4章 PaaS服务模式云计算导论：概念 架构与应用第4章PaaS服务模式人民邮电出版社 21世纪高等院校云计算和大数据人才培养规划教材2 第 4章 PaaS服务模式核心系统概述Cloud FoundryHadoop4.14.2内容导航C O N T E N T S4.34.43 第 4章 PaaS服务模式4.1 概述平台层的功能以服务的形式提供给用户，可以作为应用开发测试和运行管理的环境，亦平台即服务（Platform as a Service，PaaS）。平台即服务是云计算平台层的外在表现形式，是云计算平台提供的一类重要的功能集合。在云计算的多层架构中，需要一个层次来屏蔽下层物理设备的多样性，又要支持上层应用的多样性。PaaS层即通过一系列的面向应用需求的基本服务和功能来提供应用运行管理的基础，而它本身也屏蔽了基础设施层的多样性，可运行在多样的基础设施层之上。4 第 4章 PaaS服务模式4.1.1 驱动力平台即服务作为云计算中的一类重要服务类型，它的出现有其深刻的商业和技术背景。进入21世纪以后，基于Web应用的电商平台成为软件开发的主流，企业必须寻求新的IT系统及应用运作方式，以降低大量成本投入。平台即服务给企业在这方面的需求带来了高效的解决方案。l在云计算的架构中，基础设施层通过基于共享和虚拟化的服务来提供计算能力、存储能力和网络能力。l在云计算的大框架下，平台即服务提供了进一步的抽象。通过对云应用进行分类，总结相关实践中的共性问题，抽象出特定的模式和解决方案。lPaaS包括一系列的平台软件和基本服务。PaaS的提供商在平台软件和基础服务的实现上具有多样性，各自针对用户对平台的一类或几类特定需求和使用方式。根据所针对的应用类型，PaaS在理念、客户定位和实现方式上也会存在差异。l通常的企业客户维护着大量现存的应用。企业可以考虑把这些应用迁移到云计算平台层上，或者保持维护现有应用，而把新的应用运行在云计算的平台层上。PaaS技术的发展将会更加贴近客户的多样化需求。5 第 4章 PaaS服务模式4.1.2 主流类型当前，PaaS上运行的应用主要分为两类：一类是Web服务类PaaS平台架构如图所示。这一类应用主要是通过浏览器访问、采用请求响应模式进行交互的应用，称为事务处理类应用。事务处理类应用的要求主要包括快速响应、高可用性、大并发量等。Web服务类PaaS平台架构6 第 4章 PaaS服务模式4.1.2 主流类型另一类是数据分析服务，其PaaS平台架构如图所示。这一类应用主要是对大量的数据进行分析处理，称为数据分析类应用。数据分析类应用的主要要求包括强大的计算能力和存储能力，对于实时性的要求不高，数据处理完毕后任务就结束运行了。数据分析类PaaS平台架构随着市场规模的扩大和市场细分的深化，PaaS的种类及提供PaaS的厂商将会不断增加。7 第 4章 PaaS服务模式4.1.3 功能角色 1共享的中间件平台从架构层次上来看，平台层是为了有效支撑大量应用实例的运行管理，它是一类应用运行所需要的资源和服务集中起来并进行共享的中间件平台。PaaS将传统的静态、独享的中间件平台转变为一种动态、共享的中间件平台。每个应用将在云平台上统一进行管理和运行。平台层既提高了资源的利用率，又通过对应用和平台进行概念和功能的分离进一步简化了应用和平台的运营和管理，见右图。PaaS将“共享”扩展到更大的范围。与基础设施层所共享的对象不同，PaaS所共享的对象是应用运行所需的资源和基础功能。PaaS作为扩展的中间件8 第 4章 PaaS服务模式4.1.3 功能角色2集成的软件和服务平台从功能特征的角度来看，平台层整合各种不同的软硬件资源向应用提供一致而统一的资源和功能。如图所示，平台即服务可能建立在多个基础设施服务之上，需要对应用提供一个一致的、单一的基础设施视图。平台层除了提供Web服务器、应用服务器、消息服务器等传统的中间件以外，还需要提供其他相关的管理支撑服务，如应用部署、应用性能管理、使用计量和计费等。另外，云应用本身可能会集成来自不同云服务提供商所提供的功能或服务，这些需要平台层提供相应的支持。PaaS作为集成的软件和服务平台9 第 4章 PaaS服务模式4.1.3 功能角色3虚拟的应用平台从使用模式上来看，作为应用运行管理的环境，PaaS模糊了物理资源的限制，在应用看来是一个按需索取、无限可扩的虚拟平台，如下图所示。PaaS作为云应用的运行环境，云应用通过PaaS所提供的编程接口（API）按需获取运行所需要的各种（虚拟的）资源和能力。总之，PaaS针对的是有效并自动管理大量应用的需求。PaaS的功能和结构设计要满足这样的需求。PaaS作为虚拟的应用平台10 第 4章 PaaS服务模式概述Cloud FoundryHadoop4.1内容导航C O N T E N T S4.34.4核心系统4.211 第 4章 PaaS服务模式4.2 核心系统一个平台一般来讲只能对某类应用进行高效、方便的支持。在当前的IT实践中，存在大量不同类型的应用，因此，从用户的观点来看，PaaS与PaaS之间也存在着巨大的不同。然而，在实现PaaS的过程中，我们也会发现，PaaS作为一个系统，其中的功能和模块大致分为两类，首先是PaaS的核心系统，包含了PaaS的一系列本质特征，即使是在不同的PaaS中，也会有这些特征的实现；其次是PaaS的扩展系统，主要包含了针对其支持的应用类型的支持，比如GAE作为支持事务型Web应用的PaaS，就包含了数据访问和缓存的相应模块。本节讨论通用的核心系统。12 第 4章 PaaS服务模式4.2.1 简化的应用开发和部署模型PaaS层的基本目的是为了进一步简化大量应用的开发、部署和运行管理。假设用户A和用户B都需要CRM的应用，用户A需要很高的数据可用性，而用户B则不太关心这个问题。开发人员只需要进行一次开发就能满足这两个企业的功能性需求，而应用管理人员则只需要在部署的时候根据业务的需求选择配置策略，云平台会自动为它们产生不同的部署和配置。PaaS层在传统的功能性和非功能性分离的基础上，把非功能性的需求实现以服务的方式提交给应用开发者使用，并且通过利用IaaS层的功能可以实现应用资源自动按需供给。所以，PaaS层使得应用的开发更加简单，应用的运行更为自动化。PaaS平台实现的非功能性需求13 第 4章 PaaS服务模式4.2.2 自动资源获取和应用激活PaaS层的一个基本特点是资源分配和应用激活的自动化操作。lPaaS层可以建立在IaaS层之上，通过调用IaaS层的功能和接口获得相应的资源并分配给相应的应用，也可以直接实现基础设施管理的功能，而无须抽象出单独的IaaS层。l提交给PaaS层的应用分为功能性模块和非功能性策略。PaaS层首先根据应用的这两方面的需求计算出支持该应用所需要的资源类型、配置模式和相应的数量。l当为应用配置好运行所需要的各类资源之后，PaaS层需要激活应用，让应用确实运行起来并为其提供正常运行应有的功能。l在应用的部署过程中，可能涉及应用模型没有指定但实例化的时候必须存在的功能模块。l除了解析并实现资源之间的依赖关系外，在应用能够正式运行之前，还需要对资源进行一系列的配置和初始化工作。14 第 4章 PaaS服务模式4.2.3 自动的应用运行管理（1）PaaS则提供了应用运行环境和应用自身的分离；应用运行所需的资源、基础服务和管理操作都可以交由PaaS平台来负责，甚至通过一系列技术实现自动化操作。在PaaS平台上，企业仅需关心应用的功能，监控应用的运行是否达到要求，而无须关心如何准备好各种资源和条件来使其正常运行，后者由PaaS平台来负责。（2）为了实现以应用为中心的管理模式，PaaS展现给用户的是以应用为中心的逻辑视图，即展示应用逻辑层次上的功能模块，以及通过属性和策略所表达的非功能性约束。（3）除了向应用管理人员提供应用的逻辑视图，PaaS还通过在逻辑视图上加载适当的管理操作接口从而形成一致的集成管理视图。集成的管理视图既展示了应用的运行信息，又展示了管理人员可以使用的管理操作，使得以应用为中心的管理更为直观而简化。（4）根据应用的运行动态，PaaS可以实时调整提供给应用的各类资源。15 第 4章 PaaS服务模式4.2.4 平台级优化（1）在PaaS层，优化在两个层次上进行：在应用层次，针对应用的性能和配置策略，PaaS动态调整应用所使用的资源，在保证达到应用要求的前提下尽量提高资源的使用率，降低应用的运行费用；在PaaS平台层次上，在保证各个应用的运行要求下，PaaS通过资源的共享和复用从而降低平台的运行开销，提高运行效率。（2）将应用运行在PaaS平台上，应用的所有者不再拥有单独的软硬件平台，针对软硬件平台的优化工作也需要由PaaS来进行。同时，PaaS平台执行优化工作时，也需要调用所依赖的层次，如IaaS层的功能和服务来完成。PaaS平台可以根据应用的策略及运行情况来自动进行跨层次（PaaS层与IaaS层）的优化和调整。（3）PaaS平台上运行着大量的应用，由于规模和自动化的要求，其上的优化也将面临着巨大的挑战。这是未来大规模分布式系统研究和实践的重要方面。16 第 4章 PaaS服务模式概述Hadoop4.1内容导航C O N T E N T S4.4核心系统4.2Cloud Foundry4.317 第 4章 PaaS服务模式4.3.1 简介Cloud Foundry是VMware推出的业界第一个开源PaaS云平台，它支持多种框架、语言、运行时环境、云平台及应用服务，使开发人员能够在几秒钟内进行应用程序的部署和扩展，无需担心任何基础架构的问题。同时，它本身是一个基于Ruby on Rails的由多个相对独立的子系统通过消息机制组成的分布式系统，使平台在各层级都可水平扩展，既能在大型数据中心里运行，也能在一台计算机中运行，二者使用相同的代码库。作为新一代云应用平台，Cloud Foundry专为私有云计算环境、企业级数据中心和公有云服务提供商所打造。18 第 4章 PaaS服务模式4.3.2 特点Cloud Foundry云平台支持各种框架的灵活选择，这些框架包括Spring for Java、.NET、Ruby on Rails、Node.js、Grails、Scala on Lift以及更多合作伙伴提供的框架（如Python，PHP等），大大提高了平台的灵活性。1.开发框架的选择性Cloud Foundry可以灵活地部署在公有云、私有云或者混合云之上，如vSphere/vCloud、OpenStack、AWS、Rackspace等多种云环境中。3部署云环境的选择性Cloud Foundry平台将应用和应用依赖的服务相分开，通过在部署时将应用和应用依赖的服务相绑定的机制使应用和应用服务相对独立，增加了在PaaS平台上部署应用的灵活性。2应用服务的选择性Cloud Foundry PaaS平台19 第 4章 PaaS服务模式4.3.3 逻辑结构Cloud Foundry是由相对独立的多个模块构成的分布式系统，每个模块单独存在和运行，各模块之间通过消息机制进行通信。Cloud Foundry各模块本身是基于Ruby语言开发的，每个部分可以认为拿来即可运行，不存在编译等过程。Cloud Foundry云平台是完全模块化的分布式系统，各个模块之间是相互独立的，通过消息总线进行相互连接和通信，这种结构不仅使系统各模块之间的耦合度降低，而且使系统功能容易扩充。Cloud Foundry逻辑结构20 第 4章 PaaS服务模式4.3.3 逻辑结构Router（路由器）Authentication（认证组件）Cloud Controller（云控制器）Health Manager（健康管理器）Application Execution（应用执行）Service Brokers（服务代理）Message Bus（消息总线）01020304050607Page1234567Cloud Foundry云平台的各种应用服务由Services模块提供，可以灵活扩展。Metering&Logging（计量和日志）80821 第 4章 PaaS服务模式4.3.4 整体架构从图中可以看到，Cloud Foundry平台主要由Router、Cloud Controller、Health Manager、DEA、NFS、NATS、Cloud Controller Database以及Service等模块组成。这些模块协同合作，通过特定的消息传输机制和API接口进行通信，就可以使整个云平台正常运行。由于在集群环境下每个模块都有多个部署节点，从而保证了云平台的可靠性和弹性动态扩展的需求，使得应用程序可以稳定可靠地运行在Cloud Foundry云平台上。Cloud Foundry包括UAA（用户账户及授权）和登录服务器。UAA就是Cloud Foundry的身份管理服务。登录服务器为UAA执行验证任务，并充当后端服务。Cloud Foundry云平台整体架构22 第 4章 PaaS服务模式4.3.5 部署模式Cloud Foundry是完全模块化的设计，模块之间不共享状态信息，每个模块可以单独存在、运转。所以，Cloud Foundry安装方式可以灵活多样，既可以单节点安装，也可以多节点安装。在单节点安装模式下，Cloud Foundry所有的模块都安装运行在同一个节点上。这种模式安装简单，所需资源少，但是处理能力有限，所以，主要用于学习和测试平台的功能和工作原理。单节点安装模式Cloud Foundry整个平台组件节点众多，有些组件节点适宜做横向扩展，有些组件节点适宜做纵向扩展，这需要根据节点的具体职责进行分析。同一个组件都是以集群的方式进行部署。多节点安装模式23 第 4章 PaaS服务模式4.3.5 部署模式l路由集群（Router Cluster）：路由节点是Cloud Foundry平台对外提供访问的唯一接口。l控制节点集群（Cloud Countroller Cluster）：控制节点是整个Cloud Foundry平台的核心节点。l健康管理集群（Health Manager Cluster）：负责应用状态监控及管理。l数据中心：数据中心由三部分内容组成：NFS Server、CCDB、UAADB。l身份认证服务集群（User Authentication Authorization Cluster）：为平台提供身份认证及授权服务。lDEA集群（Droplet Execution Agency Cluster）：DEA节点是应用的最终运行环境。l7服务中心（Service Cluster）：服务中心是对所有第三方服务的一个总称，包括Redis、MySql、Memcached、MongoDB等。lNATS：NATS是消息组件，该节点发生故障的情况下，会影响其他组件中通过NATS消息总线传输数据，但是不影响应用的所有运行环境。l打包集群（Stager Cluster）：用户上传代码到Cloud Foundry平台后，Cloud Controller需要将这部分代码结合平台环境打包成DEA可以运行的格式。l可选部署：Loggregator是Cloud Foundry中用于对应用日志收集的组件，并可以对接其他的日志组件。24 第 4章 PaaS服务模式概述4.1内容导航C O N T E N T S核心系统4.2Cloud Foundry4.3Hadoop4.425 第 4章 PaaS服务模式4.4.1 概述对数据的存储、处理存在困难，并不是个新问题。近年来，数据的容量、处理的速度、数据的种类正在变化，促进了不少算法的发展。无论是什么样的解决方案，背后的推荐算法都必须处理大量数据，对问题空间越了解就越容易得出更好的结论。Hadoop可以为大数据应用提供一个可编程的、经济的、可伸缩的平台。这个分布式系统由分布式文件存储系统（HDFS）以及计算框架（MapReduce）组成。Hadoop是一个开源项目，能为大量数据集提供批量数据处理能力。Hadoop的设计可以容忍软硬件的不可靠，并且为应用开发者提供一个便于开发分布式应用的平台。Hadoop使用没有特殊硬件或特殊网络基础设施的普通的服务器群来形成一个逻辑上可存储大量数据、进行并发计算的集群，这个集群可以被很多团体和个人共享。26 第 4章 PaaS服务模式4.4.2 Hadoop简史 Hadoop基于Google的两篇论文发展而来。一篇发表于2003年的论文描述了一个用来存储海量数据、可编程、可伸缩的分布式文件系统，该文件系统被称为Google文件系统，或简称GFS。2004年，另外一篇名为“MapReduce:大集群中一种简单的数据处理框架”的论文发表了，该论文定义了一种编程模型及其相关的框架，GFS和MapReduce相互协同，可在相对便宜的商用机器上构建大数据处理集群。与此同时，Doug Cutting正在研究开源的网页搜索引擎Nutch。当Google的GFS和MapReduce论文发表后，引起了他的强烈共鸣。Doug开始着手实现这些Google系统。2006年，Yahoo雇用了Doug Cutting并迅速成为Hadoop项目最重要的支持者之一。Yahoo允许Doug和其他工程师们在受雇于Yahoo期间，致力于Hadoop的工作Hadoop诞生了27 第 4章 PaaS服务模式4.4.3 Hadoop组成部分HDFS是一个可以存储极大数据集的文件系统，它是通过向外扩展方式构建的主机集群。它有着独特的设计和性能特点，特别是，HDFS以时延为代价对吞吐量进行了优化，并且通过副本代替物理冗余达到了高可靠性。HDFSMapReduce是一个数据处理模式，它规范了数据在两个处理阶段（Map和Reduce）的输入和输出，并将其应用于任意规模的大数据集。MapReduce与HDFS紧密结合，确保在任何情况下，MapReduce任务都能直接在存储所需数据的HDFS节点上运行。MapReduce作为一个顶级项目，Hadoop项目包含许多组件子项目，其中最主要的两个子项目分别为Hadoop分布式文件系统（HDFS）和分布式并行计算框架MapReduce。这两个子项目是对Google特有的GFS和MapReduce的直接实现，它们是一对相互独立而又互补的技术。28 第 4章 PaaS服务模式4.4.4 HDFSHDFS（Hadoop Distributed File System）是一个分布式文件系统，HDFS提出了“移动计算能力比移动数据更廉价”的设计理念。HDFS是一种主/从模式的系统结构，主服务器，即图中的命名节点（NameNode），管理文件系统命名空间和客户端访问，具体文件系统命名空间操作包括“打开”“关闭”“重命名”等，并负责数据块到数据节点之间的映射。HDFS同时给应用程序提供接口以保证处理过程尽量靠近数据的位置，减少中间数据传输的开销。HDFS的命名空间存放在命名节点上，为了保证访问效率，命名节点在内存中保存整个文件系统的命名空间和文件的块映射图。HDFS提出了数据均衡方案，如果某个数据节点上的空闲空间低于特定的临界点，那么就会启动一个计划自动地将数据从一个数据节点迁移到空闲的数据节点上。HDFS架构29 第 4章 PaaS服务模式4.4.5 MapReduceMapReduce是一个基于上述原理的处理模式，它实现了从源数据集到结果数据集的一系列转换。在最简单的情况下，作业的输入数据作为map函数的输入，所得到的临时数据作为reduce函数的输入。开发人员只需定义数据转换形式，Hadoop的MapReduce作业负责并行地对集群中的数据实施所需转换。尽管整体思想并不是新创建的，但Hadoop的一个主要贡献在于它如何将这些想法变成一个精心设计的可用平台。Hadoop平台负责执行数据处理的各个方面。在用户定义了任务的关键指标后，其余事情都变成了系统的责任。更重要的是，从数据规模的角度来看，同一个MapReduce作业适用于存储在任意规模集群上的任意大小的数据集。MapReduce计算框架30 第 4章 PaaS服务模式4.4.6 MapReduce计算举例一般来讲，编写MapReduce程序的步骤如下。（1）把问题转化为MapReduce模型。（2）设置运行的参数。（3）写map类。（4）写reduce类。l假定有多个文件，我们需要统计每个单词在这些文件中出现的次数。l要完成这个计算的主要思想就是，把这些文件分成多个数据片，然后把每个数据片交给一个Map函数来统计该数据片上每个单词出现的次数，最后，再把每个Map函数统计的结果交给Reduce函数进行合并，从而得到每个单词在所有文件中出现的次数。如果有足够多的Map函数并行进行处理，那么就可以大大提高统计的速度。l应用开发者所需要完成的主要任务就是编写Map和Reduce函数。例子：使用MapReduce统计单词个数31 第 4章 PaaS服务模式4.4.6 MapReduce计算举例（1）编写线性的Map和Reduce函数。1./map函数2./key:字符串偏移量；value:一行字符串内容 3.map(String key,String value)：4./将字符串分割成单词 5.words=SplitIntoTokens(value);6.for each word w in words:7.EmitIntermediate(w,1);8.9./Reduce函数 10./key:一个单词；values:该单词出现的次数列表 11.reduce(String key,Iterator values):12.int result=0;13.for each v in values:14.result+=StringToInt(v);15.Emit(key,IntToString(result);（2）按照一定的规则指定程序的输入和输出目录，并提交到Hadoop集群中。首先，将要进行统计单词个数的文件拆分成多个数据片（splits），将文件按行分割形成对，这个工作由MapReduce框架自动完成。然后将分割好的对交给用户定义的map方法进行处理，生成新的。32 第 4章 PaaS服务模式4.4.6 MapReduce计算举例（3）得到Map函数输出的对后，Map框架会将它们按照key值进行排序，并执行Combine过程，将key值相同value值累加，得到Map的最终输出结果。（4）然后，Map框架把各个Map函数的处理结果传输给Reduce函数。Reduce框架先对从Map框架接收到的数据进行排序，再交给用户自定义的reduce方法进行处理，得到新的对，并作为WordCount的输出结果。33 第 4章 PaaS服务模式4.4.7 HDFS与MapReduce组合作为一个大规模数据存储平台，HDFS并非必须与MapReduce配套使用。将HDFS和MapReduce组合使用是最为常见的情况。l当执行MapReduce作业时，Hadoop需要决定在哪台主机执行代码才能最高效地处理数据集。如果MapReduce集群中的所有主机从单个存储主机或存储阵列获取数据，在很大程度上，在哪台主机执行代码并不重要，因为存储系统是一个会引发竞争的共享系统。l最常见的Hadoop部署模型是将HDFS和MapReduce集群部署在同一组服务器上。其中每台服务器不仅承载了待处理数据及管理这些数据的HDFS组件，同时也承载了调度和执行数据处理过程的MapReduce组件。当Hadoop接收到作业后，它尽可能对驻留在主机上的数据调度进行优化，达到网络流量最小化和性能最大化的目标。34 第 4章 PaaS服务模式4.4.8 MapReduce的优势与劣势Hadoop MapReduce诞生于搜索领域，主要解决搜索引擎面临的海量数据处理扩展性差的问题。它的实现很大程度上借鉴了谷歌MapReduce的设计思想，包括简化编程接口、提高系统容错性等。Hadoop选用的体系架构使其成为一个灵活且可扩展的数据处理平台。但是，与选择大多数架构或设计类似，每个设计都会带来相应的问题。其中最主要的是，Hadoop是一个批量处理系统。当对一个大数据集执行作业时，Hadoop框架会不断进行数据转换直到生成最终结果。由于采用了大的集群，Hadoop会相对快速地生成结果，但事实上，结果生成的速度还不足以满足缺乏耐心的用户的需求。因此，单独的Hadoop不适用于低时延查询，例如网站、实时系统或者类似查询。Hadoop MapReduce设计目标（1）易于编程（2）良好的扩展性（3）高容错性35 第 4章 PaaS服务模式总 结S u m m a r y在本章我们对两类PaaS平台做了介绍，一类是Web服务，通过快速的请求/响应方式进行交互（称为事务处理类）；另一类是数据分析服务，通常处理大量的数据，需要较长的处理时间和巨大的数据空间（称为数据分析类）。PaaS作为一个系统，其中的功能和模块大致分为两类，首先是PaaS的核心系统，包含了PaaS的一系列本质特征，即使是在不同的PaaS中，也会有这些特征的实现；其次是PaaS的扩展系统，主要包含针对其支持的应用类型的支持。本章介绍了通用的核心系统的本质特征，包括简化的应用开发和部署模型、自动资源获取和应用激活、自动的应用运行管理和平台级优化。最后，本章通过Cloud Foundry和Hadoop实例剖析了面向两大类应用的PaaS的实现要点。36 第 4章 PaaS服务模式THANKS