云计算环境下的资源管理研究.doc

云计算环境下的资源管理研究邹永贵 万建斌2012-1218 9：53：40来源:数字通信2012年第04期摘要：首先提出高性能的大规模的云计算资源是实现云计算服务的基本条件，而对庞大的资源如何进行管理和分配，是云计算服务必须解决的后继问题。其次分析云计算资源管理主要分为数据存储的资源管理，存储层，基础管理层、应用接口层和访问层构成了云存储系统的4层结构模型，云安全是存储技术的重要方面，而云资源调度则包括资源发现、调度组织、调度策略、状态评估以及对资源的再调度等。最后针对目前亟需解决的信息存储安全、服务可靠性、大规模隐私泄露以及资源的可移植性和兼容性等问题提出了相应的资源管理技术方法.关键词：云计算，资源管理，云数据存储，云资源调度0 引言云计算是由大型机构提供的基于互联网的业务和软件服务模式,可以为用户构架具备IT数据处理和服务运营能力的云计算系统，提供弹性、可定制的虚拟机1、虚拟网络与虚拟集群。在技术进步、需求引领和服务模式创新等因素的共同驱动下,云计算已得到工业界和学术界的普遍认可，已经在现实生活中形成涵盖移动互联网、物联网等在内的新型创意产业，以其低成本和无处不在的应用得到迅速发展，在根本上改变人类的生活.云计算的广泛应用注定了它必须拥有庞大的资源集群，才能满足各种各样的用户需求，这样就要面临一个巨大的问题资源管理2.随着资源数量的急剧增加，资源存储和调度的任务也在实时增加，如果不能实时处理好这个问题，那么网络资源负载将会成为云计算发展的瓶颈，进而导致网络拥塞、中断等一系列状况.鉴于此，只有对虚拟化资源做好管理,使资源合理、高效地分配，才能避免上述问题发生.1 云计算1。1 云计算简介美国标准化技术委员会NIST的定义是：云计算是一个模型，这个模型可以方便地按需访问一个可配置的计算资源（例如，网络、服务器、存储设备、应用程序以及服务）的公共集，这些资源可以被迅速提供并发布，同时最小化管理成本或服务商的干涉3.在该系统中,计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算资源、存储空间资源和各种软件服务资源.目前，公认的云计算服务形式有SaaS(软件即服务)、PaaS(平台即服务）和IaaS(基础架构即服务）45。在此基础上,国际IT厂商都定制了符合自身特点的云计算项目计划：Google在2007年10月推出了“消费云计划;IBM在2007年8月推出了“蓝云”计划;Amazon在2007年推出了“弹性云计划；微软开发了自身的云计算平台SCOPE（structured computations optimized for parallel execution)，推出了Midori计划;SUN推出了Network。com计划和Black Box计划；Yahoo以支持开源的方式展开自己的云计算计划。同时，国内的IT巨头们也在积极发展云计算项目，包括华为、中兴、中国移动以及清华、北大等高校，都在近几年积极筹建云计算中心，建设云计算平台.与此同时，包括美国、中国在内的诸多国家政府也已经把云计算纳入了国家战略发展计划。1。2 云计算的特征云计算的出现代表着计算能力也能作为一种商品通过互联网传输并进行流通，服务商将计算、服务和应用作为一种公共设施提供给用户.云计算之所以具有这样的能力，是由以下的几个核心特征所决定的6。首先是虚拟化资源的集群化和资源池化。在云计算环境中,云计算资源管理中心将分布在世界各地，从个人PC到超级计算机等多种类型的资源集合起来进行调度.其次是以互联网络为基础为用户提供服务。用户可以随时随地通过网络使用云计算服务提供的各种计算资源和能力，在基础架构层面、平台层面以及具体的应用层面获得个性化的服务。再次是服务提供的自适应和灵活性.通过云服务，用户按需获得一定的虚拟资源和计算能力，而非购买、保存和维护特定的IT硬件或者软件产品。最后是服务透明化，资源虚拟化。用户在使用服务时不需要知道云内部资源的具体架构、服务模式和地理位置,只需和服务商交互就可以获取资源。在云计算中，管理过程和计算过程都在逻辑的虚拟计算资源上完成，不用考虑实际环境中的物理资源的区别，更加易于管理和分配.1。3 身边的云计算“随风潜入夜，润物细无声”,这句话形象地诠释了云计算对整个社会的影响。这一技术名词随着科技的发展已经渗透到了生活的方方面面。用户只需接入互联网，就可以通过电脑、手机等终端设备，在任何地点方便快捷地处理数据和享受服务.对于政府部门，“政府云”可以把海量数据放在云环境中作为无形资产进行统一有效的管理，建立部门间的政务信息化和业务协同的平台；可以为群众提供信息公示、税收、意见咨询等民生服务。在医疗行业,“医疗云”可以使病历共享,医生共享，设施共享,能有效地减少医院设施和资源的浪费，提高医疗保健的质量,为患者提供更加有效的诊疗服务。对于商业用户，云办公、云会议、云打印、云电脑和云浏览器可以帮助企业避免本地建设和维护.管理者可以快速高效地与全球各地团队及用户交流合作，员工可以在线办公，无线打印，快速完成工作并提交。云手机、云电视、云翻译、云厨房为普通用户的生活提供了更多的选择和服务.2 云计算的资源管理从概念上来看，作为一种分布式计算,云计算可以通过互联网将超大规模的计算能力与资源整合起来,并以可信服务的形式按需提供给用户。因此,高性能的云计算资源是实现云计算服务的基本条件.而对如此多的资源进行管理和分配,则是云计算服务必须解决的关键问题。2。1 云计算资源管理简介云计算的资源管理工作就是接受用户的资源请求，并把特定的资源分配给资源的请求者，主要包括数据存储和资源管理2方面的内容。通常,云计算的数据大都采用分布式来进行管理和存储，其目的是为了保证云资源数据的高可靠性和高可用性.采用冗余存储方式保证存储数据的可靠性,是云存储和一般性数据存储的相似之处，可以有效保证数据的安全。但同时，为了满足众多用户的需求,为用户提供个性化的服务，云计算需要具备高吞吐率的数据存储技术，而分布式的存储方式正好满足了云计算的这一需求.目前,常用的云存储技术主要包括Hadoop团队开发的对于GFS的开源实现HDFS和Google公司开发的非开源体系GFS.Interl、雅虎和阿里巴巴等众多IT厂商都选择使用HDFS的数据存储技术.对于数量庞大，分布性强,并且是动态变化的虚拟化资源,云计算采用何种资源调度策略进行组织和调度，解决资源的自动调节和负载均衡等问题，对于充分利用资源，发挥云计算的优势具有重要的意义。2。2 云存储管理云存储是云计算管理的核心技术之一,涉及到云计算内部的机器组织，云存储的架构、安全、容灾、资源模型、分发协议等。通常来说，存储层、基础管理层、应用接口层和访问层构成了云存储系统的4层结构模型，如图1所示。云存储最基础的部分是存储层，包括物理存储设备和连接设备。该层之上是一个存储设备管理系统，用于实现物理设备的逻辑虚拟化、链路管理、状态监控和故障维护等。基础管理层是云存储最核心的部分，使用的技术包括集群、分布式文件系统和网格计算等。该层的主要功能是使多个的存储设备协同对外提供同一种服务,并为用户提供更强大高效的数据访问性能。云存储最灵活多变的部分是应用接口层，不同的服务商可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。最后，访问层是提供给用户来登录云存储系统,享受云存储服务的。不同的服务商提供的云存储访问类型和访问手段也不同。图1 云存储的4层模型云存储的架构方法有通过服务架构和通过软件或硬件设备架构的这2种，用户根据自身的需要进行选择。服务架构的扩展性强,但是受带宽的限制，异地备份数据的更新有时不一定能满足实时要求；硬件架构虽然提供了更高的吞吐量，但是要受到摩尔定律的限制;软件架构不仅具有硬件架构的优势，并且其价格更为低廉,但是部分管理/安装过程较为复杂。具体实施的2种常见架构类型包括紧耦合对称架构(TCS)和松弛耦合架构（LCA）.构建TCS系统是为了解决单一文件性能所面临的挑战，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作）和缓存一致性功能;而LCA系统是利用一个数据路径之外的中央元数据控制服务器实行集中控制。作为云存储技术的重要方面，“云安全”的实质是通过安全厂商自建的数据中心这个“云”与位于用户的用户端相互合作，提供安全和防护措施。对于用户访问Web内容进行防护的具体操作流程是用户在访问网页之前,先与“云取得联系，通过“云”对互联网进行扫描，对有害网页进行标记。如果网页安全就顺利访问，否则就终止行为。同时,云存储供应商必须有切实的灾难恢复计划,防止主数据中心发生系统死机。另外，通过高性能、大容量的云存储系统和远程数据备份软件,服务商可以为用户提供空间租赁和备份业务租赁服务.2。3 云资源调度云计算的资源众多，资源管理机制也应从逻辑上将这些资源耦合成单个的集成资源后提供给用户.因此,云计算资源管理的有效性很大程度上取决于资源调度系统.云资源调度，包括资源发现、调度组织、调度策略、状态评估以及对资源的再调度等。对于云计算资源的调度结构可以分为层次式、集中式、分布式和计算经济型等。在层次式的调度结构中有中心调度程序，作业被提交到中心调度程序上，然后不同层次的作业独立请求完成调度工作.这种结构本地和全局的作业调度因地制宜地采用不同的调度策略。在集中式调度模型中，所有的可用系统的相关信息都被集中在该中心机上,所有资源都由中央调度程序进行调度.基于集中式和层次式的资源管理系统扩展性差,难以应对新型大规模应用的需求。而在分布式系统中,没有中央调度程序来负责作业的调度工作，仅通过调度程序的交互作用,将作业提交到远程的工作系统中，这样,单个组建的失效则无法影响到整个云计算系统，使系统的可靠性和容错率更高。但是,一个并行程序的其他部分就有可能被分配在不同域的资源上.要做到不同的调度程序同步作业且同步运行，就增加了调度系统的调度难度,难以处理高并发度的资源调度请求和高频率的资源更新。计算经济型的调度模型能够调节自身供求的矛盾，做出的资源调度策略的过程被广泛地分布在所用的资源拥有者身上，使调度系统做到了以用户为中心7-8。用户就能够根据自己的需求以最小的代价获得最好的性能。云计算的资源在空间是分布的，而本质则是异构的,且各个管理域和组织都有不同的资源管理策略和访问代价模型，所以,必须要解决云计算的资源存储架构问题，完善安全和容错机制，妥善解决调度策略等问题，才能真正发挥云计算的作用.3 需要解决的问题云计算环境下的云服务、云共享都是虚拟资源共享视角下的相关内容，随着产业的不断发展所面临的问题也越来越多。这些挑战包括数据存储的安全性和可靠性亟需提升,用户对隐私保护的担忧以及技术标准的定义不统一和跨平台带来的资源服务的定制成本。3。1 云环境下信息存储的安全云环境的安全性包括资源使用和存储的身份认证、权限管理、通信安全、系统监测等内容。虽然采用了虚拟化技术、监测技术及其他安全措施来保证共享和服务的质量,但安全问题始终是最让人们担忧的。而数据安全问题主要源于人们缺乏对安全的认知和资源的控制。因此，服务商必须在安全保障方面对用户进行相关技术普及和支持，如严格的访问控制、数据备份、防止外部入侵的防火墙技术和防止数据篡改的数据加密技术等.同时，要对用户进行充分交互,将一部分资源的控制权转移给用户，用户也可以对自己的机密数据进行加密管理。对用户来说，拥有对资源的部分控制权，可以获得安全感；对服务商来讲，用户也必须负责数据的安全，一定程度上分摊了服务商对数据安全责任的风险。3。2 云平台提供服务的可靠性云平台的可靠性包括系统的可信性、可用性、持续性、故障恢复时间和接入速度等一系列的保障。云服务的可靠性在技术领域备受争议,Amazon的EC2和S3近几年多次遭受服务中断的困扰,Google开发的App Engine、微软推出的Azure和Salesforce。com等，都出现过不同程度的故障,甚至一度被迫中断服务。可靠性直接关系到用户使用资源和服务的质量乃至服务商的发展问题。服务商必须针对系统的漏洞和脆弱性，对系统进行脆弱性评估以更有效的开发缓解程序.要在服务进行的同时，不断进行补丁程序和系统程序等的更新,以便逐步地降低系统风险。脆弱性管理应与发现管理、补丁管理和更新管理整合在一起,实时更新和完善，做到未雨绸缪。对性能方面的问题可将结构和操作系统改善为有效的虚拟中断服务和I/O频道,也可以使用闪存（半导体内存，当中断服务时还可以像硬盘一样提供信息）来降低I/O中断服务的次数。服务商要能提供云存储服务，以便各应用的上下文能以分布式的形式安全、高效地存储在云中,一旦出现故障,就可以迅速地切换服务端，实现故障对于用户的透明化，提高系统的可靠性。对用户来说，可以通过同时使用多个服务商的服务来降低某服务商服务不可靠给自己带来的影响。3。3 云环境下大规模隐私泄露的危险更广泛的意义上，云计算实现了资源在不同角色之间的共享和流动，但也给个人身份信息的保护带来了极大的挑战。据调查，75的被调查者（CIO或CEO）都担心数据的泄露问题。用户使用云计算功能在线存储的文档、影像等文件涉及商业秘密、个人隐私等多重权利。这些文件被存储于云端也就是服务器端。如果用户的密码被盗，则可能发生商业秘密失窃、隐私曝光等大量问题，而相关数据可能会被服务商利用，进行数据分析、数据挖掘甚至于倒卖,造成用户的损失。因而，在隐私保护问题上：一方面，服务商和用户在提供服务时需要明确的隐私保护协议，确定数据的保护等级，用相应的技术手段来保护数据隐私；另一方面服务商要尽可能提供完备的技术手段对数据进行保护。比如,在信息处理和存储之前，将信息的内容和格式分离，对其使用不同的算法进行加密传输，不仅降低了信息被截获的可能性，也增加了信息破解的难度.3。4 跨平台云资源的可移植性和兼容性随着越来越多的国家和企业进入云计算领域，面对众多的操作系统和数据平台，资源和服务的可移植性和兼容性就显得越来越重要。IBM，Google，Amazon，Salesforce，微软和思科等多家巨头都在推出自己的云计算标准，从而使多家厂商的应用程序都出现了兼容性的难题。目前虽然很多厂商都有云计算相关产品和解决方案推出，但缺乏一个统一的云计算标准,各产品在互操作上也难以兼容.这对用户在不同的共享模式或类型中使用数据和应用程序造成了极大的限制。因而，制定行业标准，或为与系统和网络相关的问题寻求行业解决方案的需要也越来越迫切了。标准化的制定包括资源和服务在不同的云间移植、互操作或协作共享时所涉及到的数据或接口标准、协议和格式等。云标准的建立需要政府和企业做出共同的努力。只有采用开放的标准和开源的平台，以云计算为基础，建立非专有型的创新合作组织，才能为云计算的快速持续发展提供动力。只有在云计算广泛的兼容性和可移植标准下,云计算技术才会在生活中得到更广泛的应用。4 结束语在云计算技术的推动下，网络、服务器、存储和应用服务等资源有效聚合,形成共享资源池，实现了资源的动态分配和释放。而基于云平台提供的服务实现了计算资源在广度上超越地域界限，深度上从软件到平台的共享，从而避免了大量资源闲置产生的浪费.业界需要针对目前的挑战，创新技术、创造模式、开放思维,挖掘云计算发展大潮中的机遇，为用户提供更加方便快捷、安全可靠的云服务，使云计算在社会发展中发挥更大的作用。参考文献：1怀进鹏，李沁，胡春明。基于虚拟机的虚拟计算环境研究与设计J。软件学报,2007，18（8):20162026.2LUO Songtao， CUI Wei， YANG Junwei. Distribution network optimization reconfiguration based on hybrid AlgorithmC/Electrical and Control Engineering （ICECE)2011 International Conference on。 Karachi： s. n。, 2011：2194-2197。3MICHAEL A，ARMANDO F, GRIFFITHETAL R. A view of cloud computing J。 Communications of the Acm， 2010（5)：5058.4张余。云计算在电信业务中的应用J.数字通信，2012（1）:14-17.5SAIRA B, MUHAMMAD K K。 Potential of cloud computing architecture C/Information and Communication Technologies（ICICT)。 2011 Informational Conference on.Karachi: s. n., 2011:15。6赵春燕。云环境下作业调度算法研究与实现D.北京：北京交通大学，2009。7袁文成，朱怡安,陆伟。面向虚拟资源的云计算资源管理机制J.西北工业大学学报,2010,28：5.8黎春兰,邓仲华。云计算环境下的信息资源共享研究J。中国信息界，2011(12）:6670。