应用HadoopMapReduce框架来支持分类工作中国云计算.ppt

电子工业出版社云计算(第二版)配套课件解放军理工大学 刘鹏 教授主编华东交通大学 刘鹏 制作第第1010章章 云计算研究热点云计算研究热点 云计算（第二版）购买网址：当当网 京东商城姊妹力作实战Hadoop购买网址：当当网 京东商城提提 纲纲 云计算体系结构研究 云计算关键技术研究 编程模型研究 支撑平台研究 应用研究 云安全研究 Cumulus：数据中心科学云-主要为科学计算应用程序提供虚拟机、虚拟应用程序和虚拟计算平台 -Cumulus前端节点是Globus虚拟工作空间服务的再实现-OS Farm为云用户提供了两个两个界面界面：用户能输入虚拟机镜像构建参数的Web界面和能通过wget访问的HTTP服务-两种访问方式两种访问方式：一种是Globus虚拟工作空间服务客户端，另一种是通过网格计算工作台或网格门户 CARMEN：e-Science云计算-该项目供神经学家共享、整合、分析数据-体系结构 -用户，通过Web浏览器和富客户端访问CARMEN系统 -领域内的特定服务 -e-Science核心云服务（工作流、数据管理、服务管理、元数据管理和安全组件）-核心云服务（基本的存储和处理）RESERVOIR：云服务融合平台-IBM与SAP、Sun Microsystems及其他若干欧洲科研机构联合开展一项名为RESERVOIR的云计算计划，欧盟投资经费为1700万欧元。该项目旨在建立一种“基于服务的网络经济模式”-RESERVOIR研究了当前无法实现的商业服务对系统性能的需求。RESERVOIR在公开标准基础上建立一个具有可扩展性、灵活性、可靠性的框架以提供云计算服务 TPlatform：Hadoop的变种-体系结构 -PC集群层 -云计算平台基础设施层 -数据处理应用层-最大特点把大小不变的GFS固定文件块变为大小可变的TFS文件块，改进使得数据的分发和读取有更好的性能 P2P环境的MapReduce-P2P-MapReduce体系结构体系结构包含三个基本角色：用户（User）、主节点（Master）和从节点（Slave）。主节点和从节点形成了两个逻辑上的P2P网络M-net和S-net-主节点失效时的作业提交和节点失效管理流程管理流程，从中可以看出P2P-MapReduce的工作过程 Yahoo云计算平台-应用需求应用需求（1）在相同的硬件和软件基础设施上支持各种不同类型的应用程序（2）需要根据用户的需求动态的提供计算资源（3）需要很高的安全保证（4）云中的系统必须易于操作（5）提供简单易用的API接口（6）采用资源调度和负载均衡技术，快速高效地为用户提供服务-平台包括三层服务三层服务，分别是基于内容的边缘服务、消息服务和核心服务 微软的Dryad框架-主要用来构建支持有向无环图有向无环图（Directed Acycline Graph，DAG）类型数据流的并行程序，根据程序的要求进行任务调度，自动在各个节点上完成任务-Dryad的执行过程可以看做二维管道流的处理过程 -二维Dryad管道模型定义了一系列操作，包括建立新的节点、在节点之间加入边、合并两个图或是对任务的输入和输出进行处理等 Neptune框架-基础结构中间件，通过提供标准系统的构建来保证可扩展性和有效性，同时减少服务结构的灵活性-优点优点 -信息独立和用户独立，通过一个包含RPC-like访问方式的服务访问接口来压缩应用级别的网络服务。通过服务访问一个模块，可以在数据分区上实现独占 提提 纲纲 云计算体系结构研究 云计算关键技术研究 编程模型研究 支撑平台研究 应用研究 云安全研究 语义分析应用对大规模的对大规模的RDFRDF三元组进行语义推理和查询的速度之慢已深三元组进行语义推理和查询的速度之慢已深受广大研究者关注受广大研究者关注 解决方案-应用Google的MapReduceMapReduce框架框架来实现大规模分布式查询和推理，将RDF图分解成能够被计算节点处理的小单位-RDFRDF分子法分子法提供一个处于RDF图和三元组之间的中间化的粒度方法，由于RDF分子的自身缺陷，使得其性能受到限制，提出了将RDF进行扩展的方法，包括层次扩展和顺序扩展，以克服其缺陷生物学应用 HadoopHadoop实现了两个算法来研究解决生物信息计算的问题：一实现了两个算法来研究解决生物信息计算的问题：一个是基本的局部相似性基本查询工具（个是基本的局部相似性基本查询工具（Basic Local Basic Local Alignment Search ToolAlignment Search Tool，BLASTBLAST）；另一个是基因集合增强）；另一个是基因集合增强分析（分析（Gene Set Enrichment AnalysisGene Set Enrichment Analysis，GSEAGSEA）-BLASTBLAST：一个用来比对生物序列的一级结构的算法：一个用来比对生物序列的一级结构的算法-GSEA：DNA微点阵数据分析工具，用来检测在显性环境中，整个基因序列之间的相互关系，通过使用Hadoop，用Python重写GSEA算法 数据库应用 比较流行的云计算服务类型是将基础设施作为服务（比较流行的云计算服务类型是将基础设施作为服务（IaaSIaaS），），最著名的商业最著名的商业IaaSIaaS是是Amazon EC2Amazon EC2，将数据库应用部署到这种，将数据库应用部署到这种服务平台上存在诸多挑战服务平台上存在诸多挑战-1.部署过程-2.调整过程 -一些工具和技术（1）运用模型（2）优化和控制算法（3）系统管理工具（4）综合调整和暗示传递（Co-tuning and Hint Passing）地理信息应用 高性能工作流系统高性能工作流系统MRGISMRGIS-高效率执行GIS应用程序的基于MapReduce集群的并行和分布式计算平台-组成：设计接口、任务调度器和运行时间支持系统-系统的性能测试：两组实验，第一组实验是GIS工作流中典型的代数运算，测试输入是单独的数据集，数据采用Arc/ASC格式。第二组实验的测试输入数据集从远程主机上获得，工作流执行18个任务 商业应用 IBMIBM阿尔马登研究中心，研究者开发了一个企业文本分析平台，阿尔马登研究中心，研究者开发了一个企业文本分析平台，应用应用HadoopHadoop MapReduceMapReduce框架来支持分类工作。该平台包含两个核框架来支持分类工作。该平台包含两个核心组件：心组件：T T系统和系统和JaqlJaql-1）用T系统进行信息抽取 从非结构化文本中抽取结构化信息，并发现其中的一些关系-2）用Jaql进行数据处理 一种通用数据流语言 医学应用 GranulesGranules：云计算的一个轻量级运行时，被设计用来管理云中的：云计算的一个轻量级运行时，被设计用来管理云中的大量计算，如处理感应器产生的数据。支持云计算中两种主导的模大量计算，如处理感应器产生的数据。支持云计算中两种主导的模式：式：MapReduceMapReduce和数据流图和数据流图 为了验证在分布式环境中运用Granules来分类脑电图数据流的适用性，将GranulesGranules的处理方法的处理方法与SnowfallSnowfall（基于SNOW（Simple Network of Workstations）的R包）处理方法进行了对比，并且设计了实验去评估训练神经网络和分类脑电图信号计划所带来的成本 方法数据流时间（ms）平均时间（ms）最小时间（ms）最大时间（ms）标准时间差（ms）Snowfall5s8884.608797.7459.69.4785.82Granules5s141.69136.42266.6312.75Snowfall1s5825.715815.385857.9810.09Granules1s93.1647.51492.6832.13Snowfall250ms2831.322830.382849.832.03Granules250ms87.2548.5792.674.49社会智能应用 BetterLife 2.0体系结构主要包括：云层、基于案例的推理机、应用程序接口 基于BetterLife 2.0框架开发了基于位置、价格对比的应用程序 提提 纲纲 云计算体系结构研究 云计算关键技术研究 编程模型研究 支撑平台研究 应用研究 云安全研究 Anti-Spam Grid：反垃圾邮件网格 云安全：用户与一个安全平台通过互联网紧密相连，组成一个庞大的对病毒、垃圾邮件、木马、恶意软件等内容的监测网络，每个用户都为云安全贡献一份力量，同时分享其他用户的安全成果 -前身前身：本书作者刘鹏早在2003年提出的反垃圾邮件网格（Anti-Spam Grid）技术 反垃圾邮件网格的主要工作步骤反垃圾邮件网格的主要工作步骤（1 1）反垃圾邮件服务器向某个调度器发布自己的服务）反垃圾邮件服务器向某个调度器发布自己的服务（2 2）客户端向调度器提出过滤申请）客户端向调度器提出过滤申请（3 3）调度器根据负载均衡或其他策略选择一台服务器为其服务）调度器根据负载均衡或其他策略选择一台服务器为其服务（4 4）客户端向服务器报告邮件的签名和贝叶斯学习成果）客户端向服务器报告邮件的签名和贝叶斯学习成果（5 5）服务器反馈此签名邮件的统计信息及其他客户端最近更新的贝叶斯学习成果）服务器反馈此签名邮件的统计信息及其他客户端最近更新的贝叶斯学习成果（6 6）客户端据此过滤垃圾邮件）客户端据此过滤垃圾邮件（7 7）服务器之间共享数据）服务器之间共享数据 CloudAV：终端恶意软件检测 传统的反病毒模式存在诸多局限性，主要体现（1）被动防御、滞后杀毒（2）反病毒软件本身存在漏洞 终端恶意软件检测模型两个关键改变（1）云端检测（2）N-VERSION保护技术 模型包括三个主要的组件模型包括三个主要的组件 -1）客户端软件 -2）网络服务组件 -3）存档服务组件AMSDS：恶意软件签名自动检测 恶意软件签名自动检测系统（AMSDS）：支持云端反病毒的新型的、轻量级的桌面引擎，能够自动地产生一个轻量级的签名数据库。在反病毒云模型中，用户不需要安装大量的病毒签名文件，只需要一个轻量级的“云签名”集，只有遇到AMSDS无法检测的可疑文件时，客户端才向云服务器发送请求 AMSDS的工作分为以下两个部分 -（1）去噪（De-noise）-（2）破坏恶意软件的PE格式，使恶意的样本无法执行CloudSEC：协作安全服务体系结构 CloudSEC的目标：为各自的用户提供协同安全服务，且提供一个分布式的、可扩展的而且可靠的平台 CloudSECCloudSEC系统组成系统组成-管理组（管理组（Administration GroupAdministration Group）-协作组（协作组（Collaboration GroupsCollaboration Groups）-外围实体（外围实体（Peripheral EntitiesPeripheral Entities）1常见的云系统的分类有哪些？2云支撑平台有哪些，它们之间有哪些共同点和不同点？3云计算的关键技术主要有哪些？4云计算还可以在哪些领域有所应用？5云安全研究还有哪些，查阅相关文献，至少列举两点？习题阅读精选1 1 云计算研究专区云计算研究专区 http:/ 2 云计算应用专区云计算应用专区http:/ 3 中国云计算实践专区中国云计算实践专区http:/ 谢！谢！http:/