Hadoop20架构设计与原理.pptx
《Hadoop20架构设计与原理.pptx》由会员分享,可在线阅读,更多相关《Hadoop20架构设计与原理.pptx(59页珍藏版)》请在咨信网上搜索。
1、Hadoop2.0架构设计与原理数据中心-Alan主要内容Hadoop介绍1Hadoop原理2Hadoop YARN产生的背景 34Hadoop YARN基本架构5运行在YARN上的计算框架6YARN 发展趋势主要内容Hadoop介绍1Hadoop原理2Hadoop YARN产生的背景 34Hadoop YARN基本架构5运行在YARN上的基本框架6YARN 发展趋势Hadoop概述n Hadoop是一个开源的、可靠的、可扩展的分布式并行计算框架n主要组成:分布式文件系统HDFS和MapReduce算法执行n作者:Doug Cuttingn语言:Java,支持多种编程语言,如:Python、C
2、+Hadoop的起源lHadoop是Google的集群系统的开源实现Google集群系统:GFS(Google File System)、MapReduce、BigTableHadoop主要由HDFS(Hadoop Distributed File System Hadoop分布式文件系统)、MapReducelHadoop的初衷是为解决 Nutch 的海量数据爬取和存储的需要lHadoop于2005年秋天作为 Lucene的子项目Nutch的一部分正式引入Apache基金会。l名称起源:Doug Cutting儿子的黄色大象玩具的名字l目前最新稳定版本2.6.0什么是大数据数据集主要特点Vo
3、lume:数量量从TB到PB级别Variety:数据类型复杂,超过80%的数据是非结构化的Velocity:数据量在持续增加(两位数的年增长率)Value:巨大的数据价值其他特征数据来自大量源,需要做相关性分析需要实时或者准实时的流式采集,有些应用90%写vs.10%读数据需要长时间存储,非热点数据也会被随机访问什么是大数据什么是大数据某比萨店的电话铃响了,客服人员拿起电话。客服:XXX比萨店。您好,请问有什么需要我为您服务?顾客:你好,我想要一份客服:先生,烦请先把您的会员卡号告诉我。顾客:16846146*。客服:陈先生,您好!您是住在泉州路一号12楼120 x室,请问您想要点什么?顾客:
4、我想要一个海鲜比萨 客服:陈先生,海鲜比萨不适合您。顾客:为什么?客服:根据您的医疗记录,你的血压和胆固醇都偏高。顾客:那你们有什么可以推荐的?客服:您可以试试我们的低脂健康比萨。顾客:你怎么知道我会喜欢吃这种的?客服:您上星期一在中央图书馆借了一本低脂健康食谱。顾客:好。那我要一个家庭特大号比萨,要付多少钱?客服:99元,这个足够您一家六口吃了。但您母亲应该少吃,她上个月刚刚做了心脏搭桥手术,还处在恢复期。顾客:那可以刷卡吗?客服:陈先生,对不起。请您付现款,因为您的信用卡已经刷爆了,您现在还欠银行4807元,而且还不包括房贷利息。顾客:那我先去附近的提款机提款。客服:陈先生,根据您的记录,
5、您已经超过今日提款限额。顾客:算了,你们直接把比萨送我家吧,家里有现金。你们多久会送到?客服:大约30分钟。如果您不想等,可以自己骑车来。顾客:为什么?客服:根据我们全球定位系统的车辆行驶自动跟踪系统记录。您登记有一辆车号为SB-748的摩托车,而目前您正在解放路东段华联商场右侧骑着这辆摩托车。顾客当即晕倒大数据VS传统数据大数据处理流程101010010101010101111010100101010101011101011010100101010101011101011010100101010101011110101001010101010111非结构化数据结构化数据实时流数据其它数据 A
6、PITextBig Data Store and AnalyticsETL0101101010010101010101110101101010010101010101111010100101010101011101011010100101010101011101011010100101010101011110101001010101010111Hadoop生态圈主要内容Hadoop介绍1Hadoop原理2Hadoop YARN产生的背景 34Hadoop YARN基本架构5运行在YARN上的基本框架6YARN 发展趋势HDFS-分布式文件系统u设计目标错误检测和快速自动恢复硬件故障是常态而非异
7、常为流式数据访问优化针对支持大数据集单个文件大小有数GB或者TB可提供高聚合带宽访问 可能够扩展至数千个节点简化“一致性”模型一次写入、多次读,写入过程可能并发移动“计算”比移动“数据”更便宜u主要特点使用低成本存储和服务器构建存放PB级别的海量数据高可扩展性,实际生产环境扩展至4000个节点高可靠性和容错性,数据自动复制,可自我修复高带宽,高并发访问,对于延迟不敏感数据分布与复制u数据块:文件被划分为固定大小的数据块进行存储数据块缺省为64M,远大于一般文件系统数据块大小减少元数据的量有利于顺序读写(在磁盘上顺序存放)可靠性:数据通过副本的方式保存在多个数据节点上默认3个副本副本选择会考虑机
8、架信息以防止整个机架同时掉电u系统设计优化:用单个管理节点来保存文件系统元数据和管理/协调数据缓存:DataNode没有数据缓存由于文件的访问是扫描式的,不具有局部性访问方式读、写、文件改名、删除等文件内容不允许覆盖更新提供一个特殊的访问接口:追加appendHDFS基本设计HDFS体系结构中心目录服务器(NameNode)管理大量数据服务器(DataNode)NameNode 管理元数据(文件目录树,文件-块映射,块-数据服务器映射表,etc.)DataNode 负责存储数据、以及响应数据读写请求客户端与NameNode交互进行文件创建/删除/寻址等操作,之后直接与DataNodes交互进行
9、文件I/OHDFS写文件流程HDFS读文件流程什么是MapReduce编程模型?lMap(映射):对一些独立元素组成的列表的每一个元素进行指定的操作,可以高度并行。lReduce(化简):对一个列表的元素进行合并。l一个简单的MapReduce程序只需要指定map()、reduce()、输入和输出,剩下的事由框架帮你搞定。MapReduce计算框架为离线数据分析而设计,基本上是个利用数据并行性进行分布运算而后汇总结果的计算框架分析问题能够被并行化,且输入数据集可以被切分一个Map函数,在第一阶段计算对 一个Reduce函数,在第二阶段用于汇总Map函数的结果MapReduce运行机制MapRe
10、duceMapReduce原理原理MapReduceMapReduce实例分析实例分析主要内容Hadoop介绍1Hadoop原理2Hadoop YARN产生的背景 34Hadoop YARN基本架构5运行在YARN上的基本框架6YARN 发展趋势Hadoop YARN产生背景 直接源于直接源于MRv1在几个方面在几个方面的的缺陷缺陷 扩扩展展性性受限受限 单单点故障点故障 难难以支以支持持MR之之外的外的计计算算 多多计计算框架各自算框架各自为为战战,数据共享困,数据共享困难难 MR:离离线线计计算算框架框架 Storm:实实时时计计算框架算框架 Spark:内存:内存计计算算框架框架Hado
11、op 1.0和和2.0Hadoop 2.0由由HDFS、MapReduce和和YARN三个分支构三个分支构成成;HDFS:NN Federation、HA;MapReduce:运行运行在在YARN上上的的MR;YARN:资资源管理系源管理系统统主要内容Hadoop介绍1Hadoop原理2Hadoop YARN产生的背景 34Hadoop YARN基本架构5运行在YARN上的基本框架6YARN 发展趋势Hadoop YARN基本架构Hadoop YARN各模块组成ResourceManager 处处理客理客户户端端请请求求启启动动/监监控控ApplicationMaster监监控控NodeMan
12、ager 资资源分配与源分配与调调度度NodeManager 单单个个节节点上的点上的资资源管理源管理处处理来理来自自ResourceManager的命令的命令处处理来理来自自ApplicationMaster的命令的命令ApplicationMaster 数据切分数据切分 为为应应用程序申用程序申请资请资源源,并分配,并分配给给内部任内部任务务 任任务监务监控与容控与容错错Hadoop YARN运行流程分析Node ManagerNode ManagerNodeManagerResourceManagerApplication MasterClientClientClientTaskCont
13、ainerContainerTaskTaskContainerHadoop YARN容错ResourceManager基基于于ZooKeeper实现实现HA。NodeManager 失失败败后后,RM将失将失败败任任务务告告诉对应诉对应的的AM;AM决定如何决定如何处处理失理失败败的任的任务务。ApplicationMaster 失失败败后后,由由RM负责负责重重启启;AM需需处处理内部任理内部任务务的容的容错问错问题题;RMAppMaster会保存已会保存已经经运行完成运行完成的的Task,重启后无需重新运重启后无需重新运行行。Hadoop YARN调度框架 双双层调层调度框架度框架 RM将
14、将资资源分配源分配给给AM AM将将资资源源进进一步分配一步分配给给各各个个Task 基于基于资资源源预预留的留的调调度度策策略略 资资源不源不够够时时,会,会为为Task预预留留,直到,直到资资源充足源充足与与“all or nothing”策略不策略不同同(Apache Mesos)Hadoop YARN资源调度器 多多类类型型资资源源调调度度采用采用DRF算法(算法(论论文:文:“Dominant Resource Fairness:FairAllocation of Multiple Resource Types”)目前支持目前支持CPU和内存两种和内存两种资资源源 提供多种提供多种资
15、资源源调调度器度器FIFOFair SchedulerCapacity Scheduler 多租多租户资户资源源调调度器度器 支持支持资资源按比例分配源按比例分配 支持支持层级队层级队列划分方式列划分方式 支持支持资资源源抢抢占占Hadoop YARN资源隔离方案 支持内存支持内存和和CPU两种两种资资源隔离源隔离 内存是一内存是一种种“决定生死决定生死”的的资资源源 CPU是一是一种种“影响快影响快慢慢”的的资资源源 内存隔离内存隔离 基于基于线线程程监监控的方案控的方案基基于于Cgroups的方案的方案CPU隔离隔离 默默认认不不对对CPU资资源源进进行隔离行隔离基于基于Cgroups的方
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Hadoop20 架构 设计 原理
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【丰****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【丰****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。