Spark各个知识点总结省公共课一等奖全国赛课获奖课件.pptx
《Spark各个知识点总结省公共课一等奖全国赛课获奖课件.pptx》由会员分享,可在线阅读,更多相关《Spark各个知识点总结省公共课一等奖全国赛课获奖课件.pptx(60页珍藏版)》请在咨信网上搜索。
1、2015Spark介绍 第1页Spark是什么lSpark是一个快速且通用集群计算平台。l集群计算把一台电脑无法处理问题,放到多台电脑组成集群上进行处理,这就是集群计算。第2页Spark特点lSpark是快速1.很多任务能够秒级完成,对于一些特定工作,Spark比Mapreduce快10-20倍。2.Spark扩充了流行Mapreduce计算模型,使Spark更高效地支持更多类型计算,包含交互式查询,和流处理。3.速度快另一个主要原因就是,能够在内存中计算。第3页Spark特点lSpark是通用1.Spark设计,容纳了之前很多独立,分布式系统所拥有功效。独立分布式系统包含:批处理,迭代式计算
2、,交互查询和流处理等。2.而且,由之前需要维护不一样集群,到现在只需要维护一个Spark集群。第4页Spark特点lSpark是高度开放1.Spark提供了Python,Java,Scala,SQLAPI和丰富内置库。2.同时,Spark和其它大数据工具整合很好。尤其,Spark能够运行在Hadoop集群上面,能够访问Hadoop数据。第5页Spark组件Spark包含多个紧密集成组件。第6页Spark组件紧密集成优点:1.假如Spark底层优化了,那么基于Spark底层组件,也得到了对应优化。比如,Spark底层增加了一个优化算法,那么SparkSQL和机器学习包也会自动优化。2.紧密集成,
3、节约了各个组件组合使用时布署,测试等时间。3.当向Spark增加新组件时,其它组件,能够立刻享用新组件功效。4.无缝连接不一样处理模型。第7页Spark组件lSpark Core:1.包含Spark基本功效,包含任务调度,内存管理,容错机制等。2.Spark Core内部定义了RDDs(resilient distributed datasets,弹性分布式数据集)。RDDs代表横跨很多工作节点数据集合,RDDs能够被并行处理。3.Spark Core提供了很多APIs来创建和操作这些集合(RDDs)。第8页Spark组件lSpark SQL:1.是Spark处理结构化数据库。它支持经过SQL
4、查询数据,就像HQL(Hive SQL)一样,而且支持很多数据源,像Hive表,JSON等。Spark SQL是在Spark 1.0版本中新加。2.Shark是一个较老基于SparkSQL项目,它是基于Hive修改,它现在已经被Spark SQL替换了。第9页Spark组件lSpark Streaming:1.是实时数据流处理组件,类似Storm。2.Spark Streaming提供了API来操作实时流数据。第10页Spark组件lMLlib:1.Spark有一个包含通用机器学习功效包,就是MLlib(machine learning lib)。2.MLlib包含了分类,聚类,回归,协同过滤
5、算法,还包含模型评定,和数据导入。3.它还提供了一些低级机器学习原语,包含通用梯度下降优化算法。4.MLlib提供上面这些方法,都支持集群上横向扩展。第11页Spark组件lGraphx:1.是处理图库(比如,社交网络图),并进行图并行计算。就像Spark Streaming和Spark SQL一样,Graphx也继承了Spark RDD API,同时允许创建有向图。2.Graphx提供了各种图操作,比如subgraph和mapVertices,也包含了惯用图算法,比如PangeRank等。第12页Spark组件lCluster Managers:1.Cluster Managers就是集群管
6、理。Spark能够运行在很多cluster managers上面,包含Hadoop YARN,Apache Mesos和Spark自带单独调度器。2.假如你把Spark安装在了裸机上面,单独调度器能够提供简单方式,让你开始Spark之旅。3.假如你已经有了Hadoop Yarn或者Mesos集群,那么,Spark对这些集群管理工具支持,使你Spark应用程序能够在这些集群上面运行。第13页Spark历史lSpark诞生于年,那时候它是,加州大学伯克利分校RAD试验室一个研究项目,以后到了AMP试验室。lSpark最初是基于Hadoop Mapreduce,以后发觉Mapreduce在迭代式计算
7、和交互式上是低效。所以Spark进行了改进,引入了内存存放和高容错机制。l关于Spark研究论文在学术会议上发表,而且在它被创建年很快之后,对于一些特定工作,Spark比Mapreduce快10-20倍。l203月份Spark开源。l20,AMP试验室开始在Spark上面开发高级组件,像Shark(Hive on Spark),Spark Streaming。l20转移到了Apache下,现在已经是顶级项目了。l205月份Spark1.0公布。第14页Spark运行环境1.Spark 是Scala写,运行在JVM上。所以运行环境是Java6或者以上。2.假如想要使用 Python API,需要
8、安装Python 解释器2.6版本或者以上。3.当前Spark(1.2.0版本)与Python 3不兼容。第15页Spark下载1.下载地址:http:/spark.apache.org/downloads.html,选择Pre-built for Hadoop 2.4 and later 这个包,点击直接下载,这会下载一个spark-1.2.0-bin-hadoop2.4.tgz压缩包2.搭建Spark不需要Hadoop,假如你有hadoop集群或者hdfs,你能够下载对应版本。3.解压:tar-zxvf spark-1.2.0-bin-hadoop2.4.tgz第16页Spark目录lRE
9、ADME.md开始Spark之旅简单介绍。lbin包含用来和Spark交互可执行文件,如Spark shell。lcore,streaming,python,包含主要组件源代码。lexamples包含一些有用单机Spark job。你能够研究和运行这些例子,来学习Spark API。第17页SparkShells1.Sparkshell使你能够处理分布在集群上数据(这些数据能够是分布在硬盘上或者内存中)。2.Spark能够把数据加载到工作节点内存中,所以,许多分布式处理(甚至是分布式1T数据处理)都能够在几秒内完成。3.上面特征,使迭代式计算,实时查询、分析普通能够在shells中完成。Spa
10、rk提供了Python shells和 Scala shells。第18页SparkShells打开SparkPython Shell:1.到Spark目录,SparkPython Shell也叫做PySpark Shell2.bin/pyspark打开PySpark Shell之后界面第19页SparkShells打开SparkScala Shell:1.到Spark目录2.bin/pysparkbin/spark-shell打开Scala版本shell打开之后界面第20页SparkShells例子:scala val lines=sc.textFile(././testfile/hello
11、Spark)/创建一个叫linesRDDlines:org.apache.spark.rdd.RDDString=././testfile/helloSpark MappedRDD1 at textFile at:12scala lines.count()/对这个RDD中行数进行计数res0:Long=2scala lines.first()/文件中第一行res1:String=hello spark修改日志级别:conf/log4j.properties log4j.rootCategory=WARN,console第21页Spark关键概念lDriver program:1.包含程序mai
12、n()方法,RDDs定义和操作。(在上面例子中,driver program就是Spark Shell它本身了)2.它管理很多节点,我们称作executors。3.count()操作解释(每个executor计算文件一部分,最终合并)。第22页Spark关键概念lSparkContext:1.Driver programs 经过一个 SparkContext 对象访问 Spark,SparkContext 对象代表和一个集群连接。2.在Shell中SparkContext 自动创建好了,就是sc,3.例子:sc 变量 sc 第23页Spark关键概念lRDDs:1.在Spark中,我们经过分布
13、式集合(distributed collections,也就是RDDs)来进行计算,这些分布式集合,并行分布在整个集群中。2.RDDs 是 Spark分发数据和计算基础抽象类。3.用SparkContext创建RDDs4.上面例子中使用sc.textFile()创建了一个RDD,叫lines,它是从我们本机文本文件中创建,这个RDD代表了一个文本文件每一行。我们能够在RDD上面进行各种并行化操作,比如计算数据集中元素个数或者打印出第一行。第24页Spark关键概念l向Spark传递函数:向Spark传递函数是Spark一个惯用功效,许多Spark API是围绕它展开。例子:filtering
14、scala val lines=sc.textFile(././testfile/helloSpark)lines:spark.RDDString=MappedRDD.scala val worldLines=lines.filter(line=line.contains(world)pythonLines:spark.RDDString=FilteredRDD.scala worldLines.collect()第25页Spark关键概念l向Spark传递函数:上面例子中=语法是 Scala中定义函数便捷方法。你也能够先定义函数再引用:例子:def hasWorld(line:String)
15、:Boolean=line.contains(world)worldLines=lines.filter(hasWorld)像filter 这么基于函数操作,也是在集群上并行执行。第26页Spark关键概念l向Spark传递函数:l需要注意地方:l假如你传递函数是一个对象组员,或者包含一个对象中字段引用(比如self.field),Spark会把整个对象都发送到工作节点上,这么会比仅仅发送你关心信息要大很多,而且有时候会带来一些奇怪问题。1.传送信息太多处理方法:我们能够把关心字段抽取出来,只传递关心字段。2.奇怪问题防止:序列化包含函数对象,函数和函数中引用数据都需要序列化(实现JavaSe
16、rializable interface)。l假如Scala中出现NotSerializableException,普通情况下,都是因为没序列化。第27页RDDs介绍lRDDs介绍lRDDs创建方法lScala基础知识第28页RDDs介绍lRDDs1.Resilient distributed datasets(弹性分布式数据集,简写RDDs)。2.一个RDD就是一个不可改变分布式集合对象,内部由许多partitions(分片)组成,每个partition都包含一部分数据,这些partitions能够在集群不一样节点上计算3.Partitions是Spark中并行处理单元。Spark次序,并行
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Spark 各个 知识点 总结 公共课 一等奖 全国 获奖 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【a199****6536】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【a199****6536】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。