南开大学复习资料-大数据开发技术(二).docx
《南开大学复习资料-大数据开发技术(二).docx》由会员分享,可在线阅读,更多相关《南开大学复习资料-大数据开发技术(二).docx(43页珍藏版)》请在咨信网上搜索。
1、大数据开发技术(上)课程期末复习资料一、客观部分:(单项选择、多项选择、不定项选择、判断)(一)、判断部分1 Spark取代Hadoop仅仅是取代MapReduce这种计算框架,Spark可以取代HDFS吗答案:错2、Spark是Apache基金会的顶级项目答案:对3、Spark在同一个应用中不能同时使用Spark SQL和Ml 1 ib答案:错4、用户可以在Hadoop YARN 运行Spark答案:对5、用户可以在Apache Mesos _t运行Spark答案:对6、Spark SQL仅仅包括基本的SQL语法答案:错7、Spark SQL包括基本的SQL语法和HiveQL语法答案:对8、
2、Scala是一种纯面向对象的语言,每个值都是对象。答案:对9、Scala是Scalable Language的简写,是一门多范式的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。答案:对10、Scala Scalable Language的简写,是一门多范式的编程语言,设计初衷 是不包括面向对象编程的特性。答案:错11、Scala是Scalable Language的简写,是一门多范式的编程语言,设计初衷 是不包括函数式编程的特性。答案:错12、Scala其函数不能当成值来使用答案:错13、Scala配备了一种表现型的系统,它以静态的方式进行抽象,以安全和连贯 的方式进行使用。答
3、案:对14、Scala配备了-种表现型的系统,它以动态的方式进行抽象,以安全和连贯 的方式进行使用。答案:错15、Scala是不可扩展的 答案:错16、Scala中创建一个方法时经常用void表示该方法无返回值 答案:错17、Scala中用Unit表示无值,等同于Java中的void答案:对18、Scala可以通过“var”来定义变量,通过“val”关键字来定义常量答案:对19、Scala可以通过“val”来定义变量,通过“var”关键字来定义常量 答案:错A. 10 B. 11 C. 20 D. 1937、var a=10;for(a-l until 20) (printin(a);)共循环
4、了(D)次A. 10 B. 11 C. 20 D. 1938、下列Scala代码应输出(D):var a=0;var b=0var sum=0;for(al until 3; b Scala函数组合器可以把一个二维的列表展开成-个一维的列表的方法是(B)A. filter B. flatten C. grouby D. flatmap6kScala函数组合器可以对集合中的元素进行分组操作,结果得到的是一个Map 的方法是(C)A. filter B. flatten C. grouby D. fl at map62、Scala使用(A)关键字来继承一个类A. extends B.overrid
5、e C.extend D. overrides63、Scala中重写一个非抽象方法必须使用(B)修饰符。A. extends B.override C.extend D. overrides64、Scala可以使用(A)关键字实现单例模式A. object B. static C. private D. public65、RDD是一个(BCD)的数据结构可读写B.只读的C.容错的D.可进行并行操作的66、以下哪个方法可以从集合中创建RDD (AB)A. parallelize B. makeRDD C. textFile D. loadFile67、以下哪个方法可以从外部存储中创建RDD (C
6、)A.parallelize B. makeRDD C.textFile D. loadFile68、以下哪个方法可以创建RDD (ABC)A. parallelize B. makeRDD C. textFile D. loadFile69、Spark可以通过哪些外部存储创建RDD ( ABCD )文本文件B.目录C.压缩文件D.通配符匹配的文件70、RDD的(C)操作通常用来划分单词A. filter B. union C. flatmap D. mapPartitions71、以下哪个函数可以对RDD进行排序(A)A. sortBy B. filter C.distinct D. int
7、ersection72、以下哪个函数可以对RDD进行过滤(B)A. sortBy B. filter C. distinct D. intersection73、以下哪个函数可以对RDD进行去重(C)A.sortBy B. filter C. distinct D. intersection74、以下哪个函数可以对两个RDD进行合并(A)A. union B. substract C. intersection D. cartesian75、以下哪个函数可以求两个RDD差集(B)A. union B. substract C. intersection D. cartesian76、以下哪个函
8、数可以求两个RDD交集(C)A. union B. substract C. intersection D. cartesian77、以下哪个函数可以求两个RDD的笛卡尔积(D)A. union B. substract C. intersection D. cartesian78、PairRDD的(A)方法,可以把两个RDD中键相同的元素组合在一起,合并为一个 RDDoA. join B. union C. substract D. intersection79、当需要将一个普通的RDD转化为一个PairRDD时可以使用(C)函数来进行 操作A. transfer B. change C.
9、map D. build80、PairRDD可以通过(B)获得仅包含键的RDDA. key B. keys C. value D. values81、PairRDD可以通过(D)获得仅包含值的RDDA. key B. keys C. val ue D. val ues82、PairRDD中(A)函数可以合并具有相同键的值A. mapValucs B. groupBy C. groupByKcy D. rcduceByKey83、PairRDD中(C)函数可以对具有相同键的值进行分组A. mapValues B. groupBy C. groupByKey D. reduceByKey84、Pa
10、irRDD中(BC)函数可以进行分组A. mapValues B. groupBy C. groupByKey D. reduceByKey 85、请问RDD的(A)操作是根据键对两个RDD进行内连接A. join B. zip83、PairRDD中(C)函数可以对具有相同键的值进行分组A. mapValues B. groupBy C. groupByKey D. reduceByKey84、PairRDD中(BC)函数可以进行分组A. mapValues B. groupBy C. groupByKey D. reduceByKey 85、请问RDD的(A)操作是根据键对两个RDD进行内连
11、接A. join B. zip83、PairRDD中(C)函数可以对具有相同键的值进行分组A. mapValues B. groupBy C. groupByKey D. reduceByKey84、PairRDD中(BC)函数可以进行分组A. mapValues B. groupBy C. groupByKey D. reduceByKey 85、请问RDD的(A)操作是根据键对两个RDD进行内连接A. join B. zipA. join B. zipA. join B. zipA. join B. zip86、请问RDD的A. join B. zipC.combineByKey D.co
12、llect87、请问RDD的(C)操作用于将相同键的数据聚合C. combineByKey D. collect (B)操作是将两个RDD组合成Key/Value形式的RDDA. join B. zip88、请问RDD的A. join B. zip89、请问RDD的C. combineByKey D.collect (D)操作把RDD所有元素转换成数组并返回到Driver端C.combineByKey D. collect (D)操作作用于K-V类型的RDD上,返回指定K的所有V值A. search B. find C. findByKey D. lookup90、请问RDD的(A)操作用来计
13、算RDD中所有元素个数A. count B. num C. length D. number91、Spark支持的文件格式包括(ABCD)A.文本文件 B. JSON C. CSV D. SequenceFile92、spark-submit配置项中(A)表示Driver程序使用的内存大小A.一driver-memory MEMB.executor-memory MEMC. 一total-executor-cores NUM D. 一一executor-coures NUM93 spark-submit配置项中(B)表示executor内存大小A. num-executors NUMB. ex
14、ecutor-memory MEMC. total-executor-cores NUM D. executor-coures NUM94、spark-submit配置项中(C)表示executor使用的总核数A. -num-executors NUMB. executor-memory MEMC. total-executor-cores NUM D, 一一executor-coures NUM95 spark-submit配置项中(A)表示启动的executor数量A. num-executors NUMB. executor-memory MEMC, total-executor-cor
15、es NUM D. executor-coures NUM96、spark-submit配置项中(D)表示每个executor使用的内核数A, num-executors NUM B. -executor-memory MEMC. total-executor-cores NUM D. 一一executor-coures NUM97、Spark中的每个RDD 般情况下是由(C)个分区组成的A.O B. 1 C.多 D.无数98、Spark的RDD持久化操作有(AB)方式A. cache B. presist C. storage D. long99、如果numPartitions是分区个数,那
16、么Spark每个RDD的分区ID范围是(B)A. 0, numPartitions B. 0, numPartitions-1C. 1, numPartitions-1 D. 1,numPartitions100、以下哪种方法可以让Spark不自定义分区也能对任何类型RDD简单重分区(BD)A. resetpartition B. reparti ton C. Partition D. coalesce101、Spark SQL 可以处理(ABCD)A. RDD B. Parquet 文件 C. JSON 文件 D. Hive 表102、以下哪个方法可以实现Spark SQL对数据的查询(AC
17、)A. SqlContext B. MySQLContext C. HiveContext D. context103、Spark 创建 DataFrame 对象方式有(ABCD)A.结构化数据文件B.外部数据库C. RDD D.Hive中的表104 Spark SQL可以通过(AB)方法加载json文件为DataFrameA. format B. json C. get D. read105、Spark DataFrame中(ABCD)方法可以获取若干行数据A. first B. head C. take D. collect 106 Spark DataFrame中(AD)方法可以获取所有
18、数据A. collect B. take C. takeAsList D. collectAsList 107、Spark DataFrame中(AB)方法可以返回一个Array对象A.collect B. take C. takeAsList 0.collectAsList 108 Spark DataFrame 中(CD )方法可以返回一个 ListA. collect B. take C. takeAsList D. collectAsList109、 Spark 中 DataFrame 的104 Spark SQL可以通过(AB)方法加载json文件为DataFrameA. forma
19、t B. json C. get D. read105、Spark DataFrame中(ABCD)方法可以获取若干行数据A. first B. head C. take D. collect 106 Spark DataFrame中(AD)方法可以获取所有数据A. collect B. take C. takeAsList D. collectAsList 107、Spark DataFrame中(AB)方法可以返回一个Array对象A.collect B. take C. takeAsList 0.collectAsList 108 Spark DataFrame 中(CD )方法可以返回
20、一个 ListA. collect B. take C. takeAsList D. collectAsList109、 Spark 中 DataFrame 的104 Spark SQL可以通过(AB)方法加载json文件为DataFrameA. format B. json C. get D. read105、Spark DataFrame中(ABCD)方法可以获取若干行数据A. first B. head C. take D. collect 106 Spark DataFrame中(AD)方法可以获取所有数据A. collect B. take C. takeAsList D. coll
21、ectAsList 107、Spark DataFrame中(AB)方法可以返回一个Array对象A.collect B. take C. takeAsList 0.collectAsList 108 Spark DataFrame 中(CD )方法可以返回一个 ListA. collect B. take C. takeAsList D. collectAsList109、 Spark 中 DataFrame 的A. collect B. take C. takeAsList D. collectAsList 107、Spark DataFrame中(AB)方法可以返回一个Array对象A.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 南开大学 复习资料 数据 开发 技术
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【二***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【二***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。