数据工程师培训题库(一).doc

星环信息科技（上海）有限公司
【说明】
a) 客观题30题，每题2分，总计60分
b) 主观题4题，每题10分，总计40分
c) 满分100分。

【不定项选择题（每题2分共60分）】
1、 在HDFS服务中，为了保证Name Node高可用性的角色不包括（ ）
A . Data Node
B . Journal Node
C . ZKFC
D . Zookeeper

2、 Namenode在启动时自动进入安全模式，在安全模式阶段，说法错误的是（ ）
A． 安全模式目的是在系统启动时对数据有效性进行检查
B． 根据策略对数据块进行必要的复制或删除
C． 当数据块的上报数达到阈值时，会自动退出安全模式
D． 允许用户对文件系统进行读写操作

3、 在集群中配置HDFS的副本数为3，设置数据块大小为128M，此时我们上传一份64M的数据文件，该数据文件占用HDFS空间大小为（ ）
A . 64M
B . 128M
C . 384M
D . 192M

4、 下列对YARN角色在集群中的作用描述正确的是（ ）
A . 集群资源管理
B . 集群任务调度与管理
C . 存储部分HDFS上的数据块
D . 以上都正确

5、 在Yarn服务中，不包含以下哪种角色（ ）
A . ResourceManager
B . NodeManager
C . ApplicationMaster
D . Contianer

TDH数据平台认证工程师试题
姓名：_______________ 分数：____________

6、 下列计算框架中不属于分布式计算框架的是（ ）
A . MapReduce
B . MATLAB
C . SPARK
D . Tez

7、 以下关于外表和托管表描述正确的是（ ）
A、外表的数据存储在本地，托管表的数据存储在hdfs上
B、删除托管表只会删除Inceptor上的元数据不会删除数据文件，删除外表两者都会被删除
C、删除外表只会删除Inceptor上的元数据不会删除数据文件，删除托管表两者都会被删除
D、删除托管表或外表，incepotr上的元数据和数据文件都会被删除

8、 以下对分桶表的描述正确的是（ ）
A、分桶表通过改变数据的存储分布，对查询起到一定的优化作用
B、分桶键不能是表中的列
C、分桶数应为素数
D、事物表必须制定分桶，分桶字段可以被更新

9、 以下关于inceptor excutor资源配置的说法正确的有（ ）
A、Excutor资源配置fixed和ratio两种模式
B、Excutor内核数配置的是每个excutor所使用的逻辑core数量
C、Excutor内核数和内存配置比例一般为1 core:2G memory
D、 Excutor分布可以指定每个节点运行的excutor数量或executor在集群上运行的总数量，但是不能指定运行的节点

10、 假设使用场景中有如下查询语句
SELECT Sex, Region, COUNT(ID), AVG (Salary)
FROM Employee
WHERE Department = 'IT'
GROUP BY Sex, Region
ORDER BY Sex, Region;
通过holodesk的cube和index手段对这种过滤率和聚合率高的业务进行优化，以下建表正确的是（ ）
A. CREATE TABLE Employee
TBLPROPERTIES (
'cache' = 'RAM',
'holodesk.index' = 'Department',
'holodesk.dimension' = 'Sex, Region'
)

B. CREATE TABLE Employee
TBLPROPERTIES (
'cache' = 'RAM',
'holodesk.index' = 'Sex, Region'
'holodesk.dimension' = 'Department'
)
C. CREATE TABLE Employee
TBLPROPERTIES (
'cache' = ''Department'',
'holodesk.index' = 'Department',
'holodesk.dimension' = 'Sex, Region'
)
D. CREATE TABLE Employee
TBLPROPERTIES (
'cache' = 'RAM',
'holodesk.index' = 'Department',
'holodesk.dimension' = 'Sex'
)

11、 关于Hyperbase全局索引的描述，哪些是正确的？（ ）
A．核心是倒排表
B．全局索引概念是对应Rowkey这个“一级”索引
C．全局索引使用平衡二叉树
D．全局索引使用B+树检索数据

12、 以下为Hyperbase分布式存储的最小单元的是（ ）
A、Region server
B、Region
C、StoreFile
D、Store

13、 以下有关Hyperbase说法正确的是（ ）
A、数据类型丰富，支持String、Int、Char等类型
B、Key/value系统，key由Row,Column Family,Column Qualifier组成
C、Hyperbase表中rowkey有序，按字典序降序排列
D、以上说法都不正确

14、 以下关于StreamSQL的概念描述正确的是（ ）
A. Stream是数据流
B. Streamjob是对一个或多个stream进行计算并将结果写进一个流的任务
C. Application是一个或多个streamjob的集合
D. 以上说法都不正确

15、 某交通部门通过使用流监控全市过往24小时各个卡口数据，要求每分钟更新一次，原始流为org_stream，以下实现正确的是（ ）
A. CREATE STREAMWINDOW traffic_stream AS SELECT * FROM original_stream STREAM w1 AS (length '1' minute slide '24' hour);
B. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length '1' minute slide '24' hour);
C. CREATE STREAM traffic_stream AS SELECT * FROM original_stream STREAMWINDOW w1 AS (length '24' hour slide '1' minute);
D. CREATE STREAM traffic_stream AS SELECT * FROM original_stream AS (length '24' second slide '1' minute);

16、 以下不是Zookeeper的功能是（ ）
A． 配置管理
B． 集群管理
C． 分布式锁
D． 存储大量数据

17、 以下服务需要与zookeeper进行通信的是（ ）
A. HMaster
B. Active NameNode
C. InceptorSQL
D. Active ResourceManager

18、 下列是关于flume和sqoop对比的描述，不正确的是（ ）
A . flume主要用来采集日志而sqoop主要用来做数据迁移
B . flume主要采集流式数据而sqoop主要用来迁移规范化数据
C . flume和sqoop都是分布式处理任务
D . flume主要用于采集多数据源小数据而sqoop用来迁移单数据源数据

19、 有关使用sqoop抽取数据的原理的描述不正确的是（ ）
A . sqoop在抽取数据的时候可以指定map的个数，map的个数决定在hdfs生成的数据文件的个数
B . sqoop抽取数据是个多节点并行抽取的过程，因此map的个数设置的越多性能越好
C . sqoop任务的切分是根据split字段的（最大值-最小值）/map数
D . sqoop抽取数据的时候需要保证执行当前用户有权限执行相应的操作

20、 sqoop抽取数据时需要做一些数据转换的工作，下面说法不正确的是（ ）
A . --fields-terminated-by ‘\\01’ 用来设置在hdfs生成的文件的分割符
B . --hive-drop-import-delims  用来设置在hdfs生成的文件的存储形式为列存储
C . --null-string '\\N'  用来把所有的 String类型的空值 转换成 hive的NULL值
D . --null-non-string '\\N' 用来把非String类型的空值 转换成 hive的NULL 值

21、 下列有关flume的描述不正确的是（ ）
A . flume是Apache的一个子项目
B . flume主要是一个日志采集，传输系统
C . flume和sqoop功能相似，因此可以相互替代
D . flume可以同时采集集群内部和集群外部的日志数据

22、 下列sink中哪些是flume不支持的sink（ ）
A . HDFS sink
B . kafka sink
C . memory sink
D . file roll sink

23、 以下对ElasticSearch描述不正确的是（ ）
A． ElasticSearch是分布式全文搜索引擎
B． ElasticSearch集群中分master和data节点
C． ElasticSearch数据存储在HDFS上
D． ElasticSearch数据可以按Shard分布在不同的节点上

24、 下列不属于kafka应用场景的是（ ）
A . 常规的消息收集
B . 网站活动性跟踪
C . 日志收集
D . 关系型数据库和大数据平台之间的数据迁移

25、 TDH提供哪几种认证模式？（ ）
A． 所有服务使用简单认证模式——所有服务都无需认证即可互相访问
B． 所有服务都启用Kerberos认证，用户要提供Kerberos principal和密码（或者keytab）来访问各个服务
C． 所有服务都启用Kerberos同时Inceptor启用LDAP认证
D． 所有服务都启用LDAP认证

26、 以下对各组件的运维页面描述不正确的是（ ）
A． 通过Name Node的50070页面对HDFS进行监控
B． 通过Resource Manager的8180对YARN上运行的任务进行监控
C． 通过HMaster的60010对HBase进行监控
D． 通过Hue Server的8888页面登入Hue

27、 Inceptor server服务无法启动时，该如何查看日志是（ ）
A． 查看TDH manager所在节点/var/log/inceptorsql*/目录下的hive-server2.log日志
B． 查看Inceptor server所在节点/var/log/inceptorsql*/目录下的hive-server2.log日志
C． 查看Resource Manager所在节点/var/log/Yarn*/目录下的yarn-yarn-resourcemanager-poc-node1.log日志
D． 查看任意节点/var/log/inceptorsql*/目录下的hive-server2.log日志

28、 以下对Hadoop组件的应用场景描述正确的是（ ）
A. Hive主要用于构建大数据数仓，主要做批处理、统计分析型业务
B. Hbase主要用于检索查询的OLTP业务
C. ElasticSearch主要用于全文检索的关键字查询业务
D. Spark Streaming主要用于实时数据的业务场景

29、 以下不属于管理角色的是（ ）
A . Name Node
B . HMaster
C . Resource Manager
D . Node Manager

30、 下面哪些工作不属于集群预安装工作（ ）
A . 为集群中每个节点的安装操作系统
B . 选一个节点作为管理节点，修改其 /etc/hosts文件
C . 安装Transwarp Manager管理界面
D . 配置集群安全模式

【客观简答题（每题10分，共40分）】
1、 集群有8个节点，每个节点有8块硬盘（默认3副本）。如果某个节点有3块盘损坏，是否可能存在数据块丢失情况；如果有3个节点发生故障，是否可能存在数据块丢失情况；并简述原因。
答：

2、 请描述TDH平台中在Yarn上可以使用哪几种调度策略，并分别阐述各调度策略的特点。

3、 请简述bulkload的作用和操作步骤（包括原理的步骤和使用sqlbulkload的步骤）。

4、 请列出TDH下的4大组件（Inceptor、Hyperbase、StreamSQL、Discover）的特性以及适用场景。