大数据平台概要设计项目新版说明书.docx

计算平台
概要设计说明书

文件编号

受控编号

版次
1.0
密级
内部公开
总页数
42
附录

作者： 日期： -01-28
同意： 日期：
审核： 日期：

（版权全部，翻版必究）
文件修改统计
修改日期
修改状态
修改页码及条款
修改人
审核人
同意人

目 录
1. 引言 5
1.1 编写目标 5
1.2 术语和缩略词 6
1.3 对象及范围 8
1.4 参考资料 9
2. 系统总体设计 9
2.1 需求要求 9
2.1.1 数据导入 9
2.1.2 数据运算 9
2.1.3 运算结果导出 10
2.1.4 系统监控 10
2.1.5 调度功效 11
2.1.6 自动化安装布署和维护 11
2.2 运行环境 12
2.3 基础设计思绪和处理步骤 13
2.4 系统结构 14
2.4.1 大数据运算系统架构图 14
2.4.2 hadoop体系各组件之间关系图 14
2.4.3 计算平台系统功效图 15
2.4.4 系统功效图逻辑说明 16
2.4.5 计算平台业务步骤图 16
2.5 还未处理问题 17
3. 模块/功效设计 17
3.1 计算驱动模块 17
3.1.1 设计思绪 17
3.1.2 步骤图 19
3.1.3 处理逻辑 20
3.2 调度模块 20
3.2.1 设计思绪 20
3.2.2 步骤图 22
3.2.3 处理逻辑 23
3.3 自动化安装布署模块 23
3.3.1 设计思绪 23
3.3.2 处理逻辑 23
3.4 调度模块和计算驱动模块交互步骤 24
3.4.1 处理步骤图 24
3.4.2 处理逻辑 24
3.4.3 hadoop驱动模块调用驱动接口 25
3.4.4 调度模块接收hadoop实施状态接口 25
3.5 调度模块和kettle交互步骤 26
3.5.1 处理步骤图 26
3.5.2 处理逻辑 27
3.6 对调度任务运行过程进行监控步骤 27
3.6.1 处理步骤图 27
3.6.2 处理逻辑 27
3.7 对hadoop驱动任务运行过程进行监控步骤 28
3.7.1 处理步骤图 28
3.7.2 处理逻辑 28
3.8 对操作系统/应用程序监控步骤 29
3.8.1 处理步骤图 29
3.8.2 处理逻辑 29
3.9 监控报警模块 30
3.9.1 设计思绪 30
3.9.2 步骤图 31
3.9.3 处理逻辑 31
4. 系统数据结构设计 32
4.1 数据实体关系图 32
4.2 数据逻辑结构 32
4.2.1 驱动任务设置表 32
4.2.2 驱动设置表 33
4.2.3 驱动任务实施明细表 34
4.2.4 调度任务表 34
4.2.5 调度步骤表 35
4.2.6 调度步骤实施统计表 36
4.2.7 操作系统监控数据表 37
4.2.8 应用程序监控数据表 38
4.2.9 监控系统配置表 38
4.2.10 业务数据统计表 39
4.3 数据物理结构 39
5. 安全设计 39
6. 容错设计 40
6.1 挽救方法 40
6.2 系统维护设计 40
7. 日志设计 40
1. 引言
1.1 编写目标
大数据泛指巨量数据集，因可从中挖掘出有价值信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣三大技术变革。麦肯锡企业汇报指出数据是一个生产资料，大数据是下一个创新、竞争、生产力提升前沿。世界经济论坛汇报认定大数据为新财富，价值堪比石油。所以，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点关键抓手。
互联网尤其是移动互联网发展，加紧了信息化向社会经济各方面、大众日常生活渗透。有资料显示，1998年全球网民平均每个月使用流量是1MB（兆字节），是10MB，是100MB，是1GB（1GB等于1024MB），将是10GB。全网流量累计达成1EB（即10亿GB或1000PB）时间在是十二个月，在是30天，在是一周，而仅需一天，即一天产生信息量可刻满1.88亿张DVD光盘。中国网民数居世界之首，天天产生数据量也在世界前列。淘宝网站天天有超出数千万笔交易，单日数据产生量超出50TB（1TB等于1000GB），存放量40PB(1PB等于1000TB)。baidu企业现在数据总量靠近1000PB，存放网页数量靠近1万亿页，天天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）摄像头一小时能产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每个月产生数据量将达几十PB。医院也是数据产生集中地方。现在，一个病人CT影像数据量达几十GB，而全国每十二个月门诊人数以数十亿计，而且她们信息需要长时间保留。总而言之，大数据存在于各行各业，一个大数据时代正在到来。
　　信息爆炸不自今日起，但多年来大家愈加感受到大数据来势迅猛。首先，网民数量不停增加，其次，以物联网和家电为代表联网设备数量增加愈加快。全球有5亿个设备联网，人均0.1个；全球将有500亿个设备联网，人均70个。伴随宽带化发展，人均网络接入带宽和流量也快速提升。全球新产生数据年增40%，即信息总量每两年就能够翻倍，这一趋势还将连续。现在，单一数据集容量超出几十TB甚至数PB已不罕见，其规模大到无法在许可时间内用常规软件工具对其内容进行抓取、管理和处理。
　　数据规模越大，处理难度也越大，但对其进行挖掘可能得到价值更大，这就是大数据热原因。鉴于越来越大数据规模，采取常规基于DBMS数据分析工具和方法已经无法满足大规模数据分析需求，现在部分大型互联网企业采取hadoop体系进行大规模数据运算，结合hadoop体系结构和实际运算需求结合，采取hadoop 体系结构分布式运算模型，经过集群方法实现大数据运算，为企业提供大数据价值。
为适应大数据计算要求，同时提供大数据运算平台系统设计依据，特制订计算平台系统概要设计文档，为后期系统具体设计和实现提供依据。

1.2 术语和缩略词
下列术语、定义和缩略语适适用于本标准：
术语和缩略词
解 释
备 注
Namenode
HDFS采取master/slave架构。一个HDFS集群是由一个Namenode和一定数目标Datanodes组成。Namenode是一个中心服务器，负责管理文件系统名字空间(namespace)和用户端对文件访问。Namenode实施文件系统名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点映射

Datanode
集群中Datanode通常是一个节点一个，负责管理它所在节点上存放。HDFS暴露了文件系统名字空间，用户能够以文件形式在上面存放数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存放在一组Datanode上。Datanode负责处理文件系统用户端读写请求。在Namenode统一调度下进行数据块创建、删除和复制

Secondnamenode
光从字面上来了解，很轻易让部分初学者先入为主认为：SecondaryNameNode（snn）就是NameNode（nn）热备进程。其实不是。snn是HDFS架构中一个组成部分，不过常常因为名字而被人误解它真正用途，其实它真正用途，是用来保留namenode中对HDFS metadata信息备份，并降低namenode重启时间

Jobtracker
JobTracker是MapReduce框架中最关键类之一，全部job实施全部由它来调度，而且Hadoop系统中只配置一个JobTracker 应用。 它们全部是由一个master服务JobTracker和多个运行于多个节点slaver服务TaskTracker两个类提供服务调度。 master负责调度job每一个子任务task运行于slave上，并监控它们，假如发觉有失败task就重新运行它，slave则负责直接实施每一个task

TaskTracker
TaskTracker全部需要运行在HDFSDataNode上，而JobTracker则不需要，通常情况应该把JobTracker 布署在单独机器上

HBase
HBase是一个分布式、面向列开源数据库，该技术起源于Chang et al所撰写谷歌论文“Bigtable：一个结构化数据分布式存放系统”。就像Bigtable利用了谷歌文件系统（File System）所提供分布式数据存放一样，HBase在Hadoop之上提供了类似于Bigtable能力。HBase是ApacheHadoop项目标子项目。HBase不一样于通常关系数据库，它是一个适合于非结构化数据存放数据库。另一个不一样是HBase基于列而不是基于行模式。

Hive
hive是基于Hadoop一个数据仓库工具，能够将结构化数据文件映射为一张数据库表，并提供完整sql查询功效，能够将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，能够经过类SQL语句快速实现简单MapReduce统计，无须开发专门MapReduce应用，十分适合数据仓库统计分析。

Storm
Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群另一个方法。 Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流形式输出给用户。它还可被用于“分布式RPC”，以并行方法运行昂贵运算。

Flume
Flume是Cloudera提供一个高可用，高可靠，分布式海量日志采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于搜集数据；同时，Flume提供对数据进行简单处理，并写到多种数据接收方（可定制）能力。

ETL
ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）过程。是构建数据仓库关键一环，用户从数据源抽取出所需数据，经过数据清洗,最终根据预先定义好数据仓库模型，将数据加载到数据仓库中去。

Kettle
Kettle是一款国外开源ETL工具，纯java编写，能够在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。

MySQL
MySQL是一个开放源码小型关联式数据库管理系统，开发者为瑞典MySQL AB企业。现在MySQL被广泛地应用在Internet上中小型网站中。因为其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，很多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。

MongoDB
MongoDB是一个介于关系数据库和非关系数据库之间产品，是非关系数据库当中功效最丰富，最像关系数据库。她支持数据结构很松散，是类似jsonbson格式，所以能够存放比较复杂数据类型。Mongo最大特点是她支持查询语言很强大，其语法有点类似于面向对象查询语言，几乎能够实现类似关系数据库单表查询绝大部分功效，而且还支持对数据建立索引。

1.3 对象及范围
1、开发人员、DBA、测试人员；
2、研发主管领导、产品人员；
1.4 参考资料
1、《大数据处理体系架构》
2、《HBase The Definitive Guide》
3、《The.Definitive.Guide.3rd.Edition.May.》
4、《Programming_Hive》
2. 系统总体设计
2.1 需求要求
2.2 运行环境
操作系统：RedHad Enterprise 5.5
软件环境：Java 1.6
Hadoop-1.0.4
HBase-0.94.9
Hive-0.10.0
sqoop-1.4.2
zookeeper-3.4.5
Kettle 4.3
MySQL 5.1
硬件环境：8核16G内存PC服务器8台
2.3 基础设计思绪和处理步骤
1、根据数据分析实时性，分为在线数据分析和离线数据分析。
2、在线数据分析：往往要求系统在数秒内返回上亿行数据分析，从而才能达成不影响用户体验目标。
3、离线数据分析：对大多数反馈时间要求不高应用，比如离线统计分析、机器学习等，应采取离线分析方法，经过数据采集工具将日志数据导入专门分析平台进行分析。
4、系统关键以离线数据分析为主，采取现在在互联网业界流行hadoop体系结构对大批量数据进行运算，采取hadoop集群方法对大数据进行运算。
5、数据运算平台以调度为根本，作为运算平台关键控制系统，对运算平台各个步骤进行控制，且对运算过程中步骤依靠关系进行控制，同时对各个步骤进行监控，经过监控异常报警来提升系统稳定性和异常响应速度。
2.4 系统结构
2.4.1 大数据运算系统架构图
日志存放
统计分析
数据应用
Hadoop(HDFS、HBASE)
在线计算：
Storm 流计算框架
离线计算：
Hadoop(Map/Reduce、Hive、pig)
日志采集
日志采集系统 Flume
数据服务
数据提取，报表展现，
功效、网页展示……
统计、分析数据存放，数据接口
MongoDB、MySql

2.4.2 大数据平台系统功效图

系统功效图逻辑说明
1） 生产系统源数据经过sqoop，flume，Kettle等获取后保留在Kafka消息队列中或保留到hadoophdfs系统中。
2） 调度系统负责本身控制功效，经过读取调度控制配置信息调用驱动代理程序处理相关运算功效。
3） 驱动代理程序负责全部基于运算平台相关组件驱动任务，读取调度系统传输过来模版信息，读取模版信息，并实施对应驱动操作。
4） 系统管理功效部分完成系统相关配置，管理等相关信息维护操作。
5） 监控系统对整个系统运行情况进行监控，由各个业务子系统根据监控系统要求实现对应监控功效。
2.4.3 大数据平台功效结构图

大数据平台功效结构图说明：
1）大数据平台功效结构关键划分为计算平台，应用平台，系统管理和监控，配置等相关应用功效。
2）计算平台分为基础运算部分，模版管理部分，驱动代理部分，系统调度部分。
3）计算平台分为离线计算和实时计算两种形式。
4）计算平台基于模版功效开发，实际应用中做到模版热插拔，对于功效需求只需要开发对应模版，并布署上计算平台即可应用。
5）驱动代理程序管理全部基于大数据运算相关组件代理功效，对外提供给调度系统应用，调用模版设置对应类型，进行对应类型驱动操作。
6）调度系统只关心其本身系统控制能力，不参与具体业务和计算功效组件调用。
2.5 还未处理问题
无
3. 模块/功效设计

3.1 调度模块
3.1.1 设计思绪
一：调度模块实现功效思绪

二：步骤说明和注意事项：
1、 任务和步骤采取配置表方法保留在mysql中，调度程序定时扫描任务表，判定是否有开启任务，假如有开启任务，则开启任务。
2、 调度任务需要判定任务中步骤之间依靠关系，依据依靠关系判定是否能够实施下一步实施步骤。
3、 一个任务中能够包含多个步骤，每个步骤为一个具体任务，步骤和步骤直接存在依靠关系。
4、 对于具体实施任务将由驱动代理自动完成。
3.1.2 步骤图

3.1.3 处理逻辑
1、调度任务开启后扫描任务配置表，看任务配置表是否存在需要处理任务信息，假如不存在需要处理任务信息，则线程实施休眠，不然实施步骤2；
2、生成数据日期，并检验任务依靠关系，假如依靠关系未实施完，则现成等候操作，等候依靠任务实施完成，假如依靠关系全部实施完，则获取符合条件任务，实施步骤3：
3、读取任务信息表，获取任务信息，依据任务信息读取步骤信息，实施对应步骤操作，实施步骤4；
4、依据步骤信息配置获取需要实施对应模版信息，调用驱动代理程序实施对应功效，实施步骤5；
5、驱动代理程序实施模版初始化，初始化完成后获取对应参数数据，并依据模版类型选择具体驱动程序，实施对应操作。
6、判定该任务下步骤是否实施完成，假如未实施完成，则实施步骤3，继续下一个步骤实施，不然实施步骤7；
7、写步骤完成信息表，判定是否还存在要实施任务，假如没有等候，存在需要实施任务则实施步骤3.
3.2 驱动代理模块
3.2.1 设计思绪
一：计算驱动模块实现功效思绪

二：步骤说明和注意事项：
1、计算平台驱动提供针对Hive，MapReduce，Hbase等相关驱动应用。
2、基于业务模版设置操作，调度实施业务模版，不关心模版具体业务形态。
3、一个驱动应用包含四个步骤：1）删除不用数据；2）加载数据；3）运算；4）导出结果文件。
4、提供监控需要对应信息。
5、对于文件操作，会包含到多个文件或目录操作，多个文件或目录以逗号分隔，对文件操作中包含到部分根据小时，天，月份文件命名操作，配置中以特殊字符进行替换。
3.2.2 步骤图

3.2.3 处理逻辑
1、由调度程序驱动代理模块，调用驱动代理模块驱动应用，传输需要驱动模版编号，处理时间范围等相关信息，实施步骤2；
2、驱动程序首先查询是否存在该模版，假如不存在模版，、则实施步骤3，不然实施步骤4；
3、则直接返回任务失败信息，不存在相关模版，整个步骤结束；
4、假如查询到相关模版信息，先实施初始化模版信息和需要删除中间文件，多个文件以逗号分割，假如为空则表示不需要清理中间文件，实施步骤5；
5、清理hive表数据操作，多个hive语句以逗号分割，假如为空则表示不需要进行分割，实施步骤6
6、判定该操作是hive驱动mapreduce还是自定义mapreduce，假如是自定义mapreduce则走自定义mapreduce操作，实施步骤7，不然假如是hive驱动mapreduce，则走hive操作步骤，不然实施步骤8；
7、假如mapreduce操作步骤，第一步实施加载文本文件数据，多个文本文件以逗号进行分割，第二步实施mapreduce操作，经过shell脚本方法实施mapreduce操作，第三步实施完后将结果输出。
8、假如是hive操作步骤，第一步先实施加载文本文件到hive表，假如有多个文件操作一逗号分割，第二步实施hive语句，多个hive语句以逗号分割方法，第三步将结果输出到对应hive表中。
9、依据设置导出方法，将结果文件导出到mysql，或mongodb，或直接将文本文件从hdfs文件系统中导出。
3.3 对操作系统/应用程序监控步骤
3.3.1 处理步骤图

3.3.2 处理逻辑
1、读取监控服务器列表，判定是否需要监控，假如需要监控，则实施步骤2，假如不需要监控，实施步骤5；
2、监控模块向监控服务器发送监控请求，等到被监控服务器返回，实施步骤3；
3、被监控服务器接收到请求监控信息后，将相关信息返回给监控模块，实施步骤4；
4、监控服务器将返回数据进行解析后入库，实施步骤5；
5、判定被监控服务器是否全部请求完成，假如请求完成，则实施步骤6，不然实施步骤1；
6、监控模块线程休眠10分钟，等候下次进行监控，实施步骤1.
3.4 监控报警模块
3.4.1 设计思绪
一：监控模块实现功效思绪

二：步骤说明和注意事项：
1、监控报警模块关键完成三个等级监控报警，分为：
1）操作系统等级，检测运行机器操作系统是否正常运行，CPU，内存，I/O，存放等资源利用情况，采取LinuxShell脚本对相关信息进行搜集并上报；
2）应用程序等级监控，检测kettle，hadoop，hive，hbase，zookeeper等相关程序是否正常开启，和应用程序相关资源监控。
3）程序数据等级监控，对数据情况进行监控，关键是数据异常监控。
2、监控模块关键负责监控数据采集，数据异常报警，和后期监控数据展示等功效。
3、对于系统等级和应用程序等级监控数据采集采取由监控模块主动调用对应应用接口方法采集数据，对于应用数据等级监控则由各个应用将相关数据写入到数据库表，由监控系统对其进行扫描。
4、监控模块报警机制支持优先级报警模式，对于优先级较高，需要紧急处理报警，需要不间断进行报警，但需要设置报警频率，如10分钟反复一次。
5、监控报警模式采取邮件监控方法，辅助以短信提醒方法。
3.4.2 步骤图

3.4.3 处理逻辑
1、监控报警开启采取开启开启方法进行，当监控报警线程开启后判定是否抵达监控时间点，假如未抵达监控时间点，则线程休眠1分钟后再次进行判定，假如抵达监控时间点则实施步骤2。
2、读取需要监控任务列表，得到需要监控任务，实施步骤3。
3、对监控任务源数据进行扫描，判定是否存在异常，假如存在异常则保留监控异常数据，实施步骤4，不然实施步骤1。
4、判定监控列表是否全部实施完，假如实施完，对于异常情况以邮件方法通知相关人，不然实施步骤3。
4. 系统数据结构设计
4.1 数据实体关系图

具体图例见附件
4.2 数据逻辑结构
4.2.1 调度任务表
字段
说明
数据
类型
是否
为空
主键
备注
TaskId
任务ID
int
否
是
主键,自增加ID
TaskName
任务名称
Varchar(255)
否

TaskDesc
任务描述
Varchar(500)
是

Priority
优先级
int
是

数值1~10值越大优先级越高,默认5
CycleType
周期类型
int
否

0.实施一次1.分钟 2.小时 3.天 4.月
Interval
频次间隔
Int
是

整数
PlanRunTime
预期实施时长
Int
是

单位：分钟
LastRunDate
最终实施日期
int
否

0101
Status
任务状态
int
否

0.正常 1.暂停
CreateUser
创建人
Varchar(255)
否

CreateTime
创建时间
date
否

ModifyUser
修改人
Varchar(255)
是

ModifyTime
修改时间
date
是

4.2.2 调度步骤表
字段
说明
数据
类型
是否
为空
主键
备注
StepId
步骤ID
int
否
是
主键,自增加ID
TaskId
任务ID
int
否

“任务表”主键
StepSort
实施次序
int
否

相同则表示并行
StepName
步骤名称
Varchar(255)
否

TemplateID
模板ID
Int
否

PlanRunTime
预期实施时长
Int
是

单位：分钟
CreateUser
创建人
Varchar(255)
否

CreateTime
创建时间
date
否

ModifyUser
修改人
Varchar(255)
是

ModifyTime
修改时间
date
是

4.2.3 调度任务依靠表
字段
说明
数据
类型
是否
为空
主键
备注
TaskId
任务ID
int
否

FatherId
父任务ID
int
否

4.2.4 调度任务运行日志表
字段
说明
数据
类型
是否
为空
主键
备注
SerialId
统计ID
Int
否
是
主键，自增加ID
TaskDate
任务日期
Int
否

TaskId
任务ID
Int
否

“任务表”主键
Status
任务状态
Int
否

0.初始化1实施中2.已完成 -99.实施错误
RetryTimes
重试次数
Int

BeginTime
开始实施时间
Date
是

EndTime
结束实施时间
Date
是

CreateTime
创建时间
Date
否

ModifyTime
修改时间
Date
是

4.2.5 调度步骤运行日志表
字段
说明
数据
类型
是否
为空
主键
备注
SerialId
统计ID
Int
否
是
主键，自增加ID
TaskDate
步骤日期
Int
否

TaskId
任务ID
Int
否

“任务表”主键
StepId
步骤ID
Int
否

“步骤表”主键
StepSort
步骤序号
int
否

Status
步骤状态
Int
否

0.初始化 1.实施中 2.已完成 -99.实施错误
RetryTimes
重试次数
Int

BeginTime
开始实施时间
Date
是

EndTime
结束实施时间
Date
是

CreateTime
创建时间
Date
否

ModifyTime
修改时间
Date
是

4.2.6 调度步骤运行错误日志表
字段
说明
数据
类型
是否
为空
主键
备注
SerialId
统计ID
Int
否
是
主键，自增加ID
TaskDate
任务日期
Int
否

TaskId
任务ID
Int
否

StepId
步骤ID
Int
否

ErrorInfo
错误信息
Varchar(4000)
否

InsertTime
统计时间
Date
是

4.2.7 系统资源表
字段
说明
数据
类型
是否
为空
主键
备注
ResourceId
资源ID
Int
否
是
主键，自增加ID
CpuInfo
Cpu信息
Varchar(4000)
是

MemoryInfo
内存信息
Varchar(4000)
是

DiskInfo
硬盘信息
Varchar(4000)
是

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.8 服务器机器表
字段
说明
数据
类型
是否
为空
主键
备注
MachineId
机型ID
Int
否
是
主键，自增加ID
CpuInfo
Cpu信息
Varchar(4000)
是

MemoryInfo
内存信息
Varchar(4000)
是

DiskInfo
硬盘信息
Varchar(4000)
是

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.9 服务器信息表
字段
说明
数据
类型
是否
为空
主键
备注
ServerId
服务器ID
Int
否
是
主键，自增加ID
ServerName
服务器名称
Varchar(256)
是

ServerIp
服务器IP
Varchar(256)
是

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.10 系统管理信息表
字段
说明
数据
类型
是否
为空
主键
备注
SystemId
服务器ID
Int
否
是
主键，自增加ID
MachineId
机型ID
Int
否

ResourceId
资源ID
Int
否

ServerId
服务器ID
Int
否

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.11 集群信息表
字段
说明
数据
类型
是否
为空
主键
备注
ClusterId
集群ID
Int
否
是
主键，自增加ID
ClusterName
集群名称
Varchar(256)
是

ClusterPath
集群配置目录
Varchar(256)
是

Remark
集群配置备注
Varchar(256)
是

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.12 集群列表
字段
说明
数据
类型
是否
为空
主键
备注
ListId
集群列表ID
Int
否
是
主键，自增加ID
ClusterId
集群ID
Int
否

ServerId
服务器ID
Int
否

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.13 系统配置表
字段
说明
数据
类型
是否
为空
主键
备注
ConfigId
系统配置ID
Int
否
是
主键，自增加ID
ConfigName
配置名称
Varchar(256)
否

ConfigValue
配置信息
Varchar(256)
否

ClusterId
集群ID
Int
否

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.14 Hadoop参数配置表
字段
说明
数据
类型
是否
为空
主键
备注
ConfigId
系统配置ID
Int
否
是
主键，自增加ID
ConfigName
配置名称
Varchar(256)
否

ConfigValue
配置信息
Varchar(256)
否

ClusterId
集群ID
Int
否

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.15 Jar配置表
字段
说明
数据
类型
是否
为空
主键
备注
ConfigId
系统配置ID
Int
否
是
主键，自增加ID
ConfigName
配置名称
Varchar(256)
否

ConfigValue
配置信息
Varchar(256)
否

ClusterId
集群ID
Int
否

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.16 系统用户名表
字段
说明
数据
类型
是否
为空
主键
备注
UserId
用户ID
Int
否
是
主键，自增加ID
UserName
用户名
Varchar(256)
否

UserPassWd
用户密码
Varchar(256)
否

CreateTime
统计创建时间
date
否

CreateName
统计创建人
Varchar(256)
否

ModifyTime
统计修改时间
Date
否

ModifyName
统计修改人
Varchar(256)
否

4.2.17 模版信息表
字段
说明
数据
类型
是否
为空
主键
备注
TemplateId
模版ID
Int
否
是
主键，自增加ID
TemplateName
模版名称
Varchar(256)
否

TemplateType
模版类型
Int
否

TemplatePath
模版