省级BI规范元数据管理规范样本.doc
《省级BI规范元数据管理规范样本.doc》由会员分享,可在线阅读,更多相关《省级BI规范元数据管理规范样本.doc(111页珍藏版)》请在咨信网上搜索。
经营分析系统元数据管理规范 V1.0 (讨论稿) 二○○三年十月 目录 1 总则 1 1.1 概述 1 1.2 目的 2 1.3 合用范畴 2 1.4 包括附件内容 2 1.5 起草单位 3 1.6 解释权 3 2 元数据管理规范总体阐明 4 2.1 规范涉及元数据原则 4 2.2 元数据基本框架 6 2.3 省级(涉及一级经营分析系统)元数据管理架构 7 2.4 中央元数据库管理架构 8 2.5 元数据管理系统拓扑图 10 3 经营分析系统核心元数据 12 3.1 概述 12 3.2 经营分析系统基本层元数据 12 3.2.1 概述 12 3.2.2 对象模型元数据 13 3.2.3 基本元数据 16 3.2.3.1 概述 16 3.2.3.2 业务信息 17 3.2.3.3 数据类型 19 3.2.3.4 表达式 19 3.2.3.5 主键和索引 20 3.2.3.6 系统布置 21 3.2.3.7 类型映射 23 3.3 经营分析系统数据获取层元数据 24 3.3.1 概述 24 3.3.2 ETL元数据 25 3.4 经营分析系统数据存储层元数据 30 3.4.1 概述 30 3.4.2 数据仓库元数据 31 3.4.2.1 关系模型元数据 31 3.4.3 数据仓库管理元数据 33 3.4.3.1 仓库过程元数据 33 3.4.3.2 仓库操作元数据 36 3.5 经营分析系统数据访问层元数据 38 3.5.1 概述 38 3.5.2 OLAP元数据 39 3.5.3 数据挖掘元数据 41 3.5.4 信息可视化 43 3.6 其她可选元数据 45 4 经营分析系统元数据库存储原则 47 4.1 概述 47 4.2 元数据库存储原则 47 4.3 备份规定 48 4.3.1 省级元数据备份规定 48 4.3.2 中央元数据备份规定 50 5 省级与集团公司元数据接口规范 53 5.1 概述 53 5.2 集团公司职责 53 5.3 各省公司职责 53 5.4 各省元数据提交范畴 54 5.5 各省元数据提交规定 54 5.6 接口文献传播规定 55 5.7 省级与集团公司元数据接口文献和描述文献命名方式 55 5.8 省级元数据接口文献描述文献格式原则 57 5.9 省级-中央元数据库CORBA IDL接口 57 5.10 省级-中央元数据库XMI接口 59 5.11 校验原则 61 6 经营分析系统元数据库接口规范 64 6.1 省级元数据库接口 64 6.1.1 概述 64 6.1.2 集团公司职责 65 6.1.3 各省公司职责 65 6.1.4 各省元数据接口管理范畴 65 6.1.5 各省元数据XMI接口抽取规定 66 6.1.6 省级元数据库XMI文献命名规则 66 6.1.7 省级元数据接口文献描述文献格式原则 68 6.1.8 省级元数据库省级经营分析系统XMI接口内容与格式规定 68 6.1.9 省级元数据库CORBA IDL接口 70 6.2 一级经营分析系统元数据库接口 72 6.2.1 概述 72 6.2.2 集团公司职责 73 6.2.3 一级经营分析系统元数据提交范畴 73 6.2.4 一级经营分析系统元数据提交规定 74 6.2.5 接口文献传播规定 74 6.2.6 一级与集团公司元数据接口文献和描述文献命名方式 75 6.2.7 一级元数据接口文献描述文献格式原则 75 6.2.8 一级元数据接口文献内容格式原则 76 6.2.9 一级元数据库CORBA IDL接口 77 6.3 中央元数据库接口 80 6.3.1 概述 80 6.3.2 中央元数据接口管理范畴 80 6.3.3 中央元数据库与经营分析系统XMI接口内容与格式规定 81 6.3.4 中央元数据库CORBA IDL接口 82 7 经营分析系统元数据管理规定 85 7.1 元数据质量规定 85 7.1.1 概述 85 7.1.2 本地元数据质量规定 85 7.1.3 接口文献数据质量规定 86 7.1.4 传播过程元数据质量规定 87 7.2 元数据管理平台功能阐明 87 7.2.1 元数据获取 88 7.2.2 元数据检索和浏览 89 7.2.3 元数据分析 91 7.2.4 元数据维护 93 7.2.5 权限管理 94 7.2.6 版本控制 95 7.2.7 中央元数据管理平台特殊规定 96 7.3 经营分析系统元数据管理系统应用举例 97 7.3.1 数据时效性探察 97 7.3.2 指标和报表元素血缘分析 98 7.3.3 元数据有关性分析 99 1 总则 1.1 概述 为使中华人民共和国移动通信集团公司(如下简称中华人民共和国移动)适应日趋激烈市场竞争环境,有效并精确使用经营分析系统提供资源,从而对信息进行智能化加工解决,并最后为各级市场决策管理者提供及时、精确、科学辅助决策根据,指引中华人民共和国移动经营分析系统元数据管理系统发展,根据《中华人民共和国移动经营分析系统技术规范》和OMG组织CWM国际原则与有关原则,并参照《中华人民共和国移动一级经营分析系统需求阐明书》、《二级经营分析系统需求阐明书》、特制定《中华人民共和国移动经营分析系统元数据管理规范》。 本规范包括对集团公司经营分析系统元数据管理规定和各分公司经营分析系统元数据管理规定。 本规范是中华人民共和国移动经营分析系统元数据管理和建设基本规定。各省、自治区、直辖市公司依照本技术规范,进行经营分析系统元数据建设。 从技术理论上讲,经营分析系统元数据涉及到经营分析系统数据仓库、ETL、联机分析解决、数据挖掘、前端呈现等多方面内容,元数据贯穿经营分析系统始终。从技术实现上讲,元数据分布在仓库不同组件中,业务规则和技术元数据是分离,并且由不同系统以不同格式保存且顾客界面不同,不利于业务人员和技术人员对于元数据管理和使用。而依照从数据仓库系统中获得数据做出智能决策和采用信息化行动时,分析人员和决策者需要懂得自己需要与经营分析系统中数据关系。因而集团公司制定了经营分析系统元数据规范,使得技术人员和业务人员可以统一地对经营分析系统中元数据进行管理和监督以及探查。 本规范囊括了中华人民共和国移动通信公司经营分析系统中常用元数据,一方面描述了经营分析系统中元数据原则框架、各省元数据管理体系构造和省级元数据库与中央元数据库管理架构,明确了本规范工作范畴。另一方面定义了经营分析系统核心元数据涉及到范畴以及与CWM原则相应对象类,并规定存储根据原则,建立省级-中央,省级-本地,中央-本地等原则化接口和API接口,最后对元数据质量和元数据管理平台进行规定和阐明。 本规范包具关于元数据四个接口规范、一种存储规范(逻辑模型)以及基于元数据库几类基本应用等内容。各省、自治区、直辖市公司在实行经营分析系统过程中,可依照实际需要以本规范为基本进行扩充与细化,但务必保证核心元数据内容和接口不能变化。 1.2 目的 本规范目在于指引各省以及集团公司元数据建设,由于元数据贯穿经营分析系统始终,在经营分析系统中各个系统元数据比较分散,不利于各省公司以及集团公司管理,因而制定此规范用于指引约束各省公司元数据接口、存储、管理。详细而言,目的有如下几点: l 指引各省公司以及集团公司元数据库和管理平台建设,规定元数据基本内容 l 定义经营分析系统元数据管理框架和流程 l 约束各省公司元数据库接口以及集团公司元数据接口和存储模型 l 对元数据管理平台提出基本功能和规定 1.3 合用范畴 本规范合用于集团公司元数据管理、一级经营分析系统元数据管理和中华人民共和国移动各省(直辖市、自治区)经营分析系统元数据管理系统 1.4 包括附件内容 随本规范附件有省级-本地IDL接口定义(省级-本地IDL接口.zip),中央-本地IDL接口定义(中央-本地IDL接口.zip),省级-本地XMI接口定义(省级-本地XMI接口.dtd),中央-本地XMI接口定义(中央-本地XMI接口.dtd),省级-中央接口定义(省级-中央接口.dtd),一级-中央接口定义(一级-中央接口.dtd)。 包括参照资料有CWM模型1.1原则(CWM原则.pdf),MOF 1.3原则(MOF原则.pdf),其她参照资料可以查看.org上有关涉及到内容。 1.5 起草单位 本规范由中华人民共和国移动通信集团公司负责起草。 1.6 解释权 本规范增补、修订及解释权属中华人民共和国移动通信集团公司。 2 元数据管理规范总体阐明 2.1 规范涉及元数据原则 本规范是基于OMG组织元数据规范CWM 1.1而产生,在CWM原则之上依照中华人民共和国移动本地化需要,在某些细节上进行调节。阅读此规范时,必要参阅CWM模型1.1版本 ,该原则中有对于本规范规定各类详细定义,关联以及属性详细定义进行细致阐明。 CWM模型是OMG组织定义数据仓库和有关系统国际元数据原则,CWM原则目在于使得数据仓库和商业智能软件元数据在分布异构数据分析工具,数据仓库平台,元数据存储等系统之间交互。当前这个元数据原则得到了IBM、Unisys、NCR、Oracle、SAS等厂商支持 当前支持厂商有IBM、Unisys、NCR、Oracle、SAS、Hyperion、UBS、Genesis、Dimension EDI、Deere、Sun、HP、Data Access、InLine、Aonix、Hitachi、Meta Integration、Adaptive等 。CWM模型涉及如下几种国际原则,在元数据管理规范中涉及到接口、定义默认是遵循下列版本国际原则: l CWM 1.1 l XMI 1.1 l CORBA IDL(由MOF 1.3产生) l MOF 1.3 l UML 2.0 其中UML用来描述元数据模型自身和某些对象元数据,本规范中核心元数据有关类定义是借助UML语言进行表述。MOF用来定义元数据存储原则且提供一种良好CORBA IDL接口,是经营分析系统元数据存储原则。CORBA IDL是一种基于中间件思想接口定义语言,它可以支持java,C等流行编程语言以便、无二义性地访问经营分析系统元数据存储内容。XMI是XML形式元数据接口定义语言,它是经营分析系统元数据管理体系中元数据默认互换文献形式。 CWM原则是本规范制定重要参照原则,本规范参照上述国际原则都是环绕着CWM原则而采纳,CWM原则对于和数据仓库以及商业智能软件元数据提取,互换,存储,访问提供了一系列定义和规定。CWM原则涉及到元数据模型构造如图2-1。 仓库过程 仓库操作 转换 XML 记录型 多维 关系型资源 业务信息 软件发布 对象模型 对象 OLAP 分析 数据 挖掘 信息可视化 业务术语 数据 类型 表达式 键 索引 类型映射 管理 资源 分析 基本 对象模型 图 2-1 本规范基于CWM原则对象模型层和基本层之上对于经营分析系统中获取层、存储层和访问层中有关元数据描述和定义,CWM模型和经营分析系统元数据相应关系如表2-1,有关详细信息参见第三章中关于内容。 经营分析系统中元数据 CWM原则模型包 经营分析系统基本层元数据 对象模型包,业务信息包,数据类型包,表达式包,键索引包,类型映射包,软件发布包 经营分析系统获取层元数据 ETL元数据包 经营分析系统存储层元数据 关系模型包,仓库过程包,仓库操作包 经营分析系统访问层元数据 OLAP模型包,数据挖掘模型包,信息可视化包 经营分析系统可选元数据 业务术语包,XML元数据包,记录包,多维包,对象数据库包 2.2 元数据基本框架 参见图2-2,集团核心元数据为全国各省、直辖市、自治区以及一级经营分析系统要统一元数据格式。此某些元数据是全国统一必要严格遵守。 各省核心元数据为各省、直辖市、自治区元数据库,元数据管理必要遵守规范,这某些由移动各省公司统一规定,集团公司不做规定。 各异元数据为各省内某些特殊或暂时数据形成元数据,这某些元数据可以不进行统一规划。 图2-2中,由内至外集团公司强制统一力度逐渐削弱。本规范规定范畴局限于集团核心元数据某些,各省在进行元数据库和元数据管理系统建设涉及到集团核心元数据时必要遵循本规范关于规定。 各 异 元 数 据 各省 核心 元数 据 集团核心元数据 图 2-2 2.3 省级(涉及一级经营分析系统)元数据管理架构 省级(涉及一级经营分析系统,如下略)元数据管理是以各省元数据库为中心展开,在规范中定义了元数据库逻辑(对象)模型,其存储原则是按照OMG组织MOF 1.3原则。图2-3中,经营分析系统各子系统元数据通过转换工具或者API转换为XMI文献或者调用元数据库CORBA IDL接口将元数据导入各省元数据库。同步,元数据管理工具也可以通过CORBA IDL或者XMI文献形式将省级元数据库中元数据内容返回到各系统中,对经营分析系统各子系统元数据进行调节。图中转换工具或者API指是经营分析系统子系统元数据不支持CWM模型状况下,需要进行双向转换,而支持CWM元数据原则子系统则不需要转换直接和元数据库接口交互。 各省元数据库提供 CORBA IDL接口为我省元数据管理工具提供访问和管理接口,此接口与经营分析系统各子系统和元数据库交互CORBA IDL接口是相似,这是由CWM原则自身决定,这也使得元数据管理工具备能力直接访问某些支持CWM原则经营分析系统子系统。 各省元数据库与中央元数据库接口为转换后XMI文献,这里转换指是各省根据CWM原则导出XMI文献后,需将所有对象名称前加入我省标记。详细环节参见余后各章。 对于各省元数据管理工具规范提出几种基本需求,各省依照我省状况,在满足基本需求之上进行扩充。 ETL元数据 数据仓库元数据 数据集市 OLAP SERVER …. 直接访问或转换工具、API等 XMI 接口或CORBA IDL接口 核心元数据 元数据管理工具 CORBA IDL 转换后XMI 文献 中央元数据库 图 2-3 2.4 中央元数据库管理架构 中央元数据库管理架构如图 2-4所示。中央元数据库内容涉及各省上报元数据以及一级经营分析系统元数据。其中各省元数据和中央一级经营分析系统元数据是以XMI文献形式导入中央元数据库。或者通过调用省级元数据库CORBA IDL接口直接访问省级元数据库中内容。 中央元数据库存储原则为MOF 1.3,中央元数据库为元数据管理工具提供CORBA IDL接口,在元数据管理平台上进行元数据管理。由于各省和一级经营分析系统导出XMI文献中对象是通过编号后存储在中央元数据库中,这样,可在管理工具平台中对于各省不同对象进行分类和解决。 权限控制等等 元数据互换 版本控制 元数据访问 一级经营分析系统 CORBA IDL接口 中央元数据库 中央XMI接口 XMI元数据接口 管理工具平台 省级元数据XMI文献 省级元数据XMI文献 ….. 图 2-4 2.5 元数据管理系统拓扑图 图 2-5 元数据管理系统拓扑图 元数据管理系统由各省元数据管理系统和中央元数据管理系统构成,省级元数据管理系统和中央元数据管理系统通过网络专线进行连接(蓝色线条)。 省级元数据管理系统由省级元数据抽取服务器、省级元数据管理平台、省级元数据存储服务器、省级元数据存储服务器构成。 l 省级元数据抽取服务器重要功能是将符合CWM模型各经营分析子系统元数据(通过XMI文献获取或者通过CWM 兼容CORBA IDL读出)存入省级元数据存储服务器之中(绿色线条),如果有些系统不支持CWM模型则需要通过API或者其她手段获得其元数据并转换为CWM模型格式元数据存储到省级元数据存储服务器内(红色线条)。有些元数据存储系统是自带元数据抽取功能,那么这某些服务器功能并入省级元数据存储服务器。 l 省级元数据存储服务器重要是接受省级元数据抽取服务器提供元数据(接受提供XMI文献或者访问元数据存储服务器CORBA IDL),并把这些元数据按照本规范规定进行存储,省级元数据存储服务器必要提供符合CWM模型1.1原则XMI接口和CORBA IDL接口以便省级元数据管理平台和中央元数据抽取服务器进行访问。 l 省级元数据管理平台提供对省级存储服务器中元数据进行访问,查询,分析等功能,它自身应支持服务器客户端架构,支持多人,分角色对经营分析系统元数据进行访问。 中央元数据管理系统重要由中央元数据抽取服务器,中央元数据存储服务器,中央元数据管理平台构成。 l 中央元数据抽取服务器重要作用在于通过各省提交XMI文献或者直接通过CORBA IDL接口访问各省元数据存储服务器方式,采集各省经营分析系统元数据。中央元数据管理平台可以通过中央元数据抽取服务器对各省元数据存储服务器CORBA IDL接口进行直接访问。也可以中央元数据抽取服务器通过各省元数据存储服务器CORBA IDL接口将元数据抽取至中央元数据存储服务器内,或者抽取服务器将各省提交XMI文献存储至中央元数据存储服务器内,然后让中央元数据管理平台进行访问。 l 中央元数据存储服务器重要是接受中央元数据抽取服务器提供元数据(接受XMI文献或者接受访问元数据存储服务器CORBA IDL),并把这些元数据按照本规范规定进行存储,中央元数据存储服务器必要提供符合CWM模型1.1原则XMI接口和CORBA IDL接口以便中央元数据管理平台和中央元数据抽取服务器进行访问。 l 中央元数据管理平台提供对中央元数据库中元数据进行查询,分析等功能,它自身应支持服务器客户端架构,支持多人,分角色对全国所有省份(涉及一级)经营分析系统元数据进行访问。同步提供即时访问功能,即直接通过中央元数据抽取服务器将CORBA IDL访问祈求映射到相应省份CORBA IDL访问祈求对各省元数据进行即时探查。 3 经营分析系统核心元数据 3.1 概述 经营分析系统核心元数据指是经营分析系统中重要系统涉及到元数据,涉及了经营分析系统基本层元数据,经营分析系统获取曾元数据,经营分析系统存储层元数据和经营分析系统数据访问层元数据。 本章所涉及元数据严格遵循CWM模型1.1原则,涉及了CWM模型中两个底层某些七个包。她们分别是对象层中对象模型包,基本层中业务信息包、数据类型包、表达式包、键和索引包、类型映射包和软件发布包。下面依照经营分析系统需要,定义核心元数据涉及到范畴与原则,本章有关内容可以参照附件CWM原则.pdf CWM模型1.1原则关于内容。 对于每一种元数据模块内部元数据范畴来讲,当前范畴规定在除暂时表,暂时变量以外所有元数据信息,有关元数据质量规定参见第7章有关内容。 3.2 经营分析系统基本层元数据 3.2.1 概述 经营分析系统基本层元数据内容是涉及经营分析系统中所有其她元数据共享表达概念和构造元数据。它涉及对象模型和基本元数据两部份,对象模型描述为每一种元数据元素(对象)基本构造和相应类型属性,而基本元数据涉及了所有上层(数据获取层、数据存储层,数据访问层)其她元数据包共性元数据。 本节有关内容可以参照附件CWM原则.pdf CWM模型1.1原则中第4章与第5章关于内容。 3.2.2 对象模型元数据 经营分析系统中对象模型元数据相应CWM模型中最底层对象模型包中内容。它描述了经营分析系统其她元数据中最基本元模型类构造,是所有经营分析系统元数据模型基本。任何一种元数据模型都是从对象模型衍生出来。 经营分析系统中对象模型元数据完全遵循CWM模型,其中内容可以参看CWM模型1.1原则中第四章 Object Model关于内容。这里提到对象模型是UML一种子集,仅涉及到与CWM模型有关内容。这某些使得经营分析系统元数据原则可以在遵循CWM模型基本上以UML原则进行表述。其重要内容分为四某些:Core Metamodel、Behavioral Metamodel、Relationships Metamodel、Instance Metamodel。其中Core Metamodel是所有其她几种模型基本,她们之间关系如图3-1所示: 图3-1 l Core Metamodel Core Metamodel装载着其他经营分析系统元数据所用类和关联。它严格遵循CWM模型中对象模型里面Core Metamodel所有原则。其中所有类和关系如 图3-2、图3-3所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第4.3节关于内容。 图 3-2 Core Metamodel 类关系图 参照附件CWM原则.pdf中 figure 4-2 图 3-3 Core Metamodel 支持类关系图参照附件CWM原则.pdf中 figure 4-3 l Behavioral Metamodel Behavioral Metamodel描述了经营分析系统元数据中其她类和关联行为类型以及提供一种记录特定行为祈求基本。它严格遵循CWM模型中对象模型里面Behavioral Metamodel所有原则。其中所有类和关系如 图3-4所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第4.4节关于内容 图 3-4 Behavioral 元模型主类图和类之间关系 l Relationships Metamodel Relationships Metamodel收集了描述经营分析系统元数据存储中对象和对象之间关系所有类和关联。它严格遵循CWM模型中对象模型里面Relationships Metamodel所有原则。CWM模型中Relationships Metamodel描述了两种关系:关联和继承。而CWM模型中继承关系支持多继承,因而CWM模型继承构造其实是一种由父节点到子节点有向无环图。Relationships Metamodel所有类和关系如 图3-5所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第4.5节关于内容。 l Instance Metamodel 在运用CWM原则正常互换元数据时候,有些状况随着元数据附加某些特定详细数据实例是非常有用。经营分析系统元数据对象模型中Instance Metamodel就是用来描述这些附带在元数据后详细数据。Instance Metamodel严格遵循CWM模型中对象模型里Instance Metamodel所有原则,详细如 图3-6所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第4.6节关于内容。 3.2.3 基本元数据 3.2.3.1 概述 基本元数据内容是涉及经营分析系统中所有其她元数据共享表达概念和构造元数据。普通来说,基本元数据包中元数据是上层(数据获取层、数据存储层,数据访问层)其她元数据包共性东西。 对于上层某一种详细元数据包来讲,它所囊括基本元数据不一定是整个经营分析系统基本包中元数据,它只需要涉及自身包涉及到基本元数据即可。 基本元数据内容和对象模型元数据内容是不同,由于它是专为经营分析系统所设计元数据,而对象模型元数据从某个角度上来说是可以应用在诸多其她领域(数据仓库领域之外,例如系统布置领域等)。 经营分析系统中基本元数据模型完全遵循CWM模型,其中内容可以参看CWM模型1.1原则中第五章 Foundation关于内容。为了控制复杂性,基本元数据内某些为六个包,她们是业务信息包、数据类型包、表达式包、主键和索引包、类型映射包、系统布置包,分别相应CWM 1.1原则中Foundation某些中BusinesssInformation包、DataTypes包、Expressions包、KeyIndexes包、TypeMapping包、SoftwareDeployment包,它们之间关系如图 3-7: 图 3-7 基本元数据构造图 (参照附件 CWM原则.pdf Figure 5-1) 经营分析系统基本元数据中,包与包之间关系是在不牺牲共有目状况下可以单独使用,例如,如果对于经营分析系统中自主开发某一种支持CWM原则数据仓库软件时,支持某种编程语言元数据也许用到数据类型包、表达式包、类型映射包和软件发布包,而键索引和业务信息包就不需要了。对于某一种详细系统(过程),也只涉及和自身系统与周边系统有关基本元数据,而不需要罗列所有基本元数据中浮现元数据。 3.2.3.2 业务信息 业务信息包给经营分析系统元数据元素提供了和业务部门(或项目组)方面信息。这里说业务部门指是支持数据仓库和商业智能系统有关业务部门或项目组而不是所有移动通信公司业务部门。业务信息元数据涉及: l 业务部门名称 l 联系办法(地址、e-mail、电话) l 有关离线文档标记 l 关于描述信息 业务部门之间关系可以通过类之间关联来表达。经营分析系统业务信息元数据支持部门层次关系,例如一种部和几种处之间从属关系可以通过关联关系来表达。 7.1小节关于数据质量和一致性规定中对于经营分析系统元数据内容(元数据对象)规定必要具备确切描述这项元数据内容Description(每一种详细元数据业务描述或功能描述)用到本节元数据中描述一项,同步元数据涉及到系统负责人或者负责部门内容运用本节关于ResponsibleParty内容。详细对于数据质量规定细节参见7.1小节。 业务信息元数据严格遵循CWM模型中基本元数据里面BusinesssInformation所有原则。其中所有类和关系如 图3-8所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.3节关于内容。 图3-8 业务信息主类图 (参照附件 CWM原则.pdf Figure 5-2) 3.2.3.3 数据类型 数据类型元模型提供经营分析系统中建立不同系统需要数据类型元数据模型定义。数据类型包严格遵循CWM模型1.1原则中基本模型里面DataTypes包所有原则。虽然数据类型包自身并不给出任何一种详细数据类型定义(它仅是给出定义这些数据类型元数据模型),但是大某些惯用数据类型作为数据类型包详细实例在CWM模型1.1原则中已经给出,详细内容参见附件CWM原则.pdf CWM模型1.1原则中19章 数据类型所有内容。 数据类型元模型所有类和关系如 图3-9所示。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.4节关于内容。 图3-9 数据类型主类图 (参照附件 CWM原则.pdf Figure 5-5) 3.2.3.4 表达式 表达式元模型提供了定义经营分析系统中所有表达式树基本支持。表达式包作用在于为其她所有经营分析系统元数据和管理工具提供一种可以共享表达式格式,使得可以让这些表达式在不同系统中互换和跟踪。表达式元模型所有类和关系如 图3-10所示。表达式包严格遵循CWM模型1.1原则中基本模型里面Expressions包所有原则。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.5节关于内容。 图3-10 表达式模型主类图 (参照附件 CWM原则.pdf Figure 5-5) 3.2.3.5 主键和索引 键和索引包是为了以便访问所有经营分析系统数据实例而构造包。在基本模型中,咱们只给出了定义键和索引基本概念元数据模型,详细面向某些详细应用键构造会在面向详细应用包中给出。例如,关系模型键和索引构造在这里没有给出完整定义,这是由于在基本包中所有元模型是上层系统所共享,关系模型键和索引只是一种常用键和索引构造,但是并不是所有系统(例如XML系统,面向对象系统)通用键和索引构造,因而详细关系模型键和索引将在关系模型包中给出。 键和索引包模型包所有类和关系如 图3-11所示。本包所有内容严格遵循CWM模型1.1原则中基本模型里面KeysIndexes包所有原则。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.6节关于内容。 图3-11 键索引模型主类图 (参照附件 CWM原则.pdf Figure 5-9) 3.2.3.6 系统布置 系统布置包是为了记录经营分析系统中系统和软件是如何应用。在基本模型中,不同系统也许会用到不同数据类型,系统之间类型映射将在3.3.3.7小节中讲述。系统布置包重要是为了管理和记录经营分析系统各个软件系统分布和连接状况,详细内容涉及: l 系统软件 l 子系统类型 l 布置组件和离散组件 l 独立计算机 l 站点(地点) l 数据管理者 l 数据提供者等 本节内容元数据需要经营分析系统负责部门进行手工录入,描述经营分析系统各个软件分布状况以及一种系统分布式构造等。 系统布置包所有类和关系如 图3-12所示,关于系统布置中数据接口类和关联如 图3-13所示。系统布置包严格遵循CWM模型1.1原则中基本模型里面SoftwareDeployment包所有原则。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.7节关于内容。 图3-12 系统布置主类图 (参照附件 CWM原则.pdf Figure 5-11) 图3-13 系统布置数据接口主类图 (参照附件 CWM原则.pdf Figure 5-12) 3.2.3.7 类型映射 类型映射包作用在于将不同系统之间数据类型一一映射起来。这些映射目在于使得不同系统之间可以兼容数据类型相应起来,从而使得这些系统之间数据可以进行互换。一对多映射容许出当前任何一种映射对之间,并且在一对多映射过程中必要拟定一种最适合类型作为首选。 类型映射包所有类和关系如 图3-14所示。类型映射包严格遵循CWM模型1.1原则中基本模型里面TypeMapping元模型所有原则。其中类和关联详细定义与约束请参见附件 CWM原则.pdf CWM模型1.1原则中第5.8节关于内容。 图3-14 类型映射主类图 (参照附件 CWM原则.pdf Figure 5-14) 3.3 经营分析系统数据获取层元数据 3.3.1 概述 经营分析系统三层构造中数据获取层功能是将数据从数据源通过必要解决后加载到数据仓库系统中。这个过程重要涉及到ETL过程自身元数据。ETL数据源也许是生产系统中关系数据库,文本文献,XML文献,对象数据库或是经营分析系统中数据仓库,数据集市等。这些数据源通过ETL过程导入到经营分析系统或在经营分析系统中各系统之间进行转换。本章元数据重要涉及到和ETL过程有关中元数据。其实ETL自身并不但仅出当前数据获取层,在数据存储层、数据呈现层只要在经营分析系统中浮现由一种数据转换到另一种数据地方就会浮现ETL过程,那么就会有ETL元数据。例如,在数据挖掘数据准备过程中也会浮现类似ETL过程,这某些元数据也必要遵循本章规定。 ETL过程是经营分析系统中核心,因而这某些元数据必要保证精确,详细数据质量和一致性约束,参见第7.1小节。 3.3.2 ETL元数据 ETL过程出当前经营分析系统中三层构造中任何一处需要数据转换地方。这使得ETL元数据比较复杂,而其本质是一种转换过程。 因而,按照功能分,ETL元数据重要可以分为三某些: l 数据转换和数据关系 l 数据分组和执行 l 特殊转换关系 普通来讲ETL过程可以分为两种,一种是黑箱操作,一种是白箱操作。前两某些所指内容重要是面向黑箱操作,而第三种重要是在前两种基本之上对白箱操作补充内容。 ETL包中数据源或者数据目的需要和相应系统中元数据一一映射,这些系统元数据也许是关系模型包中或者OLAP,多维数据库或者是数据挖掘包中元数据,她们必要和ETL过程中元数据进行关联。而ETL包自身也是OLAP,数据挖掘,仓库过程和仓库操作元数据中内部包,在传递这些包中元数据内容中不可避免要传递相应ETL元数据包中关于信息。 在经营分析系统中,对于ETL元数据规定是和最后身成报表元素(涉及由经营分析系统给出集团公司报表,各省公司报表,各地市公司报表),以及由经营分析系统产生各分析指标有关所有ETL过程,必要按照白箱操作内容把所有转换源,转换公式,转换办法和转换目的详细定义和描述等论述清晰,相应数据源和数据目的元数据信息必要关联,其中元数据质量和一致性约束必要遵循7.1小节关于内容。 和ETL有关元数据严格遵循CWM模型1.1原则中ETL元模型所有原则,有关定义和内容可以参照附件 CWM原则.pdf CWM 模型1.1原则第10章关于内容。 下面依照功能三种不同分类进行简介。 (一) 数据转换和数据关系 数据转换和数据关系元数据指是和ETL有关数据源,目的,约束,操作有关元数据。涉及 l 转换过程表达式,以及描述 l 数据对象集,以及描述 l 数据转换环节和约束、依赖 l 数据转换任务 l 数据转换每一种动作及其时间等 和转换原则有关元数据都储存在这某些当中涉及到详细类有: l Transformation l DataObjectSet l TransformationUse l TransformationSourc l TransformationTarget l DataObjectSetElemnt 详细类之间关系参见图3-15和3-16。而每一种类详细定义,属性定义和约束可以参见附件 CWM原则.pdf CWM 模型1.1原则第10章内容。 图3-15 ETL数据转换和数据关系主类图 (参照附件 CWM原则.pdf Figure 10-2) 图3-16 ETL数据转换和数据关系主类图2 (参照附件 CWM原则.pdf Figure 10-3) (二) 数据分组和执行 普通在ETL过程中,会把可以并行导入加载过程分在同一种逻辑单元,并行执行这些逻辑单元来提高导入效率。数据分组和执行某些中重要解决是转换分组状况来拟定逻辑单元并且解决执行先后顺序。这些元数据涉及内容有: l 转换加载筹划及其描述 l 转换环节及其描述 l 转换行为 l 转换先前约束 l 每一步先前约束等 在数据分组和执行关于类有: l TransformationTask l TransformationStep l TransformationActivity l PrecedenceConstratint l TransformationTaskElement l IverseTransformationTask- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 省级 BI 规范 数据管理 样本
咨信网温馨提示:
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【二***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【二***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【二***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【二***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。
关于本文