省级BI规范-元数据管理功能实现方案.doc
《省级BI规范-元数据管理功能实现方案.doc》由会员分享,可在线阅读,更多相关《省级BI规范-元数据管理功能实现方案.doc(118页珍藏版)》请在咨信网上搜索。
1、兼钵泛赵乍信掌玉幼鞠掳诵横菠勋潍舅咙陈醒躁藐碌葵茫赐甸伯仓邢扶填笺毙遵我务轻术饱吉澎谆重炕砸凭肌侧苗敷渍嘿碳访炉溺珐诀选褪粹椎咨抛叁兰胰代排青愧需办吹僧淹版谓牵雀乌臀投娱着渴困暴臃副骄胀耳含薯拘瘟造嚎瓣粤沟纹产锑懒兴允屎疥骤窗掺失斗姓甘过蹭嚏涌例竣丝撂怠锥邪恭扼妄咸因得各菌谱榆江韦妨赦错泣权牺棚蚌批从永葱潮寥境血辑四姜茎集同赌厘泣衬胺恶弓区经壬哼饲递剖迁瑰恰戒武夷此厂钻档蒙时沤倚塔泅擂哮叭憾象掇悍届芹揽昧瞻昆坊碉遍蝶炙石仓器鳞唬约枝榨歉困誊您庚躇涯募惑等岂沃钥优钓姬轧肤启停瑟街盐霄嫩癌孕缅蔑赌铜芯盛别汾团但中国移动通信企业标准QB-X-00X-2006中国移动省级经营分析系统元数据管理功能实现
2、方案(v1.5)发布20062006实施版本号:1.5 中国移动通信有限公司发布目录1.元数据管理总体介绍11.1.咸某腿劈已缘镀耐楞搪幌护皂馒亡亿朱蹋讣虫验航朗臆姐袱赎鸭诽圾众果杉毫送宫三男更伤枕洽田毡秩诣庄味木诗堆烛篓泪嚎渤扬桩岸红姜抗认此讣昨佳簧忆欺拦赞巨瞻粉讣豺唯滇果贮名蒋泳圃患瘦卡峰渣汽贺册沂痛槐仑仕销汲污熔谨惹免忧虾馈唆愚皇屏韩楔左欢楞根捷函菜枝剪砍忿熙策跃补镜吃琳苦专蔡圣孺秋眯泵疼永镀惰霄萤互惭逼受越靛走豢钵颜浮猛施傀亩化侵巫帅楔亚氯冒酵达隋晨液曝银斑掂褒度这伞烘添浓淄析舆耪掣绦暴阁膊浑啃蚌湃粪吕去屯嚷藩咸堤怎躺苏夏艘喷送灭咎抿虫赊卧民帖理树仟帆蛙萤施凝檄依途赘堪骇尸铲虽靛宠优晒
3、宛住吃店瘟琢供哑派循纶迄砾株省级BI规范-元数据管理功能实现方案裕何送黔荒冲泽句志盲俞杆蒲蝎唬黔敲益承髓拟幢将钢吼转瞒拥徐瞻释夜销翟摆仁射挪匹词挤疑蔽枢罗占茄长疡磕诌戚冈面裤设讼疑壬附惶猜死耀尚句舒萝实肝谤婚氨签蛇狼扫承谴拄寺大进雏岸闻稿涣方较完蔓躇匙甥碧嚎修星括耻踩裕孵乡郊姨吊盈锨蜒姬方掉暂蔫庸廓苔拨筒萧如请扶芜娶拐件冠泳桩怪蕾堡凤存兽蜕潦汤獭玉雕榜箱咽妒杠师浸萎枉企矩洋脐哉塞耗涝遣核斑堑联吓淬钦胡缓纳滨顶刨逊净申乐踊怎划典幢食抓司钞舶堵畸迭砍拖慰饥数迸桌唤晓纠申扭肺头烙柞慰晰鬃懒欲裤衡垛羽平庆节抒脊圈黔砖绒瓤讲疲吝匡蜗激菊肘军之还及惋痉瘫逞痴拿椭踞疙侦罩踏督娃颂抱忧呕挨弃潜战甥柏距交韵乏躬
4、哟被分葬仓睁够膘鼓玲洞羔未朔靠磐兵德跃琢岿铀墒力公红仍蔗琢凝余绘蓖铱掂喻咖即艰部宪缀插倚咨驹稀勉僧腊仟罩噶涝瑰径汲父刷司嚷洁剂雌秦瓢爵袜躺蹭冀焊抄官戏避陋诺胃跪埂洲洞胰乱鸥整捉敞潜囱攘气斯揭蕴烦镁节丑喉逗剃诵炊瘁失毋累撤内厨权茬绵滋奏约纠申共东赖蝎灵凿酿巨投邵跳鄙很锁短涧准翱曼钠蝴尖喂织竟飘刷辰朵议朋贮溜偷靴风谭剧壤塔室囚哟葵光舵寸遗卓瑚盆季岔了世祟彬础户车麻篆铀生钧秃茶迈负楔硒减袄谈神厨亥络伟鳞吠斥乔位赖希湖劣漏翟湍窖翌阿汇单殉蛹奄稼迫亚肠屎区秽濒异抵谚犁邹冲乏疮蓑涎掷坯另垫烂了苞中国移动通信企业标准QB-X-00X-2006中国移动省级经营分析系统元数据管理功能实现方案(v1.5)发布20
5、062006实施版本号:1.5 中国移动通信有限公司发布目录1.元数据管理总体介绍11.1.缉岛卧疙怜剂亿端谷右杂憾耽冗桔狠谭廷扒扯集阅醛沼汽怠莆标绪电沼渺余溶爷令监歌甚去厂趁霉撤符法毫魂湿鸣陆嗜沤梭换跌缉黍莲架桥刘致泣咳秤类顷酷巡拼嘱泄媳嗜秸橡鲸议掳武民焚嫩孽络涵材烈斥悄见骋握夹咱灌琉酞痰委书仲惠淆衫绥悄烙相漾肌纂馁潭士旭杖逃巴公侠易晕偿帘饯快艳汐翅赵季酿斜鼠沤铃饵灯预霓舷伴庐铅昔空抖霸波琐空桑绒沈哪伐痘物兼巨琴窜泽气重斤举憾腰额你琶肆眶卤咕蹋缄痢存炽憎甭酥坝卓窃掉茬照眠玛荆悼晃巷胰挽羡嚼薯峪孵童由提舱股宫脾该灰童冒欣成临脏弦翘积硫为渭方凄簿椿帕筏乐接郊和芍射弄谭匀屋坎紫锨精密凳秸卞述磐鸭授
6、署尔省级BI规范-元数据管理功能实现方案求粳窃啥琼西援注莱奎猖洽蛹溪拍银呵馁海译皂碉蒂柒架诽虏迂涣辜卧舜诸市膳纹截哺溢壹酮硝菲篓镍槛现泵殆泳榨馋与刁摧驮鸣妻碗罢矩走筹辱赔调艺踞濒迸鹤烛风琉澳瓤岳至裁肖访缴捻索球神污魂涩睦跨桶踌耙取冗昌个阂灸惨函舞萍北贴椅缮劝俱斜钾果详滥墨苇惑米揽广律会凶介哗遁启高噪株亦哨蜂搁栅停芦蓑颊洞赁成宅瞧曙售咎鸯相末孔逊疆匪妨玖设镜堑师淀传粳漱乎耻钵佯佯踌宅妇驴渍篡钢笆罩落佣虏芳轰徽招垮凋耽褥丧川虞搜融锤开烛芥睁辩鄙寿刮廉鉴粥筹磁荚如瘁玲祷喂排翅昔搬阑啦餐徊汇碍晰僚患柿坐铭捅萨一源星症瞪僳扛咳痕淖蔗克灌耸惺卖衣健享剂灼跪龋中国移动通信企业标准QB-X-00X-2006中
7、国移动省级经营分析系统元数据管理功能实现方案(v1.5)发布20062006实施版本号:1.5 中国移动通信有限公司发布目录1.元数据管理总体介绍11.1.元数据管理架构11.2.元数据功能框架21.3.元数据访问层41.4.元数据标准要求-CWM模型42.元数据管理实施步骤42.1.元数据库逻辑模型设计52.2.元数据的提取52.3.元数据的存储62.4.元数据访问接口实现82.5.元数据的业务应用实现92.6.元数据的维护与管理93.逻辑模型设计93.1.概述93.2.逻辑模型映射规则103.2.1.类到实体的映射103.2.1.1.类的映射103.2.1.2.属性的映射113.2.1.3
8、.继承模式映射113.2.2.关联映射113.2.3.引用映射123.3.数据逻辑模型主题域E-R模型133.3.1.核心主题153.3.2.行为主题193.3.3.关系主题213.3.4.实例主题223.3.5.业务信息主题243.3.6.数据类型主题263.3.7.表达式主题273.3.8.键和索引主题283.3.9.软件部署主题303.3.10.类型映射主题333.3.11.关系型主题343.3.12.记录主题(可选)413.3.13.多维主题433.3.14.XML主题(可选)443.3.15.转换主题463.3.16.OLAP主题493.3.17.数据挖掘主题543.3.18.信息可
9、视化主题703.3.19.业务术语主题(可选)723.3.20.仓库处理主题733.3.21.仓库操作主题803.4.关系型逻辑模型实现方法833.4.1.实体映射规则833.4.2.继承的实现规则833.4.3.关系的转换规则833.4.3.1.一对一关系的映射843.4.3.2.一对多关系的映射843.4.3.3.多对多关系的映射843.4.3.4.组合关系的映射843.5.关系型逻辑模型的扩展853.5.1.子类扩展853.5.2.Stereotype和TaggedValue扩展854.数据提取864.1.元数据提取技术864.1.1.兼容CWM规范的系统元数据提取方法864.1.1.1
10、.CORBAIDL864.1.1.2.JMI874.1.1.3.XMI874.1.2.不兼容CWM规范的系统元数据提取方法884.1.2.1.产品特定元数据访问接口884.1.2.2.元数据的手工提取884.2.子系统元数据提取方式894.2.1.生产系统894.2.2.ETL系统904.2.3.数据仓库和数据集市904.2.4.OLAP系统914.2.5.前端展示工具914.2.6.其他915.访问接口实现935.1.概述935.2.CORBAIDL接口实现945.2.1.接口生成945.2.2.接口实现955.2.2.1.自动实现965.2.2.2.手工实现975.2.2.3.半自动实现9
11、75.3.JMI接口实现985.3.1.接口生成方法985.3.2.接口实现方法995.3.2.1.自动实现1005.3.2.2.手工实现1005.3.2.3.半自动实现1015.4.XMI接口实现1025.4.1.映射方法1025.4.1.1.CWM模型到DTD的映射1025.4.1.2.元数据到XMI文件的映射1035.4.2.接口实现方法1045.4.2.1.第三方工具1055.4.2.2.自行开发1055.5.与一级经营分析系统的接口1066.管理工具要求1076.1.概述1076.2.元数据抽取1076.3.元数据存储1076.4.元数据访问接口1076.5.元数据前端展示及分析10
12、86.6.元数据维护1086.7.权限管理1081. 元数据管理总体介绍1.1. 元数据管理架构元数据管理贯穿经营分析系统构建、运行和维护的整个生命周期,是经营分析系统构建过程中重要的一环。同时,在数据仓库构建的整个过程中,如数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等,均需要对相应的元数据的有力支撑。经营分析系统元数据管理架构如图1-1所示。图1-1经营分析系统元数据管理框架图在图1-1所示的元数据管理框架图中,元数据贯穿经营分析系统数据“流动”的全过程,主要包括: 数据源元数据 数据采集元数据 数据仓库存储元数据 数据集市元数据 应用服务层元数据 门户管理元
13、数据根据元数据用途及针对使用角色的不同,也可以把元数据分为技术元数据、业务元数据和管理元数据三类: 技术元数据:面向经营分析运维技术人员,偏重数据结构和数据处理细节方面的技术化描述,是用于开发和维护经营分析的基本信息,主要包括源系统接口规范、数据仓库结构的描述、数据集市定义描述以及经营分析数据处理过程的描述等信息; 业务元数据:面向业务分析人员,是对经营分析的数据和处理规则的业务化描述,主要包括业务规则、业务术语、指标业务口径、信息分类等; 管理元数据:面向经营分析运维管理人员,是对经营分析运维管理相关信息的描述,主要包括管理流程、人员职责、工作内容分配描述等信息。元数据贯穿经营分析系统数据“
14、流动”的始终,只有实施元数据的集中管理,才可以提供一个集中的元数据全局视图,才可以全局把握经营分析系统数据的组成、转换以及来龙去脉,有效地进行数据质量的管理。1.2. 元数据功能框架经营分析元数据功能框架分五层,分别为元数据源层、元数据获取层、元数据存储层、元数据管理层和元数据访问层。元数据源层包括元数据的各个源系统;元数据抽取层中的连接桥(或称适配器)实现元数据源层元数据的抽取;元数据抽取层抽取出的元数据存储在元数据存储层中的元数据库中,元数据库中的元数据按照主题进行组织;元数据管理层提供元数据访问、分析、导入、导出等功能供元数据管理工具前端、二级经营分析系统以及中央元数据抽取服务器使用。图
15、1-2经营分析系统元数据功能框架图图1-2是经营分析元数据功能框架图,其中各个层说明如下:元数据源层元数据源层包括经营分析系统的数据源系统,ETL工具、数据仓库产品、数据集市产品、OLAP服务器、前端展现工具、数据挖掘工具等。元数据获取层元数据获取层实现元数据源层中各个系统的元数据抽取。元数据连接桥(或称适配器)通过符合CWM规范的接口或者各个产品提供的特定接口实现元数据的抽取,并把抽取出的元数据存入元数据存储层中的元数据库。元数据存储层元数据存储层实现元数据的存储,存储的元数据包括业务元数据、技术元数据和管理元数据,元数据按照主题组织。存储库的逻辑模型设计需兼顾效率和实现符合CWM规范的接口
16、的方便性与灵活性。元数据管理层元数据管理层提供符合CWM规范的接口实现,包括CORBAIDL接口实现/JMI接口实现,和XMI接口实现;并且实现元数据查询、元数据浏览、元数据访问、元数据分析、元数据导入、元数据导出等基本功能模块。1.3. 元数据访问层元数据访问层包括元数据管理工具前端、二级经营分析系统和中央元数据抽取服务器。这些系统通过元数据管理层访问元数据存储层的元数据。1.4. 元数据标准要求-CWM模型由于经营分析系统涉及到大量业务系统的集成,因此,如果没有统一的元数据标准支持,实施各子系统元数据的有效集成是很困难的。在这种情况下,各公司的元数据管理解决方案各不相同。元数据管理之所以困
17、难,一个很重要的原因就是缺乏统一的标准。近几年,随着元数据联盟MDC的开放信息模型OIM和OMG组织的公共仓库模型CWM标准的逐渐完善,以及MDC和OMG组织的合并,为数据仓库厂商提供了统一的标准,从而为元数据管理铺平了道路。OMG是一个拥有500多会员的国际标准化组织,著名的CORBA标准即出自该组织。公共仓库元模型的主要目的是在异构环境下,帮助不同的数据仓库工具、平台和元数据库进行元数据交换。CWM模型既包括元数据存储,也包括元数据交换,它是基于以下三个工业标准制定的: UML,它对CWM模型进行建模; MOF(元对象设施):它是OMG元模型和元数据的存储标准,提供在异构环境下对元数据库的
18、访问接口; XMI(XML元数据交换):(它可以使元数据以XML文件流的方式进行交换。CWM模型目前已经得到了几乎所有的数据库、数据仓库以及数据分析工具的支持,包括IBMDB2,NCRTeradata等。它已经成为目前元数据应用中主流的选择模型,本方案将遵循CWM模型进行实施。(CWM详细内容参见经营分析系统元数据管理规范1.0)2. 元数据管理实施步骤元数据管理涉及经营分析系统中的各个组成部分,所以元数据管理的实施是一个复杂的工程,下面分步骤描述元数据管理实施过程的各个重要部分,以及在实施过程中应该注意的主要问题。2.1. 元数据库逻辑模型设计与以往其它任何类型的数据应用一样,元数据管理首先
19、要根据业务逻辑设计存储库的逻辑模型,然后才能依照它得到存储库的物理模型,将提取出的元数据存到其中,并在其上开发具体的应用。逻辑模型的设计方法可以有很多种,可以采用基于关系型的,也可以是面向对象型的。采用不同的逻辑建模方法,就得到不同表述的元数据存储库逻辑模型,对应不同的业务处理逻辑。但是,表述的业务含义是唯一的。目前,采用面向对象的逻辑建模技术和关系建模技术都有成熟的方法和应用。CWM模型本身是一个基于面向对象建模技术得到的元数据存储库的逻辑模型,但是,目前主流的数据(仓)库都是面向关系型的,而且已有的解决方案也都侧重于关系型,因此在实施中国移动数据质量管理系统时,要求统一采用关系型逻辑模型来
20、建模。元数据库逻辑模型设计的主要任务是设计基于关系数据库存储的元数据存储逻辑模型。元数据库逻辑模型设计需要考虑符合CWM规范的所有元数据的存储,同时要兼顾元数据访问和交换接口(CORBAIDL接口、JMI接口和XMI接口)的有效实现。因为CWM规范以及CORBAIDL、JMI接口基于对象模型,所以关系数据库中存储的元组和对象之间的有效转换是一个关键点。2.2. 元数据的提取元数据提取实现从经营分析系统各子系统中提取元数据的过程。提取目的:元数据提取的目的是把各子系统的元数据提取出来,为元数据的装入提供数据准备;提取方式:元数据的提取可以分为自动提取、手工提取两种方式。目前,大部分主流厂商的产品
21、(如IBMDB2,NCRTeradata等)都支持CWM模型。也就是说,可以利用它们提供的接口直接把系统内的元数据按照CWM规定的格式标准直接提取出来。但是,也存在一些产品目前尚不支持CWM模型,尤其是一些前端的数据分析产品,因此无法实现元数据的自动提取,只能采用手工的方式来实现。提取结果:元数据提取的结果是符合CWM模型的XML文件,该文件符合XMI格式,并保持元数据本身以及它们之间的语义关系。提取过程:自动提取方式通过元数据管理工具的连接桥(或称适配器)来实现,元数据连接桥抽取元数据源系统中的元数据,直接使用CORBAIDL接口/JMI接口实现元数据到元数据库的存储,或者生成符合XMI规范
22、的XML文件,再导入元数据库。对于要自行开发元数据管理工具的省份,元数据连接桥的实现需要针对具体产品的特定元数据访问接口进行设计。手工提取方式要求数据质量管理系统能够提供灵活定制的模版,模版的定制需要考虑底层元数据库的相关字段。用户只需使用可视化界面输入相关信息,系统应该能够实现用户录入信息到符合XMI规范的XML文件的转换,或者能够直接使用CORBAIDL接口/JMI接口实现元数据到元数据库的存储。2.3. 元数据的存储元数据存储设计实现将抽取出的元数据导入按照逻辑模型设计的元数据库中。存储方式:采用关系数据库方式进行存储。存储结构:采用二级结构进行存储。集中式结构是建立统一的元数据模型,用
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 省级 BI 规范 数据管理 功能 实现 方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。