元数据管理项目工程实施方案.doc

.xx移动元数据管理项目工程实施方案2012年5月目录1建设目标32系统环境配置32.1客户端环境配置32.2服务器端环境配置42.3网络配置43元数据管理范围54项目实施计划64.1建设规划64.2时间安排74.3产品部署74.4元模型定制74.5元数据存储84.5.1技术类元数据存储84.5.1.1关系型数据库元数据84.5.1.2OLAP元数据84.5.1.3ETL元数据94.5.1.4模型元数据104.5.2业务元数据存储104.5.2.1业务指标元数据104.5.2.2业务规则&术语元数据114.5.2.3维度&基础编码元数据114.5.3管理类元数据存储114.6建立日常管理流程124.6.1元数据权限管理124.6.2通过元数据变更流程进行维护管理124.6.3元数据同步维护124.6.3.1业务元数据同步维护124.6.3.2管理元数据同步维护134.6.3.3元数据同步维护144.6.3.4库表结构元数据同步维护144.6.3.5Erwin元数据同步维护154.7元数据交付、培训154.8元数据管理应用定制155元数据建设中需要的配合工作166备份策略161 建设目标依据中国移动通信集团xx有限公司经营分析系统元数据管理项目采购书所制定的项目目标，本项目致力于解决现有经分系统中元数据管理的问题，即经营分析系统核心元模型的建立、两级经营分析系统元数据互通、扩充元数据服务接口、提升基础元数据支撑能力，并能满足移动集团总部NG2-BASS3.5元数据管理相关规范的要求。具体而言，通过本次项目实现如下目标：l 实现元数据基本管理功能提供方便、友好的图形化元数据管理工具，实现对元数据的获取、维护、查询、变更、统计、导入等基本功能。 l 实现一二级元数据互通功能生成一级经营分析系统重点接口的数据处理过程元数据的管理，基于互通元数据接口标准实现重点接口元数据的下发和重点接口数据处理过程元数据的上传，促进两级系统对重点接口统一理解和数据处理过程规范化。l 实现元数据的分析功能实现元数据的血缘分析及影响分析功能，实现元数据的数据地图展现功能，以拓扑图的形式对经营分析系统的各类数据实体、数据处理过程元数据进行分层次的图形化展现，并通过不同层次的图形展现粒度控制，满足开发、运维或者业务上不同应用场景的图形查询和辅助分析需要。2 系统环境配置系统环境配置包括客户端和服务器端的平台软件、硬件配置和网络配置要求。这些配置要求与系统负荷有关。2.1 客户端环境配置配置项配置要求硬件配置客户端主机业界主流CPU / 2GB内存 / 20GB剩余硬盘空间 / 100M网卡软件配置操作系统Windows 2000 / Windows 2003 / Windows XP /Windows Vista / Windows 7浏览器IE 6 / IE 7 / IE 8 / IE 92.2 服务器端环境配置配置项数量配置要求硬件配置数据库服务器主机（1台）14 CPU / 8GB内存 /500GB硬盘 / 100M网卡以上应用服务器主机（1台）14 CPU / 8GB内存 /100GB硬盘 / 100M网卡以上元数据管理终端12 CPU / 4GB内存 /20GB硬盘 / 100M网卡以上软件配置应用服务器操作系统1（以下任选其一，推荐使用Unix系统）Unix、Linux；Microsoft NT 4.0 SP6 /2000 Server SP3/ 2003 Server应用服务器1Tomcat6.0及以上版本JDK1JDK1.6及以上版本数据库1（以下任选其一，推荐使用Oracle 10g）Oracle 9i / 10g / 11gDB2 8.2及以上版本元数据管理终端操作系统1Microsoft NT 4.0 SP6 /2000 Server SP3/ 2003 Server注：1、数据库服务器和应用服务器可共用一台主机 2、元数据管理终端用于进行MIB-Client、MOConsole等元数据管理客户端的操作2.3 网络配置以下是元数据管理系统的网络配置图，其中的服务器是按逻辑功能划分的，可以分别部署在两台主机上，或者共用一台主机。3 元数据管理范围在项目建设过程中，我们将针对xx移动现场情况。管理技术，业务，管理类3大类元数据。l 技术元数据主要包括：外部数据源接口，数据仓库DB（Teradata/Oracle），ETL，存储过程，建模元数据等。l 业务元数据包括：维度，基础编码，指标，业务术语，业务规则，业务描述等。l 管理元数据包括：系统资源、人员管理，任务管理，需求流程管理、文档管理等。详细范围分类如下表：应用模块具体功能分类子功能备注建设阶段元数据实体管理技术元数据数据源接口按业务源系统分类组织模板整理，批量导入数据仓库DB按照现有系统组织自动获取ETL应用程序（作业）按作业用途分类自动获取，视现场情况部分模板导入逻辑模型按数据流向的层次分类自动获取，视现场情况部分模板导入业务元数据维度元数据根据业务梳理模板整理，批量导入基础编码根据业务梳理模板整理，批量导入指标元数据根据业务梳理模板整理，批量导入业务术语、业务规则、业务描述根据业务梳理模板整理，批量导入管理元数据管理流程定义按需梳理模板整理，批量导入项目团队（部门）人员、角色定义按需梳理模板整理，批量导入系统、主机、运行环境管理按需梳理模板整理，批量导入元数据关系梳理技术元数据数据库表DB实体间字段级关系梳理按数据流关系梳理解析sql日志工具接口解析ETL映射关系梳理根据工具解析，或者约定解析sql日志。自动解析或者日志解析，或者手工整理接口与库表之间关系梳理按照数据流关系梳理自动解析或者日志解析，或者手工整理业务元数据各类业务元数据关系梳理按照业务数据流向梳理自动解析或者模板整理导入管理元数据管理流程定义关系梳理按照管理关系梳理模板整理导入项目团队（部门）人员、角色关系梳理按照实际关系梳理模板整理导入运行环境管理关系梳理按照实际关系梳理模板整理导入元数据应用基础功能应用图形分析功能血缘分析、影响分析、数据地图展现、主机拓扑、关联分析、一致性分析元数据查询查询功能元数据导入导出导入导出功能元数据质量管理元数据质量管理功能两级元系统互通两级经营分析系统元数据互通功能应用扩展能力XMI格式的接口REST风格接口MOI接口4 项目实施计划4.1 建设规划xx移动元数据项目建设，按照项目分4个阶段进行：n 第一阶段：需求调研阶段，预计10个工作日；n 第二阶段：建设阶段，预计40个工作日；n 第三阶段：上线阶段，预计15个工作日；n 第四阶段：运维阶段，预计200个工作日。项目规划及人员安排列表 需求调研阶段建设阶段上线阶段运维阶段工作量估算10个工作日40个工作日15个工作日200个工作日工作内容需求调研元数据建设规划元模型规划系统搭建元数据梳理导入元数据系统测试系统试用用户培训系统维护 系统运行维护 元数据更新 元数据定制开发阶段性成果需求调研说明文档元数据建设规划文档元数据模型说明文档元数据项目计划文档元数据说明文档元数据源文件介质元数据应用系统用户使用培训用户使用手册系统维护手册系统运行情况报告元数据更新报告定制开发功能文档 人员分工xx移动项目经理1人-管理协助项目经理1人-管理协助项目经理1人-管理协助项目经理1人-管理协助皓竹公司项目经理1人需求调研人员1人项目经理1人实施人员1-2人项目经理1人实施人员1-2人实施人员1人开发人员1-4人4.2 时间安排n 第一阶段：2012年6月11日至6月22日；n 第二阶段：2012年7月2日至8月24日；n 第三阶段：2012年8月27日至9月14日；n 第四阶段：2012年9月17日至2013年6月21日；备注：时间安排以项目启动时间为准4.3 产品部署项目正式启动后，皓竹公司安排工程师到场按照产品模式进行产品部署、产品介质交付。根据产品安装步骤进行完整部署。对部署好的产品进行现场基础数据导入，参数配置，联调，启动运行，确保产品正常运行。4.4 元模型定制xx移动元数据项目建设前期，根据系统需求文档以及前期与客户进行的需求调研来确定各类信息资源标准，然后根据确定的信息资源标准来进行分类，并确定各类标准的元模型。相关调研过程由厂商，客户协助，元模型的定制由皓竹主导完成。元模型，即定义元数据的模型，元模型的定义遵循标准化、国际化的CWM模型（Common Warehouse Metamodel），并且元模型具有可完全扩展、主流开放性（100%JAVA)的特点，最终形成xx移动元数据模型设计，需由xx移动、厂商、皓竹三方最终评审确定。元模型基本包括以下几大类：l 管理类（包括系统资源、人员管理、任务管理、需求流程管理、运行环境管理、文档管理）；l 技术类（关系型数据库、OLAP、接口模型、ETL模型、erwin模型）；l 业务类：指标、KPI、报表等元模型；l 编码模型：信息分类及编码模型视建设过程中如有需要扩展的，可进行元模型的扩展。 最终形成由皓竹元数据软件生成的符合CWM规范的XML元数据模型。4.5 元数据存储按照标准项目实施步骤，在需求调研后，皓竹根据与集成商、客户协商约定的元模型标准定制好元模型后，接下来的工作是现场各类元数据的存储。元数据存储过程流图4.5.1 技术类元数据存储对于元数据的存储，皓竹目前成熟的方式为：l 工具接口自动抽取;l 模板整理批量导入；技术元数据包括：关系型数据库DB、OLAP、接口模型、ETL模型、erwin模型。4.5.1.1 关系型数据库元数据皓竹已经有对主流数据库元数据的自动获取方式，此部分元数据可以直接获取。皓竹能自动获取的数据库为：Oracle，DB2，Teredata,Sql server，sybase等库。l 实现前提： RDB元模型制定完成； 相关厂商提供读取数据库或者表结构的视图权限，提供相关的连接方式。 皓竹对MIB工具相应接口进行读取参数配置。l 实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成数据仓库DB实体元数据。4.5.1.2 OLAP元数据皓竹已经有对主流OLAP工具的自动获取方式，如Cognos工具的OLAP元数据，此部分元数据可以自动获取实现。l 实现前提： OLAP元模型制定完成； 相关厂商提供读取Cognos数据源链接方式，相关权限。 皓竹对MIB工具相应接口进行读取参数配置。l 实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成OLAP相关元数据。l 备注：如现场使用的是Cognos之外的多维分析工具，皓竹采用导出模板，指导厂商按照整理模板梳理OALP元数据，批量导入元数据库。l 以上方式除存储元数据实体外，关系维护也同时生成。4.5.1.3 ETL元数据皓竹能提供对ETL主流工具datastage，Informatica的自动解析获取元数据功能。1ETL工具元数据实现部分l 实现前提： ETL元模型制定完成； 相关厂商提供读取数据源的链接方式，或者提供ETL工具转换生成的xml格式的设计文件。 皓竹对MIB工具相应接口进行读取参数配置。l 实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成ETL元数据。实体以及关系同步生成。l 如果自动解析实现效果不佳，根据现场情况考虑模板补充整理，批量导入的方式实现。 2. 数据处理过程ETL元数据实现部分（存储过程）l 实现前提： ETL元模型制定完成； 皓竹与相关厂商约定存储过程执行Sql日志，厂商按照要求给出。 皓竹对MIB工具相应接口进行读取参数配置。l 实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成ETL元数据。实体和关系同步生成。4.5.1.4 模型元数据皓竹能提供对建模主流工具Erwin，PowerDesigner建模元数据的自动获取元数据功能。1Erwin或者PowerDesigner工具元数据实现部分l 实现前提： ER元模型制定完成； 相关厂商提供通过以上提到的两类建模工具建模后，通过工具转换导出的xml格式文件。 皓竹对MIB工具相应接口进行读取参数配置。l 实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成建模元数据。4.5.2 业务元数据存储对于业务元数据的存储，皓竹目前成熟的方式为：l 工具接口自动抽取；l 模板整理批量导入；业务元数据包括：业务类指标、维度、基础编码，业务规则，术语等。自动获取的业务指标工具：皓竹支持arcplan，Cognos_Report，MSTR等报表工具元数据自动获取。说明：由于业务指标，以及业务类的规则，维度，编码，术语等业务元数据都是跟业务紧密相连，都是在建设和业务提升中不断积累所得，所以此块的元数据一般都不规则化，一般都是使用根据调研确定的信息资源分类，提炼出特定的元模型，然后皓竹提供导入模板。厂商按照模板整理相关元数据，然后批量导入元数据库中。实体和关系同步生成。4.5.2.1 业务指标元数据业务指标工具设计类的存储实现方式如下：l 实现前提： 指标元模型制定完成。 皓竹从元数据系统生成指标整理模板。 皓竹对对应系统厂商进行整理培训。 厂商按照要求梳理指标元数据。l 实现方式：通过MIB配置XLS数据源，作业，执行作业将梳理好的指标元数据批量导入系统。其他工具（不支持自动提取）实现的报表指标，都采用模板批量整理，批量导入元数据库。实体和关系同步生成。4.5.2.2 业务规则&术语元数据业务规则，术语元数据存储实现方式如下：l 实现前提： 根据调研信息资源分类规则，业务规则、术语元模型制定完成。 从元数据系统导出整理模板。 相关厂商按照模板要求梳理业务规则，术语元数据。 皓竹对MIB工具XLS接口进行读取参数配置。l 实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成业务规则，术语相关元数据。4.5.2.3 维度&基础编码元数据维度，基础编码元数据存储实现步骤如下：l 实现前提： 根据调研信息资源分类规则，维度，基础编码元模型制定完成。 从元数据系统导出整理模板。 相关厂商按照模板要求梳理维度，基础编码元数据。 皓竹对MIB工具XLS接口进行读取参数配置。l 实现方式：通过MIB配置数据源，作业，执行作业自动抽取即可生成维度，基础编码相关元数据。4.5.3 管理类元数据存储由于管理类元数据都是根据每个企业自身管理制度以及管理方式产生的元数据，所以此块的元数据一般都是文档化的，一般都是使用根据调研确定的信息资源分类，提炼出特定的元模型，然后皓竹提供导入模板。厂商按照模板整理相关元数据，然后批量导入元数据库中。实体和关系同步生成。管理类元数据包括系统资源、人员管理，任务管理，需求流程管理、文档管理等。此块元数据的存储实现步骤为：l 调研定制元模型，与客户确认。l 在元数据中生成元数据整理模板。l 厂商和客户根据模板要求整理相关元数据和关系。l 皓竹将相应元数据通过MIB工具批量导入。4.6 建立日常管理流程项目在初期进行了产品部署，元数据的存储后。在试运行稳定的情况下，需要根据客户项目的管理制度流程以及实际情况，摸索出一套符合xx移动的日常元数据管理流程办法。在本章节中提供一套皓竹实施的元数据维护流程方案供参考。元数据的日常管理流程，主要结合客户的管理习惯结合元数据系统中用户的使用权限以及元数据中变更影响管理的功能，来实现对元数据管理系统中，元数据的增加，删除，修改等操作的维护流程。4.6.1 元数据权限管理元数据管理系统中的用户，在元数据的操作都有严格的的限制，这个是通过创建用户的时候，赋予不同的角色，来实现对不同用户的权限的限制，例如：当一个用户的登录元数据的管理系统的角色是系统浏览者的时候，那么此用户对系统只有浏览的权限，而没有修改的权限等等。又如：当此用户只有对指标部分的操作权限的时候，他只能对元数据管理系统中的指标部分数据进行操作，而对其他接口等部分数据就没有操作权限。通过这种赋予不同权限，来实现对元数据的维护的一个管理。4.6.2 通过元数据变更流程进行维护管理元数据管理系统中，除了可以使用权限来控制元数据的维护之外，还有通过元数据管理系统中的变更影响功能来进行元数据维护管理。其主要实现步骤如下：首先，元数据管理系统中，已经分配了相关的主要维护人。如果需要修改元数据管理系统中的元数据，必须得到这些维护人的审核才可以进行，当操作者需要对元数据管理系统中的某个元数据进行修改的时候，会提交一个申请给相关的维护人，维护人通过元数据管理系统中的血统分析，影响分析等功能，来判断所提交的申请变更的元数据，是否会对别的元数据产生重大的影响。然后，根据判断结果，返回给操作者，是否可以对此元数据进行修改。4.6.3 元数据同步维护4.6.3.1 业务元数据同步维护业务元数据的同步，主要指手工录入的方式，对元数据管理系统的业务元数据，例如：KPI指标，业务规则等数据进行更新。通过我们提供的规定的业务元数据整理模板，然后根据模板来填写相应的数据，可以批量的对指标的数据的录入与更新。当数据仓库中的相关业务元数据发生变化的时候，那么元数据管理系统中的数据也要随之同步更新。建议分以下步骤走： 业务人员提出业务元数据发生变化。 需求评审，确认，设计。 厂商在生产系统中实现。 厂商相关人员提交元数据变更申请。 局方确认。 元数据梳理，客户对梳理内容确认。 变更元数据入库。业务元数据同步维护流程图4.6.3.2 管理元数据同步维护管理元数据同步，与业务元数据的同步过程很一样，也是从通过填写导入模板来实现接口文件的数据的批量的录入。当相关的管理元数据发生变化的时候，那么元数据管理系统中的数据也要随之同步更新。管理元数据发生变更供局方确认元数据导出整理模板增加/修改元数据内容导入元数据系统4.6.3.3 元数据同步维护ETL程序的同步，工具部分的ETL发生变化后，此部分元数据可以通过集成商或者客户确认更新后，元数据维护工程师接到变更要求后，由维护工程师执行MIB，将相应变更元数据通过MIB自动解析入库。 数据处理过程中的相关ETL（存储过程），此部分在元数据建设调研期，就需要和厂商约定好存储过程执行时输出符合解析要求的sql日志。然后皓竹配置MIB数据源，作业，定期执行即可保持与生产系统的元数据同步。 ETL元数据变更维护流程图4.6.3.4 库表结构元数据同步维护库表结构元数据的同步维护，我们实现的主要的方式是通过我们的库表抽取程序，来对库表中的结构进行抽取，而且也是可以根据实际的需要，自动的对数据库表中的结构进行抽取。当数据仓库中的相关库表结构发生变化的时候，可以以定期同步的方式，通过自动调度任务来实现库表结构元数据的同步维护。定期库表元数据发生变更使用库表抽取程序导入元数据系统4.6.3.5 Erwin元数据同步维护Erwin数据同步，主要是通过向元数据管理系统中导入Erwin工具生成的xml文件，从而实现对元数据的Erwin的数据的更新。Erwin元数据发生变更使用Erwin工具导出为XML文件导入元数据系统4.7 元数据交付、培训在项目完成产品部署，以及现场客户使用需求完成元模型定制，元数据的基础存储后。按照项目产品稳定运行要求后。皓竹进行元数据项目实施后的交付。项目交付包括以下工作：l 元数据项目实施阶段成果汇报。l 元数据产品培训，功能培训。l 元数据日常维护培训。4.8 元数据管理应用定制根据xx移动前期元数据的建设和使用情况，进行元数据应用定制开发，使得元数据融入xx移动项目开发生产过程。促使元数据项目与数据仓库项目结合更紧密，充分发挥元数据建设价值。说明：具体的元数据管理应用定制开发，视项目情况和现场应用需求而定。 5 元数据建设中需要的配合工作为保证元数据项目建设过程中的效率，以及实施质量，需要集成商以及移动进行以下配合工作。元数据建设相关配合说明主要任务细节要求负责方协调方备注项目调研项目建设整体要求调研厂商负责人移动皓竹主导元数据建设前期建设需求调研，移动协调相关厂商负责人参与。管理范围元数据管理范围确定厂商负责人移动经三方确定下元数据管理范围。元模型定制各类元模型定制厂商负责人移动皓竹在调研后主导元模型定制，移动相应负责人需与厂商相应负责人参与定制并确认元模型定制的合理性。元数据存储DB元数据数据源链接方式，权限提供厂商负责人移动厂商负责人提供要抽取的数据库的数据源链接方式，权限。建模元数据提供厂商负责人移动厂商提供建模工具生成的xmi格式文件。接口文件元数据梳理厂商工程师移动皓竹指导整理过程，厂商梳理相关元数据。OLAP元数据获取信息提供厂商工程师移动厂商提供数据源信息。ETL元数据数据源信息提供厂商工程师移动厂商提供数据源信息。数据处理过程输出日志改造厂商工程师移动厂商按照皓竹的要求改造输出sql日志。数据处理过程元数据整理厂商工程师移动不符合自动解析要求部分，厂商需要按照标准模板整理。业务类元数据整理厂商工程师移动业务元数据，厂商按照模板要求梳理，皓竹指导梳理。管理类元数据整理厂商工程师移动对管理类元数据，厂商按照模板要求梳理，皓竹指导梳理。6 备份策略元数据管理系统有单独的存储库，存储库类型为oracle。为确保数据安全，防止数据丢失，元数据管理系统每周日自动备份存储库，将存储库数据全备为dmp文件。导出oracle数据库文件的同时，将文件多备份一份到其它服务器。为节约磁盘空间,每半年系统自动清理dmp文件，只保留最新的备份文件。当发生数据误删或灾难性事故，通过最近的dmp文件来恢复元数据管理系统的数据。导出dmp文件命令：exp user/passworddb_name file=xxx/metaone.dmp ；导入dmp文件命令：imp user/passworddb_name file=xxx/metaone.dmp ；可编辑范本