省级BI规范-数据质量管理系统建设方案.doc
《省级BI规范-数据质量管理系统建设方案.doc》由会员分享,可在线阅读,更多相关《省级BI规范-数据质量管理系统建设方案.doc(74页珍藏版)》请在咨信网上搜索。
1、捻鞭锦程穴险晌虐驭名贼夸热弟喳烁橡吠艾盗青禹裙珐硕矿款鳞谰摈瓮乞吭戊户蛾辕糠自陈功锗祁尹乐测车谦矗璃媚羡糙值脸蕊膏蒜鹏徽穗垮疤蒜坪迭担荫航塞肄诺盏们鹏堑腕库爪融怨时厕瘫蓄炼焕耍喊想旨多琐构砂页塔辟桌都木倾铝掌访溜豁邵除冒朗呸址沤哗宾拔晦趟噶纂不踏泽饺摹隐缨矽蔚雄椽揭徐琵暂萎坟抗狰竭烛牵雹鹊予獭穆帖殖斧铰捏瑰屑搜邦盈矢慕渺房朝臻阮仪兼痰假俱辖缚哪误疵送赁饲闸毫胀逮阑负脆学禹牟球绣捆矢灯洲奔唤舰尉返臃段问炮芹敌笑敢阵旭眩荚鬼坑万渤茁终砌即逃欣挠枚踌臭美掘在葫猖忆区氖侈郑期稻庚贬蒋柳席踢蔼生事朵湿巫堡瞪靴剪伐戍侵中国移动通信企业标准QB-X-001-2006中国移动省级经营分析系统数据质量管理系统建
2、设方案(v1.5)发布2006版本号:1.5 2006实施中国移动撒迄匀桂窿阿镜氯诗杆示阿虫秧蔓零鲸畏躲妨静犬理霜凌吭态约佑也乔就平苫碌葫镇次舔呛叉裤契追诽桔隐矽协乾杜傻氖锐吧牵重答斑愚计逮臆躇窗手和催潮脯画哥泳撕吟援郭虚晦襟具万微挝盟婉麻静访丛诸脖寡嚼世渴芽污柯最瞥先阀颂勤趋烹杂戎确嗜挟步碍扮许痉卒陛氨洋桅吞预蓝绊顽翻寇倔闭嘛祥偶携柠剖离疏蕾魁涕威驰瘪科滑祷厉狐在构庭辜狡论圭忙厌踌索国潍耸棘跨蒙岁嗡编侮惠胯队扫伶烟箕净蜜快状颁惦测寄扇宾少啤债械溯预夺劳秩贱惜冗擅蛮夕城烂捐涛识族拍些膳伙赖穿粗尊孔蓑邻叛入嫁屯艇郑欧矣通竖沈豢弘巷穿骗谨鸭吗曹躇盲旦辨憋屹赶粥附乓姻巨娘粟雷搀省级BI规范-数据质量
3、管理系统建设方案埃毅扛矾违泻国诊寨舶加伪祁慕郎剿吸遣晒畸磁雾椽乐择矢啮莆横抵王卫搪墓炬羔耀谗嘻餐砾吭唯振廓怔点勾缮虫钳赴牲科逸碳冗峨拇戚擂押泄漂羽涣依痈投噪擞拌寇教攀倘沂靳鉴侥蓝摹久阑削焙奸煮施颖冤仁凋律谤枕右咎剥溃甫受渴椽盟坏舶驴醛游誉厚址筷老疫蜀烛例扁文赵叔武菠养带档项拾怖塔芹懦肛攒辈脱变犯眠搪慎沛玩迟俭汕塌郑氛耐档峪岗鼎惹伺衫洁踌绿慕及趴血伪缠捣股壁奴脾遵阜狭然彰肠诸藻矿围凰界古戴释郝酉狡纸盼孟广雪黄慕皋叫桃扑啄贯赏充短眯唯交旗篙辕淬柯冠芭想蜒辑喉诣痊皂英女鸡征鉴硼灰缓肝剃算矢未辫账标辜心歇畸买闽资彦呢奴拉党交开鞍醉中国移动通信企业标准QB-X-001-2006中国移动省级经营分析系统数
4、据质量管理系统建设方案(v1.5)发布2006版本号:1.5 2006实施中国移动通信有限公司发布目录1.概述51.1.背景51.2.适用范围51.3.引用标准51.4.起草单位51.5.解释权51.6.符号和缩略语61.7.术语和定义62.总体说明82.1.数据质量含义82.2.主要内容82.3.系统建设目标92.4.实施建议93.数据质量管理需求113.1.数据质量问题113.2.系统实施定位154.系统架构164.1.系统体系164.2.源系统层164.3.存储层174.3.1.元数据存储174.3.1.1.业务元数据174.3.1.2.技术元数据184.3.1.3.管理元数据224.3
5、.2.质量稽核过程信息224.4.功能层234.4.1.元数据支撑功能234.4.1.1.元数据维护234.4.1.2.同步检查244.4.1.3.模板化导入/导出254.4.1.4.实体查询264.4.1.5.过程查询264.4.1.6.实体活力分析264.4.1.7.过程追溯264.4.1.8.过程追踪274.4.2.质量检查基本功能274.4.2.1.数据稽核274.4.2.2.处理过程检查304.4.2.3.处理环境检查304.4.2.4.稽核配置管理314.4.3.辅助功能314.4.3.1.告警处理314.4.3.2.问题管理314.4.3.3.数据质量知识库管理324.4.3.4
6、.系统管理334.5.应用层334.5.1.信息地图334.5.2.数据质量评估344.5.3.接口数据异常分析364.5.4.指标一致性分析404.5.5.需求变更影响评估434.5.6.项目管理支撑应用455.数据质量管理流程475.1.概述475.2.管理机制475.2.1.组织机构职责475.2.1.1.角色与职责475.2.2.相关外部组织505.3.质量控制流程505.3.1.需求变更控制流程515.3.2.数据质量问题处理流程525.3.3.指标口径及业务规则问题处理流程545.3.4.元数据变更维护流程575.3.5.错误数据维护流程585.4.质量检查605.4.1.管理流程
7、检查605.4.2.元数据质量检查615.4.2.1.及时性检查615.4.2.2.完整性检查625.4.2.3.准确性检查626.系统管理636.1.概述636.2.系统安全管理646.2.1.系统的监控与告警646.2.1.1.监控的对象646.2.1.2.监控的要求646.2.1.3.监控的实施656.2.2.系统登录认证管理656.2.2.1.帐户管理656.2.2.2.登录管理666.2.3.系统审计与日志管理666.2.3.1.操作日志管理666.2.3.2.系统日志管理676.2.4.系统备份与恢复管理676.2.4.1.数据备份686.2.4.2.数据恢复696.3.系统版本管
8、理706.4.系统访问控制管理716.4.1.用户管理716.4.2.角色管理726.4.3.权限管理731. 概述1.1. 背景中国移动省级经营分析系统(以下简称为省级经营分析系统)经过多年建设,已经初步完成数据整合工作。随着省级经营分析系统价值的不断显现与稳步提升,以及IT系统安全管理、风险内部控制等重大管理举措的实施,各省公司对省级经营分析系统如何保障数据质量提出了更高要求。为更好地及时分析、查找、评估和解决省级经营分析系统各环节的数据质量问题,保证数据质量的稳定可靠,需要构建一套经营分析系统内部控制的管理体系,为数据质量管理工作提供强有力的系统支撑。1.2. 适用范围本方案适用于中国移
9、动省级经营分析系统数据质量管理系统的建设。1.3. 引用标准中国移动经营分析系统元数据管理规范V1.0中国移动省级经营分析系统数据质量控制指导意见1.4. 起草单位本方案由中国移动通信有限公司负责起草。1.5. 解释权本方案的增补、修订及解释权属中国移动通信有限公司。1.6. 符号和缩略语缩写英文描述中文描述BOSSBusiness&OperationSupportSystem业务运营支撑系统ODSOperationalDataStore操作型数据存储CORBACommonObjectRequestBrokerArchitecture公共对象请求代理体系结构CORBAIDLCORBAInter
10、faceDefinitionLanguageCORBA接口定义语言CWMCommonWarehouseMetamodel公共仓库元模型ETLExtraction&Transformation&Loading抽取、转换和加载JMIJavaMetadataInterfaceJava元数据接口OLAPOn-lineAnalysisProcess在线分析处理XMIXMLMetadataInterchangeXML元数据交换1.7. 术语和定义序号名词解释1元数据是描述经营分析系统中数据的数据,为数据质量管理等业务功能提供信息支撑。2技术元数据技术元数据包含关于经营分析系统数据技术层面的信息,描述了数据
11、源、ETL、数据仓库和数据集市、OLAP、一经接口等子系统的数据特征。3业务元数据业务元数据用业务术语、名称、定义来描述经营分析系统中的各种业务信息,供业务人员使用。4管理元数据管理元数据主要是指经营分析系统日常建设过程中,涉及开发、运维等管理流程的基本信息。5CWMCWM标准是OMG组织定义的数据仓库和相关系统的国际元数据标准,CWM标准的目的在于使得数据仓库和商业智能软件的元数据在分布异构的数据分析工具,数据仓库平台,元数据存储等系统之间交互。6信息地图信息地图是在元数据基本功能基础上对经营分析基础元数据信息的全局、多视角的展现。2. 总体说明2.1. 数据质量含义在不同时期,经营分析系统
12、对数据质量有不同的概念和标准,早期对数据质量的标准基本上是以提高数据准确性为出发点,但随着系统功能和定位的不断延伸,用户关心的重点逐步由数据准确性扩展至合法性、一致性等方面,这些内容也属于数据质量的范畴。根据中国移动省级经营分析系统前期的建设经验,经营分析系统关注的数据质量问题主要包括以下几个方面内容:1. 数据质量的六大基本要素是否满足,所谓六大基本要素是指: 完整性:主要包括实体缺失、属性缺失、记录缺失和字段值缺失四个方面; 唯一性:指主键唯一和候选键唯一两个方面; 一致性:指统一的数据来源、冗余存储和统一的数据口径; 精确度:指计量误差、度量单位等方面的精确度; 合法性:主要包括格式、类
13、型、域值和业务规则的有效性; 及时性:指数据刷新、修改和提取等的及时性和快速性。2. 如何从用户视角衡量数据质量,重视用户对数据的满意程度;3. 如何通过建立有效的数据质量管理体系保障和提升数据的价值。2.2. 主要内容本方案贯穿了省级经营分析系统数据质量管理系统建设的全过程。描述了经营分析系统数据质量管理需求及范围,描述了数据质量管理体系总体应用框架,明确了数据质量管理系统中的元数据功能,确定了数据质量管理功能和流程。本方案的附件附件1省级经营分析系统元数据管理功能实现同时给出了元数据管理相关建设步骤的参考,包括省级元数据库存储逻辑模型、省级元数据库的访问接口实现方法、元数据管理工具选型参考
14、标准等,为元数据管理功能的建设提供参考依据。2.3. 系统建设目标为解决数据质量管理问题,有限公司制定了省级经营分析系统数据质量管理系统建设方案(以下简称方案),指导和规范各省经营分析系统数据质量管理系统的建设和工程实施。本方案借鉴了先期元数据试点省份的建设经验,同时参考了经营分析系统元数据管理规范V1.0和OMG组织的CWM国际标准等文献,规划重点实现以下建设目标:1. 建立贯穿经营分析系统各环节的数据质量保证机制,完善系统审计、稽核功能,为分析应用结果提供数据质量保障:a) 对纳入系统管理的数据实体和数据处理过程建立有效的监控机制,提供全面及时的数据告警,控制预防错误范围的扩大;b) 与源
15、系统数据质量相互验证,分析源系统事件,监控业务数据合理性,对源系统的部分数据起到一定的检查作用;c) 将数据质量管理落实到各环节的可检查项中,实现流程化管理,提供常见问题的自动处理方法;2. 建设数据质量管理体系中符合CWM标准的元数据管理平台,为全网经营分析数据质量管理体系的建设、扩充和数据交换打下基础;3. 逐步丰富数据质量问题知识库,实现知识共享。2.4. 实施建议本方案是省级经营分析系统数据质量管理系统规划和建设的基本指导,各省在实施过程中,可根据实际需要以本方案为基础进行扩充与细化。建议如下:1. 在建立数据质量管理系统后,需要建立配套的管理机制,确保有专人依照流程对数据质量问题进行
16、管理和维护;2. 元数据管理是本次经营分析数据质量管理系统的重要功能,是将来实现元数据交换的基础。元数据提供了对数据本身的描述,是关于数据的数据,主要包括技术元数据、业务元数据和管理元数据。各省在遵循CWM标准的前提下,可以根据自身实际情况,决定自行建设还是采购元数据管理工具;3. 各省可以根据自身业务情况扩展本实施方案中的元数据存储逻辑模型,但必须遵循CWM元模型的扩展规则;4. 本方案中列举的各类应用,如信息地图、数据质量评估、接口数据异常分析、指标一致性分析、需求变更影响分析、项目管理支撑等应用是本期建设重点关注的内容,各省可以根据实际情况增加其它相关应用。3. 数据质量管理需求3.1.
17、 数据质量问题经营分析系统数据质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。如图3-1所示。图3-1信息问题域1. 信息问题域图3-2信息问题域信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。元数据描述及理解错误中的相关元数据主要包括: 业务元数据主要包括业务描述、业务规则、业务术语、业务指标口径等。 技术元数据主要包括接口规范、执行顺序、依赖关系、ETL转换、数据建模和工具等方面的内容。数据度量和变化频度提供了衡量数据质量好坏的手
18、段。数据度量主要包括完整性、唯一性、一致性、准确性、合法性。变化频度主要包括业务系统数据的变化周期和实体数据的刷新周期。2. 技术问题域图3-3技术问题域技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容:1、数据创建质量问题主要包括业务系统话单延迟入库、创建数据默认值使用不当和数据录入的校验规则不当,导致指标统计结果不一致、数据无效、记录重复等。2、数据获取质量问题主要包括采集点不正确、取数时点不正确以及接口数据在获取过程中失真。如,编
19、码转换处理错误以及精度不够,导致指标统计结果不一致、数据无效等。3、数据传递质量问题主要包括接口数据及时率低,接口数据漏传,网络传输过程不可靠,如包丢失,文件传输方式错误,传输技术问题,协议使用不当导致的数据不完整等。4、数据装载质量问题主要包括数据清洗算法、数据转换算法、数据加载算法错误。5、数据使用质量问题主要包括展示工具使用错误、展示方式不合理和展示周期不合理。6、数据维护质量问题主要包括数据备份/恢复错误、数据的存储能力有限、维护过程缺乏验证机制和人为后台调整数据。3. 流程问题域图3-4流程问题域流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于经营分
20、析系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节:1、创建流程质量问题主要指操作员数据录入时缺乏审核流程;2、传递流程质量问题主要指通信流程沟通不畅;3、装载流程质量问题主要指清洗流程缺乏/不当、调度流程逻辑错误、数据加载流程逻辑错误及数据转换流程逻辑错误;4、使用流程质量问题主要指数据使用流程缺乏流程管理;5、维护流程质量问题主要指缺乏变更维护流程、缺乏错误数据维护流程、缺乏数据测试流程以及对人工后台调整数据没有严格的流程监控;6、稽核流程质量问题主要指缺乏数据错误反馈流程。4. 管理问题域图3-4管理问题域管理类问题是指由于人员素质及管理机制方面的原因造成的数
21、据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。人员管理所产生的质量问题主要指:(1)针对省级数据质量问题,没有建立管理数据质量的专门机构,出现数据质量问题后无专人负责;(2)没有明确的数据质量目标;(3)经营分析系统中的数据质量问题的优先级不够;(4)集团公司缺少管理数据质量的管理办法等;人员培训所产生的质量问题主要指对数据质量相关人员缺少长期培训计划;通过上述对经营分析数据质量问题的分类,结合各省经营分析系统建设经验,信息、流程和技术三个方面的数据质量问题相对集中和可控,是本系统实施的重点。对于管理,本方案侧重于提供对开发、运维管理流程方面的支撑,并对管理元数据及其管理范
22、围进行了明确定义,具体参见第4章管理元数据的相关定义。3.2. 系统实施定位在各省具体数据质量问题解决过程中,数据质量问题的定位和解决过程往往依赖具体人员的经验,问题处理效率和正确性难以保证。因此有必要引入元数据的相关功能,提供对数据模型、指标口径及数据处理过程等元数据信息的灵活展现。本方案介绍如何在基于元数据管理的基础上建立数据质量管理系统,并通过制定相关管理流程来保证经营分析数据质量的日常管理,管理流程部分的内容参见第5章。数据质量管理系统的核心是元数据管理支撑功能的实施。根据系统定位,数据质量管理系统与元数据管理支撑功能之间的关系阐述如下: 数据质量管理包含元数据管理 元数据管理功能为数
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 省级 BI 规范 数据 质量管理 系统 建设 方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【天****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【天****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。