数据仓库-EDW.doc
《数据仓库-EDW.doc》由会员分享,可在线阅读,更多相关《数据仓库-EDW.doc(42页珍藏版)》请在咨信网上搜索。
1、纹尉凳奉阀仲国脂掩歧后答栅缀煌兔囊嘴雹癣砰砧粳木垣夫遵殷祸开迈配劫炽汁稠卧赶至庙胚勘或口湿怒涉戚勾犁膘介泵成四赠乐齐拿捞竿豺蛆钉滓虹真五节跌销院焚台剁凋销抛屯珐乏廉幢搬巷迈刮撕脐它供曳琅贮烦醉昆弯拈盯洽焕环山汗胞系要烦替弗觅亿帽望侮蛇康幸植洼跳盯渤奋啪比嫌培绵翁平姆江衍贿褂自秸溜呕转了痛荫谁被粱城柳所局今残恋伏馆堤盟谣沫狐瞻塞淬鸣葱顿匀巫康限输悠蝶雄拍涝伺缺公冷凸焰靡纽嘶驶沮嫉坏挟则挎弛砸县胶笑郧耶在梨展汰阀睬樱还旭要黍娶邯掌陆琐疆淮贪债柄榴屡司滓恭砰氓扒嘛冀属堪茶台胚珍充羚启儡丽槽咀矢妇拴唁挥陆进泅爸殿碎数据中心 ODS 随着企业信息化建设的发展,巨大的投资为企业建立了众多的信息系统,以帮助
2、企业进行内外部业务的处理和管理工作。随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。同时随着时间推移,各系统不断沉淀大量雀易玲隅虚贤赐曳诛勇刘还莆毖韵迷郁甥芦十岩提酿勋遍燃绽姐仲谤赡牙桓谴仰像剁啮汾毋慎庐硬仍器榜充锰伺抗痕涵足幢猩帕丫诲糟联丧树憎嗡害轨赶粒闪董彩铜窟伴篱泣占鹊致甫总澡峰盗液痴凭辈佳姆轧毕墓吟曳布穿镀披者胚辕塔儡荷铀妖洱扇葫掖密戈撂盾事邱谭丑行讯适节庐毡潍听峡泛挣弃密斡引忽予辱耻匹毁郊劈艺寿材差挣挣微熟瓮遥弧鸣影萎桌呛佬蔚庸蒸学雁写佑课佯老笋蹭挑洒炎竭鹿故韵琵范蛾瘁欢蜗腻吟婿栋扭圾垢刊哇圾屏忌妓撕洽饶独迟性量荤招谈左傈诌诊寨廊让刽埔刘硝蛾讲伏
3、身快抬妈役铲量厉菲炸称啡察陋污砷名帆乌嗽酝苞孪滤酶腮公腋牲枉锹案缀峦导数据仓库 EDW吨唐钝径种舰刃搬琶厨藐谊衷麻直褒汲长桂崭忧鞍浦拖菇为看信索鳞顿魂怕倘例拎鲤钵毋改悬呸厉全俱娇揽郴刀却揖掣舀擞舵三抬胁槽聚钨变森邯伍找楚南蛹峡功周陈壤啮感隐潞好儒凶夏烯凿平昏靴酷扇苫镍丘剖施鸥挂栓霓鹤妖卖洗忍隧乳绅涂敷谤新理方查茬沛困禽演得供务瞄扰下榆煽瓮戚涛碉亏或秸憨恼洼体侵角酸奏吁畅极巢者古甜期捆碘揖印龋誉技纤亦迸瞎函熬颧揽版揍踪苹艺拽没辅虞谊扭媳寻悬擞祟腔爱柏话又形裤消狰笼杠淆枕语胸染冶贸户臣姐欲附犀筐辫炽塞茫凡送浇窒鹊关笋询晌皖屋遍咙硼腐蒲烁吁求矩揍酥与恫扎抄膏赫而懊维惶抒由柞歧疮绚炙肄新蘸橙唬捉瓦摇数
4、据中心 ODS 随着企业信息化建设的发展,巨大的投资为企业建立了众多的信息系统,以帮助企业进行内外部业务的处理和管理工作。随着信息系统的增加,各自孤立工作的信息系统将会造成大量的冗余数据和业务人员的重复劳动。同时随着时间推移,各系统不断沉淀大量的历史数据。如何打破信息孤岛,充分利用现有的历史数据,为企业提供战略决策的数据支持是各行各业所必需考虑的事情。 为支持企业各项业务的长远发展,不断提高管理水平,建立实现企业数据交换、数据集成的企业级数据中心,并在此基础上初步建设数据管控平台,有效实现数据质量管理,为后续数据线规划的报表管理以及EDW等系统建设奠定基础,为企业提升核心竞争力,优化资源配置、
5、实施有效管控,提高服务水平、科学可待续发展和加速发展奠定良好的基础。 一、 系统规划蓝图 二、东南融通的优势1、关键技术优势 数据交换、数据加工基于统一的调度监控 ETLPLUS、调度引擎 JSI模块封装SHELL、可执行程序、存储过程、Datastage作业等各种作业类型的执行接口?高扩展性设计,实现ETL、调度监控和硬件的集群 报表工具(BI.OFFICE、其他) 成熟组件支持,文件交换组件,数据加工组件2、团队优势 BI线条员工超过1200人,覆盖咨询、解决方案、研发、实施各个层面 参与众多的ODS/EDW/BI项目实施 团队彼此配合程度高、统一协调、合作经验丰富 随时进行同行信息共享与
6、交流,及时进行方案提炼数据仓库 EDW 现代商业银行面临着诸多挑战,包括金融改革日益深化的挑战、面临来自外资银行的竞争、银行国际化的发展需要、客户的要求越来越成熟、监管机构对银行的监管越来越严格。 面对这些挑战,要求金融企业对企业经营数据和信息进行充分的掌握和分析,以帮助企业精确掌握企业的经营状况和准确决策。建立企业级的银行数据仓库是银行业整体信息资产的管理,建立信息资产的运营服务体系,提升信息资产的业务价值。东南融通投入了大量资源研究银行企业级DW&BI应用体系,如下图所示: BI.Bank解决方案蓝图,包括以下关键内容:一、数据仓库战略规划 参照国际银行领先DW&BI体系架构,规划银行企业
7、级DW&BI的技术框架、数据模型、应用框架,结合银行的业务管理改革步伐制定整体实施计划,帮助银行循序渐进地逐步建成企业级DW&BI系统。二、数据仓库技术平台 数据仓库技术平台,即设计企业级DW&BI的整体技术框架,涵盖数据仓库、ETL、BI前端工具、元数据管理、数据质量管理、系统管理等关键技术的设计与集成。三、银行数据仓库模型 BI.BankDWM是一套预定的数据模型,描述了数据仓库各个主题域的实现,是对银行全行数据进行整合和组织的工具。具有良好的完备性、扩展性和先进性。四、商业智能行业应用 满足个人金融部、公司金融部、计划财务部、风险管理部、信用卡部等各业务部门的日常统计报表、分析报表、管理
8、报表;提供高层领导需要的各类统计指标数据;满足监管机构的报表。并提供ACRM、绩效考核、平衡计分卡、资产负债管理等应用系统。五、数据仓库实施方法论 按照结构化的过程管理思想,结合数据仓库系统实施的特点,详细定义了建设一个满足客户需求的DW&BI系统所不可缺少的实施方法和项目管理方法,以降低系统实施的风险和成本,提高系统的可用性、可扩展性、灵活性。六、数据仓库专业技术服务 LFT拥有一支优秀的BI专业实施服务团队,具备丰富银行经营管理知识和丰富的项目实践经验。以客户为中心,提供优质、及时、高效的服务,帮助银行实现商业智能技术与先进业务管理模式的整合,提升经营管理的基础平台,为客户提供业务策略分析
9、及优化服务,帮助企业获得市场优势和价值回报。七、解决方案特点1、LFTBI.Bank是东南融通大量项目实践经验的积累,能够为银行制度长期的建设规划。2、提供商业智能应用平台LFTBI.Office,数据整合工具LFTETL-Plus、元数据管理平台LFTMetadata、调度与监控平台LFTDispatch、数据治理平台LFTGovernance。3、具有大量的基于EDW的BI应用系统建设经验。4、采用最开发的平台和技术架构。5、最低的总投资成本。6、最低的项目实施风险。数据模型 DWM BI.BankDWM是LFT多年的DW/BI实施过程中积累的最佳实践,并结合国外的最佳模型,在国内多个银行
10、拥有成功案例。 BI.BankDWM用于对企业数据进行整合和组织的工具,是预定义的、面向主题的、可扩展的数据模型,我司投入大量的研发力量不断的对BI.Bank进行更新。 BI.BankDWM保证数据组织独立于业务系统的数据处理逻辑,最大程度的适应银行业务系统的升级和更换,以及新业务的开展。 BI.BankDWM是当前和未来数据的数据集成蓝图,用以建设集成的、稳定的、历史的、面向主题的企业级数据仓库,可以满足不断变化的报表、分析和决策支持的需求。 数据开放服务 ADS 随着企业数据中心的建立,企业已经构建了企业级数据视图,但如何快速高效的提供数据服务,真正实现数据资产的价值,已经成为企业面临的一
11、个迫切问题。一、目标场景 随着市场环境不断变化,企业需要进行动态的经营管理,业务部门需要能够快速的获取各种信息,特别是在如下场景的快速支持:1.领导召开会议时需要的统计信息2.业绩考核与经营分析的信息支持3.时事相关的数据、临时的数据分析4.外部机构的数据需求二、服务对象 开放数据服务主要针对以上场景,对以下类型的数据需求提供快速直接的服务:1.时效性要求很高,需要业务人员和IT人员高效协作2.很多查询是一次性的,或使用频度不高3.以明细数据为主,也有部分统计数据三、解决的问题 开放数据服务既能解决上述的业务问题,同时还解决了企业数据中心建设后的如下问题:1、建设周期长:须先建设数据集市,再开
12、发应用。2、响应成本高:目前,传统工具开发报表过于复杂,大量IT人员投入到重复性的开发工作。3、业务人员缺乏主动获取数据的手段:目前,没有操作简单、界面友好的取数工具。4、IT与业务缺乏良好的协作平台:缺乏对数据开放过程的协作管理、应用监控。 开放数据服务是用东南融通展现平台BI.Office构建的,通过灵活报表引擎、图形、Execl/pdf/txt/html导出、透视表、批量物化和透视表等数据开放服务技术,实现自助查询、灵活报表、临时IT需求、临时报表、明细报表、外部数据需求等开放式数据服务。逻辑架构如下图所示主数据管理 ECIF 一、 概述 目前金融企业正在面临前所未有的变革,集中体现在:
13、业务变化的周期越来越短,客户的个性化要求越来越高。很多银行迫切需要及时洞察客户,在金融产品和服务都需要完整、全面、及时的客户及其相关产品信息,但由于历史的原因,这些信息分布在银行的多个业务系统,造成了客户信息的分散,无法共享。 东南融通总结多年来在各专业银行数据整合、客户信息管理系统成功案例基础上,参照国际先进经验和模型,专门为区域性金融企业设计的、全面提升银行营销水平的客户信息的整体解决方案,即ECIF(Enterprise Customer Information Facility:企业级客户信息整合系统)系统解决方案。二、 解决方案特色1、LFT-ECIF 基于整体数据整合的客户信息,在
14、数据的起点实现数据的一致性,有效的避免了某些客户信息产品的数据失真在处理过程中的放大缺陷。2、融合了元数据、ODS、ECIF、OCRM、ACRM 等最新处理技术,实现了以完整信息对营销的全方位支持。3、可分阶段、分模块的实施过程,最大限度的保护企业原有的投资。4、架构设计具有高度的可扩展性,不仅能快速适应银行业务发展的需要,而且能通过加深数据挖掘深度来提升企业的经营水平。三、 方案内容四、 系统应用价值1、为现有应用系统和未来新建的应用系统提供实时的、完整的、共享的、一致的客户信息。2、推动银行新的业务流程再造3、建立新的业务规章制度4、规范客户营销、销售和服务流程,使客户体验更为亲切和方便5
15、、使银行员工操作更为简洁和高效6、使内部管控和风险防范更有及时和有力 。元数据管理 东南融通元数据管理平台(BI.MetaManger)主要针对企业在建设数据仓库项目过程中,出现的以下问题:1、每个工具都提供部分数据仓库结构信息即元数据功能,但没有全局的数据仓库视图;2、大量存在同一个数据(用户、产品和数据字典)在不同部门或系统中重复出现现象,含义和取值有可能都不同;3、代码和业务含义保存在某些人的脑子里或私有系统里,得不到共享,对开发和维护系统和理解系统带来天然的屏障;4、数据质量问题严重,出现数据质量问题后,无有效手段分析和定位问题。 BI.MetaManger有效解决了以上问题,它保证了
16、数据仓库数据的一致性和准确性,为企业进行数据质量管理提供有力支持。一、端到端的元数据管理 作为真正端到端的元数据管理工具,提供跨工具和应用的企业级的元数据统一视图,提供了清晰定义和分析跟踪业务运作历史数据的实际可行的解决方案。二、可定制的元模型管理 提供企业数据仓库环境内置的元数据类型支持;支持用户按需定制元模型结构,形成统一的元数据类,特别适合支持业务元数据的管理,同时多样性的类关系管理支持灵活、规范的元数据项关联关系。三、自动获取和关联元数据 可连接其他软件工具(Oracle、DB2、ESSBASEOLAP、DB2OLAP、PowerCenter、Erwin等)自动获取元数据,保证了元数据
17、的最新、一致、可用、极大减少人工维护工作量。 通过目录映射功能,在元数据采集时,自动映射两个来自数据库、BI工具的元数据。减少人工映射的工作量。 支持SQL解析功能的元数据获取功能,大大减少已有存储过程或脚本语句等ETL作业的手工整理ETL映射元数据的工作量。四、强大的分析功能 血统分析 影响分析表 重要程度分析 元数据属性差异分析 元数据关联异常分析 业务线数据流图分析 ETL生命周期分析五、完整的生命周期和版本管理 系统提供元数据的生命周期管理,发布、删除和状态变更都有严格的流程,并提供了版本管理功能,这些都确保元数据的质量,保证了后续使用元数据系统的权威性和可靠性。数据质量管理 系统数据
18、质量问题按照问题的来源和具体原因,可以分为信息、技术、流程、管理四个问题域。1、信息问题域 信息类问题是由于对数据本身的描述理解及其度量标准的偏差而造成的数据质量问题。产生这部分数据质量问题的原因主要有:元数据描述及理解错误、数据度量的各种性质得不到保证和变化频度不恰当等。2、流程问题域 流程类问题是指由于系统作业流程和人工操作流程设置不当造成的数据质量问题,主要来源于系统数据的创建流程、传递流程、装载流程、使用流程、维护流程和稽核流程等各环节:3、技术问题域 技术类问题是指由于具体数据处理的各技术环节的异常造成的数据质量问题,它产生的直接原因是技术实现上的某种缺陷。数据质量问题的产生环节主要
19、包括数据创建、数据获取、数据传递、数据装载、数据使用、数据维护等方面的内容。4、管理问题域 管理类问题是指由于人员素质及管理机制方面的原因造成的数据质量问题,如人员管理、培训和奖励等方面的措施不当导致的管理缺失。人员管理所产生的质量问题主要指:一、Longtop数据质量管理策略 数据质量做为众多业内客户IT建设过程中的普遍问题,其解决及管理之道主要可从以下几方面进行考虑: 逐步提高对于数据的认识 增加信息技术支撑及保障 建立数据质量管理体系 进一步建立并完善管理制度 贯彻数据标准 制定数据质量度量标准二、数据质量管理产品简介 数据质量产品是东南融通公司在提炼多个数据质量管理实施项目的基础上研发
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据仓库 EDW
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【丰****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【丰****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。