基于大数据的能力开放平台解决处理方案报告.doc
《基于大数据的能力开放平台解决处理方案报告.doc》由会员分享,可在线阅读,更多相关《基于大数据的能力开放平台解决处理方案报告.doc(10页珍藏版)》请在咨信网上搜索。
1、(word完整版)基于大数据的能力开放平台解决处理方案报告基于大数据的能力开放平台解决方案1 摘要关键字:大数据 经分 统一调度 能力开放运营商经过多年的系统建设和演进,内部系统间存在一些壁垒,通过在运营商的各个内部系统,如经分、VGOP、大数据平台、集团集市等中构建基于ESB 的能力开放平台,解决了系统间调度、封闭式开发、数据孤岛等系统问题,使得运营商营销能力和效率大大提高.2 问题分析2.1 背景分析随着市场发展,传统的开发模式已经无法满足业务开发敏捷性的要求.2014 年以来,某省运营商经营分析需求量激增,开发时限要求缩短,业务迭代优化需求频繁,原有的“工单开发模式平均开发周期为4。5
2、天,支撑负荷已达到极限。能力开放使业务人员可以更便捷的接触和使用到数据,释放业务部门的开发能力。由于历史原因,业务支撑系统存在经分、VGOP、大数据平台、集团集市等多套独立的运维系统,缺乏统一的运维管理,造成系统与系统之间的数据交付复杂,无法最大化的利用系统资源。统一调度的出现能够充分整合现有调度系统,减少运维工作量,提升维护质量。驱动力一:程序调度管理混乱,系统资源使用不充分经分、大数据平台、VGOP、集团集市平台各自拥有独立的调度管理,平台内程序基本是串行执行,以经分日处理为例,每日运行时间为20 个小时,已经严重影响到了指标的汇总展示。驱动力二:传统开发模式响应慢,不能满足敏捷开发需求大
3、数据平台已成为一个数据宝库,已有趋势表明,只依赖集成商与业务支撑人员的传统开发模式已经无法快速响应业务部门需求,提升数据价值。驱动力三:大数据平台丰富了经分的数据源,业务部门急待数据开放某省运营商建立了面向企业内部所有部门的大数据平台,大数据平台整合了接入B域、O 域、互联网域数据,近100 余个数据接口,共计820T 的数据逐步投入生产.大数据平台增强了传统经分的数据处理的能力,成为公司重要的资产,但是传统经分数据仓库的用户主要面向业支内部人员,限制了数据的使用人员范围和数据的使用频度,已经无法满足公司日益发展的业务需求,数据的开放迫在眉睫.2.2 问题详解基于背景情况分析,我们认为主要问题
4、有三个:1、 缺乏统一的调度管理,维护效率低下目前经分系统的日处理一般是使用SHELL 脚本开发的,按照串行调度的思路执行。进行能力开放后,目前的系统架构无法满足开发者提交的大量程序执行调度的运维需求.如果采用统一调度的设计思路则基于任务的数据表依赖进行任务解耦及调度,将大大简化调度配置工作和提高系统的并发度;2、 需求周期长,导致开发周期长现行的开发模式是由业务部门提出需求,业务支撑中心进行需求分析,然后再转派给开发厂商。厂商除了需要与业支沟通需求以外,有时候还需要与业务部门进行二次沟通,最终才能明确需求,开发周期比较长;3、 数据管理分散,存在数据冗余,营销效果欠佳经分系统对外提供数据,目
5、前采用的是传统的文件接口形式,这样会造成经分和外围系统存在至少2 份的数据,随着经分的按天支撑模式,造成传统的营销效果欠佳,外围系统的存储浪费。3 解决方案介绍3。1 业务目标将大数据平台及经分数据仓库平台的数据和系统处理能力进行标准化封装,按需进行开放,满足各业务部门数据使用的需求,并在经验成熟的情况下逐渐开放给外部众多的合作伙伴使用。统一调度:作为大数据开放基础平台,通过消息总线将大数据平台、经分、集市、VGOP、业务部门的应用进行统一的系统调度管控,提供跨平台调度、分发、解析等基础功能,实现大数据平台、经分数据仓库等多类型底层平台的能力互补,形成融合平台的协作效应;通过多租户技术,解决生
6、产任务与数据开放能力争用的问题,实现系统资源对生产任务与临时任务的合理分配及高效调度。统一开发:集成图形化的开发界面,通过统一封装的函数库提供类SQL 的开发语言,以屏蔽底层平台差异,降低业务人员的开发门槛,实现快速的业务开发及数据测试。通过元数据的数据模型抽象,逐步将Hadoop、DB2 的后台数据资源高效、安全并可控可管的开放给前端进行访问.数据共享:大数据平台将用户标签、营销目标、用户套餐剩余量等信息通过统一的数据服务方式开放给其他系统或者在线使用,确保数据的唯一性和数据响应的及时性。3.2 方案内容及亮点图为基于大数据的能力开放体系架构,我们在原有大数据平台上进行整合,使得大数据的成果
7、能够有效的被外部系统调用,并具备标准的服务能力供后续的系统对接。能力开放平台由统一调度、统一开发、数据共享三大平台组成:统一调度平台将原大数据平台、经分数据仓库、VGOP 平台等关联度高的独立应用系统的任务进行统一管理、执行调度及监控,提升整体的执行效率并简化运维。统一开发平台搭建于统一调度的基础之上,开发者可以通过IDE 使用封装后的函数,以SQL 脚本进行图形化的数据处理程序设计及开发.通过多租户的方式,对开发者分配独立的大数据平台及数据仓库的存储、计算资源,确保开发者在共享数据、系统能力的同时,不影响生产系统的正常运行.数据共享平台提供标准API 封装,提供给外部系统进行数据查询和调用,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 数据 能力 开放 平台 解决 处理 方案 报告
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【天****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【天****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。