![点击分享此内容可以赚币 分享](/master/images/share_but.png)
中央广播电视总台新媒体大数据建模设计与实现.pdf
《中央广播电视总台新媒体大数据建模设计与实现.pdf》由会员分享,可在线阅读,更多相关《中央广播电视总台新媒体大数据建模设计与实现.pdf(5页珍藏版)》请在咨信网上搜索。
1、关键词数据模型 大数据系统 新媒体大数据 设计与实现中央广播电视总台新媒体大数据建模设计与实现摘要本文针对总台新媒体平台的海量业务数据,应用最新的大数据技术,规范大数据建模的理论和方法,设计和实现了新媒体大数据的建模方案,多种新媒体大数据实现了高效的管理和融合,构建起了新媒体大数据的数据体系,达到并且超越了预期的需求。作者 中央广播电视总台芦丽丽字段支持常用核心的业务,扩展模型包括字段支持个性化或是少量应用的需要。在必须让核心模型与扩展模型做关联时,不能让扩展字段过度侵入核心模型,以免破坏了核心模型的架构简洁性与可维护性。3.公共处理逻辑下沉及单一底层公用的处理逻辑应该在数据调度依赖的底层进行
2、封装与实现,不要让公用的处理逻辑暴露给应用层实现,不要让公共逻辑在多处同时存在。4.成本与性能平衡适当的数据冗余可换取查询和刷新性能,不宜过度冗余与数据复制。5.数据可回滚处理逻辑不变,在不同时间多次运行数据的结果需确定不变。6.一致性相同的字段在不同表中的字段名必须相同。7.命名清晰可理解表命名规范需清晰、一致,表命名需易于下游的理解和使用。二 数据建模的设计 1.命名空间设计按照数据仓库建设规范,需要定义业务板块、数据域、维度、业务过程,统一对各个层级的库表进行规范设计,具体实现如下:(1)业务板块指业务大类的划分,对业务逻辑层面进行抽象、对物理组织架构层面进行细分。模型是对现实事物的反映
3、和抽象,能帮助我们更好地了解客观世界。数据模型定义了数据之间关系和结构,使得我们可以有规律地获取想要的数据。数据模型是在业务需求分析之后,数据仓库工作开始时的第一步。良好的数据模型可以帮助我们更好地存储数据、更有效率地获取数据,保证数据间的一致性。一 模型设计的基本原则 1.高内聚和低耦合一个逻辑和物理模型由哪些记录和字段组成,应该遵循最基本的软件设计方法论中的高内聚和低耦合原则。主要从数据业务特性和访问特性两个角度来考虑:将业务相近或者相关的数据、粒度相同的数据设计为一个逻辑或者物理模型;将高概率同时访问的数据放在一起,将低概率同时访问的数据分开存储。2.核心模型与扩展模型分离建立核心模型与
4、扩展模型体系,核心模型包括新媒体新业务NEW MEDIA&BUSINESS058数据基本保持一致。它相当于一个数据准备区,同时又承担着基础数据的记录以及历史变化。其主要作用是把基础数据引入大数据系统。(2)明细数据层即 DWD 层,在该层对 ODS 层的数据进行数据清理、整合、规范化,所有的脏数据、垃圾数据、规范不一致的、状态定义不一致的、命名不规范的数据都会在这层被处理,该层完成了数据标准化,并且合并全量数据。DWD 层是一个非常规范的、高质量的、可信的数据明细层。在 DWD 层以业务过程作为建模驱动,基于每个具体的业务过程特点,构建最细粒度的明细层事实表。DWD 一般保持和 ODS 层一样
5、的数据粒度,都是最小粒度数据,通过清洗处理提供一定的数据质量保证。(3)公共维度层即 DIM 层,基于维度建模理念思想,建立整个业务过程的一致性维度,维度是逻辑概念,是衡量和观察业务的角度。维表是根据维度及其属性将数据平台上构建的物理化的表,和其他几个层进行互通交互。该层存放业务系统码表和公共码表、日期、地区维表,可供其他任何层级依赖。(4)汇总数据层即 DWS 层,数据仓库轻度汇总层和高度汇总层,轻度汇总层按照各个业务过程对数据域进行轻度汇总成分析某一个数据域的服务数据,例如各个用户播放统计表、用户互动统计表等。高度汇总层以数据域为分析对象进行建模驱动,构建公共粒度的汇总指标事实表,以宽表化
6、手段来物理化模型,例如用户行为统计表。(5)数据集市层即 DM 层,数据集市层,需要综合考虑对于数据落地的要求以及具体的查询引擎来选择不同的存储方式,面向具体的应用进行设计,方便推送 DWS 层的数据到各个应用中。三 数据建模的实现 总台新媒体大数据包括央视频、央视新闻、云听、央视影音、央视体育、央视财经、央视少儿、央视文艺、微信、微博、抖音、快手、全网传播数据等,针对各个数据源,对每类数据源进行统一的命名空间管(2)数据域数据域是数据所属业务范畴的集合。为保障整个体系的生命力,数据域是需要抽象提炼并且长期维护和更新的,但不轻易变动。在划分数据域时,既能涵盖当前所有的业务需求,又能在新业务进入
7、时无影响地被包含进已有的数据域和扩展新的数据域。(3)维度维度是度量的环境,用来反映业务的一类属性,这类属性的集合构成一个维度,也可以称为实体对象。维度属于一个数据域,如地理维度(其中包括国家、地区、省以及城市等级别的内容)、时间维度(其中包括年、季、月、周、日等级别的内容)。(4)业务过程业务过程是指具体的业务活动事件,如播放、浏览、互动等都是业务过程。业务过程是一个不可拆分的行为事件。2.层级划分设计根据业内常用的数据建模理论,数据层次的划分,自底向上分为操作数据层、明细数据层、公共维度层、汇总数据层、数据集市层。如图 1 所示。各个层级具体含义如下:(1)操作数据层即 ODS 层,用于存
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 中央 广播电视 总台 媒体 数据 建模 设计 实现
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。