一种基于大数据平台的移动通信信令系统20151110.docx
《一种基于大数据平台的移动通信信令系统20151110.docx》由会员分享,可在线阅读,更多相关《一种基于大数据平台的移动通信信令系统20151110.docx(16页珍藏版)》请在咨信网上搜索。
1、一种基于大数据平台的移动通信信令系统201511102015年技术专长培养大数据架构专业一种基于大数据平台的移动通信信令系统谢识常目录摘要21.背景22.系统框架33.系统关键模块33.1 系统采集、解析、存储方式43.2 数据的建模设计54数据处理中的关键技术64.1 Hadoop基础64.2 基础数据采用Hbase数据库存储74.3 汇总KPI数据使用Hive构建数据仓库84.4 上层应用查询考虑Impala数据查询工具94.5 Spark计算框架的引入114.6 硬件架构参考135.结论156.鸣谢15摘要 信令系统是运营商日常运维的重要支撑手段。现阶段数据业务急剧增长,基于传统数据库的
2、信令平台对信令数据的处理越来越困难。本文探讨一种基于大数据平台的移动通信信令系统。先给出系统的主要框架,论述数据处理的流程,已经讨论系统涉及的关键大数据技术,最后给出一个硬件的配置参考样例。1.背景2012年广州在全国率先建设TD-LTE试验网络,2014年广州4G网络正式商用。现阶段数据业务需求猛增、流量急速增涨。移动需要四网协同(WLAN、LTE、3G、2G),做到集中管理、实时维护网络存在的问题,及时处理网络故障。信令是网络交流的语言,网络的管理与优化需要完善的信令系统的支撑。随着用户、业务、信令数据的急剧膨胀,基于传统数据库的信令系统已经很难满足网络运维优化的实时、存储及分析要求。例如
3、,2015年广州本地信令系统对于4G KPI指标只能做到15分钟粒度的统计,现在客户感知越来越敏感,5分钟内的指标监控能提高网络运维侧响应网络故障与隐患的主动性;此外,随着信令数据膨胀,传统数据库不能做到线性增加,数据库分表、分库操作复杂,存储效率低,广州本地信令系统由于数据库调整造成不可用的时间越来越长;另外,在网络数据的价值挖取当中也缺乏灵活手段,目前只能按几种固定的时空、网元、目的IP等维度的统计。大数据技术的日益成熟,在通信领域运用越来越广。更多运营商开始部署基于大数据平台的信令系统。基于大数据解决方案的信令系统就是在这样的背景下,专门为规划、运维、优化等部门员工提供所需的支撑数据,提
4、供解决方案的综合分析优化平台。对于移动信令分析,大数据首先是面临着越来越多的海量数据挑战;其次,要通过合适的分析处理,从大量数据中分析出工程人员需要的数据,区分出重点数据及非重点数据,分辨出哪些数据是实时需要的,哪些数据是需要存储,为以后工程人员查询所需要的,并形成实时网络性能管理、故障性能告警、客户感知预警、客户投诉处理、市场营销支撑等应用功能及数据模块。本文探讨一种基于大数据平台的移动信令系统。2.系统框架信令系统通常采取分层结构设计,应用功能松耦合设计,具有优点是缩短应用上线周期,降低开发成本。从下往上分为:采集层、存储计算层、接口层以及应用层。(1)采集层:在移动核心网的主要网络接口部
5、署分光设备,分光器出来的原始信令为原始码流,经由汇聚分流设备后,解析生产原始话单xDR;xDR再经过清洗、抽取、转换操作后入库。采集层可不断扩展,获取更多的数据源。(2)存储与计算层:是整个系统的核心部分,主要解决数据的实时计算、以及xDR话单的长期存储、预统(轻度汇总数据)的生成与存储,其他数据的存储,并通过共享模块,实现数据共享 。(3)应用层:可通过多种接口方式,实现与共享层的数据交互 。图2.1 信令系统分层框架3.系统关键模块应对海量数据的高效处理、存储,多种类型数据的处理 图3.1 数据处理流程3.1 系统采集、解析、存储方式1、数据采集与解析原始信令由专门的采集解析服务器对原始信
6、令数据进行采集解析;目前广东采取统一的采取汇聚平台。筛选后的原始信令保存在采集机本地存储,建立信令索引,提供信令回放、信令流程查询。解析后的信令形成XDR,送给信令汇总模块进行关联回填和各种维度的KPI预统计。关联回填后的XDR数据以及单用户单业务记录发送到Hadoop集群存储,利用Hadoop并行列存储的特性,容易实现线性扩容。2、数据存储数据加载集群,可实现xDR等文件的临时缓存。对不同数据采取不同存储方式:XDR话单文件,则使用Hbase数据库+HDFS方式存储(当前存两周) ;汇总数据,采用MPP数据库长期存储,使用的是Hive/Impala+HDFS 。3、数据装载共享平台前置加载集
7、群,用于接收获取统一采集平台等上传XDR话单文件;通过加载集群,向处理集群提供缓存的原始数据,可用于数据恢复、库外预统;通过加载集群,提供应用层和统一采集平台之间的通道,提供第三方数据接口(简单处理或透传给应用层)。 4、数据处理数据汇总,按照多种维度进行数据汇总提高查询速度,减少存储空间 。数据关联处理,多张数据表,多种xDR类型进行联合处理,形成OLAP分析结果 数据聚合处理,按全省对各个地市进行聚合等,通过聚合处理,形成OLAP分析结果。数据计算,进行各种维度的KPI指标计算。在处理流程上,可以理解为,我们采用库内,以及库外两种处理方式。3.2 数据的建模设计 为了满足多样的应用层数据需
8、求,需要对数据建模:多租户模式,为不同权限的用户提供其所拥有访问权限的数据 。每种应用都会对其抽象为一个数据模型,系统根据数据模型,生成相关的应用实现。大型信令平台通常在一个省集中部署,须考虑多租户模式。多租户模式容易出现数据和集群资源管理混乱的情况,可考虑建立统一调度平台,实现数据统一化管理,任务合理调度,集群资源按需分配。多租户模式下,数据的安全性是重要问题,集群需要将不同用户的数据统一管理运维,对不同用户的数据进行权限隔离。用户通常是Hadoop集群的省公司内不同部门或者不同地市公司 。Hadoop可以对不同文件目录给不同用户赋予不同权限,实现数据统一管理。通常可以建立三级目录:第一级为
9、用户级,不同用户拥有自己的私用目录,每个用户不能访问其他用户,同时设置公共目录,集群用户可访问公共目录。第二级根据数据类型划分,第三级跟进时间划分,对数据规范存放。数据建模体系可以大概按以下分层:1) 数据装载层:缓存明细数据,网管数据,根据源系统的数据模型进行建模; 2) 基础数据层:存储经过处理的明细数据 3) 数据仓库层:存储基础数据层的汇总数据,根据数据仓库的维度建模 4) 数据集市层:面向主题分析的汇总数据,面向应用建模 采用分层、分功能建模 1) 原始数据建模使用分布式文件的存储和设计方法 2) 基础数据和明细应用数据建模使用Hbase的建模方法 3) 不同维度汇总数据和计算结果使
10、用Hive/Impala的建模方法 图3.2 数据处理模块4数据处理中的关键技术本小结介绍信令系统中应用的关键技术,包括:Hadoop基础、Hbase、Hive、Impala、Spark。4.1 Hadoop基础Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase。1、HDFSHadoop Distributed File System,简称HDFS,是一个分布式文件系统。 HDFS是高容错性的,可以部署在低成本的硬件之上,HDFS提供高吞吐量地对应用程序数据访问,它适合大数据集的应用程序。MapR
11、educe是hadoop的核心组件之一,hadoop要分布式包括两部分,一是分布式文件系统hdfs,一部是分布式计算框,就是mapreduce,缺一不可,也就是说,可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。Mapreduce是一种编程模型,是一种编程方法,抽象理论。核心包括map函数和reduce函数,map函数和reduce函数是交给用户实现的,这两个函数定义了任务本身。map函数:接受一个键值对(key-value pair),产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。reduce函数:接
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 基于 数据 平台 移动 通信 系统 20151110
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【精****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【精****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。