中太数据宽带用户行为分析研究系统关键技术专项方案.doc
《中太数据宽带用户行为分析研究系统关键技术专项方案.doc》由会员分享,可在线阅读,更多相关《中太数据宽带用户行为分析研究系统关键技术专项方案.doc(37页珍藏版)》请在咨信网上搜索。
1、中太数据宽带用户行为分析系统技术方案中太数据通信(深圳)03月目 录概述 宽带用户行为分析系统2第一部分 非法接入监控51.1 背景资料51.2 系统概要51.3 非法接入方法51.4 简明工作原理61.5 系统功效71.6 系统特点9第二部分 VoIP监控102.1 背景资料102.2 系统概要102.3 VoIP隐蔽性102.4 简明工作原理112.5 系统功效112.6 系统特点13第三部分 P2P流量监控143.1 背景资料143.2 系统概要143.3 P2P下载分类143.4 简明工作原理153.5 系统功效163.6 系统特点18第四部分 互联网多业务分析194.1 背景资料19
2、4.2 系统概要194.3 系统功效19第五部分 WEB信息推送225.1 背景资料225.2 系统概要225.3 系统功效23第六部分 小带宽互联跟踪256.1 背景资料256.2 系统概要256.3 系统功效25第七部分 其它业务系统288.1 防毒墙系统288.2 邮件分析过滤系统288.3 网站点击排名系统288.4 上网偏好分析系统298.5 流向分析系统30联络方法31概述 宽带用户行为分析系统伴伴随电信行业猛烈竞争,宽带业务发展成为电信业务增收关键起源,电信运行商出于运维和市场经营需要,开始对宽带网用户行为进行分析和监控。中太数据“宽带用户行为分析系统”用于实时监控宽带网上全部数
3、据流,含有“非法接入监控”、“VoIP监控”、“P2P流量监控”、“互联网多业务分析”等功效,和附加“WEB信息推送”功效。以上全部软件功效模块,全部使用同一套硬件设备,降低了反复投资。伴随互联网应用日益复杂化,未来还可经过叠加新软件功效模块,满足运维和市场部门新需求。中太数据“宽带用户行为分析系统”和骨干网连接以下图所表示:在省域网和国家骨干网相互连接10G或2.5G POS接口,采取无源光纤分路器将全部上行链路分一路信号给“宽带用户行为分析系统”,系统经过实时密集计算,判定出哪些用户正在提供宽带非法接入,哪些网关正在提供VoIP服务,该系统还能够实时监测并抑制全网及指定用户P2P下载流量,
4、也可分析和统计全网及指定用户多种网络应用流量。中太数据“宽带用户行为分析系统”内部结构以下图所表示,经过网络接口转换设备,将骨干网上10G/2.5G POS分光输入信号,转成1000M以太网输出,送往预处理服务器进行实时分析,再将分析结果送往统计管理服务器,预处理服务器还会接收统计管理服务器下达命令,实施对应控制动作。网络接口转换设备可选择中国外电信设备制造商生产高端路由设备,预处理服务器可采取DELL或IBM企业刀片服务器,由众多刀片服务器共同完成实时密集计算。中太数据“宽带用户行为分析”系统,满足以下总体需求:(A)基础要求系统发生任何故障,全部不影响宽带用户正常上网,不降低现有宽带网可靠
5、性和可用性;(B)便于扩展1、 系统全部功效全部能使用同一套硬件设备来完成,伴随互联网应用日益复杂化,未来还可经过叠加新软件功效模块,满足运维和市场部门新需求;2、 系统支持多机负荷分担方法工作,支持性能叠加,并能无缝平滑扩容;3、 系统既支持骨干10G POS和2.5G POS接口,也支持GE以太网接口;(C)便于使用1、 基于浏览器方法进行操作,操作管理员使用方便;2、 采取文件交换方法,和其它系统进行数据交换;(D)便于管理1、 系统为省、市两级分权分级处理模式,省中心能够对每个当地网数据操作、统计和监控分析,地市分企业只能够对当地网范围内相关数据进行操作、统计和监控分析;2、 各地市数
6、据相对独立,对其中一个当地网设置策略不会影响到另一个当地网;3、 支持多级管理员并给予不一样权限,管理员能够修改自己密码;(E)便于维护1、 系统提供实时监控,包含监控CPU、内存、处理网络数据、跟踪帐号数等;2、 含有多个维护及管理工具,能顺利地进行硬件系统管理维护;3、 在系统本身软件或硬件出现故障时,能够发出告警;4、 日志管理功效,统计管理员每一次登录操作;5、 系统本身应含有足够安全防范功效;第一部分 非法接入监控1.1 背景资料数据业务中宽带业务,是拉动电信业务增加关键组成部分,因为现在宽带业务计费关键还是采取计时长而不是计流量方法,所以,一部分人利用宽带计费这个缺点,往往以个人名
7、义申请宽带而让黑网吧、企业使用,或几户共用宽带而分摊费用,给电信运行商造成了巨大经济损失,假如不立即处理这些非法接入,将会有更多人效仿而给电信运行商造成更大损失。1.2 系统概要中太数据“非法接入监控”系统布署于电信骨干网旁,采取特有分析方法,正确定位以个人名义申请宽带,实际却为网吧经营、企业经营或多个家庭共享宽带情况,分析出宽带帐号和其所携带用户数之间对应关系,便于电信运行商用户经理说服其到营业厅补办开户手续,并在必需时候开启个性化拦截技术,阻止宽带非法接入用户对网络访问。中太数据“非法接入监控”系统正确性极高,已为相关电信运行商,查获了大量黑网吧、个人申请企业使用、和多个家庭共用宽带情况,
8、为电信增收、深入提升宽带安装率提供了必需技术保障。1.3 非法接入方法在全部宽带非法接入用户中,以个人名义身份申请宽带,为黑网吧、企业或其它家庭共用,最普遍采取方法以下图所表示,左图采取ADSL拨号,右图采取LAN连接,包含固定IP或动态分配IP、不认证、Web认证、PPPoE认证等多种情况。尤其需要注意是,部分中小运行商因为带宽不足,往往“借用”主运行商专线用户宽带,进行非法桥接,取得廉价带宽,再采取低价策略和主运行商展开竞争。1.4 简明工作原理检测宽带非法接入常规方法有以下多个:l 标识法部分有害监控系统,经过修改用户IP数据报文,给全部宽带用户“帖上标识”来进行检测。这种方法因为需要修
9、改全部用户IP数据,将损伤现有宽带网、大幅降低现有宽带网可用性。l SNMP扫描法部分ADSL Modem有默认管理员口令及密码,而且SNMPcommunity全部采取默认public或private,能够得到其arp表而确定用户数。这种方法显然是一个“碰运气”、不全方面方法,同时不停地扫描,将损伤现有宽带网。l 判定IP_ID法对于Windows用户,因为其IP包头中IP_ID将伴随用户发送IP包数量增加而逐步增加,假如在某个时刻,发觉某个源IP地址,以下图所表示,有两段IP_ID在连续改变,则说明该帐号此时有两个用户在同时使用宽带。这种方法有一定功效,但现在市场上已经出现可修改IP包IP_
10、IDNAT设备,专门用于对付运行商相关监控系统,仅使用这种方法监控系统,很快将失去作用。中太数据“非法接入监控”系统,不对外发送任何扫描数据,不修改用户任何IP报文,而是从网络第三层到第七层对数据进行仔细分析,尤其分析了操作系统生产厂商非公开特征,经过对用户多种特征数次分析和校正,正确判定出每个帐号下携带用户数量。在覆盖200多万宽带用户实际监控中,不管共用NAT、共用Proxy、或分时段共享帐号上网,中太数据“非法接入监控”系统全部能正确汇报,并为相关电信运行商“挖掘”出大量宽带新用户。高度正确是中太数据“非法接入监控”和其它友商系统相比较,显示出最显著特征。1.5 系统功效中太数据“非法接
11、入监控”系统,含有以下关键功效:(A)无害要求1、 系统不主动往宽带网用户发送任何扫描数据;2、 系统不修更正常使用宽带网用户所发送和该接收到数据包,不采取修改用户数据报文“标识法”(这种方法将降低宽带网可用性);(B)检测功效1、 正确检测到多个用户共用一个帐号,利用NAT/Proxy同时上网;2、 正确检测到多个用户共用一个帐号,利用NAT/Proxy分时上网;3、 正确检测到多个用户共用一个帐号,利用可修改IP包IP_ID设备上网;4、 对用户数检测,不依靠于操作系统类型,如Windows、Linux及其它UNIX等;5、 当用户开启防火墙,或使用BT、flashget、NetAnt等工
12、具下载文件而产生大量TCP连接时,不会对系统检测正确性造成影响;6、 系统检测正确性要求大于95%,误判+漏判率小于5%;(C)拦截和警告功效1、 系统支持按不一样帐号或IP地址,实施不一样个性化拦截策略;2、 系统能够选择,按时间段进行拦截;3、 系统能够选择,只拦截http或拦截全部TCP;4、 系统能够选择随机拦截TCP或是拦截全部TCP;5、 系统能够选择,按事先定义多种规则模板进行拦截;6、 支持按事先设置警告内容,在用户浏览网页时推送出警告页面;(D)统计和报表功效1、 对于宽带帐号用户,按上网帐号提交“帐号携带用户数”对应表关系报表;2、 对于固定IP用户,按IP地址提交“IP地
13、址-携带用户数”对应关系报表;3、 对于含有多个固定IP地址用户,以IP地址集为单位,提交“IP地址集-携带用户数”对应关系报表;4、 提交非法接入帐号总数及其所携带用户总数改变图及百分比图;5、 提供非法接入帐号被打击后,挖掘出新用户帐号和原非法接入帐号之间对应关系报表;6、 对于上述统计图表,能够按小时、日、月等不一样时间段提供;7、 对于上述统计,能够曲线图或饼图显示,并能够生成Excel格式报表(E)其它功效1、 支持正当用户功效,确保它们不被拦截;2、 支持批量增加需要拦截或不能拦截帐号,降低维护量;3、 支持对所监测到帐号,进行查询、添加、删减功效;1.6 系统特点中太数据“非法接
14、入监控”系统,采取密集计算、多机运行负荷分担工作方法,每个预处理单元设备实时处理1000 Mbps流量,系统特点以下:l 设计合理采取被动监听工作方法,不会主动向用户发出任何扫描报文,不会修改用户任何正常上网数据,不对现有宽带网造成任何影响;l 高度正确从网络3层至7层进行综合分析,经过多级校正,正确识别每个帐号“携带”用户数量;l 成熟稳定系统在多个省运行商得到长久应用,并广泛吸收了运行商提议而增加了很多功效;l 抵御欺骗对于使用可修改IP包IP_IDNAT设备携带多个用户,中太数据“非法接入监控”系统仍然能正确检测并进行拦截。第二部分 VoIP监控2.1 背景资料话音收入是电信运行商收入关
15、键起源,因为宽带网和VoIP技术发展,不少虚拟运行商尤其是部分非法虚拟运行商,开始分流电信运行商话音业务,电信运行商出于保护本身利益,需要从技术上对VoIP进行监控,让市场部门知道话音业务被分流情况,方便按策略维护话音收益。2.2 系统概要中太数据“VoIP监控”系统设置于骨干网旁,实时分析网络上全部数据流,正确识别各类VoIP通话,包含H.323 / SIP / MGCP及其变种VoIP,区分出PC2PC会话及PC2Phone会话,得到VoIP网关IP地址、类型、通话时间及通话时长等具体信息,提交多个统计图表,并按需要切断VoIP通话或增加干扰噪音。2.3 VoIP隐蔽性现在虚拟运行商为预防
16、主流电信运行商封堵其VoIP业务,基础上全部不采取标准VoIP协议,最经典是在H.323/SIP/MGCP等协议基础之上进行修改(这么开发量较小,系统可靠性也较高),比如,修改呼叫建立数据,在标准VoIP数据包中增加了私有“数据包头”以后将VoIP包改头换面,同时,也不采取标准TCP/UDP端口等,极大地增加了对VoIP监控技术成本。虚拟运行商按需要可将其VoIP网关布署在中国或国外。2.4 简明工作原理系统仔细分析每个TCP及UDP流前面一部分IP包,逐一byte偏移后,尝试用H.323 / SIP / MGCP协议去解码(这是一个很消耗资源运算),假如这个数据流没有VoIP特征,系统将放弃
17、对它跟踪以节省CPU资源,假如这个数据流是VoIP数据,系统将再深入分析,得到VoIP网关IP地址、类型、通话时间及通话时长等具体信息,另外系统还能够经过切断VoIP信令连接、发送挂机信号等方法,切断VoIP通话;也可在话音流中插入干扰UDP包来给VoIP通话增加噪音。2.5 系统功效中太数据“VoIP监控”系统,关键含有了以下功效:(A)检测功效1、 既能检测出在标准端口下,又能检测非标准端口下H.323 / SIP / MGCP 通话;2、 能检测出利用“私有隧道”,在任意端口上透传H.323 / SIP / MGCP通话;3、 能够检测、拦截“万人迷”、“Net2Phone”等纯私有 V
18、oIP应用;4、 能够区分出VOIP类别,将VOIP分为四类:第一类接驳传统电话网,包含呼叫固定和移动电话;第二类为企业内部IP-BPX之间通话;第三类为MSN、QQ等之间通话;第四类为其它PC2PC通话;5、 能够区分出是来话还是去话,和区分是中国还是国际通话;6、 能够依据IP区分网关及网守地域和运行商归属;(B)干扰、拦截功效1、按事先确定百分比,对每次VoIP通话增加噪音或不增加噪音;2、按事先确定百分比,切断VoIP通话;3、支持对于每个网关,天天按时段干扰其通话;4、支持对于每个网关,天天按时段切断其通话;(C)统计和报表功效1、 对于第一、第二类VOIP,提交通话详单报表,通话详
19、单包含网关或网守IP地址,主叫帐号或IP地址、被叫电话号码、通话时长、通话时间,来话/去话;2、 对于第一类及第二类VOIP通话,提交每个用户天天使用VOIP时长报表;3、 提交全部四类VoIP各自通话时长、呼叫次数报表;4、 对于第一类VOIP通话,提供更具体报表以下:l 按地域(中国/国外)统计呼叫量和通话时长;l 按呼叫方向(呼入,呼出)统计呼叫量和通话时长;l 按用户帐号或专线用户地址提供通话时长TOP N排行版;l 按VoIP网关/网守地址提供通话时长TOP N排行版;l 统计使用过第一类VoIP用户总数;5、 对每个网关/网守,提交VOIP统计报表;6、 对于上述统计图表,能够按小
20、时、日、月等不一样时间段提供;7、 对于上述统计,能够曲线图或饼图显示,并能够生成Excel格式报表(D)其它功效支持白名单功效,不对白名单内VoIP网关进行干扰;2.6 系统特点中太数据“VoIP监控”系统,采取密集计算、多机运行负荷分担工作方法,每个预处理单元设备实时处理1000 Mbps流量,系统特点以下:1. 区分出和传统电话网有接驳VoIP通话、企业内部VoIP通话, PC2PC和PC2Phone通话,突出真正分流电信运行商话音收入VoIP业务;2. 经过电话号码来区分是中国电话还是国际电话,而不是简单按VoIP网关IP地址归属地、主叫IP地址及被叫IP地址归属地来区分中国还是国际通
21、话。第三部分 P2P流量监控3.1 背景资料目前P2P下载应用不停发展,它在繁荣互联网同时,消耗了大量网络带宽,部分地域因为P2P下载泛滥,影响了浏览网页、收发电子邮件等常规网络应用,引发用户对电信运行商不满,同时,因为P2P下载泛滥,迫使电信运行商投入巨额资金不停地扩容带宽,现在电信运行商被消耗带宽增加,已经远超出了用户数及收益增加速度,假如不对P2P下载进行合适控制,它将直接影响到电信运行商服务质量。3.2 系统概要中太数据“P2P流量监控”系统设置于骨干网旁,正确跟踪各类P2P下载,包含Bittorent、eDonkey、eMule、Kazza、Gnutella、Xunlei等中国外99
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 宽带用户 行为 分析研究 系统 关键技术 专项 方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【快乐****生活】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【快乐****生活】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。