运营商宽带网络内容审计系统.ppt

运营商宽带网络内容审计系统www.sc- 近年来随着宽带业务的快速发展，由于网络的开放性，导致诸如淫秽色情、赌博等非法信息的散播屡屡出现，带来严重的社会影响，互联网网络信息安全日益得到重视。国家对手机和互联网网站不良信息，特别是色情信息的监察要求越来越高，管控力度越来越大，并提出“谁接入谁负责、谁经营谁负责、谁收费谁负责”的明确要求，从讲政治、顾大局的高度要求运营商充分重视网站色情等不良信息的清查整治工作，从全国形势来看，信息安全保障工作越来越重要，在日常工作中需要重点对待。IDC内容内容审计需求需求www.sc- 在巨大的市场规模和利润面前，有些不法组织开始铤而走险，提供非法内容网站，以文字、图片、视频等形式提供淫秽色情、反动、迷信、赌博等非法信息。随着3G时代到来，多媒体数据的日益增加，对不良图片、视频的自动识别技术又特别缺乏，常规的手段已经无法实现对宽带及wap业务络全面有效的监管，色情视频，反动图片等已经悄然在网上蔓延。运营商在网站内容监控方面的需求：网站内容进行自动扫描对不良文字、图像和音视频自动识别对不良网站进行及时控制和封堵IDC内容内容审计需求需求www.sc-宽带内容内容审计系系统旁路方式架构旁路方式架构1、旁路方式高效探、旁路方式高效探针；2、文字、文字图片片实时识别；3、主、主动审计文字、文字、图片片和音和音视频的爬虫系的爬虫系统。www.sc-旁路方式技旁路方式技术架构架构www.sc-旁路方式技旁路方式技术架构架构www.sc-旁路技旁路技术特点特点 优点：不会造成网络的单点失效，并联到网络系统网络访问完全不经过审计系统，所以它不会降低网络访问速度几乎不需要改变机房网络结构，对原有网络不产生影响支持大流量的分流、过滤和监测处理 缺点：对于网络数据内容封堵具有一定的局限性只捕获被用户触发的内容，属于被动审计www.sc-旁路关旁路关键技技术专业分流设备专用网络设备驱动 专用的驱动程序，减少数据拷贝的次数，提高处理速度专用捕包引擎 采用高性能的报文捕获技术内容匹配引擎 采用了基于状态机的多模匹配算法并行协议栈 采用并行协议栈，充分发挥SMP架构性能，给多路、多核、超线程CPU足够的施展空间www.sc-文字信息文字信息监测文字审计：支持关键字的分类和分级管理，智能过滤。关键字分析 关键字搜索是传统做法，也是最常用和有效的方法。分析WAP进出信息，如 果包含某些关键字如“淫乱”、“黄色”、“六合彩”等，将会被分析出来并进行告警提示。文字信息文字信息监测提供多种编码格式支持 自适应GB2312、GBK、BIG5、UTF-8等编码格式，自动转换编码。文字信息文字信息监测关键字管理 提供非法关键字库管理，将各种关键字的分类、分级管理，如淫秽、反动、赌博等，提供定期更新。提供编辑、添加、删除等功能，便于人工维护，更加灵活。智能模糊分析 传统的关键字分析对于空格、乱码等符号隔开的关键词束手无策，模糊分析引入了计算机人工智能技术，可以延展搜索深度，决不放过“西*藏*独*立”之类故意混入符号的内容。同时，也能有效防止“黄色属于暖色系统”之类的正常词汇因为设置了关键词“黄色”而被误检。图片片监测和和识别系系统 新一代图片识别引擎中，借助于图片形状、颜色、图像组成、目标大小对图像进行特征分析，将色彩空间量化完善了该技术，将纹理、形状和空间关系等视觉技术加入到对人体皮肤检测技术中去，产生了针对特定图像(如色情图像)内容识别的方法。主主动审计爬虫系爬虫系统 爬虫搜索系统采用独享带宽直接接入互联网，模拟用户访问互联网的过程，对网页内容进行主动搜索监测，系统采用多线程并行搜索技术，可以对大量的目标网站进行高速的访问搜索。主主动审计爬虫系爬虫系统主主动审计爬虫系爬虫系统分布式并行采集技术采用并行负载平衡搜索技术，充分利用资源，提高系统的效率。信息智能分析技术通过网页结构和内容属性分析，快速正则匹配、深度网页分析（JS、FLASH）等技术实现对网页特定信息内容的快速和准确发现，可实现文本内容、图片、视音频节目等的搜索发现。信息采集和分析通过不同的匹配规则，对目标网页的Title、文本标题、作者等信息进行抽取。WAP网站搜索技术模拟WAP网关对WAP网站的访问过程，支持WAP网站的爬虫搜索，实现WAP网站不良信息内容的主动搜索监测。音视频分析目前没有太成熟的产品，爬虫搜索系统可以通过对视频节目名称、简介、关键词标签等文本进行精确抽取和匹配后报警，由人工对疑似违规视频进行审核。低俗信息低俗信息监测封堵封堵1.触发策略关键字IDC WAP系统 IDC机房 触发策略关键字2.报警 3.审核 4.封堵 5.反馈 反馈 自动封堵：通过用户的网管平台或网络设备进行联动封堵，系统需要根据用户环境的实际情况做二次开发和外部接口联调。人工封堵：目前内容审计系统还不能达到100%的准确率，会有误报和漏报情况，所以需要人工参与最终的审核。对以误报主要通过后续人工判断，最终确认是否合法。对以漏报可能需要通过人工拨测、自动拨测、群众举报和媒体曝光等方式来弥补。将确认的非法信息网站加入黑名单，并予以控制。低俗信息低俗信息监测封堵封堵黑白名黑白名单管理管理将非法信息网站的域名或IP加入黑名单，宽带内容审计系统经过多年的积累，已经积累了一个庞大的非法网站黑名单库，提供完善的分类管理。白名单中的网站一律放行，如某门户网站报道中关于打击黄赌毒新闻，中间包含非法关键字信息，但此新闻是正面的，无需阻断。黑白名单提供手工维护管理。功能项目旁路检测技术爬虫技术文字、图片和音视频内容深度分析文字和图片可实现可实现网络协议支持支持多种协议监测只监测web服务内容封堵/过滤支持，但有一定局限性不支持黑白名单支持支持对现网系统影响对现网没有影响占用互联网带宽特定用户网页检测不受影响无法登陆有账号权限网页监测覆盖度高，需要在WAP/WEB流量经过链路设置旁路检测设备中，与爬虫的效率密切相关监测时效性有流量产生才监测周期性监测投资回报率高，需要在每个关键节点设置旁路检测设备，中，需要软硬件结合总结功能功能简介介文本内容监测系统文本内容监测模块针对WAP网关或IDC机房中传播的网页不良信息内容进行审计和报警，提供强大和多样的报警功能（页面报警和Email报警），能及时上报网页和发布内容的不良信息。图片内容监测系统网页图片监测模块对各种图片文件进行高效捕获，低于识别门限值的小图片和图片被自然过滤，并记录图片的URL，针对业务访问特点，对捕获的图片进行智能分类记录，经过去重分析处理后的记录在数据库中的图片减少80%。不良信息报警取证和处理系统监测到不良信息（包括网页文本信息和图片信息）后会实时进行页面报警和定时发送Email报警，以便管理员对报警记录进行审核和对报警。功能功能简介介IP域名管理系统准确捕获管辖范围内的活动IP、活动域名、IP域名对应关系，并通过外部接口，自动比对域名的备案信息，及时发现未备案域名，并形成域名管理统计报表，方便日常业务管理需要。并可为爬虫搜索子系统提供爬虫的种子站点库数据。过滤控制系统支持对特定的域名（或URL）和IP进行访问封堵，下发需要过滤的域名，此域名将不能被访问；下发需要过滤的IP，与此IP关联的域名将不能被访问。黑白名单系统支持白名单功能，对设置为白名单的主机IP，不进行监测审计。系统支持黑名单功能，把域名或IP加入封堵列表，可以实现黑名单封堵过功能功能简介介统计分析报表推荐配置推荐配置用途用途数量数量(台台)配置配置存储交换机124个以太网10/100/1000端口和4个基于SFP的千兆位以太网端口 线速二层交换，背板带宽（全双工）96G bit/s分光套件13：7单模分光器、尾纤、法兰盘等网管交换机124个以太网10/100/1000端口和4个基于SFP的千兆位以太网端口 线速二层交换，背板带宽（全双工）96G bit/s千兆数据采集探针（我司专用硬件设备）10型号：S300CPU：至强E5405*2内存：4G硬盘：300G SAS*4（Raid0/1）通信网卡：主板集成千兆电口网卡2个捕包口：根据实际审计线路情况配置千兆电口或光口。配置说明：按照支持1套千兆WAP网关进行估算，配置2台采集探针图片识别服务器1CPU：2四核英特尔处理器 2.4G/8MBcache/内存：8G(4*2G)DDR3/ECC硬盘：4 300G/SAS/15K rpmRAID卡 RAID0/1/5/6/10/50/JBOD256MB CACHE/8650通信网卡：板载网卡2个1000M RJ45，外置千兆网卡1块推荐配置推荐配置用途用途数量数量(台台)配置配置数据库服务器1CPU：2四核英特尔处理器 2.4G/8MBcache/内存：8G(4*2G)DDR3/ECC硬盘：8 300G/SAS/15K rpmRAID卡 RAID0/1/5/6/10/50/JBOD256MB CACHE/8650通信网卡：板载网卡2个1000M RJ45，外置千兆网卡1块 应用服务器1CPU：2四核英特尔处理器 2.4G/8MBcache/内存：8G(4*2G)DDR3/ECC硬盘：4 300G/SAS/15K rpmRAID卡 RAID0/1/5/6/10/50/JBOD256MB CACHE/8650通信网卡：板载网卡2个1000M RJ45，外置千兆网卡1块数据汇聚分流(用于单路POS线路)1协议转换ATCA载板，带板载TCAM，支持4个AMC槽位（可扩展10G、2.5G等子卡），24个Zone3 GE接口（RearIO板RT1024另配）110G POS AMC接口线卡，自带一个10G XFP光模块，包含软件124 GE SFP接口（模块另配）的ATCA RearIO板12U 2 slot ATCA机箱，Dual Star背板，2个风扇模块，双-48VDC电源输入10千兆以太SFP电口模块 RJ45Thanks