大数据安全运维一体化解决方案.pdf

大数据安全运维一体化解决方案关于瀚思 公司定位：利用大数据、机器学习等技术解决信息 安全和运维问题成功案例：招商银行、公安部、天津公安、东风日 产、北京联通、河北金融学院、北京燃气集团等 行业贡献：/CNCert中国互联网网络安全威胁治理联盟成员,与公安部三所共同制定大数据安全体系标准,参与数据治理国家标准制定 公司荣誉：,美国硅谷Red Herring全球创新公司百强2项目背景随着IT业务和产品服务的多样化，使得业务系统产生的数据急剧增长，同时所需的设备 数量和安全设施也随之增加。如何能更好的使用这些数据，提高处理效率，成了迫在眉睫的 任务，其中首先要实施的是：安全大数据，通过收集对应各类安全设备日志与网络流信息，清洗归并，进行对应规则判 断，以及分析建模。应用大数据，能够快速而精确地供系统负责人查询到需要的信息与上下文。监控大数据，收集各类监控子系统详细事件信息，清洗切分，供搜索与横向规则判断（规 则引擎），并能做对应分析计算（如监控基线）。3目录 Table of Contents-.系统技术架构_.系统基础平台三.安全分析四.运维分析五.应用分析六.成功案例4系统技术架构瀚思大数据安全运维一体化分析系统瀚思大数据安全运维一体化分析系统，是一款基于大数据、机器学习、模式识别等技术的企业级智能安全运维分析平 台，它具有海量数据采集、集中存储、快速检索、实时分析及告警、可视化展现和报告等功能。为企业安全事件及异常行 为检测、安全态势感知、运维管理和应用分析提供了一个智能、高效、可灵活扩展的解决方案。本系统采用旁路快速检测方式，是对现有安全运维体系的有效补充，亦可看做下一代的安全信息及事件管理系统和运 维分析平台，并可逐步替代现有分析系统。异常行为分析数据源瀚思HanSight威胁情报中心态势感知6技术架构g数据源EM1 端口监听DIK目数据存储HDFS元数据非结构化数据（图片、网络包）ElasticSearch索引结构/半结构化数据（日志、记录）因安全分析和展现安全分析工具模式识别智能去重数据可视化外部接口管理控制台Web 接口安A 能 第 识7系统基础平台资产管理瀚思安全运维一体化系统提供完善的资产管理系统，为网络中的所有资产建立安全档案卡，资产信息包 括以下信息：基础信息：资产名称、IP地址、所属部门、安全域、设备类型、地理位置、负责人等；安全属性：可用性、完整性和保密性以及资产价值；弱点属性：资产漏洞信息、安全配置信息等；费产管子里 安全域管埋#资产名挣安仝域日21内网安全管理系统172.16.2 1912北京力、公区内网安全登录2冠群金辰口方寺墙-械都机房172-16.5.2 2成都机庙口后3天融信IDS-或者B机房172.16.5.12成都机房IDS4linux壬机2-4匕京机房172.16.5.4北京机房linux5linux主机 H 匕京机房172-16.5.3北京机房linux6堡叁主机-北京机房172.16.5.2北京机房堡叁主机7VPZ-成者B为、公区172.16.7.100成者B为、公区VPN8天融信防火墙 成都为、公区172 16.71成都为、公区防火墙9天融信防火墙-成都机房172.16.5.1成者B机房防火墙1 OOA系统一匕京机庙172 16.2 19 4北京机房OA系统冒史 上一运 第1运以2克共20条记录 下一运 末员 1 跳转9数据采集范围日志网络/安全设备、主机操作系统、数据库、中间件、应用系统;内部 数据网络流量抽样网络流量：NetFlow信息；全流量数据：网络全流量数据包；外部 数据威胁 情报恶意域名和URL、恶意IP地址、DNS信息、木马病毒信息(MD5/SHA-1)等;10数据采集方案日志网络设备女装AgentSyslog/SNMP主机操作系统中间件应用系统数据库安全设备FTP/Kafka/HDFS数据库JDBC11数据采集方案网络流量NC旁路连接并采集用户端镜像网络数据:1、源IP,目标IP2、协议类型、端口号3、TCP会话状态信息（建链、拆链、重传等）4、报文尺寸与数量5、组包和解包6、报文内容解析12HanSight安全运维分析一体化系统的微服务构架137产HanSight安全运维分析系统的优势X 基于特征库/规则的应对场景比例变小，机器学习辅助成为必须 以数据驱动安全，实现：,数据全方位可见/实时安全数据,算法分析加人工辅助,适合企业的安全运维一体化策略,强大的底层存储分析架构和逻辑引擎14算法分析流程 适合安全分析的无监督学习为主 有人工辅助的半监督学习无监督异常分析-人工确定异常产生标记样本-半监督学习15性能基准入库：30000EPS实测单独入库最高可接近20000EPS,为保证查询性能，以当前配置可使其较稳定运行查询简单查询一天数据（3亿条）：1s简单查询七天数据（2 5亿条）：10s采集器性能单个采集器读取文件：20000EPS（多文件可并行处理）16安全分析大数据安全分析安全事件实时数据检测安全规则库网络 攻击木马 病毒漏洞利用非法 访问关联分析引擎历史数据分析常为析 异行分图分析安全告警溯源分析1=级中 级低 级数据 泄露病毒 爆发登陆 异常威胁场景还原战损分析处理措施18威胁情报API调用办公网环境威胁检测请求瀚思大数据安全管理平台瀚思安全威胁情报公有云结果返回瀚思大数据安全管理平台19实时数据分析-关联分析实时关联分析：瀚思大数据安全管理平台通过基于Spark Streaming技术实现的强大的CEP引擎，对系统采集的实时数据流进行关联分析。关联的模式包括统计关联、资产关联、情报关联、模式关联、漏洞关联、策略关联等；字段名称源地址源地址=192.168 1.1源端口=8。协议=tcp运算符=事件名称值类型手工输入相同条件发生时间源地址=192 16811源湍口=80协议=tcp事件名称不同条件发生时间zJl设备类2 a=VPN设备类a=VPN值设备类型发生时间事件类型发生时间逻辑运算 and字段 发生时同时长|分钟 次数事件1：发生时间v事件 2发生时间源端口=80事件1发生时间告警名称告辔级别运算符事件1发生时间次告警内容#（事件1$srG 通过Wasset_id访问（DA系统成功20历史数据分析-交互分析全文检索可视化分析:e搜索日期和时间范围 officescan and hao.zhang783 条日志 耗时 48ms 时间范围：2016-040 00:00:00 至 201 80&26 00:00:00每冏。每天O每8小时&每小时字段res详情 resultresult字段分析条形图分布图1 Unable to quarantine filex 00009996D1 fO3eef 15ec064ac387d26b554fe3bf87 N/A ma eScan 趋势TMCM 中国 168.168.168.70 168.168.168.70 000 326e4 SLF_INCIDE NT_E VT_VIRUS_FOUND_CLE AN_SUCCE SS 5 537?US_FOUND_CLE AN_SUCCE SS Security product=OfficeSca 239 icurity product IP=10.228.98.46 E vent time=2016/4/21 5:27=Clean Result-File cleaned Infection destination=0000统计分析2.File cleaned3.File quarantined9996DP Infection destination IP=l0.228.98.46 Infection source=N/A Infection source IP=0.0.0.0 D estination IP=0.0.0.0 Source IP=0.0.0.0 Domain=Lo User=FAW-VWhao.zhang.cp2恶意代码 防病 毒长春长春总部保留地址 Lo 2016-04-21T13:21:54.000Z 0.0.0.0 fa402beb75e943bfae 15603670061831 ro ot.node-malcode-LNKJPPE DO.SM File cleaned fdbe8b4e55bc4cb7880d 10b094deed2c virus 总部服 务器区保留地址*0.0.0.0 root_node-yingjianzichan-virus-0.0.0.0 趋势TMCM true 病毒：LNKJPPE DO.SM 安全设备IP：10.228.98.46 用户：FAW-VWhQO.zhong.cp2 结果：File cleaned 2016-04-21 21:21:42 972c总体分析安全预杏(8321)McAfee IPS(119)(23741)gDeep Security(15468)21历史数据分析-异常行为分析UEBA:用户/实体异常行为分析：以部门、个人、资产、资产群等为单位建立行为基线；关联用户与资产的行为；用机器学习算法或者预定义规则找出严重偏离基线的异常行为;采用技术：机器学习/基线分析/图分析：采用无监督机器学习算法；计算结果易于可视化，便于理解；覆盖整个一片安全事件，不是孤立的点；22机器学习机器学习：瀚思大数据管理平台可建立特定的网络威胁分析模型，定时的对网络中的APT攻击进行检测 分析，如僵尸网络、低速扫描、恶意URL分析等23基线分析基线分析：企业内用户的行为模式，只要所属部门和角色不变，就不会发生太大变化。服务器或者其他资源 也类似。通过算法把变化幅度量化，数值超过基准过高的就是异常事件，而安全事件必然是从异常事件开始。EmailLogon xiaogeOhansight.coniSKC0670 均值*WSKC0670 5值 baiduxooi 其它SKC0670 均值 Success Failure如：三个分析维度：邮件、HTTP访问量、登录。每一个维度包括总量（柱宽度、维度值分布百分比），右边是 均值的对比。红色代表异常。所以第一个图表示此用户邮件发给的数量（宽度）远大于当 天同部门平均值。右边代表其登录失败比例远大于同部门平均值。24安全场景（低速扫描）威胁名称：低速扫描算法处理后的海量ip的长周期通讯模式图实际效果：作为用户每天基本运维的内容；每个月发现约1 2起低速扫描事件；26安全场景（撞库攻击）威胁名称：撞库攻击数据输入：网银应用系统访问日志检测对象：网银近400个敏感URL,涵盖注册、登录、密码重置等分析过程：用户自定义需要分析的URL;对这些URL建立ARIMA模型；每天入库信息与模型比对；与模型不匹配则产生预警信息；用户根据预警进一步确认；实际效果：作为用户每天基本运维的内容；目前预警频次约2 3次/周；已帮用户发现及溯源超过20次的风险27安全场景（账号异常）挑战：随着移动办公和BYOD的普及，企业越来越难从 正常的行为找出被盗用的账号行为。HanSight解决方法 HanSight EnterpZse自动建立特定用户的画像，包括他的合法行为白名单和行为基线 用户行为分析引擎侦测用户的异常行为，例如从可疑位置登录，或是访问和平时完 全不同的数据或数据量，或是把数据上传 至公司外部的可疑地址 系统可以提供该用户最近的所有行为给安全管理员进行进一步的详细调查28安全场景（关联u RL访问统计和基线）“，“一个；异常URL分析结果 Q序号URL 时间 统计值 基线值 TOPIO IP12013-12-16 29 2 218.17.218.17(26),111.197.147.11(1),111.197.147.227(1),221.194.176JDDApply.aspx.196 22013-12-16 25 5 218.17.218.17(5),59.37.11.97(2),112.95.188.247(2),219.142.190.193(2erManager/tf_FullClose.aspx),222.221.64.101(2),1.80.109.17(1),58.253.87.12(1),58.254.168.84(1),106.81.13.16(1),110.187.201.96(1)32013-12-16 24 10 36.44.80.88(3),114.96.161.107(2),14.111.39.44(1),14.217.152.123(1),5C/CreditCardV2_PasswordManager/pm_ 9.61.137.247(1),113.65.18.5(1),113.139.28.230(1),116.11.198.97(1),11ModifyPWPin.aspx 8.26.249.69(1),118.251.50.232(1)4OpenFundProtocol.aspx 54.168.85(1),59.37.11.97(1),60.55.10.61(1),110.184.208.112(1),115.168.38.199(1),121.15.145.13(1)52013-12-16 20 10 1.80.208.215(1),27.46.122.97,60.194.113.8(1),61.140.38.114(1),101erManager/tf.PartAppend.aspx.45.157.162(1),111.166.218.231(1),113.57.188.46(1),113.64.74.243(1),113.89.49.64(1),113.141.216.10762013-12-16 18 8 218.17.218.17(4),124.152.227.55(2),58.254.168.83(1),61.164.117.87(1EntrustCancel.aspx),113.200.249.3(1),116.77.5.5(1),118.250.68.104(1),119.96.131.163(1),119.131.105.26(1),125.39.34.40(1)72013-12-16 16 7 113.242.187.209,121.32.149.217,14.23.233.149,113.64.115.2ntManager/am_SetDayLimitForATMPOS 50(1),114.66.201.9(1),118.112.180.82(1),118.186.202.228(1),118.186.New.aspx 203.210(1),118.250.3.70(1),125.71.216.119(1)29安全场景（奇异值及请求来源分析）最少访问的URL（91 A X七 丁*主要请求来源。电。+X尸9192937.aspx(1)/+CSCOEf/win.js(1)/.%2f.%2f.%2f.%2f.%2f.%2fwinnt/system32/pentnt.exe(1)/win.ini /.jsp/WEB-INF/classes/Env.java 1 /CFDOCS/cfmlsyntaxctieck.cfm(1)/CADE/administratorAabs.cfm(1)ZCHANGELOG.txt(1)l/Base/cn/Page/MessagePage2.aspx(1)l/Base/cn/Page/MessagePage3.aspx Other values(4349699)500000040000003000000200000010000000 61.164.117.87(45925)219.139.242.115(24119)60.166.47.226(18377)115.238.149.52(13494)220.163.86.138(10825)59.56.175.6(8058)121.15.145.13(7683).218.17.218.17(7056)59.37.11.97(6731)222.180.173.65(5716)5000030安全场景（访问时间线分析）TIMELINE宜看“A 缩小|sc.status:304(406182像 1sc学tatus:4小(262673)条|sc status:500(8僚|count/每 1m(668863 条记录)400200100012:0000:0012:0000:0012:0000:00 12:0000:0012:0000:0012:0000:0012:0000:0012-0912-1012-1012-1112-1112-12 12-1212-1312-1312-1412-1412-1512-1512-160共75行纪录，本页显示从0到15行4&timestamp sc_status 1 1 432 2;*NET*CLR*2.0 5072 7;*.NET*CLR*3 0.04506.30)id=99 62.43.78-2 9532 747 PC=id=99 62 43.78-2 9532 7472 0.30105305%3A%3O77D8484A2 F4883311 3D53CCD3453DF:lv=1 3868511 362 81:ss=1 386851 059078;*Au th Type=;_ID=99.62.43.782 9534B4A2 F48B33113D53CCDB453DF8Dcng/CFHomeV2 aspx 2 00 0 0 630 62 4 0/g r i d 1711 si og/i i s I og s/e x 1 1 0 2 013-12-12 12:2 9 572 013-12-12 12:2 9:56 W3SVC1 PBSZ-A 10 0 10 10 GET H|BsVScnp：Resource axd d=LwxfA9DWNiYOXEcQdDJ7kuu6RejRDLXi3cmJzOU7agOOaHZ4-NQ0sEwU6gVrzZYtaplqnQf3PjYJHjXqUYMV02 J83ERJaZ-vqBg8fVNE7tVSt5dyl4WmChY7J_67ZBMy5j8CYwjRqrBQCnoK50EG66UJuWfcaLeCvrik7MzJeKlvS2 IO&t=3aeS779d 443 115.2 38.149.52 HTTP/1.1 Mozilla/4 0*(compatiblo；*MSIE*6.0;*Windows*NT*5.1;*SV1;*.NET*CLR*1.1 432 2;*.NET*CLR42.0.00000acookie_kl cs_cookie cs_host cs_method cs_reforer cs_uri_query csuri-stemO cs_useragent2 013-12-12 12:2 9:565072 7.*.NET*CLR*3.0.04506.30)id=99.62 43.78-2 9532 747 53DFIv=13868511362 81 ss=1386851059078:Au thT tps:gs/exl 3 T2 T2.logicroson internet information=id=99 62.43.78-2 9532 7472 0.30105305%3A%3A77D84B4A2 F48B33113D53CCDB49 62 43.78-2 9532 7472 0.30105305 77D84B4A2 F48B33113D53CCDB453DF8O htng/CFHomoV2.aspx ervices 6.0 1.0 2 013-12-12 12:2 9:562 013-12-12 12:2 9:56 W3SVC1 PBSZ-A 10.0.10.10 GETtible;*MSIE*6.0;*Windows*NT*5 1;*SV1：*.NET*CLR*m 2 00 0 0 32 437 799 0/gridl/uslog/iisloftsVUI/Base/cn/doc/lmagos/zk prg 443 11 5.2 38.149 52 HTTP/1 1 Mozdla/4 0*(compa 32 WCLR2.0.5072 7;*.NET*CLR*3.0.04506.30)id=99.62.43.78-2 9532 7d=99.62.43.78-2 9532 7472 0.30105305%3A%3A77D84B4A2 F48B33113D53CCDB453DI_99.62.43.78-2 9532 7472 01053077DMB4A2 F48B3311 3D53CCDB453DF8D https:PC/Financing/CFHomeV2 aspx|n 2 00 0 0 587 618 0/grid 1/iislog/iislogs/ex1312 12 log Microsoft Internet Information Services 6 0 1 0 2 013-12-1212:2 9:5641核心SOP交易数据分析（交易返回码和交易量分析）6 admin,。最近4小时427产核心SOP交易数据分析（交易成功率分析）t/prrale WD Eirn code suGCMe TO 094(“3Un 2 M 2Dte.14 M-M2 3fd 30%W14 3.W-1皿UlBUaMUmp per B mtviftttT)aw.wtum WCCM*rvwcAtni iprwr F ZJ22 16.15:58:00 0W Q.BM.0.B9.10?M.0.32.12 3W2O16t l$15?.00.(KD O.iB.0.a.103&l.0.32.1 F ZJ22 16.15:55 00 000 Q.93M.0.B9,W)M.0.32.1i2 3R2 016,ISiSSxOO.OOO O.3Bl.0.89.106M.0.32.1 F ZJB2 16,15:54 00 000 Q.9M.O 09.103BI.O.l Mir 2 3K2016,1S：52:00.000 O.MBi.0.a.103M.0.32.1 F ZJB2 1b.15：H OD ODO Q.93M.089.103M.O.32.12 3KM6.IS：5O.OO.OOO O.t2&A.0.8.W361.0.32.1 F ZJ72 01(.15:49:00 000 0.MM.0B9.10e223”2016,1S：48.OO.OOO Q.MM.0.32.1 F ZE2 1 瓦 15：4 00 08 0.9JM.089.10;SI.0.3M23”2O16t 1S144.00.000 O.MBA.0.B9.1O3M.0.32.143业务场景分析（反欺诈）第一步：建立数据模型威胁名称：盗用身份证开户及资金转入转出异常数据输入：网银应用系统日志检测对象：网银资金交易用户分析过程：自定义分析的网银交易日志周期；将海量用户手机号、账户号和身份证号码 进行关联并可视化展示；发现盗用大量身份证频繁开户的用户；进 一步钻取分析，查看到可疑的用户手机号 及所有相关的账户和身份证号；同时发现相关账户有金融业务风险中的 火山和黑洞情况出现；实际效果：作为用户每天基本运维的内容；已帮用户发现多起账户异常交易行为；13007215200-.黑洞模型：账户大量转入交易第二步：发现可疑号码,滓第三步：钻取关联分析火山模型：账户大量转出交易44分析告警 单数据源简单规则，通过对每次最新的监控数据进行阈值比较 上下限阈值比较 数据存活性比较 单数据源组合规则，对简单规则的结果进行进一步的处理，来减少告警量 多次告警，当触发的事件在一段时间内超过一定的次数时 告警冷却，当同一告警多次出现时，进行相应的冷处理。变化告警，当监控数据与前一时间点差别很大时，进行告警。多数据源组合规则，对多个数据源进行计算后获得：基线告警，当数据与基线数据差别较大时，进行相应的告警 组合运算，可以计算比例超过/低于阈值后告警45成功案例某商业银行大数据分析案例项目背景：网上银行系统作为某商业银行最为重要的业务系统，每天都会产生大量日志，遗憾的是 由于处理能力所限，银行现有HP ArcSight系统只能处理10小时内产生的日志。从而造成银行无 法对这些日志进行长周期、大数据量的关联分析，进而发现潜在的威胁。银行急需一个大数据 安全分析平台，以便对包括网银日志及SIEM系统事件进行长周期集中保存，并进行关联分析，从长远上，可以对留存的日志及事件进行关联并做长周期的分析，以便找到安全隐患。客户现状:1.网银日志每天新增800GB,因ArcSight处理能力所限，只能存储分析最近10小时数据；2.已部署的WAF和ArcSight基于特征码或规则进行检测，缺少对未知威胁和异常行为分析手 段；3.大量安全事件处理效率低，安全问题快速发现及溯源难；47项目需求及阶段性实现 ns日志收集 Apache日志收集 ArcSight事件收集(FW/IDS/IPS/WAF)数据留存2个月 数据建模及未知威胁 发现 安全预警 数据分析可视化 搜索准实时响应大数据平台搭建IIS/Apache 日志 采集分析数据源入库规整化全文检索数据可视化数据长周期留存搜索准实时响应性能调优平台监控 异常行为建模 定制化图表需求/TOPX/Histogram/Term Aggs/Monitoring 运维UI定制 ArcSight事件数据 收集及关联分析 扩容 业务分析48