基于大数据的安全分析及溯源关键技术关键技术标准规范及评分统一标准v.doc

“移动互联网系统和应用安全国家工程试验室”
基于大数据安全分析及溯源技术
技术规范

9月

目录
一、 项目背景 3
二、 项目建设目标 3
三、 总体架构 4
四、 本期采购内容 6
五、 关键采购需求 6
1. 供给商资质 7
1) 注册资金 7
2) 投标方产品案例 7
3) 投标方服务案例 7
4) 第三方资质 7
5) 信誉要求 7
2. 功效需求 8
1) 流量数据解析模块 8
2) 数据清洗及去重模块 8
3) 报文信息及协议解析模块 8
4) 数据入库模块 9
5) 分析算法库 9
6) 挖掘算法库 9
7) 恶意特征库 10
8) 趋势估计模型模块 10
9) 数据脱敏及模糊化模块 10
10) 信息生命周期管理模块 11
11) 日志审计模块 11
12) 网络及移动数据隐私防泄漏模块 11
3. 性能需求 12
1) 流量数据解析 12
2) 数据清洗及去重 12
3) 数据入库 12
4) 分析算法库 12
5) 挖掘算法库 12
6) 恶意特征库 13
7) 数据隐私保护及审计 13
六、 招投标评分表 13

一、 项目背景
国家发改委于11月4日正式批复（发改办高技[]2685 号文）中国电信建设“移动互联网系统和应用安全国家工程试验室”（下称国家试验室），中国电信确定由上海研究院为主承建。
为进行试验室建设，中国电信下达了“中国电信 年移动互联网系统和应用安全国家工程试验室建设工程”、“中国电信 年移动互联网系统和应用安全国家工程试验室配套工程”等项目，搭建移动互联网和业务安全研发试验平台，端到端安全测评和仿真试验平台，移动互联网安全技术应用示范平台等三大平台。
二、 项目建设目标
国家试验室已建成网络信息大数据采集套件、大数据分析系统软件，关键着眼于移动互联网信息内容安全方面研发。
本期采购1套第三方软件，在国家试验室现有基础上增加算法特征库、网络及终端数据保护等工具，完备国家试验室在“基于大数据安全分析和溯源”方向研发环境，并利用大数据在“移动互联网系统和应用安全”方面进行技术研究及突破，构建“大数据安全分析及溯源示范过程”，关键以实现：
1) 面向智能终端用户及应用开发商移动互联网仿冒应用识别及渠道监测能力：经过对海量数据进行分析，对主流移动互联网应用进行快速抽取及比对，进行仿冒移动互联网应用识别、警示和应用公布渠道监测；
2) 面向监管部门及移动互联网应用商城结合大数据安全分析移动互联网应用检测能力：经过对应用层协议上下文会话数据提取及深度分析能力，对移动互联网应用进行深度挖掘分析，结合移动互联网应用特征库及应用检测技术对应用App所包含恶意代码、木马病毒特征等进行发觉；
3) 面向政企用户网络威胁情报分析服务：利用流式计算和大规模并行计算等技术进行实时分析及深度挖掘等，经过流量对进行历史分析、回话关联对如APT（高级可连续性）攻击等进行检测；
4) 面向后端运维部门恶意行为发觉及溯源服务：对数据进行安全元数据提取，结合恶意地址、恶意行为特征进行监测发觉，可为移动互联网应用等后端服务器提供注入攻击监测、XSS攻击监测、远程命令实施监测等能力；
5) 面向国家安全部门提供移动互联网安全态势分析能力服务：关键结合海量数据分析挖掘技术对恶意行为进行发觉、事件反查溯源、传输估计/预警、系统漏洞发觉及挖掘等；

项目建设预期关键指标以下：
l 端对端采集清洗输出延迟 < 800ms
l 系统采集有效数据包丢包率 < 0.01%
l 实时清洗率 > 97%；
l 支持分布式白名单；
l 恶意特征库动态加载，生效延迟 < 0.5s
l 支持分布式旁路分析及挖掘算法库；
l 系统支持分布式负载均衡；
三、 总体架构
“基于大数据安全分析和溯源”平台整体架构以下图所表示：

其中绿色部分为国家工程试验室现有基础，关键为实现移动互联网信息内容安全方面分析和溯源；红色为本期采购包含内容，蓝色部分为试验室自主研发部分。
现在所含相关键数据源以下：
1) 和IT部大数据平台互通，关键获取固网DPI、C网DPI、LTE DPI等数据：中国电信信息园区 B12 1 楼试验室机房新增 1 根专线连接北泰(/云莲)机房；
2) 经过端口镜像使用分流采集设备，以1对多输入、输出获取IDC流量：信息园区 B2 IDC 2-1 机房 A13 机架至信息园区 B12B国家工程试验室机房；
3) 承接集团企业信安部对国家试验室开展大数据安全及大数据安全分析科研要求，和上海CU平台对接，获取当地IDC CU平台数据：新桃浦 3 楼 IDC B21 机架至信息园区 B12B 国家工程试验室机房；
4) 以FTP或离线数据导入方法不定时从集团“移动用户上网日志留存”平台获取电信移动用户上网留存日志；
四、 本期采购内容
本期关键采购功效模块以下：
1． 流量数据解析模块
2． 数据清洗及去重模块
3． 报文信息及协议解析模块
4． 数据入库模块
5． 分析算法库
6． 挖掘算法库
7． 恶意特征库
8． 趋势估计模型
9． 数据脱敏及模糊化模块
10． 信息生命周期管理模块
11． 日志审计模块
12． 网络及移动数据隐私防泄漏模块
五、 关键采购需求
本期采购需求分为：供给商资质、模块功效、模块性能三部分，具体以下：
1. 供给商资质
1) 注册资金
投标人注册资金情况，注册资金1000万元人民币以上；
2) 投标方产品案例
应含有为省部级或以上单位成功案例3个以上，须采取大数据分析技术进行数据挖掘或流量分析；
应含有近2年内协议金额大于200万运行商大数据平台建设或数据处理分析服务案例；
应提供该案例协议或立项证实，并提供该案例完整技术方案；
3) 投标方服务案例
近两年内：
应含有为省部级以上单位提供大数据安全管理软件或平台服务案例；
应提供对应协议或协议证实；
4) 第三方资质
对投标方所取得第三方资质要求，如：CMMI3级及以上资质、通信信息网络系统集成企业资质”丙级及以上或“计算机信息系统集成企业资质3级及以上，满足ISO9001质量管理体系认证；
5) 信誉要求
投标人不得存在下列情形之一：
u 投标人被责令停业或破产状态；
u 投标人被暂停或取消投标资格；
u 投标人财产被重组、接管、查封、扣押或冻结；
u 投标人在最近三年内（至今）有违法行为或被媒体曝光且在社会上造成恶劣影响；
u 投标人在最近三年内（至今）严重违反协议约定；
u 投标人在最近三年内（至今）有骗取中标；
u 投标产品在使用过程中出现过重大质量问题且未妥善处理；
2. 功效需求
采购内容功效需求以下，其中带*号项为需求关键项。
1) 流量数据解析模块
* 需能够支持解析pcap、netflow、sflow等大规模流量格式；
* 需可还原Http类型IP包头和内容，包含源IP、源端口、源所在地、目标IP、目标端口、目标所在地、协议、威胁等级等；
* 需可支持全球数据解析定位，获取所在经纬度；
2) 数据清洗及去重模块
* 需能确保实现数据一致性：当原始数据源更新时，清洗和去重后数据能反应改变和联络；
* 含有分布式实时清洗技术；
需能够有效预防数据污染，对搜集数据中副作用数据进行识别和过滤，和有效避免数据遭受入侵、篡改和替换；
需能依据平台需求未起源不一样数据进行标准化处理，统一为同一个待分析数据；
需能依据平台分析需要，进行必需降维处理，以聚焦关键指标分析，经过相关性分析进行降维；
3) 报文信息及协议解析模块
* 需可支持Http类型TCP协议解析，支持到链路层、传输层、会话层、应用层等协议识别和解析；
需可支持各类工控协议解析识别和移动应用Http类型协议解析识别；
需可支持标识未知应用层协议；
* 需可支持网页、Webmail等内容解析。
* 需可将解析内容进行重组再现，以直观进行展现。
4) 数据入库模块
* 含有数据处理过程智能调度；
* 支持针对结构化和非结构化协议报文数据入库接口。
* 数据入库接口需支持HDFS、HBase、Hive等非结构化数据存放平台。
5) 分析算法库
* 需可支持进行分析算法自定义，从而快速进行分析算法扩展；
* 需支持基于安全元数据共性计算特征，包含基于共同属性关联分析，和异构数据源之间元数据关联分析；
* 需可支持Web应用层Http类型协议上下文会话数据提取、深度分析能力；
* 支持恶意应用、恶意代码、恶意攻击者、恶意网址URL溯源分析能力；
* 应支持包含Hadoop、Spark、Storm等平台；
* 需支持当地布署，和最少3年分析算法库无偿更新；
* 需可提供进行二次开发Restful API接口；
6) 挖掘算法库
* 需可支持进行分析算法自定义，从而快速进行挖掘算法扩展；
* 需支持针对Webshell、XSS、SQL注入、爬虫、扫描攻击等大规模离线和实时混合分析和检测机制，并生成拦截过滤规则；
支持基于大规模移动应用Http类型流量聚类分析功效；
支持基于大规模一般Web流量聚类分析功效；
* 实现基于Http请求包深度安全检测能力，能够检测潜在恶意攻击行为和窃密行为等；
* 提供各类挖掘算法应支持包含Hadoop、Spark、Storm等平台；
* 需支持当地布署，和最少3年挖掘算法库无偿更新；
* 需可提供进行二次开发Restful API接口；
7) 恶意特征库
* 需可支持经过ioc等脚本工具查找某一类恶意文件、网站、代码等；
* 需可依据用户需求自定义恶意特征库；
* 应支持包含Hadoop、Spark、Storm等平台；
* 需支持当地布署，和最少3年挖掘算法库无偿更新；
* 需可提供进行二次开发Restful API接口；
8) 趋势估计模型模块
* 可提供针对移动平台应用传输趋势估计模型；
* 可提供针对移动平台恶意应用增加趋势估计模型；
* 提供针对一般Web应用恶意攻击增加趋势估计模型；
可提供针对漏洞和0Day传输趋势估计模型；
* 需可支持运行于分布式数据库之上，以适适用于进行海量数据分析；
* 需可进行估计模型可定义，以估计模型修改和扩展；
* 应支持包含Hadoop、Spark、Storm等平台；
* 需支持当地布署，和最少3年估计模型库无偿更新；
* 需可提供进行二次开发Restful API接口；
9) 数据脱敏及模糊化模块
* 需可支持敏感数据脱敏需满足PII（个人可识别信息）定义，即脱敏后数据不能包含可识别或定位个人信息集；。
* 需可支持对需要统计正确数据支持模糊化处理能力；
* 需可支持进行数据脱敏规则自定义；
需支持针对脱敏后数据进行审计，预防未脱敏数据外泄；
* 需支持当地布署，和最少3年无偿脱敏库更新服务；
* 需可提供进行二次开发Restful API接口；
10) 信息生命周期管理模块
* 需可支持对平台内安全元数据、帐号、应用等进行全步骤生命周期管理；
* 需可支持针对不一样权限和用途账号进行全步骤控制管理；
需可支持针对信息和用户管理规则自定义；
需可针对生命周期管理进行定时审计；
11) 日志审计模块
* 需可支持分布式日志数据高性能采集、格式化、存放和管理，而且和平台业务相互隔离；
* 需可支持提供日志范式化和详尽日志分类；
* 需可支持大规模布署和功效扩展；
能够以可视化方法展现日志审计结果，并最少标注出可疑日志、入侵行为日志等，为不一样层级用户提供多视角、多层次审计视图；
支持日志数据离线和在线备份、确保含有适宜容灾恢复能力；
需可支持日志等级设置，可提供不一样人员进行审计或故障排查、定位；
* 需支持日志统计格式、路径常规等设置；
12) 网络及移动数据隐私防泄漏模块
* 需可支持隐私数据规自定义，可依据业务灵活增删改隐私数据；
* 需可针对系统内数据进行隐私审计，支持正则表示式定义，以实现模糊审计；
* 需可含有近似实时检测网络中敏感数据内容能力，并能标识和存放；
需可含有近似实时检测、标识网络中威胁能力，支持阻断、提醒、告警和加密等功效；
* 需提供全业务步骤安全访问控制和授权机制，预防账号被滥用、冒用；并支持基于账号权限对不一样层次敏感信息进行屏蔽；
* 需可支持网络数据平台全部输入输出操作全部有日志统计功效、文件泄露能够快速定位泄露源头；
需支持备份数据加密机制，并建立数字水印，确保备份数据可追踪；
需支持对平台扫描、监控和预警模块，以保护平台及内部数据安全；
3. 性能需求
采购内容性能需求以下，其中带*号项为需求关键项。
1) 流量数据解析
* 需可支持峰值10GbpsHttp流量数据还原解析；
* 数据还原正确率需最少90%；
2) 数据清洗及去重
* 需能够有效甄别不完整数据项、去除反复数据，确保数据正确性最少95%以上；
* 需确保数据处理后冗余率在1%以下；
3) 数据入库
* 需支持在采取万兆网卡情况下，最大存放速度可达最少1G/S；
4) 分析算法库
*支持TB等级数据10秒内单关键字查询和检索操作。
*支持TB级10秒内单个元数据查询操作。
*支持TB级10秒内单个元数据增删改操作。
5) 挖掘算法库
* 需支持最少10种挖掘算法；
* 支持TB等级单条数据10秒内级查询和检索操作；
需支持5种及以上聚类分析算法；
需支持5种及以上安全挖掘算法；
6) 恶意特征库
* 提供不少于5000万恶意URL数据库；
* 提供不少于条Web应用层指纹数据库；
* 提供不少于20万恶意移动应用标识数据库；
提供不少于5000千万恶意攻击溯源IP数据库；
提供不少于200条恶意访问请求拦截规则库；
支持TB等级数据10秒内单个数据查询、匹配操作；
7) 数据隐私保护及审计
* 脱敏正确率需要达成95%以上；
支持实时数据隐私审计效率500Mbps，及10秒内操作响应；
支持日志统计能力1000条/秒以上；
需支持当数据外泄时，10秒内进行提醒并同时挂起数据传输进程；
六、 招投标评分表
配分类别
配分内容
配分
1、报价相关评分
计算货物投标总价时,以货物抵达买方指定交货地点交货价为依据。评标工作小组对各投标人投标价格逐一审核并修正得出修正后投标价,修正后投标价指修正错误并统一以人民币表示投标价。在进行价格评审时,将只考虑人民币报价。
1.1保修期后维保年费率评分（未报以0分计算）：
依据投标人所报保修期后维保年费率依次排序。
5
1.2报价评分：
依据符合招标文件要求投标人开标价依次排序，如投标人有效投标报价小于等于5家，以最低价和次低价平均价作为基准价。
如投标人有效投标报价大于5家小于等于10家，则去除全部报价中最高和最低报价后，取余下有效报价中最低价和次低报价平均价作为基准价。
如投标人有效投标报价大于20家以上，则去除全部报价中3个最高报价和3个最低报价，取余下有效报价中由低至高排名有效报价总数20%处（向上取整）报价作为基准价。
20
2、技术评分
设备和技术方案设计合理性、优异性和对需求满足情况
2.1设备或产品功效满足情况
需能够有效预防数据污染，对搜集数据中副作用数据进行识别和过滤，和有效避免数据遭受入侵、篡改和替换
需能依据平台需求未起源不一样数据进行标准化处理，统一为同一个待分析数据
需能依据平台分析需要，进行必需降维处理，以聚焦关键指标分析，经过相关性分析进行降维
需可支持各类工控协议解析识别和移动应用协议解析识别
需可支持标识未知应用层协议
支持基于大规模移动应用http流量聚类分析功效；
支持基于大规模一般Web流量聚类分析功效；
可提供针对漏洞和0Day传输趋势估计模型；
需支持针对脱敏后数据进行审计，预防未脱敏数据外泄；
需可支持针对信息和用户管理规则自定义；
需可针对生命周期管理进行定时审计；
能够以可视化方法展现日志审计结果，并最少标注出可疑日志、入侵行为日志等，为不一样层级用户提供多视角、多层次审计视图；
支持日志数据离线和在线备份、确保含有适宜容灾恢复能力；
需可支持日志等级设置，可提供不一样人员进行审计或故障排查、定位；
需可含有近似实时检测、标识网络中威胁能力，支持阻断、提醒、告警和加密等功效；
需支持备份数据加密机制，并建立数字水印，确保备份数据可追踪；
需支持对平台扫描、监控和预警模块，以保护平台及内部数据安全；
25
2.1设备或产品性能满足情况
需支持5种及以上聚类分析算法；
需支持5种及以上安全挖掘算法；
提供不少于5000千万恶意攻击溯源IP数据库；
提供不少于200条恶意访问请求拦截规则库；
支持TB等级数据10秒内查询、匹配操作；
支持实时数据隐私审计效率500Mbps，及10秒内操作响应；
支持日志统计能力1000条/秒以上；
需支持当数据外泄时，1秒内进行提醒并同时挂起数据传输进程；
20
2.3对软件调试、验收应答情况
5
3、商务评分
对投标人投标文件编写、综合实力等进行评判
3.1注册资金
20
3.2投标方产品案例
3.3投标方服务案例
3.4第三方资质
3.5信誉要求
4、服务评分以其它
4.1服务人员情况，服务能力情况
5
4.2远程支持服务能力
4.3现场支持响应能力
4.4特征库更新服务能力
4.5是否提供原厂服务承诺函