系统各项技术应遵循大数据相关规范要求.doc

（一）系统各项技术应遵循大数据相关规范规定；

大数据解决关键技术一般涉及：大数据采集、大数据预解决、大

数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检

索、大数据可视化、大数据应用、大数据安全等）

一、大数据采集技术

数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化

（或称之为弱结构化）及非结构化的海量数据，是大数据知识服务模型的主线。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映

像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。

大数据采集一般分为大数据智能感知层：重要涉及数据传感体系、网络通信体系、传感适配体系、智能辨认体系及软硬件资源接入

系统，实现对结构化、半结构化、非结构化的海量数据的智能化辨认、定位、跟踪、接入、传输、信号转换、监控、初步解决和管理等。必

须着重攻克针对大数据源的智能辨认、感知、适配、传输、接入等技术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、

半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。 重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决

策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等.

二、大数据预解决技术

重要完毕对已接受数据的辨析、抽取、清洗等操作。

1）抽取：

因获取的数据也许具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的数据转化为单一的或者便于解决的构型，

以达成快速分析解决的目的。

2）清洗：
对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

三、大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和

非结构化大数据管理与解决技术。重要解决大数据的可存储、可表达、可解决、可靠性及有效传输等几个关键问题。开发可靠的分布式文

件系统（DFS）、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系型大数

据管理与解决技术，异构数据的数据融合技术，数据组织技术，研究大数据建模技术；突破大数据索引技术；突破大数据移动、

备份、复制等技术；开发大数据可视化技术。

开发新型数据库技术，

数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中，非关系型数据库重要指的是NoSQL数 据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库

等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。

开发大数据安全技术。改善数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数

据真伪辨认和取证、数据持有完整性验证等技术。

四、大数据分析及挖掘技术

大数据分析技术。改善已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、

图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户爱好分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种分类法。

根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等；根据挖掘对象可分为关系数据库、面向对象数据库、空

间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web；根据挖掘方法分，可粗分为

:机器学习方法、记录方法、神经网络方法和数据库方法。机器学习中，可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法

等。记录方法中，可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析

(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中，可细分为:前向神经网络BP算法等)、自组织神经网

络(自组织特性映射、竞争学习等)等。数据库方法重要是多维数据分析或OLAP方法，此外尚有面向属性的归纳方法。

从挖掘任务和挖掘方法的角度，着重突破：

1.可视化分析。数据可视化无论对于普通用户或是数据分析专家，都是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结果。

2.数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是机器的母语。分割、集群、孤立点分析尚有各种各样五花八门的算法让我们精

炼数据，挖掘价值。这些算法一定要可以应付大数据的量，同时还具有很高的解决速度。

3.预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。

4.语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中积极地提取信息。语言解决技术涉及机器翻译、情感分析、舆情分析、智能输入、问答

系统等。

5.数据质量和数据管理。数据质量与管理是管理的最佳实践，透过标准化流程和机器对数据进行解决可以保证获得一个预设质量

的分析结果。

五、大数据展现与应用技术

大数据技术可以将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运营效率，

大大提高整个社会经济的集约化限度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能

技术，政府决策技术，电信数据信息解决与挖掘技术，电网数据信息解决与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统（道

路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统），大规模基因序列分析比对技术，Web信息挖掘技术，

多媒体数据并行化解决技术，影视制作渲染技术，其他各种行业的云计算和海量数据解决应用技术等.

公司采用各项技术均遵循上述大数据技术规范及规定，遵从互联网法律法规和网络道德规范。

（二) 系统各项技术应遵循国家相关标准和技术体制，没有相应国家标准则须遵循国际标准；

公司所采用系统各项技术遵循中华人民共和国《互联网管理法律法规》、国务院令第292号《互联网信息服务管理办法》和网络道德规范等法律、行政法规、部门规章、规范规定。

（三）系统整体设计遵循证券大数据最新规范规定

遵循中国证券协会发布的《证券公司集中交易安全管理技术指引》内容条例和大数据在证券公司中应用标准。
大数据在证券行业中的应用：
（一）大数据在证券业的个性化服务
1.将有快速收集传到高质量信息，以设计出客户需求的产品组合，不断根客户偏好做调整。加强风险监控、精细化管理、服务创新等。
（二） 大数据在量化投资方应用
挑战传统分析师和交易员，运用各种对全体数据的量化、重组、整合，低成本建立针对各个市场，面向不同用户交易策略。
（三） 大数据在量化投资方一个应用方向
高频交易单纯靠速度来发现价格差异是不够的，高频交易公司越来越依赖“战略顺序交易”，包含的算法 可以分析金融大数据，辨认特定市场留下的特别足迹。

大数据在证券公司具体应用
（一）对证券公司而言，高自适应性和零差错是一个极大挑战，它驱使可以支持对数据存储和解决的大规模并行机器群来提高计算的可靠性，hadoop分布式是解决上述问题途径之一。
（二）在营销服务方面，针对产品、服务、客户洞察精细化个个性化，从数据中提取客户价值等核心信息，对信息进行分析，精确营销和个性化解决，然后再针对客户营销策划、营销行动。
（三）流程结算方面，在加强计算数据检查同时，进行全方位流程化控制，减少系统风险，增强结算托管内控能力。
（四）算法交易方面，建立算法交易平台与量化投资平台，可认为投资者提供高频行情、智能策略交易与交易报盘绿色通道，并为证券公司资产管理部、证券投资部提供更加丰富、高效的策略化投资手段。通过交易策略的多维运算发现获利机会，根据设定策略全自动委托下单，从而快速完毕交易服务，保证执行效率，减少冲击成本。同时实现高端客户的个性化营销，提高客户价值。