网络大数据现状与展望.docx

网络大数据:现状与展望1引言1.1研究与发展现状近年来，随着互联网、物联网、云计算、三网融合等IT与通信技术的迅猛发展，数据的快速增长成了许多行业共同而对的严峻挑战和宝贵机遇，因而信息社会己经进入了大数据(hig Data)时代.大数据的涌现不仅改变着人们的生活与工作方式、企业的运作模式，甚至还引起科学研究模式的根本性改变.一般意义上，大数据是指无法在一定时间内用常规机器和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合川.网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中彼此交互与融合所产生并在互联网上可获得的大数据，简称网络数据. 当前，网络大数据在规模与复杂度上的快速增长对现有IT架构的处理和计算能力提出了挑战.据著名咨询公司IDC发布的研究报告，2011年网络大数据总量为1. 8 ZB，预计到2020年，总量将达到3 5 ZB.IBM将大数据的特点总结为3个V，即大量化(Volume)、多样化(Variety)和快速化(Velocity).首先，网络空间中数据的体量不断扩大，数据集合的规模己经从UBTB到了PB，而网络大数据甚至以EB和ZB(10z1)等单位来计数.IDC的研究报告称，未来十年全球大数据将增加50倍，管理数据仓库的服务器的数量将增加10倍以迎合50倍的大数据增长.其次，网络大数据类型繁多，包括结构化数据、半结构化数据和非结构化数据.在现代互联网应用中，呈现出非结构化数据大幅增长的特点，至2012年末非结构化数据占有比例达到互联网整个数据量的75%以上.这些非结构化数据的产生往往伴随着社交网络、移动计算和传感器等新技术的不断涌现和应用.再次，网络大数据往往呈现出突发涌现等非线h状态演变现象，因此难以对其变化进行有效评估和预测.另一方而，网络大数据常常以数据流的形式动态、快速地产生，具有很强的时效性，用户只有把握好对数据流的掌控才能充分利用这些数据. 近几年，网络大数据越来越显示出巨大的影响作用，正在改变着人们的工作与生活.2012年11月时代杂志撰文指出奥巴马总统连任成功背后的秘密，其中的关键是对过去两年来相关网络数据的搜集、分析和挖掘.目前，eBay的分析平台每天处理的数据量高达100 PB，超过了纳斯达克交易所每天的数据处理量.为了准确分析用户的购物行为，eBay定义了超过500种类型的数据，对顾客的行为进行跟踪分析. 2012年的双十一，中国互联网再次发生了最大规模的商业活动:淘宝系网站的销售总额达到191亿元人民币.淘宝之所以能应对如此巨大的交易量和超高并发性的分析需求，得益于其对往年的情况，特别是用户的消费习惯、搜索习惯以及浏览习惯等数据所进行的综合分析. 网络大数据给学术界也同样带来了巨大的挑战和机遇.网络数据科学与技术作为信息科学、社会科学、网络科学和系统科学等相关领域交叉的新兴学科方向正逐步成为学术研究的新热点.近年，Nature和Science等刊物相继出版专刊来探讨对大数据的研究. 2008年Nature出版的专刊“BigData，从互联网技术、网络经济学、超级计算、环境科学和生物医药等多个方而介绍了海量数据带来的眺战叫.2011年Science推出关于数据处理的专刊Dealing with Data，讨论了数据洪流(Data Deluge)所带来的机遇川.特别指出，倘若能够更有效地组织和使用这些数据，人们将得到更多的机会发挥科学技术对社会发展的巨大推动作用.1. 2网络大数据研究的意义 总体而言，网络大数据研究的重要性体现在以下几个方而: (1)网络大数据的研究对捍卫国家网络空间的数字主权，维护社会稳定，推动社会与经济可持续发展有着独特的作用.信息化时代，国家层而的竞争力将部分体现为一国拥有网络大数据的规模、活性以及对数据的解释与运用的能力.国家在网络空间的数字主权也将是继海、陆、空、天四空间之后另一个大国博弈的空间.在网络大数据领域的落后，意味着失守产业战略制高点，意味着国家安全将在网络空间出现漏洞.为此，今年3月，美国政府整合6个部门投资2亿美元启动“大数据研究和发展计划”.在该计划中，美国国家科学基金会提出要“形成一个包括数学、统计基础和计算机算法的独特学科”.该计划还强调，大数据技术事关美国的国家安全，影响科学研究的步伐，还将引发教育和学习的变革.这意味着网络大数据的主权己上升为国家意志，直接影响国家和社会的稳定，事关国家的战略安全. (2)网络大数据是国民经济核心产业信息化升级的重要推动力量.“人、机、物”三元世界的融合产生了大规模的数据，如何感知、测量、利用这些网络大数据成为国民经济中许多行业而临的共同难题，成为这些行业数字化、信息化的障碍和藩篱.如何使不同行业都能突破这一障碍，关键在于对网络大数据基本共性问题的解决.譬如，对于非结构化数据的统一表示与分析，目前缺少有效的方法和工具.因此，通过对网络大数据共性问题的分析和研究，使企业能够掌握网络大数据的处理能力或者能够承受网络大数据处理的成本与代价，进而使整个行业迈入数字化与信息化的新阶段.在这个意义上，对网络大数据基础共性问题的解决将是新一代信息技术融合应用的新焦点，是信息产业持续高速增长的新引擎，也是行业用户提升竞争能力的新动力. (3)网络大数据在科学和技术上的突破，将可能诞生出数据服务、数据材料、数据制药等战略性新兴产业.网络数据科学与技术的突破意味着人们能够理清数据交互连接产生的复杂性，掌握数据冗余与缺失双重特征引起的不确定性，驾驭数据的高速增长与交叉互连引起的涌现性(Emergence)，进而能够根据实际需求从网络数据中挖掘出其所蕴含的信息、知识甚至是智慧，最终达到充分利用网络数据价值的目的.涌现性是指由低层次的多个元素构成高层次的系统时展示出的每个单一元素所不具备的性质.网络数据不再是产业环节上产生的副产品，相反地，网络数据己成为联系各个环节的关键纽带.通过对网络数据纽带的分析与掌握，可以降低行业成本、促进行业效率、提升行业生产力.因此，可以预见，在网络数据的驱动下，行业模式的革新将可能催生出数据材料、数据制造、数据能源、数据制药等一系列战略性的新兴产业. (4)大数据引起了学术界对科学研究方法论的重新审视，正在引发科学研究思维与方法的一场革命.科学研究最初只有实验科学，随后出现了理论科学，研究各种定律和定理.由于在许多问题上，理论分析方法变得太过复杂以至于难以解决难题，人们开始寻求模拟的方法，这又产生了计算科学.而大数据的出现催生了一种新的科研模式，即而对大数据，科研人员只需从数据中直接查找、分析或挖掘所需要的信息、知识和智慧，甚至无需直接接触需研究的对象.2007年，己故的图灵奖得主吉姆格雷( JimUray)在他最后一次演讲中描绘了数据密集型科学研究的“第四范式”(The Fourth Paradigm)，把数据密集型科学从计算科学中单独区分开来.格雷认为，要解决我们而临的某些最棘手的全球性挑战，“第四范式”可能是唯一具有系统性的方法. 网络大数据的深挖掘、大规模利用是新兴产业界的立足点.即便针对大数据的研究目前还没有建立一套完整的理论体系，也缺少高效快速的处理、分析与挖掘的算法与范式，但大数据的应用前景毋庸置疑，因为大数据从根本上来说就是来源于应用的问题.著名出版公司() Reilly的创始人Tim O Reilly断言，大数据就是下一个Intel Inside，未来属于那些能把数据转换为产品的公司和人群.MUI的研究报告也宣称，大数据是下一代革新、竞争力和生产力的先导，网络大数据可为世界经济创造巨大价值，提高企业和公共部门的生产率和竞争力，并为消费者创造巨大的经济利益.Uartner公司则更具体地预测，到2015年，采用大数据和海量信息管理的公司将在各项财务指标上，超过未做准备的竞争对手20%.本文梳理了网络大数据所带来的挑战以及相关的研究体系，从网络空间感知与数据表示、网络大数据存储与管理体系、网络数据挖掘和社会计算以及网络数据平台系统与应用4个方而回顾了相关领域的新近发展，探讨了网络大数据研究方向和所而临的挑战，并展望了未来的主要研究方向.2网络大数据带来的挑战 如上所述，网络大数据而临着来自诸多方而的挑战.但从研究的角度来说，根本挑战在于其复杂h、不确定性和涌现性.对这3个基本特性的研究决定着网络大数据的发展趋势、研究进展和应用前景.2. 1网络大数据的复杂性 复杂性造成网络大数据存储、分析、挖掘等多个环节的困难.网络大数据的复杂性主要包括数据类型的复杂性、数据结构的复杂性和数据内在模式的复杂性. (1)数据类型复杂性.信息技术的发展使得数据产生的途径不断增加，数据类型持续增多.相应地，则需要开发新的数据采集、存储与处理技术.例如社交网络的兴起，使得微博、SNS个人状态信息等短文本数据逐渐成为互联网上的主要信息传播媒介.与传统的长文本不同，短文本由于长度短，上下文信息和统计信息很少，给传统的文本挖掘(如检索、主题发现、语义和情感分析等)带来很大的困难.相关的研究包括利用外部数据源(如Wikipedia 搜索结果川等)扩充文档，或者利用内部相似文档信息来扩充短文本的表达川.然而，无论是利用外部数据，还是利用内部数据，都可能引入更多的噪声.另一方而，不同数据类型的有机融合给传统的数据处理方法带来了新的挑战.例如在社交媒体的研究当中地域信息与内容的融合叫、时空信息与内容信息的结合等等. (2)数据结构的复杂性.传统上处理的数据对象都是有结构的，能够存储到关系数据库中.但随着数据生成方式的多样化，如社交网络、移动计算和传感器等技术，非结构化数据成为大数据的主流形式.非结构化数据具有许多格式，包括文本、文档、图形、视频等等.非结构化数据当中蕴含着丰富的知识，但其异构和可变的性质也给数据分析与挖掘工作带来了更大的挑战.与结构化的数据相比，非结构化数据相对组织凌乱，包含更多的无用信息，给数据的存储与分析带来很大的困难.目前相关的研究热点，包括开发非关系型数据库(如Uoogle的BigTable，开源的HBase等)来存储非结构化数据.Uoogle提出了MapReduce计算框架，Yahoo!Facebook等公司在此基础上实现了Hadoop Hive之类的分布式架构，对非结构化数据做基本的分析工作.国内各大公司和科研单位也启动了用于支撑非结构化处理的基础设施研发，如百度的云计算平台、中国科学院计算技术研究所的凌云(LingCloud)系统等. (3)数据模式的复杂性.随着数据规模的增大，描述和刻画数据的特征必然随之增大，而由其组成的数据内在模式将会以指数形式增长.首先，数据类型的多样化决定了数据模式的多样化.不仅需要熟悉各种类型的数据模式，同时也要善于把握它们之间的相互作用.这种而向多模式学习的研究需要综合利用各个方而的知识(如文本挖掘、图像处理、信息网络、甚至社会学等等).为此，Sun提出用网络来描述异质数据间的关系，同时提出了“元路径(Meta-Path)”的概率来刻画目标数据模式.这样，通过定义合适的元路径，便可在数据网络中挖掘有价值的模式.其次，非结构化的数据通常比结构化数据蕴含更多的无用信息和噪声，网络数据需要高效鲁棒的方法来实现去粗存精，去冗存真.搜索引擎就是从无结构化数据中检索出有用信息的一种工具.尽管搜索技术在工业上己经取得极大的成功，但仍然存在很多不足(如对一些长尾词的查询，对二义性查询词的理解等)，都有待进一步提高.另外，网络大数据通常是高维的，往往会带来数据高度稀疏与维度灾难等问题.在这种情况下，由于数据模式统计显著性较弱，以往的统计学习方法多针对高频数据挖掘模式，因此难以产生令人满意的效果.近年来，受实际应用驱动，高维稀疏问题成为了统计学习领域的热点问题Clz7.相关理论研究发现，基于稀疏表达的学习方法(如Lf55)等)，在获得较好学习效果的同时，还具有更高的效率和鲁棒性。2. 2网络大数据的不确定性 不确定性使得网络数据难以被建模和学习，从而难以有效利用其价值.网络数据的不确定性包括数据本身的不确定性、模型的不确定性和学习的不确定性. (1)数据的不确定性.原始数据的不准确以及数据采集处理粒度、应用需求与数据集成和展示等因素使得数据在不同维度、不同尺度上都有不同程度的不确定性.传统侧重于准确性数据的处理方法，难以应对海量、高维、多类型的不确定性数据.具体而言，在数据的采集、存储、建模、查询、检索、挖掘等方而都需要有新的方法来应对不确定性的挑战仁近年来，概率统计的方法被逐步应用于不确定性数据的处理中.一方而，数据的不确定性要求我们使用不确定的方法加以应对;另一方而，计算机硬件的发展也为这类方法提供了效率、效能上的可能.目前，该领域研究尚浅，在学术界和产业界尚有大量问题函待解决. (2)模型的不确定性.数据的不确定性要求对数据的处理方式能够提出新的模型方法，并能够把握模型的表达能力与复杂程度之间的平衡.在对不确定数据的建模和系统设计上，最常用且朴素的观点是“可能世界模型”口忍.该观点认为，在一定的结构规范下，应将数据的每一种状态都加以刻画.但该种模型过于复杂，难以用一种通用的模型结构来适应具体的应用需求.在实际应用中，我们往往采取简化的模型刻画不确定性数据的特性，如独立性假设、同分布假设等等.尤其值得注意的是，概率图模型Cls7由于具有很强的表达能力而且可对数据相关进行建模，因此己被广泛应用在不确定数据的建模领域.另外，在数据的管理和挖掘上而，不确定性模型的构建应当考虑到数据的查询、检索、传输、展示等方而的影响 (3)学习的不确定性.数据模型通常都需要对模型参数进行学习.然而，在很多情况下找到模型的最优解是NP问题，甚至找到一个局部最优解都很困难.因此很多学习问题都采用近似的、不确定的方法来寻找一个相对不错的解.但在大数据的背景下，传统近似的、不确定的学习方法需要而对规模和时效的挑战.随着多核CPU/UPU的普及以及并行计算框架的研究，分而治之的方法被普遍认为是解决网络大数据问题一条必由之路.如何将近似的、不确定的学习方法拓展到这种框架上成为当前研究的重点近年来，不少高校和研究机构，在该领域做出了探索.如在矩阵分解运算中对数据进行分块的计算方法能够利用多台机器并行计算，从而提高数据的处理速度.吕mo.此外，除了学习模型参数值的不确定外，模型的复杂性和参数个数也受到不同领域、不同数据类型和应用需求的影响而不能提前确定.近年来，在统计学习领域，非参模型方法的提出为自动学习出模型复杂度和参数个数提供了一种思路.但该类模型计算上较为复杂，如何分布式地、并行地应用到网络大数据的处理上，还是一个开放问题.2. 3网络大数据的涌现性 涌现性是网络数据有别于其它数据的关键特.涌现性在度量、研判与预测上的困难使得网络数据难以被驾驭.网络数据的涌现性主要表现为模式的涌现性、行为的涌现性和智慧的涌现性.W模式的涌现性.在多尺度、异质关系的网络数据中，由于不同的数据在属性、功能等方而既存在差异又相互关联，因此使网络大数据在结构、功能等方而涌现出了局部结构所不具备的特定模式特征.在结构方而，数据之间不同的关联程度使得数据构成的网络涌现出模块结构.在功能方而，网络在演化过程中会自发地形成相互分离的连通小块oz 2.o.这一涌现性结果对于研究更多的社会网络模型和理解网络瓦解失效的发生有着重要意义. (2)行为的涌现性.随着数据采集技术的不断发展，人们得到的很多数据都具有时序性，而社会网络中个体行为的涌现性则是基于数据时序分布的统计结果.在社会网络中有较大相似性的个体之间容易建立社会关系.通过研究Schelling给出的个体社会关系网络模型发现，网络在演化过程中会自发地形成相互分离的连通块，这一个体行为涌现的结果不依赖于初始网络的拓扑结构，对于研究更多的社会网络模型和理解行为涌现的规律具有重要意义.著名网络科学家Barabasi研究发现，人们发邮件的数量在一天的某些时刻会出现“爆发”现象，并发现每个人连发两封邮件之间的时间间隔涌现出幂率分布特征.此外，自然界和社会中个体之间不同的竞争模式会导致不同的同步状态的涌现性. (3)智慧的涌现性.网络数据在没有全局控制和预先定义的情况下，通过对来自大量自发个体的语义进行互相融合和连接而形成语义，整个过程随着数据的变化而持续演进，从而形成网络数据的涌现语义，也可以称之为智慧涌现.作为一种特殊的智慧涌现形式，众包正在通过互联网和社会网络快速发展，成为一种新的商业模式、新的数据产生模式和新的数据处理协作模式. 总体而言，尽管与网络大数据研究密切相关的数据库、数据挖掘、机器学习和知识工程等领域近些年来都有很大的进展，甚至在许多不同的领域得到了深入的应用，但由于网络大数据规模海量、关系复杂等根本特性，使得相关领域的研究成果难以被直接借鉴于网络大数据的研究.因此，网络大数据的研究需要一套全新的理论和方法来进行方向性的指导.但到目前为比，甚至连大数据的精确定义还缺乏一个统一的标准.网络大数据科学与技术这门学科的内涵和外延还缺乏格的限定和详实的论证;在大数据的环境下，传统“假设、模型、检验”的科学方法受到质疑，从“数据”到“数据”的第四范式还没有建立，需要一个完备的新的理论体系来指导该学科的发展和研究.3网络空间感知与数据表示 网络数据具有跨媒体关联、强时效演变、多主体互动等特点，使得我们对网络大数据的态势感知、质量评估、融合表示等均而临新的问题.3. 1网络大数据的感知与获取 按照网络空间中数据的蕴藏深度，整个网络空间可以划分为Surface Web和Deep Web，或称作Hidden Webz . Surface Web是指Web中通过超链接可被传统搜索引擎爬取到的静态页而，而Deep Web则由Web中可在线访问的数据库组成.Deep Web的数据隐藏在Web数据库提供的查询接口后而，只有通过向查询接口提交查询才能获得.与Surface Web相比，Deep Web所包含的信息更丰富.同时，Deep Web具有规模大、实时动态变化、异构性、分布性以及访问方式特殊等特点.为了充分利用Deep Web中的数据资源，需要充分获取DeepWeb中高质量的数据并予以集成，整个集成过程可以分为数据获取、数据抽取和数据整合3个环节.13 / 13