大数据及其应用.pptx

,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,2019/11/25,湖南大学可信系统与网络实验室,网络安全小组,Click to edit Master title style,一个有趣的故事,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,零售商窥探私人生活,个人信息无法购买,从积累的购物数据中挖掘深入信息,研究数据与人类行为的关系,对,零售企业，,可以帮助企业根据客户需求细分人群，根据销售情况帮助价格调整和制定销售计划，通过自动化算法替换或支持人为决策，创新商业模式、产品和服务。,(,世界博览,2012,第,10,期（塔吉特百货,）,),n,10,0,10,3,10,6,10,9,10,12,10,15,10,18,10,21,10,24,10,Prefix,(none),kilo,mega,giga,tera,peta,exa,zetta,yotta,Symbol,(none),k,M,G,T,P,E,Z,Y,2007,年全球数据信息生成及复制量,281EB,，,11,年为,1.8ZB,信息爆炸时代,美国每天消费,3.6ZB,信息，平均每个美国人日均消费,48GB,信息,1 Gigabytes=,贝多芬的第五交响乐,1Exabytes=Billion Gigabytes,5 Exabytes=,人类讲过的所有词汇,报告提纲,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据时代已经来临,1,2,3,4,大数据定义及特征,大数据应用及影响,大数据关键技术,5,数据科学,大数据时代已经来临,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,2005,2015,2010,无所不包的数据,（,Inescapable Data,），,IBM,2011.5,国家数字经济战略,，,澳大利亚,2011.5,数字议程记分板,，,欧盟,从混沌中提取价值,(,Extracting Value from Chaos),，,数字宇宙研究报告,(Digital Universe Study,),，,IDC,2011.6,大数据：下一个创新、竞争和生产力的前沿,（,Bigdata:thenextfrontier,forinnovation,competitionandproductivity,），,麦肯锡全球研究院,(MGI),“,The promise of big data,”，,Intelligent Utility,“,Keeping Afloat in a Sea of Big Data,”，,ITBusinessEdge,2011.6,2011.8,2011.9,2012.3,大数据的研究和发展计划,，,美国,霓光初现,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,数据爆炸,新挑战，新机遇,大规模收集数据，改变企业的业务和人们的生活,业界关注,数字宇宙研究报告,从混沌中提取价值,全球信息总量每两年增长一倍,2011,，,1.8Z,2020 35.2Z,企业级用户数据量快速增长,4.4%,的企业日数据生产量超过,50TB,技术发展是背后的驱动力,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,数字宇宙研究报告：存储这十年,业界关注,大数据：下一个创新、竞争和生产力的前沿,（麦肯锡全球研究院，,MGI,）,最早提出“大数据时代已经到来”,数据规模和存储容量迅速增长，已渗透各行业，各领域,分析和使用规模化数据,“数据就是业务本身”,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,国家战略,澳大利亚,国家数字经济战略,欧盟,数字议程记分板,美国,大数据的研究和发展计划,Big Data is a Big Deal,从商业行为上升为国家级战略计划,涉及,6,个联邦政府部门，总投资超,2,亿美元,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,美国大数据发展国家战略,大数据研究与开发计划,2012,年,3,月,29,日宣布启动，总投资,2,亿美元。,提高从大型复杂的数字数据集中提取知识和观点的能力，加快科学与工程的步伐，加强国家安全，改变教学研究。,战略宗旨,推动大数据核心技术研发。,加快科技与工程领域研发速度，加强国家安全。,培养专业人才。,涉及部门,涉及美国国家科学基金（,NSF,）、美国国家卫生研究院（,NIH,）、美国能源部（,NOE,）等六个部门,。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,美国大数据发展战略解读,保持其信息产业的霸主地位,93,年“信息高速公路”计划的延伸。,大数据时代谋求新信息产业霸主地位的战略体现。,从商业行为上升到国家级战略,各国以信息产业为核心的新一轮产业革命正在兴起。,借助信息技术提升国家竞争力。,称大数据为“未来的新石油”。,提高情报信息处理能力的需要,从,9.11,事件前的没能共享数据到之后的“信息爆炸”。,迫切需要借助大数据分析处理技术来提高情报信息处理能力。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,报告提纲,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据时代已经来临,1,2,3,4,大数据定义及特征,大数据应用及影响,大数据关键技术,5,数据科学,大数据定义,大数据是指其大小超出了典型数据库软件的采集、存储、管理和分析等能力的数据集合。,引自麦肯锡报告,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,How Big,？,Depends,！,大数据内涵,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据,对象,技术,应用,大数据是对象、技术以及应用的有机结合体,大数据内涵,静态对象,直观的理解大数据就是大规模的数据对象。,更深层次的理解大数据还包括数据对象的结构性和他们之间的关联性。,关键技术,大数据的存储、分发技术,大数据的分析、处理技术,应用价值,大数据的价值在于其隐藏信息,从静态对象中利用相关技术提取隐藏信息是实现大数据价值的基本途径,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据的基本特征,(4V),2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,体量,(,VOLUME,),速度,(,VELOCITY,),种类,(VARIETY),价值,(VALUE),SOCIAL,BLOG,SMARTMETER,101100101001001001101010101011100101010100100101,4V,之体量大（,Volume,）,大数据体量大的表现形式,信息数量大,大数据的数据条数一般数以亿计。,Facebook,每月要共享,300,亿条信息,存储容量大,大数据的存储计量单位以,TB,、,PB,计。,NOAA,数据中心的数据超过,20PB,。,eBay,每天处理高达,100PB,的数据,如何应对,高效、低成本,粗加工，分级存储，分库存储,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,4V,之种类多（,Variety,）,大数据主要类型,结构化数据,属性固定，内容明确，通过关系数据库可,实现高效存储和维护。,结构化数据增长率为,32%,非结构化数据,结构复杂多变，需专门工具进行分析。,非结构化数据增长率为,63%,。,预计,2012,非结构化数据在网络数据总量的比例将达,75%,。,半结构化数据,介于二者之间，结构内容混杂，属性无法预知。,应对策略,研究非结构化数据和半结构化数据的分析处理技术。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,半结构化,数据,结构化数据,非结构化,数据,4V,之速度快（,Velocity,）,应用需求,与决策紧密相关。,迅速提供结构分析。,客观条件,大数据体量巨大。,大数据种类繁多。,在大数据环境下，需采用更新更快的技术,以“秒”为单位的实时处理速度。,分批处理，缩短信息加工时间。,实现流处理。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,4V,之价值特征复杂（,Value,）,原始数据价值密度低,大数据体量巨大，有效信息不成比例。,如,1,、,2,小时的视频监控也许就,1,、,2,秒是有用的，但却要占很大的存储空间和传输带宽。,分析处理可提高价值密度,对结构复杂体量巨大的大数据进行分析和信息挖掘，可以得到比传统数据更多的信息。,分析,1,年的天气数据比分析,1,月的数据做出的天气预报要准确得多。,需要高效的分析、处理方案，快速提取有效信息,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,报告提纲,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据时代已经来临,1,2,3,4,大数据定义及特征,大数据应用及影响,大数据关键技术,5,数据科学,大数据的应用,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据的应用场景举例,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,当前挑战,新数据的产生,带来便利,医疗保健,频繁的日常访问,远程病人监护产生大量数据,预防保健，减少住院,制造业,人工操作耗时耗力,产品传感器，搜集相关数据,自动诊断,基于位置的服务,基于固定位置的邮政编码,实时位置数据,地理广告，交通，本地搜索,公共部门,标准化的服务,广泛的公民调查,量身定制的服务，降低成本,零售,一个策略应用于所有的营销,社会化媒体,情感分析,大数据应用场景分析,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,应用场景,用户数,精确度,可靠度,数据量,反应速度,科学计算,少,极高,低,中等,T,慢,股市交易,大量,高,极高,G,快,Web,数据,大量,中等,高,中等,P,快,微博数据,大量,中等,高,中等,100P,快,。,数据来源：,Forum of Future Data,基于大数据的决策模式,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,综合不同数据集,发现推导未知关系,数据驱动的商业决策,基于大数据的决策模式,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,搜集数据,组织,过滤,分析数据,统计,挖掘,进行决策,更精准,更快速,大数据的影响及意义,传统,IT,巨头企业的大数据战略,新兴大数据企业获资本市场追捧,大数据对整个社会经济及技术发展具有深远意义,推动信息技术发展,促进经济效益提升,提高社会管理水平,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,传统,IT,巨头企业大数据战略,传统,IT,巨头打造大数据综合解决方案提供商,IBM:,以数据分析为核心打造综合集成能力,Oracle:,以数据库为中心的集成一体设计战略,EMC:,以云计算为平台的大数据战略,惠普,:,以大并购为途径的大数据战略,核心优势带动集成能力提升,借并购快速打造综合产品体系,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,近几年,IT,巨头大数据领域并购情况,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,公司,时间,收购情况,VMware,2012.4.25,收购数据分析公司,Cetas,，仅成立,18,个月,HP,2010.9.3,收购存储企业,3PAR,，花费,23.5,亿美元,2011.2,收购分析及数据管理软件公司,Vertica,2011.8,收购海量数据公司,Autonomy,，花费,100,亿美元,TeraData,2011,收购,Aprimo,和,AsterData,两家大数据技术处理公司,IBM,2009.1,收购业务规则管理软件商,ILOG,，花费,3.4,亿美元,2009.10,收购数据分析和统计软件供应商,SPASS,，花费,12,亿美元,2010.9,收购商业分析公司,Netezza,，花费,17,亿美元,2010.10,收购网络分析软件公司,Coremetrics,EMC,2009.7,收购数据复制解决方案商,Data Domain,2010.7,收购数据库软件商,Greemplum,，花费,3,亿美元,2010,收购,NAS,厂商,Isilon Systems,2012.3,收购软件开发公司,Pivoal Labs,数据来源：赛迪智库整理,新兴大数据企业获资本市场追捧,新兴大数据企业融资情况,Splunk:,第一家上市的大数据处理公司，融资,2.29,亿美元。,Birst,：获红杉资本,2600,万美元投资。,Evernote,：融资,7000,万美元。,Datasift,：融资,1500,万美元。,ClearStory Data,：获得谷歌投资,Sumo Logic,：融资,1500,万美元,Code42,：融资,5250,万美元,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,推动信息技术发展,与新一代信息技术相辅相成,物联网、移动互联网、社会化网络对大数据处理和分析的需求日益旺盛。,大数据技术的发展，将对上述技术起到强劲的反馈推动作用。,促进相关信息技术的应用发展,基于高效的存储、分发技术,如,Hadoop,、数据中心相关技术等,需要分析、处理技术的支撑,如数据挖掘、机器学习、模式识别等,加快信息技术产品融合，助力信息产业增长,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,促进经济效益提升,基于大数据的经济决策，有助于把握经济走向。,阿里巴巴从大量交易数据中更早地发现了国际金融危机的到来,提高企业经营决策的水平，指定更合理的营销策略，缩短产品上市时间，提升生产效率。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,数据使用率提升,10%,对行业人均产出的平均提升幅度,数据来源：,Measuring the Business Impacts of Effective Data,大数据对部分经济领域的影响,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,相关经济领域,主要影响,美国医疗服务业,每年价值,3000,亿美元，大约,0.7%,的年生产率增长,欧洲公共部门管理,每年价值,2500,亿美元，大约,0.5%,的年生产率增长,全球个人位置数据,服务提供商收入,1000,亿美元或以上，最终用户价值达,7000,亿美元,美国零售业,可能的净利润增长水平为,60%,或以上，,0.5-1.0%,的年生产率增长,制造业,产品开发、组装成本降低达,50%,，运营成本资本降低达,70%,数据来源：麦肯锡全球研究院,提高社会管理水平,提高安全保障能力,搜集、整理多渠道信息,快速分类、分析和反馈,改善情报、监视和侦察系统，应用于国防、安全等领域,提高响应处理效率,通过对海量历史数据进行建模分析，对实时数据进行计算机模拟。准确、快速的预测自然灾害或者突发事件的扩散范围和方式。,2011,年,3,月,11,日，日本大地震发生,9,分钟后，,NOAA,就发布了详细的海啸预警。,根据多类型数据的聚合分析优化公共事业服务,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,报告提纲,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据时代已经来临,1,2,3,4,大数据定义及特征,大数据应用及影响,大数据关键技术,5,数据科学,大数据的关键技术探讨,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,分析、处理,存储、分发,管理、呈现,大数据存储、分发的关键技术,应对大数据体量大，种类多、结构复杂的特性。,需要更高效的存储解方案,分级存储、分库存储,分布式存储,HDFS,（分布式文件系统）,Hbase,（分布式数据库系统）,可扩展性,容错性,基于复制的容错技术,基于纠错码的容错技术,节能,低能耗硬件,节点管理、数据管理,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据存储、分发的关键技术,数据中心（,Data Center,）,大数据的形式化载体。,关联大数据技术与物联网、云计算等新兴信息技术的桥梁。,数据中心网络（,DCNs,）,将分布式存储的数据联接为一个有机的整体，向外提供服务,传输数据和计算、控制等信息。,针对大数据的实际需求、结构特征设计专有传输协议,Data Center TCP Mohammad Alizadeh et al.,SIGCOMM 2010,Exploring Efficient and Scalable Multicast Routing in Future Data Center Networks D.Li et al.,INFOCOM 2011,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,Hadoop,技术,Jobtracker(Master),任务（,job,）提交,任务监控,把,job划分成多个tasks，交给Tasktracker执行，并,进行,管理,tracker(Worker),管理单个task的map任务和reduce任务的执行,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,Hadoop Architecture,HDFS,分布式文件系统,HBase,分布式数据库,MapReduce API,Hadoop,示例,datanode daemon,Linux file system,tasktracker,slave node,datanode daemon,Linux file system,tasktracker,slave node,datanode daemon,Linux file system,tasktracker,slave node,namenode,Namenode daemon,job submission node,jobtracker,Hadoop,基本框架,大数据分析、处理的关键技术,应对于大数据处理速度快和价值构成复杂的特点,分布式计算、并行计算、流处理技术等。,引入人工智能和商业智能等技术进行整合分析，提取推导有价值信息。,Map Reduce,Google,提出的一个用于大规模数据集（大于,1TB,）并行运算的软件架构。,高度并行的映射,(Map),、递归进行的化简,(Reduce),。,结合,Hadoop,技术，广泛应用于大数据的场景中。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,应用于大数据的机器学习技术,机器学习,集成学习：通过多个预测模型以取得比任何成分模型更好的预测效果。,自然语言处理：使用计算机算法来分析自然语言的一组技术。,利用社交媒体的情绪分析，以判断潜在客户对一个品牌活动的反映。,情绪分析：从文字材料识别和提取主观信息。,用自然语言处理来分析社会媒体以确定不同的客户群，以及股东对产品的反应。,遗传算法：通过模拟自然进化或者适者生存的搜索最优解的技术。,改善作业调度、优化投资组合等。,神经分析：用来描述图中或者网络中的离散节点关系的技术。,识别最有影响力的营销目标，或识别企业信息流的瓶颈。,模式识别：依据特定算法给某种产值分配给定的输入值。,监督式学习,/,无监督学习。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,应用于大数据的数据挖掘技术,数据挖掘,关联规则挖掘：发现大数据仓库中变量之间关系的一组技术。,发现超市顾客在买尿布的同时也会买啤酒。,分类：在已确定分类的基础上，识别新的数据点属于哪种类别。,对特定客户行为的预测。,数据融合和集成：集成分析多个来源的数据。,将来自社会媒体的数据，经过自然语言处理，以确定营销行为对顾客的影响。,数据聚类：将不同的集群划分成有相似属性的小群体。,将客户划分成几个自相似性的群体以进行针对性营销。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,应用于大数据的统计分析技术,统计,A/B,测试：通过对比测试群体，确定哪种方案能提高目标变量的技术。,确定什么样的标题、布局、图像和颜色可以提高电子商务网站的转化率。,时间序列分析：从一组连续的时间值达标的数据点提取有用信息。,股票市场指数的时间价值或特定条件下治疗的患者数。,空间分析：源于分析拓扑、几何、地理数据的统计技术。,消费者是否愿意购买与位置相关的产品。,回归：确定当一个或多个自变量变化时因变量变化的程度的统计技术。,基于不同的市场和经济变量的制造业参数，来预测销售规模。,时间序列分析：从一组连续的时间序列值代表的数据点提取有用信息。,股票市场指数的时间价值或每天特定条件下治疗的患者数。,时间序列预测模型：利用过去的时间序列值来预测未来的模型。,预测销售规模或传染病人就诊的数量。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据管理、呈现的关键技术,大数据管理技术,大数据特性,结构复杂（结构化，非结构化，半结构化）。,体量巨大，预先剔除无用信息，提升存储效率。,关键技术,关系型和非关系型数据库技术。,数据融合、集成、清洗、过滤技术。,大数据呈现技术,呈现内容,数据信息、数据关系、处理结果等。,关键技术,标签云、,Clustergram,、历史流、空间信息流等技术。,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据主要技术的关注度,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,数据来源：赛迪智库,报告提纲,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,大数据时代已经来临,1,2,3,4,大数据定义及特征,大数据应用浅析,关键技术探讨,5,数据科学,From,C,omputer,S,ciencetoData Science,Computer Science=,？,Computer Science=Science of computers,Computer Science=,Science of Individual Algorithms,+Science of Friendly Interactive,Algorithms,+Science of Non-Friendly Interactive,Algorithms,Are we missing anything else,?,Performance of an algorithm depends on data,We have treated data as they are given and they are arbitrary,Data are given,but are they really arbitrary?,Traveling salesman problem,NP-hard if input data(maps)are arbitrary,But,are maps really arbitrary?,If not,then we may have efficient algorithms!,Do we have or should we have a Science of Data?,Some initial efforts:,Discovery of small world phenomenon,Shannon theory on communications,Pattern recognitions,Data compression,Data is getting more and more attention,“Data is the next Intel inside”,Tim OReilly,2005,link,“Data is the new oil,”,Michael Palmer,2006,link,“Statistics is the next sexy job”,Googles Chief Economist Hal Varian,2009,link,What is Data Science,？,Data Science,=Science of data,What is in it?Nobody knows for now!,Some thoughts on Data Science,Data Science should treat data as first-class and natural objects,Data Science should reveal the rules and regulations behind data.,Some thoughts on Data Science,Data are natural but not physical,Data are informative but not knowledge,Data are correlative but not individual,We need Data Science,We are building sensor network systems without Data Science,This is like building the Great Wall without Physics,But without Physics,we cannot build space vehicles!,Some one has to develop Data Science!,数据科学的体系,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,数据获取,数据分析,数据感知,数据清洗,数据整合,数据挖掘,数据分类,数据透视,数据可视化,数据科学的基本假设,数据科学的基本理论,社会,自然,金融,。,领域数据科学,关键技术,基石,大数据时代需要数据科学的支撑,2024/11/27 周三,湖南大学可信系统与网络实验室,湖南大学,专门的学科建设有助于合理布局大数据关键技术的研发创新。,系统的学习训练为大数据发展培养专门人才，解决发展瓶颈。,数 据 科 学,大数据时代,谢谢,!,