![点击分享此内容可以赚币 分享](/master/images/share_but.png)
《大数据导论》课件 第1章 大数据概念与应用.pdf
《《大数据导论》课件 第1章 大数据概念与应用.pdf》由会员分享,可在线阅读,更多相关《《大数据导论》课件 第1章 大数据概念与应用.pdf(35页珍藏版)》请在咨信网上搜索。
1、大数据导论大数据应用人才培养系列教材i.i大数据的概念1.2 大数据的来源1.3 大数据的特征及意义1.4 大数据的表现形态1.5 大数据的座用场景习题1.1大数据的概念第一章大数据概念及其应用从“数据到“大数据时至今日,数据变身大数据,开启了一次重大的时代转型。大数据这一概念的形成,有三个标志性事件:2008年9月,美国自然(Nature)杂志专刊-The next google,第一次正式提出“大数据概念。2 2011年2月1日,科学(Science)杂志专刊-Dealing with data,通过社会调查的方式,第一次综合分析了大数据对人们生活造成的影响,详细描述了人类面临 的“数据困
2、境。3 2011 年5月,麦肯锡研究院发布报告-Big data:The next frontier for innovation,competition,and productivity,第一次给大数据做出相对清晰的定义:大数据是指 其大小超出了常规数据库工具获取、储存、管理和分析能力的数据集。”1.1大数据的概念第一章大数据概念及其应用什么是“大数据”大数据是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。在企 业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许多其他来源。这些数据,并非公司顾客关系管理数据库的常态数据组。本数据+推动依靠N个产
3、业,彳大数据”实现强国经济)1.1大数据的概念第一章大数据概念及其应用大数据的技术支撑云计算、硬件性价比的提 高以及软件技术的进步.qHUUB 数据源整合进行存储、清洗、挖掘、分析后得出结果直?I 尤化企业管理提高效率 大数据-*智能设备、传感器的普及,推 动物联网、人工智能的发展)1.1大数据的概念第一章大数据概念及其应用存储:存储成本的下降云计算出现之前云计算出现之后在云计算出现之前,数据存储的成本是 非常高的例如,公肾要建设网站,需要购置和部 署服务器,安排技术人员维护服务器,保证数据存储的安全性和数据传输的畅 通性,还会定期清理数据,腾出空间以 便存储新的数据,机房整体的人力和管 理成
4、本都很高。云计算出现后,数据存储服务衍生出了新 的商业模式,数据中心的出现降低了公司 的计算和存储成本。例如,公司现在要建设网站,不需要去购 买服务器,不需要去雇用技术人员维护服 务器,可以通过租用硬件设备的方式解决 问题。存储成本的下降,也改变了大家对数据的看法,更加愿意把1年、2年甚至更久远的历史数 据保存下来,有了历史数据的沉淀,才可以通过对比,发现数据之间的关联和价值。正是由 于存储成本的下降,才能为大数据搭建最好的基础设施。)1.1大数据的概念第一章大数据概念及其应用计算:运算速度越来越快海量数据从原始数据源到产生价值,期间会经过存储、清洗、挖掘、分析等多个环节,如 果计算速度不够快
5、,很多事情是无法实现的。所以,在大数据的发展过程中,计算速度是 非常关键的因素。分布式系统基础架构Hadoop的出现,为大数据带来了新的曙光;HDFS为海量的数据提供了存储;MapReduce则为海量的数据提供了并行计算,从而大大提高了计算效率;Spark、Storm、Impala等各种各样的技术进入人们的视野。1.1大数据的概念第一章大数据概念及其应用智能:机器拥有理解数据的能力大数据带来的最大价值就是智慧,大数据让机器变得有智慧,同时人工智能进一步提升 了处理和理解数据的能力。例如:谷歌AlphaGo大胜世界围棋冠军李世石阿里云小Ai成功预测出我是歌手的总决赛歌王iPhone上智能化语音机
6、器人Siri微信上与大家聊天的微软小冰1.1大数据的概念第一章大数据概念及其应用大数据的意义a 美国著名管理学家爱德华戴明所言:我们信靠上帝。除了.上帝,任何人都必须用数据来说话。(1)有数据可说在大数据时代,万物皆数,量化一切,一切都将被数据化。人类生活在一个海量、动 态、多样的数据世界中,数据无处不在、无时不有、无人不用,数据就像阳光、空气、水分一样常 见,好比放大镜、望远镜、显微镜那般重要。(2)说数据可靠大数据中的数据真实可靠,它实质上是表征事物现象的一种符号语言和逻辑关系,其可靠性的 数理哲学基础是世界同构原理。世界具有物质统一性,统一的世界中的一切事物都存在着时空一致 性的同构关系
7、。这意味着任何事物的属性和规律,只要通过适当编码,均可以通过统一的数字信号 表达出来。因此,“用数据说话、“让数据发声,已成为人类认知世界的一种全新方法。1.1大数据的概念第一章大数据概念及其应用风马牛可相及在大数据背景下,因海量无限、包罗万象的数据存在,让许多看似毫不相干的现象之间发 生一定的关联,使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与 作用现在难以进行估量,但揭示事物的相关关系无疑是其真正的价值所在。经典案例:(1)啤酒与尿布(2)谷歌与流感大数据应用人才培养系列教材第一章大数据概念与应用1.1 大数据的概念1.2 大数据的来源1.3 大数据的特征及意义1.4 大
8、数据的表现形态1.5 大数据的座用场景习题,1.2大数据的来源第一章大数据概念及其应用杰姆格雷(Jim Gray)提出著名的新摩尔定律,即人类有史以来的数据总量,每过 18个月就会翻一番。全球数据总量图为什么全球数据量 增长如此之快?)1.2大数据的来源第一章大数据概念及其应用智能手表手机智能家电大数据的主要来源!,1.2大数据的来源第一章大数据概念及其应用互联网每天产生的全部内容可 以亥U满6.4亿张DVD全球每秒发送290万封电子邮 件,一分钟读一篇的话,足够一 个人昼夜不停地读5.5年Google每天需要处 理24PB的数据每天会有2.88万个小时的视频 上传到YouTube,足够一个人
9、 昼夜不停地观看3.3年TwMer上每天发布5000万条消息,假设10 秒就浏览一条消息,足够一个人昼夜不停地浏览16年网民每天在Facebook上要花费 234亿分钟,被移动互联网使用 者发送和接收的数据高达44PB大数据到底有多?以上一组互联网数据,1.2大数据的来源第一章大数据概念及其应用海量的数据的产生来自“大人群泛互联网数据|来自大量传感器的机器数据 科学研究及行业多结构专业数据随着人类活动的进一步扩展,数据规模会急剧膨胀,包括金融、汽车、零售、餐饮、电信、能源、政 务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大,数据类型也越来越多、越来越复杂,已经超越了传统数据管理系统、处
10、理模式的能力范围,于是大数据这样一个概念才会应运而生。,1.2大数据的来源第一章大数据概念及其应用O按产生数据的主体划分1)少量企业应用产生的数据如关系型数据库中的数据和数据仓库中的数据等。2)大量人产生的数据如推特、微博、通信软件、移动通信数据、电子商务在线交易 日志数据、企业应用的相关评论数据等。3)巨量机器产生的数据如应用服务器日志、各类传感器数据、图像和视频监控数据、二维码和条形码(条码)扫描数据等。,1.2大数据的来源第一章大数据概念及其应用o按数据来源的行业划分1)以BAT为代表的互联网公司百度公司数据总量超过了干PB级别,阿里巴巴公司 保存的数据量超过了百PB级别,拥有90%以上
11、的电 商数据,腾讯公司总存储数据量经压缩处理以后仍然 超过了百PB级别,数据量月增加达到10%。4)气象、地理、政务等领域中国气象局保存的数据将近10PB,每年约增 数百TB;各种地图和地理位置信息每年约数 十PB;政务数据则涵盖了旅游、教育、交通、医疗等多个门类,且多为结构化数据。2)电信、金融、保险、电力、石化系统电信行业数据年度用户数据增长超过10%,金融每年 产生的数据超过数十PB,保险系统的数据量也超过 了 PB级别,电力与石化方面,仅国家电网采集获得 的数据总量就达到了数十PB,石油化工领域每年产 生和保存下来的数据量也将近百PB级别。3)公共安全、医疗、交通领域一个中、大型城市,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 大数据导论 大数据导论课件 第1章 大数据概念与应用 数据 导论 课件 概念 应用
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。