大数据技术专题研究.pptx
《大数据技术专题研究.pptx》由会员分享,可在线阅读,更多相关《大数据技术专题研究.pptx(32页珍藏版)》请在咨信网上搜索。
1、大大数据技数据技术专题研究研究2017.3.32024/5/8周三11大数据概述1大数据主要技术、厂商、产品2目目录能力储备分析3讨论42024/5/8周三22大数据概述大数据概述大数据概念大数据概念大数据(bigdata)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2024/5/8周三33大数据概述大数据概述体量大Volume类型多Variety价值密度低Value速度快Velocity非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传
2、统数据仓库的10倍到50倍大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或句义大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等)实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效大数据的大数据的4V特性特性2024/5/8周三44文件存储数据分析数据计算数据存储平台管理数据集成数据源DatabaseWebLog现代数据处理能力组件现现代数据代数据处处理框架理框架计计算算存存储储容容错错大数据概述大数据概述大数据的三大关大数据的三大关键问题存存储、计算、容算、容错2024/5/8
3、周三55大数据概述大数据概述大数据大数据产业大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合产业链环节包含内容包含内容IT基础设施层包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业,比如,提供数据中心解决方案的IBM、惠普和戴尔等,提供存储解决方案的EMC,提供虚拟化管理软件的微软、思杰、SUN、Redhat等数据源层大数据生态圈里的数据提供者,是生物大数据(生物信息学领域的各类研究机构)、交通大数据(交通主管部门)、医疗大数据(各大医院、体检机构)、政务大数据(政府部门)、电商大数据(淘宝、天猫、苏宁云商、京东等电商)、社交网络大数据(微博、微
4、信、人人网等)、搜索引擎大数据(百度、谷歌等)等各种数据的来源数据管理层包括数据抽取、转换、存储和管理等服务的各类企业或产品,比如分布式文件系统(如Hadoop的HDFS和谷歌的GFS)、ETL工具(Informatica、Datastage、Kettle等)、数据库和数据仓库(Oracle、MySQL、SQL Server、HBase、GreenPlum等)数据分析层包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品,比如,分布式计算框架MapReduce、统计分析软件SPSS和SAS、数据挖掘工具Weka、数据可视化工具Tableau、BI工具(MicroStrategy、Cog
5、nos、BO)等等数据平台层包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品,比如阿里巴巴、谷歌、中国电信、百度等数据应用层提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或政府部门,比如交通主管部门、各大医疗机构、菜鸟网络、国家电网等2024/5/8周三66大数据概述大数据概述大数据与云大数据与云计算、物算、物联网的关系网的关系云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力,用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。云计算关键技术包括
6、:虚拟化、分布式存储、分布式计算、多租户等。云云计算算2024/5/8周三77大数据概述大数据概述大数据与云大数据与云计算、物算、物联网的关系网的关系云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者相辅相成,既有联系又有区别物联网是物物相连的互联网,是互联网的延伸,它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起,形成人与物、物与物相联,实现信息化和远程管理控制。物联网中的关键技术包括识别和感知技术(二维码、RFID、传感器等)、网络与通信技术、数据挖掘与融合技术等。物物联网网2024/5/8周三88大数据概述大数据概述大数据与云大数据与云计算
7、、物算、物联网的关系网的关系2024/5/8周三99大数据概述1大数据主要技术、厂商、产品2目目录能力储备分析3讨论42024/5/8周三1010大数据主要技大数据主要技术技技术体系体系数据可数据可视化化技技术数据数据处理技理技术数据存数据存储技技术数据采集技数据采集技术数数据据安安全全技技术系系统运运维技技术2024/5/8周三1111大数据主要技大数据主要技术主要技主要技术说明明数据采集技数据采集技术通过ETL抽取、文件适配器、网络抓取、实时数据采集等多种技术从外部数据源导入结构化数据(关系库记录)、半结构化数据(日志、邮件等)、非结构化数据(文件、视频、音频、网络数据流等)及实时数据。数
8、据存数据存储技技术负责进行大数据的存储,针对全数据类型和多样计算需求,以海量规模存储、快速查询读取为特征,存储来自外部数据源的各类数据,支撑数据处理层的高级应用。数据数据处理技理技术对多样化的大数据进行加工、处理、分析、挖掘,产生新的业务价值,发现业务发展方向,提供业务决策依据。数据可数据可视化技化技术是关于数据之视觉表现形式的研究,主要旨在借助于图形化手段,清晰有效地传达与沟通信息数据安全技数据安全技术解决从大数据环境下的数据采集、存储、分析、应用等过程中产生的诸如身份验证、授权过程和输入验证等大量安全问题。由于在数据分析、挖掘过程中涉及企业各业务的核心数据,防止数据泄露,控制访问权限等安全
9、措施在大数据应用中尤为关键。系系统运运维技技术全面监测大数据处理全过程中各参与方的整体状态,支持大数据应用功能的配置化定义,可快速扩展应用功能。技技术分分类2024/5/8周三1212大数据主要技大数据主要技术两两大核心技大核心技术分布式存储分布式处理GFSHDFSBigTableHBaseNoSQL(键值、列族、图形、文档数据库)NewSQL(如:SQLAzure)MapReduce大数据2024/5/8周三1313大数据主要技大数据主要技术hadoopHDFS(Hadoop Distributed File System)sparkopenstackMapReduceStormHPCCNo
10、SqlgfsApache DrillRapidMinerPentaho BIZookeeper关关键技技术介介绍2024/5/8周三1414大数据主要技大数据主要技术关关键技技术介介绍-Hadoop一个分布式系统基础架构,由Apache基金会所开发。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(highthroughput)来访问应用程序的数据,适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了(relax)
11、POSIX的要求,可以以流的形式访问(streamingaccess)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。2024/5/8周三1515大数据主要技大数据主要技术关关键技技术介介绍-HDFSHadoopDistributedFileSystem,简称HDFS1,是一个分布式文件系统。HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cos
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 技术 专题研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【快乐****生活】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【快乐****生活】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。