2019中国大数据产业发展白皮书.pdf

2019中国大数据产业发展白皮书赛迪顾问股份有限公司 大数据产业研究中心目 录一、宏观环境篇二、行业篇三、应用篇四、人才篇五、趋势篇PART ONE宏观环境篇2015年以来，随着国家和地方政府的大力推动，中国大数据产业发展步入快车道。一大批大数据产业园相继落地，大数据产业生态也加速成熟，相关的标准和技术体系持续完善，应用市场日益壮大，产业国际影响力也不断提升。定义及分类、特征大数据产业大数据产业是以数据采集、交易、存储、加工、分析、服务为主的各类经济活动，包括数据资源建设、大数据软硬件产品的开发、销售和租赁活动，以及相关信息技术服务。对于我国大数据产业规模的估算，目前各大研究机构均采用间接方法。赛迪顾问结合对企业调研数据，将产业规模限定为上述各类经济活动所对应的销售收入，不包含产生数据的各类终端设备的产值。中国大数据产业发展受宏观政策环境、技术进步与升级、数字应用普及渗透等众多利好因素的影响，2018年整体规模达到4384.5亿元，到2021年将达8070.6亿元，持续促进传统产业转型升级，激发经济增长活力，助力新型智慧城市和数字经济建设。2016-2021年中国大数据产业规模及预测大数据产业链全景图2840.83549.84384.55386.26605.88070.627%25%24%23%23%22%2016201720182019E2020E2021E大数据产业规模（亿元）增长率1 1国际竞争格局发达国家加快推进大数据产业发展2017年瑞士洛桑国际管理学院世界数字竞争力排名显示，各国数字竞争力与其整体竞争力高度一致，即数字竞争力强的国家整体竞争力也很强，也更容易产生颠覆性创新。实际上，以美国、英国、韩国和日本为代表的发达国家一向重视大数据在促进经济发展和社会变革、提升国家整体竞争力等方面的重要作用，把大数据视为重要的战略资源，大力抢抓大数据技术与产业发展先发优势，积极捍卫本国数据主权，力争在数字经济时代占得先机。美国：实施美国：实施“三步走三步走”战略战略，推进大数据产业发展推进大数据产业发展特朗普就任美国总统后，对大数据应用及其产业发展持续关注，并督促相关部门实施大数据重大项目，构建并开放高质量数据库，强化5G、物联网和高速宽带互联网等大数据基础设施，促进数字贸易和跨境数据流动等。英国：紧抓大数据产业机遇英国：紧抓大数据产业机遇 应对脱欧后的经济挑战应对脱欧后的经济挑战密集发布把握数据带来的机遇：英国数据能力战略规划数字战略2017工业战略：建设适应未来的英国和工业战略：人工智能等政策文件，将全方位构建数据能力上升为国家战略,力争2025年数字经济对本国经济总量的贡献值达到2000亿英镑。健全人力资本培养、夯实基础设施和软硬件开发能力，打造丰富开放的数据资产。打造良好的创新创业氛围，推进企业数字化智能化转型，优化营商环境。塑造平台型政府，提供优质数字公共服务，解决数据隐私、伦理和信息安全等问题。韩国：以大数据等技术为核心应对第四次工业革命韩国：以大数据等技术为核心应对第四次工业革命韩国在2013年就确立了“大数据产业发展战略”，积极发展大数据基础设施和应用市场。近年来，韩国陆续发布K-ICT战略和智能信息社会中长期综合对策，以大数据等技术作为核心要素，重新审视本国智能制造和信息技术发展，应对第四次工业革命。构筑开放共享的大规模数据基础设施，激活数据流通和开发应用，培养储备人才。加强新一代信息技术等基础研究，推动科研数据开放共享，强化产学研合作，加快攻克产业关键共性技术等面向数据服务需求，构筑超连接网络环境，推进智能制造和大数据应用市场发展。1、快速部署大数据核心技术研究，并在部分领域积极开发大数据应用。2、调整政策框架与法律规章，积极应对大数据发展带来的隐私保护等问题。3、强化数据驱动的体系和能力建设，为提升国家整体竞争力提供长远保障。欧盟：实施最强保护条例欧盟：实施最强保护条例，强化数据安全和个人信息保护强化数据安全和个人信息保护2018年5月25日，欧盟通用数据保护条例（英文简称“GDPR”）正式实施，兼顾个人权利保护与信息流通保护，明确了个人数据定义，条例使用范围，划定了合法性基础、数据主体权利、数据控制者义务、数据流通标准、数据救济和处罚等。2 2政策环境 2015-2018年，国家和地方相关单位密集出台了一批指导、促进大数据产业发展的政策法规，产业发展环境持续优化。大数据政策开始向各大行业和各细分应用领域延伸扩展，行业应用成为关注重点。数据安全是大数据产业健康有序发展的重要保障。2015-2018年国家及地方大数据相关的政策、法规颁布时间颁布时间颁布主体颁布主体政策政策/法规法规名称名称支持对象支持对象20152015年年7 7月月国务院国务院关于积极推进“互联网+”行动的指导意见大数据20152015年年7 7月月国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见大数据市场监管20152015年年9 9月月国务院促进大数据发展行动纲要大数据产业生态20162016年年3 3月月国务院中华人民共和国国民经济和社会发展第十三个五年规划纲要大数据技术与应用20162016年年3 3月月环保部办公厅生态环境大数据建设总体方案生态环境大数据20162016年年8 8月月国务院“十三五”国家科技创新规划大数据技术与应用20162016年年6 6月月国务院办公厅关于促进和规范健康医疗大数据应用发展的指导意见健康医疗大数据20162016年年7 7月月国土资源部促进国土资源大数据应用发展实施意见国土资源大数据20162016年年7 7月月国家林业局关于加快中国林业大数据发展的指导意见林业大数据20162016年年9 9月月交通运输部办公厅关于推进交通运输行业数据资源开放共享的实施意见交通大数据20172017年年9 9月月公安部关于深入开展“大数据+网上督察”工作的意见安防大数据20172017年年9 9月月国家测绘地理信息局办公室智慧城市时空大数据与云平台建设技术大纲空间地理大数据20172017年年5 5月月水利部关于推进水利大数据发展的指导意见水利大数据20182018年年1 1月月中央网信办、国家发改委、工信部公共信息资源开放试点工作方案政务大数据20182018年年5 5月月银保监会银行业金融机构数据治理指引金融大数据20162016年年1 1月月贵州省人大贵州省大数据发展应用促进条例大数据产业20162016年年9 9月月湖北省人民政府办公厅湖北省大数据发展行动计划（2016-2020年）大数据产业20162016年年8 8月月北京市人民政府北京市大数据和云计算发展行动计划（2016-2020年）大数据产业20182018年年5 5月月河南省人民政府办公厅河南省大数据产业发展三年行动计划（2018-2020年）大数据产业20182018年年5 5月月内蒙古自治区人民政府办公厅内蒙古自治区大数据与产业深度融合行动计划（2018-2020年）大数据产业20172017年年1010月月成都市信息化工作领导小组办公室成都市大数据产业发展规划（2017-2025年）大数据产业20182018年年4 4月月河北省“大智移云”发展领导小组办公室河北省大数据产业创新发展三年行动计划（2018-2020年）大数据产业20182018年年1212月月天津市人大天津市促进大数据发展应用条例大数据产业20172017年年1 1月月合肥市人民政府办公厅合肥市大数据发展行动纲要（2016-2020）大数据产业20182018年年1212月月广东省人民政府办公厅广东省政务数据资源共享管理办法（试行）政务大数据20172017年年1212月月福州市人民政府关于加快大数据产业发展三条措施大数据产业20172017年年1212月月福州市人民政府关于加快中国东南大数据产业园区发展的若干政策大数据产业园20182018年年4 4月月福州市人民政府关于加快数字经济发展的七条措施数字经济3 3没有一种流派的技术架构是万能的，混合架构更普遍没有一种流派的技术架构是万能的，混合架构更普遍技术环境 OLTP阵营阵营在线事务、交易处理在线事务、交易处理RDMBSNoSQLNewSQL传统的关系型数据库，需要预定义的表结构，强调ACID特性。IBM DB2OracleMySQLSQL ServerNoSQL 通 过 放 弃RDBMS的ACID和SQL特性，拥有了水平扩展和分布式特点。不需预定义数据模式，数据分区存储，采用无共享架构，异步复制，强调基于BASE的最终一致性和软事务。列数据库，Cassandra文档数据库，MongoDB键值数据库，Redis图数据库，Neo4j支持ACID特性和SQL，取消了耗费资源的缓冲池和单线程锁机制，通过冗余机制实现了数据库复制和故障恢复，通常运行在内存中。Google SpannerSAP HANAGemfire XD数据量数据量种类种类速度速度强一致性强一致性ACIDACIDHadoop大多慢不NoSQL大一般不快一般不RDBMS一般不一般不快是NewSQL大一般不快是 OLAP阵营阵营在线分析处理在线分析处理体系体系2Hadoop生态体系生态体系体系体系1数据仓库数据仓库+商业智能商业智能从多维度分析综合性、面向主题的历史数据，以支持决策分析，数据不可修改，实时性不高，但处理量大。比如，Microsoft、Oracle、Teradata和IBM等。MPP阵营阵营大规模并行处理大规模并行处理与Hadoop Mapreduce类似，两者都采用大规模并行处理架构对海量数据进行分析，不同之处在于MPP原生支持并行的关系型查询和应用。无共享架构：不同于SMP和NUMA架构，每台服务器有独立的存储、内存和CPU，可动态增删节点。分区，数据分区跨多节点，通过分布式查询提高吞吐率。典型产品如：Amazon Redshift,Pivotal Greenplum，Teredata Aster和IBM Netezza等。HadoopHadoopMPPMPP可扩展性可扩展性可达数千节点通常不超过1000节点查询延迟查询延迟20s不超过100ms平均查询需时平均查询需时十数分钟数秒钟最大查询需时最大查询需时2周 80%数据标准的制定和出台是数据安数据标准的制定和出台是数据安全防护的基石全防护的基石。个人和企业的哪个人和企业的哪些数据合规些数据合规？哪些数据违规哪些数据违规？怎怎样采集样采集、存储和分析应用存储和分析应用？目前目前，相关的标准体系相关的标准体系（国标或国标或行标行标）和法律法规均亟待完善和法律法规均亟待完善。2121趋势五随着“互联网流量红利”达到饱和，线上营销服务逐步由增量竞争转变为存量竞争。在此背景下在此背景下，以新零售为代表的以新零售为代表的“线下场景营销线下场景营销”成为破局关键成为破局关键。线下场景营销成为大数据应用新机遇 根据新零售理论，线上销售将会与线下零售结合，同时会结合现代物流、大数据、云计算等技术。未来可能会有60%-80%的零售属于新零售。数据驱动是新零售的内核之一。2017年及以前年及以前2018年以来年以来新零售新零售互联网厂商互联网厂商线下渗透线下渗透传统商超传统商超合作转型合作转型线下线下精准营销精准营销 数字营销供应商，通过收集线下场景数据，制作“人物画像”，精准刻画线下客户群体。进一步，通过与各类“广告主”合作，协助其将品牌精准推送给目标客户。数据采集和分析挖掘种类业务的是核心。出国人群出国人群VIPVIP人群人群常旅客常旅客出现会员出现会员频率频率消费会员消费会员频率频率顾客意向顾客意向商旅人群数据商旅人群数据实体店顾客数据实体店顾客数据2222