中国数据管理领域发展白皮书.pdf
《中国数据管理领域发展白皮书.pdf》由会员分享,可在线阅读,更多相关《中国数据管理领域发展白皮书.pdf(81页珍藏版)》请在咨信网上搜索。
1、12021年中国数据管理领域发展白皮书2021/400-072-5588概要数据管理定义数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程,旨在从原始数据中抽取、推导出有价值的信息,以支撑企业决策。数据管理平台最基础的功能,是支持各项数据管理流程线上化运行实现数据治理的常态化,此外数据管理平台助力企业用户更好的整合数据资产、提升数据质量。综合型数据管理服务商依托自身技术优势,打造“采、存、算、管、用”全生命周期数据管理的一站式数据管理平台,助力企业降低构建大数据平台成本。数据管理市场环境中国数据管理市场具备全球最大、最复杂的应用场景,吸引了高热度的人才与资本。数据管
2、理对各行业收益均有明显的放大作用,其中在保险业和金融业的效果最为明显;更及时的决策/观察是数据管理的主要受益来源。需求端的用户则对数据价值有了更深的认识,通过改善传统绩效评价指标,发掘新的增长源和推出数据驱动的新业务,让数据管理创造收益。伴随企业信息化进程的加快,提升企业决策效率、提高企业运营效率,规避企业管理风险成为下游企业用户向中游服务商购买数据管理产品及服务的主要因素。产业发展对大数据复合型人才的需求日益增加,但现有的人才培养数量和速度难以满足现实需求,大数据服务行业面临人才短缺风险。企业对数据管理人才的认知从专家型转变为领导者,随着企业对数据管理的认知发生变化,数据管理人才在企业的地位
3、正在提升。数据管理解决方案数据湖和数据仓库是实现正式数据管理解决方案的两种主流架构,数据仓库更重视大数据处理的效率,偏重于企业成长性;数据湖可处理非结构化数据,偏重于增加企业数据管理灵活性。数据湖和数据仓库的边界正在慢慢模糊,数据湖自身的治理能力、数据仓库延伸到外部存储的能力都在加强,湖仓一体的出现让数据管理的灵活性与成长性得到了统一。数据湖和数据仓库通过连结五大数据管理要素和提供数据高级分析的基础,实时支持企业决策,加速了企业数据的价值创造。数据库数据库是按照数据结构来组织、存储和管理数据的“仓库”,按照所使用模型所描述数据在某一时刻的状态或内容的不同,可分为关系型数据库和非关系型数据库。其
4、中不同的架构模式又可分为集中式数据库和分布式数据库。以数据分析、数据流通及事务处理技术为核心的大数据技术体系日渐完善,数据库技术和数据服务融合程度加深,助力企业用户数据价值释放。数据治理为了适应新时代基于数据的生产、分析、决策的需求,包括数据管理和数据价值变现的数据治理成为了关键。中国数据资产管理和应用尚处于摸索阶段,企业及政府部门尚未建立及完善有效的管理和应用数据模式,影响大数据在各领域的共享和应用。qRtOzQpNmMmPnMzQmPtRrR6M9R9PoMmMmOsQiNpPmNiNpPrP9PpPvMNZmPmPNZnMsN400-072-5588目录CONTENTS数据管理综述-11
5、 范畴与定义-12 厂商类型-15 行业环境-16 商业实践分析-17 用户需求分析-19 下游应用概况-20 人才需求与供应-22数据管理解决方案-24 数据仓库-25 数据湖-26 部署方案-27 湖仓一体-28 需求分析-30 商业实践分析-31 需求分析-34 政策分析-35 市场规模-36 400-072-5588目录CONTENTS数据库-37 定义与分类-38 发展趋势-39 分布式架构-41 技术洞察-42 行业发展历程-49 产业链分析-50 政策分析-55 产业驱动因素分析-56 市场规模-58 行业风险分析-59数据治理-60 定义-61 发展路径-62 数据资产管理措施
6、-63 应用现况-66 市场规模-67 企业对比分析-68 400-072-5588目录CONTENTS工业领域的数据管理-69 数据资源-70 产业链-71 中游业务模式-72 需求分析-73 应用价值-74附录-75 数据管理厂商图谱-76名词解释-77方法论-80法律声明-81 400-072-5588CONTENTSData management overview-11 Scope and definition-12 Vendor Type-15 Industry environment-16 Business practice analysis-17 User needs analy
7、sis-19 Overview of downstream applications-20 Talent demand and supply-22Data Management Solution-24 Data Warehouse-25 Data Lake-26 Deployment plan-27 Integration of Data Lake and Data Warehouse-28 Demand analysis-30 Business practice analysis-31 Demand analysis-34 Policy Analysis-35 Market Size-36
8、400-072-5588CONTENTSDatabase-37 Definition and Classification-38 Development Trend-39 Distributed architecture-41 Technology Insights-42 Industry development history-49 Industry Chain Analysis-50 Policy Analysis-55 Analysis of industry driving factors-56 Market Size-58 Industry Risk Analysis-59Data
9、Governance-60 Definition-61 Development path-62 Data asset management measures-63 Application status-66 Market size-67 Comparative analysis of vendors-68 400-072-5588CONTENTSData management in the industrial field-69 Data resources-70 Industry Chain-71 Midstream business model-72 Demand analysis-73
10、Application Value-74Appendix-75 Landscape of Data Management Vendors-76Terms-77Methodology-80Legal Statement-81 400-072-5588图表目录List ofFigures and Tables图表1:数据管理范畴-12图表2:数据管理流程-13图表3:数据管理平台的定义及构成-14图表4:中国数据管理平台服务商类型-15图表5:中国数据库行业环境-16图表6:各行业每10%数据管理的投入对资产收益率的提升-17图表7:正式数据管理解决方案的主要收益来源占比-18图表8:2020年中
11、国大数据服务企业用户需求动因-19图表8:2019年中国企业用户在大数据服务的投入意愿-19图表9:2020年部分地区对数据管理的重视程度-20图表10:2020年下游企业用户需求动因分析-20图表11:中国数据管理在各个应用场景的成熟度-20图表13:数据价值难以有效发挥的原因-21图表14:2020年中国不同地域对大数据人才的需求-22图表15:2019年中国大数据行业人才需求与供给分布-22图表16:企业对数据管理人才认知的变革-23图表17:数据仓库架构-25图表18:数据湖架构-26图表19:数据管理系统部署方案-227图表20:数据管理解决方案发展阶段-28图表21:数据管理解决方
12、案服务架构的变化-29图表22:数据管理解决方案在六大行业的需求分析-30图表23:数据管理对行业核心价值节点带来的变化-31图表24:五大数据管理要素-32图表25:数据湖和数据仓库作为加速器参与大数据管理-33图表26:各领域数据管理解决方案的潜在需求-34图表27:数据管理解决方案相关政策整理-35图表28:中国数据管理解决方案市场规模,2015-2024年预测-36图表29:数据库的分类-38图表30:三类软件产品细分的关键差异-39图表31:数据库架构变革-40图表32:大数据技术融合发展-40图表33:数据属性、计算载体与数据库架构的演进-41图表34:事务一致性属性及实现思路-4
13、2图表35:2PC vs.3PC vs.Paxos vs.Raft-42图表36:数据库集群架构分类-43图表37:SN vs.SM vs.SD-43图表38:NewSQL的演进路径-44 400-072-5588图表目录List ofFigures and Tables图表39:传统数据库应用架构数据流-45图表40:分离架构HTAP简要原理-45图表41:OLTP vs.OLAP vs.HTAP-45图表42:云化与微服务化的演进-46图表43:运维演变历程-47图表44:智能运维-47图表45:AI赋能数据库对比-48图表46:中国数据库行业发展历程-49图表47:中国数据库产业链-50
14、图表48:中国X86服务器提供商竞争格局,2019-2020年-51图表49:中国X86服务器市场需求结构,2019-2020年-51图表50:供给端数据资源流-52图表51:开源社区构成-52图表52:中游数据库厂商关键成功因素分析-53图表53:中国分析型数据库需求结构-54图表54:中国分析型数据库收入-数据乘数-54图表55:各国或地区数据库产业建设与发展方针-55图表56:数据库产业相关政策-55图表57:数据库产业驱动因素-56图表58:2016-2025年中国数据库市场规模及预测-58图表59:数据库行业风险-59图表60:数据治理宏观架构-61图表61:数据治理演变历程-62图
15、表62:数据管理节点的业务影响与实施难度-62图表63:数据资产管理实施步骤-63图表64:中国及海外国内外数据资产管理标准/模型及框架-64图表65:国际数据管理协会DAMA-DMBOK2理论框架-64图表66:数据资产管理AIGOV五星模型内容及价值-65图表67:数据治理相关规划-66图表68:参与数据治理工作的部门-66图表69:数据治理参考标准或方法论-66图表70:大数据服务市场规模,2018-2024年预测-67图表71:数据治理在大数据平台建设中的平均预算占比-67图表72:数据治理市场规模,2018-2024年预测-67图表73:数据治理领域企业对比-68图表74:中国工业大
16、数据源特征-70图表75:中国工业数据行业产业链-71图表76:工业大数据服务商的业务模式-72图表77:中国工业大数据市场产品结构(按销售额计)2020年-73图表78:工业数据管理应用场景及应用价值-74图表79:数据管理厂商图谱-76 11Chapter 1数据管理综述o范畴与定义o厂商类型o行业环境o商业实践分析o用户需求分析o下游应用概况o人才需求与供应 400-072-5588数据管理综述范畴与定义数据管理范畴来源:头豹研究院数字化转型趋势在数字化转型的浪潮中,随着数据量的增加和数据应用场景的丰富,数据间的关系变得更加复杂数据管理的重要性凸显,企业应当拥抱技术更迭的节奏,以适应时代
17、变化数据管理数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程其目的在于充分有效地发挥数据的作用数据管理产品数据管理产品包括数据库、数据集市、数据仓库、数据湖、湖仓一体、数据治理IT市场硬件产品硬件产品运营软件产品&服务信息处理服务互联网服务嵌入式软件服务专业软件服务软件产品企业级解决方案打包式软件产品操作系统数据管理解决方案企业级应用数据库数据仓库数据湖产品化程度产品化程度产品化程度应用层级不同架构代表本报告讨论范围湖仓一体数据治理数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程,其目的在于充分有效地发挥数据的作用 400-072-5
18、588数据管理是利用计算机硬件和软件技术对海量数据进行有效的收集、存储、计算、分析和应用的过程,旨在从原始数据中抽取、推导出有价值的信息,以支撑企业决策数据管理综述范畴与定义数据管理流程来源:头豹研究院数据收集信息加工数据治理知识应用数据源数据管理智慧数据知识信息智慧 数据清洗后变为信息 信息关联后变为知识 流计算 Flink/Storm 并行计算 HDFS/HBase 分布式计算 Yarn/Spark 内存计算 Spark/SAP HANA 关系型信息整合 二维表格模型 非关系型信息整合 键值型数据库 列储存数据库 文档型数据库 图形数据库 实时决策 RTDSS决策支持 EIS主管咨讯 BI
19、商业智能 机器学习 数据智能 数据沙箱 知识应用后变为智慧 现象采集后变为数据 结构化数据 csv./json.非结构化数据 文本/图片/影片 半结构化数据 xml./400-072-5588数据管理平台最基础的功能,是支持各项数据管理流程线上化运行实现数据治理的常态化,此外数据管理平台助力企业用户更好的整合数据资产、提升数据质量数据管理综述范畴与定义数据管理平台的定义及构成来源:中国电子信息产业发展研究院,摩尔元数,头豹研究院基础功能基础功能基础功能基础功能元数据管理:实现对元数据采集、维护、版本管理,展现血缘分析、影响分析与数据地图元数据管理:实现对元数据采集、维护、版本管理,展现血缘分析
20、、影响分析与数据地图数据管理平台基础职能数据需求管理:提供面向业务用户的数据需求沟通渠道,跟踪数据需求、统计数据需求数据需求管理:提供面向业务用户的数据需求沟通渠道,跟踪数据需求、统计数据需求其他功能:数据模型管理、数据安全管理、主从数据管理等功能其他功能:数据模型管理、数据安全管理、主从数据管理等功能各项管理流程的支持:实现数据管理各领域中的流程常态化运行各项管理流程的支持:实现数据管理各领域中的流程常态化运行数据标准管理:实现对全行级数据标准的维护和落标分析数据标准管理:实现对全行级数据标准的维护和落标分析数据质量管理:实现数据质量检核定义、质量检核分析、质量检核执行,形成数据质量知识库数
21、据质量管理:实现数据质量检核定义、质量检核分析、质量检核执行,形成数据质量知识库定义:数据管理平台是对数据进行全链路、全生命周期管理的平台,帮助用户管理海量的多源异构数据,对用户数据进行统一的存储、清洗、加工。数据管理平台依托以数据标准、元数据管理、数据质量稽核为核心的数据治理体系帮助用户更好的整合数据资产、提升数据质量。数据挖掘数据内容分析数据分类海量数据处理数据多维度处理数据采集数据分析数据可视化智能化数据可视化平台搭建提供开源可视化库市场需求业务细分注:星星图标数量越多,代表产品市场需求度越高数据检索数据交换数据加密数据安全数据期货数据融资数据抵押数据交易 400-072-5588综合型
22、数据管理服务商依托自身技术优势,打造“采、存、算、管、用”全生命周期数据管理的一站式数据管理平台,助力企业降低构建大数据平台成本数据管理综述厂商类型中国数据管理平台服务商类型数据管理平台业务分类数据交易数据分析数据安全 源数据采集 数据预处理 数据存储数据可视化 增加数据交易流量 加快数据流转速度 大数据快速处理 获取决策的信息 个 性 化 定制数据 企业决策 确 保 数 据 信息 机 密 性、真 实 性、完整 性 与 不 可否认性数据采集与存储数据采集与预处理服务商数据交易服务商数据分析服务商数据可视化服务商数据安全服务商垂直类数据管理服务商综合型数据管理服务商综合型数据管理服务商提供“采、
23、存、算、管、用”全生命周期数据管理的一站式数据管理平台,助力企业降低构建大数据平台成本 400-072-5588中国数据管理市场具备全球最大、最复杂的应用场景,吸引了高热度的人才与资本数据管理综述行业环境中国数据库行业环境来源:明势资本、Github、中国信通院,头豹研究院0004781015171317122010-2021年中国数据库初创企业融资次数DAU 1100万DAU 6300万DAU 10亿DAU 7亿日交易量25亿日交易量10亿vsvsvsGitHub预测2030年的贡献者国家分布热度低高场景人才GitHub公开2020年的贡献者国家分布热度低高资本来源:中国信通院,头豹研究院
24、最大、最复杂的应用场景中国市场具备全球最大的数据流量规模,以外卖平台、即时通讯和支付举例,中国的数据场景代表了全球领先的实践场景,对数据库技术有着高热度的迭代需求,倒逼孵化更强大的数据库提供商。IT相关人才热度将领先全球中国互联网行业的蓬勃发展与数字化转型趋势对IT相关人才有着巨大的需求,吸引着越来越多的人才加入行业。数据领域的融资热潮持续中国吸引着全球资本市场对中国软件市场持续注资,进一步催化中国数据管理市场的高速增长。低高GitHub预测2025年的贡献者国家分布热度 400-072-558842%32%28%17%17%16%13%12%11%11%保险商业银行其他金融机构电信航空运输出
25、版原油大宗交易电力&能源钢铁数据管理对各行业收益均有明显的放大作用,其中在保险业和金融业的效果最为明显;更及时的决策/观察是数据管理的主要受益来源数据管理综述商业实践分析各行业每10%数据管理的投入对资产收益率的提升保险、商业银行、金融机构的行业共性:劳动力密集型行业 数据壁垒营销环节,各子公司各自为政研发环节,金融衍生品的开发需要大量的数据,却不在体系内收集数据自身业务的连续性与跨部门协作性弱 大比例的对客业务 量大复杂的数据来源数据维度不统一(非结构化/半结构化)个人征信数据 个人消费行为数据数据量大 一个储户信用报告数据量高达10GB数据来源:德克萨斯大学奥斯汀分校,沙利文百分比 400
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 中国 数据管理 领域 发展 白皮书
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。