2021数据库发展研究报告.pdf
《2021数据库发展研究报告.pdf》由会员分享,可在线阅读,更多相关《2021数据库发展研究报告.pdf(53页珍藏版)》请在咨信网上搜索。
1、数据库发展研究报告数据库发展研究报告(2021 年)年)中国信息通信研究院云计算与大数据研究所中国信息通信研究院云计算与大数据研究所20212021 年年 6 6 月月编制说明编制说明本报告的撰写得到了行业内许多专家的支持和帮助,他们分别来自:云和恩墨(北京)信息技术有限公司、成都虚谷伟业科技有限公司、华为技术有限公司、阿里云计算有限公司、北京科蓝软件系统股份有限公司、中国移动通信集团广东有限公司、湖南亚信安慧科技有限公司、星环信息科技(上海)股份有限公司、上海新炬网络信息技术股份有限公司、平凯星辰(北京)科技有限公司、北京奥星贝斯科技有限公司、上海热璞网络科技有限公司、北京快立方科技有限公司
2、、北京滴普科技有限公司、上海爱可生信息技术股份有限公司、北京新数科技有限公司、北京坤中宇信息技术有限公司、北京优炫软件股份有限公司和武汉达梦数据库股份有限公司。在此表示由衷的感谢。前言前言管理和分析数据,是人类进入信息时代后推动社会进步的关键环节。当前,随着数据要素市场化配置上升为国家战略,数据正式成为企业、产业乃至国家的战略性资源。数据库系统作为承载数据存储和计算功能的专用软件,经过半个多世纪的发展演进,已成为最主流的数据处理工具,是各企业数据工作流程的核心。2020 年,全球数据库市场规模达到 671 亿美元,中国数据库市场规模约为 240.9 亿元,占比约 5.2%,市场空间广阔。当前,
3、新一轮科技革命迅猛发展,数据规模爆炸性增长、数据类型愈发丰富、数据应用快速深化,促使数据库产业再次进入创新周期中的混沌状态。全球范围内创新型数据库产品快速涌现,市场格局剧烈变革,我国数据库产业进入重大发展机遇期。本研究报告从技术、产业、应用三方面梳理了数据库发展情况,并展望了发展趋势。技术方面,梳理了数据库发展的三个关键阶段,探讨了未来数据库技术演进的主要方向;产业方面,从产业主体、研发模式、产品分布、推广策略等方面,分析了我国数据库产业的主体特点、市场格局、发展态势等;应用方面,以金融、政务、工业、互联网为代表,研究了其当前应用现状、问题以及下一步应用趋势。本报告还讨论了当前我国数据库行业存
4、在的挑战,并给出相关建议。希望本报告的分析可以对业界提供参考,不当之处请多多指正。目录目录一、数据库是信息系统的核心.1二、数据库关键技术及发展趋势.2(一)数据库管理系统典型架构.2(二)数据库技术发展历程.4(三)数据库技术发展趋势.9三、数据库产业发展.14(一)数据库产业概述.15(二)数据库产品.16(三)数据库服务.25(四)数据库支撑体系.28四、数据库典型行业应用动态.33(一)金融行业&电信行业.34(二)政务行业.37(三)制造业.38(四)互联网.39五、总结与展望.41六、附录.42(一)数据库管理系统细分类别.42(二)数据库企业人才发展计划.44(三)中国信通院数据
5、库应用创新实验室.44(四)中国信通院数据库评测体系.44参考文献.46图目录图目录图 1 数据库发展历程重要节点.2图 2 数据库管理系统各模块架构图.3图 3 网状模型与层次模型示意图.4图 4 关系模型示意图.5图 5 部分非关系模型示意图.7图 6 集中式与分布式数据库架构示意图.8图 7 数据库产业链全景图.15图 8 中国数据库市场规模及增速.15图 9 我国数据库企业成立时间分布情况.17图 10 我国数据库企业总部分布情况.17图 11 我国数据库企业员工数量分布情况.18图 12 我国数据库企业专利数量分布情况.19图 13 我国数据库产品分布情况.20图 14 关系型数据库
6、中基于主流开源数据库的分布情况.21图 15 2021 年 6 月数据库开源与商业许可证流行度对比.24图 16 数据库服务能力成熟度模型框架.26图 17 全球各国数据库领域发文量及质量.28图 18 2018-2020 年 VLDB、ICDE 和 SIGMOD 论文分布情况.29图 19 全球数据库领域主要研究内容热点图.30图 20 2018-2020 年中国高校及企业学术会议论文贡献情况.30图 21 我国数据库初创企业融资情况.33表目录表目录表 1 数据库典型行业应用特点.34表 2 金融和电信行业数据库架构升级典型案例.35表 3 金融行业非关系型数据库替换典型案例.36表 4
7、金融行业核心系统数据库替换典型案例.37表 5 政务行业非关系型数据库典型案例.38表 6 制造业时序数据库典型案例.39表 7 按数据模型分类的数据库管理系统.43表 8 部分数据库企业人才培训一览表.44数据库发展研究报告(2021 年)1一、数据库是信息系统的核心获取与分析信息,是人类推动社会进步的关键过程。如何持续提高信息处理的能力,是人类社会的持续性命题。人类先后利用骨制品、绳结、纸张、算盘等工具,提高信息处理效率。在计算机发明之后,信息可经过其电子化编码后转化为数据。人类开始探索利用计算机算力优势,实现对数据的高效存储与计算,从而大幅提升信息处理效率。人类首先尝试开发出各类特定计算
8、机应用程序完成相关工作,但由于各类特定应用程序复用性差,人类逐渐围绕数据存储和计算功能、抽象出满足组织信息化需求、逻辑关联的数据库。数据库是支持一个或多个应用领域,按概念结构组织的数据集合,其概念结构描述这些数据的特征及其对应实体间的联系1。数据库中的数据按一定的数据模型组织、描述和存储,具有较小冗余度、较高数据独立性和易扩展性,并可为各种用户共享2。数据库由于综合成本低、处理能力高,扮演各类信息系统的核心角色。首款企业级数据库产品诞生于上世纪 60 年代,六十余年发展过程中,数据库共经历前关系型、关系型和后关系型三大阶段。前关系型阶段数据库的数据模型主要基于网状模型和层次模型,代表产品为ID
9、S 和 IMS,该类产品在当时较好地解决了数据集中存储和共享的问题,但在数据抽象程度和独立性上存在明显不足。关系型阶段以 IBM公司研究员 E.F.Codd 提出关系模型概念,论述范式理论作为开启标志,期间诞生了一批以 DB2、Sybase、Oracle、SQL Server、MySQL、1GB/T 5271.17-2010信息技术 词汇 第 17 部分:数据库2数据库系统概论(第 5 版),王珊、萨师煊。数据库发展研究报告(2021 年)2PostgreSQL 等为代表的广泛应用的关系型数据库,该阶段技术脉络逐步清晰、市场格局趋于稳定。谷歌的三篇论文3开启后关系型数据库阶段,该阶段由于数据规
10、模爆炸增长、数据类型不断丰富、数据应用不断深化,技术路线呈现多样化发展。随着各行业数字化转型不断深入,5G、云计算等新兴技术快速发展,传统数据库的应用系统纷纷优化升级。全球市场格局剧烈变革,我国数据库产业进入重大发展机遇期。来源:中国信息通信研究院、虚谷伟业图 1 数据库发展历程重要节点二、数据库关键技术及发展趋势数据库管理系统作为能够使用户定义、创建、维护和控制访问数据库的软件系统4,其整体架构与技术路线不断深化发展,如今呈现集中式与分布式并存,数据模型不断拓展等技术现状。(一)数据库管理系统典型架构(一)数据库管理系统典型架构数据库管理系统由于不同产品实现细节不完全相同,此处仅对部3Goo
11、gle File System、Google Bigtable 和 Google MapReduce4TM Connolly,CE Begg,Database Systems:APractical Approach to Design,Implementation and Management4th Edition(England:Addison Wesley,2005),p.16数据库发展研究报告(2021 年)3分主流数据库产品做进一步抽象处理得出上述架构。数据库大致可以由内核组件集与外部组件集共同组成,其中外部组件集以数据库配套的独立支撑软件为主,例如数据库驱动。内核组件集则一般可以分为
12、管理组件、网络组件、计算组件、存储组件四大模块。来源:中国信息通信研究院图 2 数据库管理系统各模块架构图存储组件是负责数据持久化存储的组件,对数据库的日志、索引、堆数据等内容进行管理。在新一代的存算分离体系下,数据库堆数据的存储可能是由外部的分布式存储系统承担;计算组件又可以称为协调组件、服务组件,负责响应数据库访问请求,并将 SQL 语言解析成为数据库对应的内部任务。计算组件在分布式、集群等架构下也承接大部分的计算任务,例如排序、联接等;管理组件用于对数据库全生命状态的管理,例如心跳管理、集群管理等,以及各类中心化任务承接,如死锁仲裁、存储映射管理、元数据管理、事务号管理等;网络组件管理整
13、个数据库管理系统的网络通讯的组件。数据库的网络通数据库发展研究报告(2021 年)4讯有内部和外部之分。内部一般指在集群环境或者分布式环境下的各节点之间的高速数据交换。外部一般指的是各个数据库通过对外访问协议与存在于客户端的驱动进行互联的网络交换;驱动组件是支撑数据库能正常提供服务的配套独立组件,数据库管理系统基于其通用特性,往往可以对不同语言开发的软件提供数据服务。但是由于数据库本身只对外提供网络通讯协议,对协议的封装则由客户端侧的不同驱动组件完成。通常有支持 JAVA 语言的 JDBC 接口、支持 C 语言的ODBC 接口和 C-API 接口等。(二)数据库技术发展历程(二)数据库技术发展
14、历程从 20 世纪 60 年代至今,数据库的发展历程大致分为以下三个阶段:1.前关系型阶段(1960-1970):网状层次数据库初尝探索来源:中国信息通信研究院图 3 网状模型与层次模型示意图1963 年,通用电气公司的 Charles Bachman 等人开发出世界上第一个数据库管理系统(以下简称 DBMS)也是第一个网状 DBMS数据库发展研究报告(2021 年)5集成数据存储(Integrated Data Store,IDS)。网状 DBMS 的诞生对当时的信息系统产生了广泛而深远的影响,解决了层次结构无法建模更复杂的数据关系的建模问题5。同时期为解决“阿波罗登月”计划处理庞大数据量的
15、需求,北美航空公司(NAA)开发出 GUAM(Generalized Update Access Method)软件。其设计思想是将多个小组件构成较大组件,最终组成完整产品。这是一种倒置树的结构,也被称之为层次结构6。随后 IBM 加入 NAA,将 GUAM 发展成为 IMS(Information Management System)系统并发布于 1968 年,成为最早商品化的层次 DBMS。2.关系型阶段(1970-2008):关系型数据库大规模应用来源:中国信息通信研究院图 4 关系模型示意图第一阶段的 DBMS 解决了数据的独立存储、统一管理和统一访问的问题,实现了数据和程序的分离,但
16、缺少被广泛接受的理论基础,同时也不方便使用,即便是对记录进行简单访问,依然需要编写复杂程序,所以数据库仍需完善理论从而规模化应用落地。第二阶段开启5TM Connolly,CE Begg,Database Systems:APractical Approach to Design,Implementation and Management4th Edition(England:Addison Wesley,2005),p.24.6出处同上数据库发展研究报告(2021 年)6的标志性事件为 1970 年,IBM 实验室的 Edgar Frank Codd 发表了一篇题为大型共享数据库数据的关系模
17、型论文,提出基于集合论和谓词逻辑的关系模型,为关系型数据库技术奠定了理论基础。这篇论文弥补了之前方法的不足,促使 IBM 的 San Jos实验室启动验证关系型数据库管理系统的原型项目 System R,数据库发展正式进入第二阶段。1974 年,Ingres 原型诞生,为后续大量基于其源码开发的PostgreSQL、Sybase、Informix 和 Tandem 等著名产品打下坚实基础。1977 年,Oracle 前身 SDL 成立。1978 年,SDL 发布 Oracle 第一个版本。20 世纪 80 年代,关系型数据库进入商业化时代。1980 年,关系型数据库公司 RTI(现名 Acti
18、an)成立并销售 Ingres,同年,Informix公司成立。1983 年,IBM 发布 Database2(DB2)for MVS,标志 DB2正式诞生。1984 年,Sybase 公司成立。1985 年,Informix 发布第一款产品。1986 年,美国国家标准局(ANSI)数据库委员会批准 SQL 作为数据库语言的美国标准并公布标准 SQL 文本。1987 年,国际标准化组织(ISO)也做出了同样决定,对 SQL 进行标准化规范并不断更新,使得 SQL 成为关系型数据库的主流语言。此后相当长的一段时间内,不论是微机、小型机还是大型机,不论是哪种数据库系统,都采用SQL 作为数据存取语
19、言,各个公司纷纷推出各自支持 SQL 的软件或接口7。同年 5 月,Sybase 发布首款产品。7吴鹤龄.关系数据库的标准语言SQLJ.计算机研究与发展,1989(06):7.数据库发展研究报告(2021 年)720 世纪 90 年代,Access、PostgreSQL 和 MySQL 相继发布。至此,关系型数据库理论得到了充分的完善、扩展和应用,在后关系型阶段,关系型数据库仍在发展演进,从未中止。3.后关系型阶段(2008-至今):模型拓展与架构解耦并存进入 21 世纪,随着信息技术及互联网不断进步,数据量呈现爆发式增长,各行业领域对数据库技术提出了更多需求,数据模型不断丰富、技术架构逐渐解
20、耦,一部分数据库走向分布式、多模处理、存算分离的方向演进。谷歌在 2003 至 2004 年公布了关于 GFS、MapReduce 和 BigTable 三篇技术论文,为分布式数据库奠定基础,Mike Stonebraker 提出“one size does not fit all”并依照此理念推出多种数据模型、存储介质的数据库,数据库发展正式进入第三阶段。来源:中国信息通信研究院图 5 部分非关系模型示意图数据模型不断拓展。步入互联网 Web 2.0 和移动互联网时代,许多互联网应用表现出高并发读写、海量数据处理、数据结构不统一等特点,关系型数据库并不能很好地支持这些场景。另一方面,非关系数
21、据库发展研究报告(2021 年)8型数据库有着高并发读写、数据高可用性、海量数据存储和实时分析等特点,能较好地支持这些应用的需求。因此,一些非关系型数据库也开始兴起。为了解决大规模数据集合和多种数据类型带来的挑战,NoSQL 数据库应运而生,其访问速度快,适宜处理互联网时代容量大、多样性高、流动性强的数据。来源:中国信息通信研究院图 6 集中式与分布式数据库架构示意图分布式架构逐渐成熟。由于传统基于集中式数据库在应对海量数据及复杂分析处理时,存在数据库的横向扩展能力受限、数据存储和计算能力受限、不能满足业务瞬时高峰的性能等根本性的架构问题。利用分布式计算和内存计算等新技术设计的分布式数据库能够
22、解决上述遇到的性能不足等问题。分布式数据库的数据分散在网络上多个互联的节点上,数据量、写入读取的负载均衡分散到多个单机中,集群中某个节点故障整个集群仍然能继续工作,数据通过分片、复制、分区等方式实现分布存储。每个数据节点的数据会存在一个或者多个数据库发展研究报告(2021 年)9副本,提供数据冗余。当某个数据节点出现故障时,可以从其副本节点获取数据,避免数据的丢失,进而提升了整个分布式集群的可靠性。为保障分布式事务在跨节点处理时事务的原子性和一致性,一般使用分布式协议处理。常用两阶段提交、三阶段提交协议保障事务的原子性;使用 Paxos、Raft 等协议同步数据库的事务日志从而保障事务的一致性
23、。分布式数据库技术架构大致可分为如下三类:以 Apache Cassandra、Apache HBase 为代表的分布式存储为基础的数据库,底层存储基于分布式文件系统具备了分片或者分区存储的能力,扩大了普通存储设备的存储系统的上限。以 Greenplum 为代表的 Shared-Nothing 架构,通过多节点协同工作扩大分布式存储能力的同时,相应的还通过 MPP 架构可以支持多级并行计算处理,增强查询和分析能力。以 Kylin 为代表的多维数据库产品,以及以 OpenTSDB 为代表的时序数据库,使用其它分布式数据库作为后台存储,通过构建相应的数据模型和索引技术,扩展成为新的数据库。其他还包
24、括分库分表等中间件解决方案,严格来说不属数据库系统,但是提供类分布式数据库解决方案,适用于合适的业务场景对分布式数据库的需求。(三)数据库技术发展趋势(三)数据库技术发展趋势大数据时代,数据量不断爆炸式增长,数据存储结构也越来越灵活多样,日益变革的新兴业务需求催生数据库及应用系统的存在形式愈发丰富,这些变化均对数据库的各类能力不断提出挑战,推动数据数据库发展研究报告(2021 年)10库技术的不断演进,总结起来体现为三个方向:1)多模数据库实现一库多用、利用统一框架支撑混合负载处理、运用 AI 实现管理自治,提升易用性、降低使用成本(下文趋势一、二、三);2)充分利用新兴硬件、与云基础设施深度
25、结合,增强功能、提升性能(下文趋势四、五);3)利用隐私计算技术助力安全能力提升、区块链数据库辅助数据存证溯源,提升数据可信与安全(下文趋势六、七)。1.趋势一:多模数据库实现一库多用后关系型阶段,数据结构越来越灵活多样,如表格类型的关系数据、半结构化的用户画像数据以及非结构化的图片和视频数据等。面对这些多种结构的数据,应用程序对不同数据提出了不同存储要求,数据的多样性成为数据库平台面临的一大挑战,数据库因此需要适应多类型数据管理的需求。多模数据库支持灵活的数据存储类型,将各种类型的数据进行集中存储、查询和处理,可以同时满足应用程序对于结构化、半结构化和非结构化数据的统一管理需求。目前行业以A
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2021 数据库 发展 研究 报告
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【宇***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【宇***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。