数据库行业发展报告.pdf
《数据库行业发展报告.pdf》由会员分享,可在线阅读,更多相关《数据库行业发展报告.pdf(35页珍藏版)》请在咨信网上搜索。
1、数据库行业发展报告数据库行业发展报告证券分析师:钱劲宇 执业证书编号:S0210522050004证券研究报告行业评级 强大于市2022年10月请务必阅读报告末页的重要声明核心观点:数据库应用的发展趋势:混合事务分析处理(HTAP)针对OLTP和OLAP单独的数据应用需求,如果由各自专有系统处理,一般来说性能将比混合通用系统性能高一到两个数量级,但未来整合的趋势更明显,客户需要可以满足混合需求的通用系统,HTAP基于一体化架构高度融合,在事务支持和数据时效上更有保证,同时减少专有系统数据迁移处理下的同步成本。数据库架构的发展趋势:分布式架构分布式数据库继承了传统单机数据库的核心特性,同时还拥有
2、分布式系统的处理能力,具有可水平扩展、高性能、高可用、混合负载、更安全等优点。原生分布式架构数据库直接改变底层结构,因此性能不受底层数据库制约,也天然契合云原生理念。数据库部署的发展趋势:云原生部署云原生数据库结合云原生与分布式特点,最大限度实现资源池化、弹性变配、超高并发等能力,可实现随时随地的多前端访问,提供云服务的计算节点,并且能够灵活及时调动资源扩缩容,助力企业降本增效,国内云原生数据库虽起步晚,但发展迅速。投资建议:国内数据库相关软件企业国内处于早期快速发展阶段,建议关注相关拟上市或筹备上市公司。风险提示:技术发展不及预期、相关公司上市情况不及预期。投资要点pOzRpPsQqPtQz
3、RzQtRqMsOaQ9RaQnPqQoMnPkPnMmMiNpOwPbRrRxPwMrNpRwMnOyR目录3Part 1 数据库行业介绍及发展趋势P04-P13Part 2 国外数据库市场主要玩家P14-P18Part 3 国内数据库市场及竞争格局P19-P32关系型数据库:存储格式可直观反映实体间的关系,和常见的表格类似。我国数据库产品数量分布仍以关系型数据库为主,占比60%左右。NoSQL数据库:分布式、非关系型、不保证遵循ACID原则。随着数据量及数据结构复杂度提升,大量的NoSQL数据库出于简化结构、避免冗余目的被设计,支持海量数据的存储和高并发读写。NewSQL数据库:现代关系型
4、DBMS。分布式架构基因,兼具关系型数据库的ACID保证和NoSQL的强 可 扩 展 性。如 Google Spanner、AmazonAurora。ACID为了保证数据库一致性,事务必须满足以下四个原则:原子性(Atomic):事务中任何操作的失败会导致整个事务的失败一致性(Consistent):事务结束后系统状态都是一致的隔离性(Isolated):并发执行的事务彼此操作互不影响持久性(Durable):事务完成后所做的改动都会被持久化数据库(DBS)是一个按数据结构来存储和管理数据的计算机软件系统。数据库管理系统(DBMS)是数据库系统(DBS)的核心组成部分,主要完成对数据库的操作与
5、管理功能,实现数据库对象的创建、数据库存储数据的查询、添加、修改与删除操作和数据库的用户管理、权限管理等关系型数据库NoSQL数据库NewSQL数据库资料来源:公开资料整理,华福证券研究所数据库基本概念及分类关系型数据库按部署分类按架构分类本地部署需要大量维护成本集中式单机共享所有计算资源(CPU、RAM、Disk)和数据。不支持高并发场景,扩展难、数据迁移难、运维难。分布式分布式中间件+单机Shared-disk:通过数据在逻辑层的线性切割实现性能和存储的扩展。能力受单机数据库自身能力的制约。云部署云部署与分布式架构天然高度契合。分布式存储Shared-nothing:非对称计算节点+共享存
6、储(存储和计算未分开),如Netezza/Teradata/Redshift均采用此架构。原生分布式数据库Multi-cluster,Shared data:对称计算节点提供对等的读写服务(存储和计算彻底分离),如Snowflake/TiDB均采用此架构。数据库常见有三种分类:按模型可分为:关系型、非关系型(包括键值型、文档型、图、列簇型、时序、空间等);按架构可分为:单机、集中式、分布式;按部署形态可分为:本地部署、云部署。据中国信通院数据,截止2021年6 月,我国数据库产品共有135款,其中关系型数据库81个,占比60%。资料来源:公开资料整理,华福证券研究所关系型数据库是中国主流的数据
7、库产品NoSQL数据库键值型数据库支持高扩展、高并发,但数据无结构化,只被当做字符串或二进制数据,只能通过键来查询值。国外有Redis,国内有TcaplusDB,Tendis;宽列存储数据库适用分布式数据存储与管理,以列族式存储,高扩展,查找简单快速,但不支持事务强一致性。国外有HBase,Cassandra,国内有GeminiDB,iBASE;文档数据库适用存储面向文档或近似半结构化的数据,数据结构灵活,可以根据 value 构建索引,缺乏统一查询语法。国外有MongoDB、CouchDB,国内目前还没有;图形数据库适用于社交网络,专注构建关系图谱,支持复杂图形算法,但复杂性高只支持一定数据
8、规模。国外有Neo4j,国内有TGDB,Alibaba GDB,GeaGraph;关系型数据库的不足:高并发读写性能低:关系型数据库的性能和访问承载能力,在面向单一数据节点的企业级应用时代无可挑剔。但随着数据量和节点急剧提升,已很难继续支撑巨大的规模系统,甚至成为应用系统的瓶颈;不适合储存半结构和非结构类型数据:二维表格数据模型不能有效地处理多维数据,不能有效处理互联网应用中半结构化和非结构化的海量数据,如Web页面、电子邮件、音频、视频等;容量有限:当一个应用系统的用户量和访问量与日俱增的时候,传统的关系型数据库却没有办法简单地通过添加更多的硬件和服务节点来扩展性能和负载能力。NoSQL的出
9、现并非为了取代关系型数据库,而是指Not Only SQL,提供了在SQL之外的另一种选择。资料来源:公开资料整理,华福证券研究所NoSQL数据库是对关系型数据库的有益补充数据库诞生于20C60s,前后经历了网状数据库、层次数据库、关系型数据库、云数据库、云原生数据库。网状数据库:1964年,通用电气公司发布世界上第一个网状数据库系统IDS(Integrated Data Storage集成数据存储),IDS是网状数据库,奠定了数据库发展的基础。层次数据库:1968年,IBM发布世界上第一个层次数据库系统IMS(Information Management System信息管理系统),是第一个
10、大型商用的数据库系统。关系型数据库:1978年,第一个关系型数据库Oracle 1.0 诞生,后续几十年中关系型数据库一直占据市场主导地位,直至移动互联网时代到来。NoSQL数据库:随着WEB 2.0网站兴起,NoSQL数据库应运而生,解决了大规模数据集合和多种数据类型的处理挑战。New SQL既有No SQL相同的可扩展性,又保证了事务的ACID特性,既基于传统关系模型保留了SQL作为查询语言,又天生具有分布式架构基因(传统的SQL架构设计基因中是没有分布式的,而New SQL生于云时代天生就是分布式架构)。NewSQL 在SQL数据库的基础上集成了NoSQL强大的可扩展性;NewSQL 在
11、NoSQL的发展中增强了对SQL、OLTP的支持;关系型数据库No SQL数据库New SQL数据库资料来源:公开资料整理,华福证券研究所NewSQL集成了NoSQL和关系型数据库的优点联机事务处理/数据库OLTP(On-Line Transaction Processing)联机分析处理/数据仓库OLAP(On-Line Analytical Processing)应用场景面向交易的处理系统(业务系统)分析驱动,面向信息的分析过程典型应用银行交易系统数据仓库特征业务在数据库联机的日常操作,通常是对记录进行查询、修改,用户关心快速响应、数据的安全性、完整性和并发支持的用户数等一般针对某些主题的
12、历史数据进行分析,支持管理决策数据量每次交易涉及的数据量很小;对响应时间要求非常高;总体数据量相对较小。每次查询涉及数据量很大(常涉及多表联结);响应时间与具体查询有很大关系;总体数据量相对较大。数据来源于系统中交易本身产生的数据不产生数据,数据来源于生产系统操作数据使用人员操作人员管理人员用户数量极多较少交互载体SQL为交互载体以SQL为主要载体,也支持其他语言交互设计重点尽量避免冗余,为捕获数据而设计有意引入冗余,为分析数据而设计资料来源:公开资料整理,华福证券研究所数据库的两大应用场景:OLTP和OLAP2014年,Gartner提出 HTAP(Hybrid Transaction/An
13、alytical Processing)混合事务分析处理的概念。HTAP基于一体化架构,是高度融合的一个系统,在技术上更难,但对事务的支持和数据的时效上更有保证,同时减少数据在链条流动存在的多份数据冗余保存的负担,节省了技术、人力、时间和数据同步成本。而如果用“OLTP+OLAP”模式,两套系统让迁移适配成本大幅上升,且为系统后续的开发和运维带来难处,同时也没法保证对事务的支持能力和数据的时效。OLAP本身不生产数据,需通过对OLTP操作数据的转化清洗迁移后,才可以进行专题需求分析。针对OLTP和OLAP单独的数据应用需求,如果由各自的专有系统处理,一般来说性能将比混合通用系统性能高一到两个数
14、量级,但就软硬件技术发展现状和当前需求来看,未来整合的趋势更为明显。除了极少数企业需要使用专有系统来实现其特殊的需求,集成数据平台(HTAP)将能满足绝大多数用户的场景。集成数据平台(HTAP)节省了将OLTP的数据变化“以log日志的形式暴露、通过消息队列解耦传输、再被后端ETL拉取”,然后同步到OLAP的繁琐步骤。资料来源:公开资料整理,华福证券研究所数据库应用的发展趋势:混合事务分析处理(HTAP)从早期的单机关系型数据库到NoSQL再到如今的NewSQL,数据库领域不管是场景还是技术都发生了巨大的变化。在当下云原生时代,任何软件系统拥有分布式能力似乎成了标配。分布式数据库继承了传统单机
15、数据库的核心特性,同时还拥有分布式系统的处理能力。分布式数据库可水平扩展、高性能、高可用、混合负载、更安全。分布式数据库正以猛烈的趋势追赶,而传统数据库指数在慢慢下滑,且得益于国内互联网行业的快速发展,国外的数据库系统远不能满足需要,由此催生了一批走在世界前沿的国产分布式数据库。越来越多的国企、政府单位、银行证券这些传统行业也开始关注分布式数据库,去O道路正在加速。性能可水平扩展:数字化转型过程中,数据量、数据结构复杂度均呈几何级增长,传统数据库出现性能瓶颈。分析能力出色:分布式数据库的混合负载能力可大幅度提升分析时效性,减少数据冗余,灵活性大大提高。政策战略扶持:多项政策明确重点布局数据库分
16、布式转型、应用创新战略,扶持国产数据库“换道超车”。分布式数据库出现的原因:资料来源:公开资料整理,华福证券研究所数据库架构:从单机到分布式数据库1、分布式中间件+单机数据库:通过数据在逻辑层的线性切割实现性能和存储容量的扩展,但能力受单机数据库自身制约。且移动扩展困难、数据迁移困难、运维难度高。2、分布式存储:大部分公有云数据库都属此类,以共享存储和非对称计算节点实现数据一致性和读写分流,有限解决了扩展性问题。如GaussDB(for MySQL)、TDSQL-C、SequoiaDB等。3、原生分布式数据库:各计算节点提供对等的读写服务,TiDB、OceanBase、ZNBase等。原生分布
17、式架构直接改变底层结构,因此性能不受底层数据库制约,也天然契合云原生理念。资料来源:公开资料整理,华福证券研究所数据库架构:分布式架构的三条技术路线据Gartner 2021年数据库产品提供商排名,Microsoft 凭借云数据库的后发优势,抢占了Oracle占据十年的榜首,前十名中有四家以云服务为主的企业,分别为 Microsoft/Amazon/Google/阿里云。Gartner预测到2023年,全球75%的数据库将完成云平台的迁徙,仅有 5%的数据保持在原本的本地部署。据中国信通院,2020 年中国公有云数据库市场规模为 107.68 亿元,后续5年公有云数据库市场年复合增长率将达到3
18、6.1%,预计到2025年,中国公有云数据库市场总规模将达到 503.31 亿元。传统数据库的云部署:云与数据库的集合,减少了数据库参数的重复配置,具有快速部署、高扩展、高可用、可迁移、易运维和资源隔离等特点。云原生数据库:随时随地的多前端访问,提供云服务的计算节点,并且能够灵活及时调动资源扩缩容,助力企业降本增效。传统数据库的云部署基于云资源部署的传统数据库。云原生数据库基于容器化、微服务等设计的存算分离架构。云原生数据库结合云原生与分布式特点,最大限度实现资源池化、弹性变配、超高并发等能力。云原生数据库起源于Amazon,后受到国内厂商的广泛关注。据中国信通院对国内企业调研,受访者认为云原
19、生数据库前四分别是AWS的Aurora、华为云GaussDB、阿里云PolarDB和腾讯云TDSQL-C,可以看出国内云原生数据库虽起步晚,但发展较快。资料来源:公开资料整理,华福证券研究所数据库部署:从本地到云部署据 Gartner 在2011-2021十年期间的全球数据库市场份额变化,云厂商在数据库领域的竞争力不断提高,”云+数据库”已成为行业新的竞争力。目前市场份额显著增长的厂商,都以云作为核心竞争力和创新方向。2021年Oracle 已经连续两年市场地位下降,跌 至 第 三 位,而 Microsoft、Amazon AWS 都是凭借数据库上云超越 Oracle,Google也通过云数据
20、库进入排名前。中国的三大云厂商阿里云、华为云、腾讯云同样获得数据库的高速增长。在传统数据库厂商中,市场份额正在下降的厂商都是因为不具备云优势,例 如IBM、SAP、Teradata、Cloudera 等。资料来源:Gartner,华福证券研究所数据库部署:云数据库后来居上Gartner 2021年数据库市场份额排名显示:微软2020-2021连续两年蝉联榜首;AWS排名上升一位超越Oracle位列第二;Oracle 降至全球第三。DB-Engines 2022年10月排行榜显示:微软两款数据库受欢迎度前十SQL Server(第三)和Access(第九)。1、Access:1992年推出的Ac
21、cess与专业数据库比简单易用,但它又只支持有限的使用范围。从2013年起,Access就已不再推新并不断削减功能,如dBASE导入旧格式功能、数据迁移至SQL Server的升级向导等;2、SQL Server:至今为止已发布30+个版本,最新的Microsoft SQL Server 2019具有三大特性:核心引擎:SQL Server是HTAP混合负载能力的行业引领者,早在2017年的版本中就已实现了在单一引擎中对 OLTP 和 OLAP 工作负载的同时支撑;数据虚拟化:为维护在企业整体架构中的核心地位,数据库必须支持多模型多范式,针对客观存在的异构数据源,在传统建立ETL通道外,数据虚
22、拟化是更先进的理念。大数据集群:创造性地将Hadoop和Spark等开源大数据技术组件直接纳入SQL Server,将SQL Server完全容器化并以Kubernetes为基础架构实现底层计算资源的编排和管理资料来源:公开资料整理,华福证券研究所数据库产品特点适用场景/客户Microsoft SQL Server整合封装:如大数据集群的一体化架构本地部署的大型客户Amazon Aurora计算存储分离:每个数据组件单独的功能云部署的中小企业客户Microsoft:2020-2021蝉联数据库市场份额榜首从云数据库到云原生数据库:近几年随着云基础设施的高速发展,同时具有按需扩展、按需付费优异特
23、性的云数据库获得中小企业及互联网客户的青睐。然后云数据库本质不是针对云场景或云环境来设计或构建的,只是用到了云的资源,因此存在一些天然的问题,比如存储空间浪费、计算资源浪费、较大的恢复时间目标和数据滞后、系统性能受限、网络带宽消耗大等,从而限制了业务发展。云原生数据库应运而生。2012年,亚马逊云科技推出首个云原生数据库DynamoDB,也是业界第一个真正意义上云原生数据库;2014年,亚马逊云科技又推出云原生的关系型数据库Aurora,成为亚马逊历史上用户增速最快的云服务;为了进一步简化客户在创建、维护和扩展数据库方面的工作,亚马逊云科技推出多种具有Serverless功能的数据库,让数据库
24、的扩展性及自动伸缩容量达到新的高度,其中Aurora Serverless V2可以在几分之一秒内将数据库工作负载从数百个事务扩展到数十万个事务,与按照峰值负载配置容量的成本相比,最多可节省 90%的数据库成本。亚马逊云科技SQL数据库Aurora、Relational Database ServiceNoSQL数据库DynamoDB、DocumentDB、NeptuneServeless数据库Aurora serverless、DynamoDB、Timestream、Keyspaces、QLDBGartner发布的2021年全球数据库管理系统市场报告显示,亚马逊云科技在全球数据库市场的份额由
25、2020年的20.6%增长到2021年的23.9%,跃居全球数据库细分市场第二位,2021年增长率高达42.3%。截至2022年9月底,亚马逊云科技已帮助超65万个数据库迁移服务至亚马逊云科技。资料来源:公开资料整理,华福证券研究所Amazon:云原生数据库鼻祖1970年,IBM研究员发表论文提出关系数据模型的概念,奠定了关系数据模型的理论基础。1978年,Larry Ellison在为中情局做数据项目时发现了关系数据库的商机。同年Oracle1.0诞生,Oracle成为第一家销售RDBMS软件的公司,在1982年一年内年收入就达到250万美元。2022年10月DB-Engines的全球数据库
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据库 行业 发展 报告
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【宇***】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【宇***】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。