云上运维及应用 第2章 基础架构之云数据库.pdf

云数据库的使用不目录CONTENTS01 RDS概要介绍02 RDS相关概念03 DMS管理控制台云数据库概要介绍RDS的概要与功能数据库概览关系型数据库数据库 NoSQL数据库 键值(Key-Value)存储数据库 列存储数据库 文档型数据库 图形(Graph)数据库云数据库云数据库是指被优化或部署到一个虚拟计算环境中的数据库。可以实现按需 付费、按需扩展、高可用性以及存储整合等优势。阿里云RDS介绍云数据库RDS(ApsaraDB for RDS,简称RDS)是一种稳定可 号 靠、可弹性伸缩的在线数据库服务。基于飞天分布式系统和全SSD盘高性能存储，即开即用，支持MySQL、SQL Server,PostgreSQL和PPAS(高度兼容Oracle)引擎，默认部署主备架 构且提供了容灾、备份、恢复、监控、迁移等方面的全套解决 方案，彻底解决数据库运维的烦恼。阿里云RDS介绍自动化服务项数据高可靠性保趋可靠性 数据目动备份支持两年内数据恢复DDOS防护0安全性 IP白名单拦截SQU主人、暴力破解主备架构。可用性 同城容灾异地容灾弹性扩容回可扩展性读写分离数据库运维成本品）成本基础运津（机器、网络等）成本y云数据库RDS ECS自建数据库 传统自建数据库低高高季成本本成本高RDS支持的数据库类型和版本数据库类型版本支持的存储引擎支持的字符集/排序规则Mysql5.55.65.7InnoDBTokuDBUtf8 Gbk Latinl Utf8mb4(仅mysql5.6)SQL ServerSQL Server 2008 R2/2012Chinese_PRC_CI_ASChinese_PRC_CS_ASSQL_Latinl_General_CPl_CI_AS SQL_Latinl_General_CPl_CS_AS ChinesePRCBINPostgreSQL9.4PPAS(图度兼容 oracle)9.3RDS系列机房容灾金融版系列单机 基础版双机 高可用版简介采用存储与计算分离架构，单个计算节点,可实现超高的性价比。采用一主一备的经典高可用架构，本地SSD 存储提供最佳性能，各方面表现均衡。采用一主两备的三节点架构，通过日志多副 本同步复制，确保数据的强一致性，可提供 金融级的数据可靠性和跨机房容灾能力。适用场景个人学习。微型网站以及中小企业的开发 测试环境。大中型企业的生产数据库。覆盖互联网、物联网、零售电 商、物流、游戏等行业的应用。对数据安全性要求非常高的金 融、证券、保险等行业的核心 数据库。RDS实例规格规格类型特点通用型RDS标准规格，具有较高性价比。独享套餐CPU/内存/磁盘资源完全独享，提供稳定计算和10能力。独占物理机独享一台物理机,属独享套餐的 顶配。CPU/内存 连接数 IOPS1 核 1G 16 核 300 32000 60016000128G2 核 16G 16 核 2500 20000 450036000128G 30核 220G60核 6400-10000 2000050000470G 0RDS的特点RDS性4幅性硬件性能扩展性，CPU:2 Socket/内存:192GB 256GB/硬盘:3T SSD;12块内置SSD盘,单盘480G800G（已 经做的RAID 01）性能：/单实例最大14000 IOPS,单实例最大25000 QPS/承载1TB数据量分布式DRDS:,分布式架构，可线性扩展,数据按分布键均衡分布,对应用层透明,在淘宝经历长期的实践验证功能点RDS 自建数据库服务可用性99.95%双交换机网络环境，电源输入，高配置主机，双机主从复 制，故障恢复，VIP漂移，数据备份，自动数据还原等一 系配套设施自行保障数据可靠性99.9999%自行搭建主从复制，自建RAID,MySQL Patch维护等均 需自行保障系统安全性防DDoS攻击，流量清洗；及时修复各种数据库安全漏洞自行部署，价格高昂；自行修复数据库安全漏洞数据库备份自动备份自行实现，但需要寻找备份存放空间以及定期验证备份是 否可恢复基础运维无需基础运维（比如安装机器、部署数据库软件、机器损坏 等维护工作，还有高可用、备份、安全补丁萼）聘请运维工程师维护，花费大量人力癖数据库优化提供资源报警、性能监控图、数据库优化建议、SQL运行报 告、慢查询分析等数据库优化功能需招聘专职DBA来维护，花费大量人力点部署扩容即时开通，快速部署，弹性扩容，按需开通硬件采购、机房托管、部署机器等工作，周期较长资源利用率按实际结算，100%利用率需考虑峰值，资源利用率较低基础架构RDS采用主从备份架构，拥有3份以上数据存储，具备高可用性和数据可靠性。基础架构特点 高可用控制系统主要负责所有数据库实例主备之间的健康检查以及实时切换，以保证数据库高可 用性达到99.99%;3秒轮循一次，实例轮询并发进行，当发现有节点不健康时，需要完成秒级切换；高可用控制系统是作为第三方身份去判断数据库实例是否在正常运行，不会出现脑裂现象 高可用系统集群本身也是一个高可用的环境，集群内所有节点相互检查和任务接管。可以支持20000个用户实例监控，HA节点在5秒内完成切换。RDS的功能,专业的数据库管理平台DMSDMS不仅仅是为RDS定制的数据库管理平台，还可以使用户通过浏览器即可安全、方便的进行 数据库管理和维护。/轻松实现数据回溯RDS能够根据备份文件将数据库恢复至7日内任意时刻。,专业的数据库优化建议RDS提供直观的慢SQL分析报告和完整的SQL运行报告，并提供如主键检查、索引检查等多种优 化建议。,完善的监控体系RDS展示近20种性能资源监控视图，可对部分资源项设置阈值报警，并提供WEB操作、SQL审 计等多种日志。RDS应用场景RDS应用场景数据异地容灾场景自建机房里面的服务器已经非常多了，而且公司有足够的运维能力来管理所有应用。但是为数据容灾 在异地建一个机房看起来还是一个投入产出比很低的事情。通过DTS数据传输服务，可以将自建机房的数据库实时同步到阿里云数据库上任一地域的RDS实例 里面。即使发生机房损毁的灾难，数据永远在阿里云数据库上有一个备份。传统自建数据库数据传输云数据库RDS应用场景读写分离RDS for MySQL支持直接挂载只读实例，分担主实例压力。每个只读实例有独立的连 接串，可由应用端自动分配读取压力应用层I读写分高地址负载均衡 高安全链路-读写分离读请求 读写请求 读请求,-i-；3 9 主实例省实例数据同步 I _ _,|_ _ _ _ _ _ OO只读实例只读实例RDS应用场景数据多样化存储在数据类型多样的应用中，可将高热存 取数据存储于缓存产品，如云数据库Memcached版、云数据库Redis版，将图片等非结构化资源存储于对象存储 OSS,而将链接等结构化数据存储于 RDS。实现对业务数据高效存取，并相 应降低成本投入。高热数据云数据库 云数据库Meme ache Re dis云服务器 ECS结构化数据云数据库 RDS非结构化数据对象存储OSSRDS应用场景搜索引擎场景开放搜索服务(OpenSearch)是一款结构化 数据搜索托管服务，为移动应用开发者和网站 站长提供简单、高效、稳定、低成本和可扩展 的搜索解决方案。通过OpenSearch自带功 能，可将RDS中的数据自动同步至 OpenSearch实现各类复杂搜索。应用数据ECS云服务器高级结构化数据搜索开放搜索OpenSearch云数据库 RDSRDS应用场景大数据分析开放数据处理服务又称大数据计算服务(MaxCompute,原名ODPS),可服 务于批量结构化数据的存储和计算，提供 海量数据仓库的解决方案以及针对大数据 的分析建模服务。通过数据集成服务，可将RDS数据导入 MaxCompute,实现大规模的数据计算云服务器 ECS应用数据；数据同步 分布式 数据计舁云数据库 数据集成 大数据计算服务阳 S M axC omput eRDS应用案例e代驾是全国最大的代驾公司 全面部署在阿里云上，包括调度、官网、运营、统计、测试和备份 等模块,其核心是调度系统。云盾 RDSCDNS f LxJOSSOCS云监控窜SLBECSRDS计费方式RDS的计费方式包年包月适合场景：L可预测使用时长2、访问量比较平稳VS 按量付费适合场景：L应用高速发展2、流量峰值变化频繁提问购买云数据库RDS时需要考虑哪些因素?7如何选择RDS最大连接数:60 IOPS:150存储空间:240MB12000MB I250GB 2000GB 5 GBW：青岛I关系型数据库RDS包年包月杭州北京按量付费香港深圳美国硅谷购买方式购买时长&数量地域&可 用区可用区：上海不同地域之间的产品内的不互通;订购后不支持更换地域,道谨慎渐 赦我蝌 直看我的产品地域单可用区 可用区B可用区B OfeECS存储空间&内存网络 类型数据库类型&版本MySQLSQL ServerPostgreSQLPPAS网络类型：经典网络较我选择八请选择专有网络面蝌虚拟交换机没有专有网络，不微创建RDS.请先创理专有网络云数据库相关概念RDS的相关概念RDS实例(Instance)-实例是阿里云关系型数据库的运行环境-各实例之间相互独立、资源隔离，相互之间不存在CPU、内存、IOPS等抢占问题-同一实例中的不同数据库之间是资源共享的-RDS实例目前支持的最大内存为48GB,最大磁盘容量为1000GBRDS的相关概念RDS只读实例-分担数据库压力，增加应用的吞吐量-在对数据库有少量写请求，但有大量的读请求的应用场景下，单个实例可能无法抵抗读取压力，甚至对主业务产生影响。为了实现读取能力的弹性扩展，分担数据库压力，RDS支持在某个地域 中创建一个或多个只读实例，利用只读实例满足大量的数据库读取需求，以此增加应用的吞吐量。RDS灾备实例-RDS通过数据传输服务（DTS）实现主实例和异地灾备实例之间的实时同步。主实例和灾备实 例均搭建主备高可用架构，当主实例所在区域发生突发性自然灾害等状况，主节点（Master）和备节点（Slave）均无法连接时，可将异地灾备实例切换为主实例，在应用端修改数据库链接 地址后，即可快速恢复应用的业务访问。RDS临时实例-用户所购买的RDS实例的服务器所处的地理位置RDS的相关概念地域(Region)-用户所购买的RDS实例的服务器所处的地理位置RDS可用区-单可用区：有效控制云产品间的网络延迟-多可用区：轻松实现同城容灾RDS可用区为了有效控制阿里云云服务器（ECS）和云数据库（RDS）的网络延迟；提供RDS的同城容灾 解决方案。单可用区：有效控制云产品间的网络延迟可用区是指在同一地域下（如杭州地域），电力、网络隔离的物理区域，可用区之间内网互 通，可用区内网络延时更小，不同可用区之间故障离。RDS单可用区是指RDS实例的主备节点处于相同的可用区。如果ECS和RDS部署在相同的可 用区，ECS和RDS间的网络延迟更小。多可用区：轻松实现同城容灾多可用区是指RDS实例的主备节点位于不同的可用区，当主节点所在可用区出现故障（如机 房断电等），RDS进行主备切换后，会切换到备节点所在的可用区继续提供服务。多可用区 的RDS轻松实现了同城容灾。当RDS发生主备切换后，由于可用区的切换会造成ECS与RDS网络延迟突然加大，对业务的 影响需要先行评估。RDS的相关概念（续）RDS数据库-是用户在一个实例下创建的逻辑单元-一个实例可以创建多个数据库，在实例内数据库命名唯一-MySQL类型实例,最多可创建500个数据库,而SQL Server类型实例最多可创建50个数据库-所有数据库都会共享该实例下的资源，如CPU、内存、磁盘容量等RDS数据库账号-每个数据库账号可以用于多个数据库-同时每个数据库的读写权限也可被分配给多个数据库账号-一个账号可以创建多个实例-对于MySQL和SQL Server类型实例，每个实例最多可创建500个数据库账号RDS的相关概念（续）RDS连接数-应用程序可同时连接到RDS实例的连接数量RDS磁盘容量-用户购买RDS实例时，所选择购买的磁盘大小RDS管理控制台-管理用户所购买的RDS实例的WEB页面，可对RDS实例进行各种操作账号.数据库管理RDS帐号管理I创建账号默认帐号数据库账号：由与字母，数字、下划关组成、字母开头，字母趣担尾，最长16个字符每个数据库账号可以用于多个数据库授权数据库：RDS不支持使用标准的SQL语句或客必须使用Open API或RDS管理控制/未授权数据库已授权数据库权跖全部设读写dbOOl授权暂无数据大写、，与、够、懒力占三种，-32位；研力力!#$%八&*()_+-=*确认密码：备注说明：RDS帐号管理 高权限帐号 高权限帐号拥有在实例内执行create、drop、grant等命令的权限 创建高权限帐号后，控制台不再支持 数据库管理，需登录数据库自行维护 创建高权限帐号后，控制台只能对高 权限帐号进行维护，其他帐号需登录 数据库进行管理创建高权限账号后页面的变化：1）左侧菜单栏”数据库管理“消失，2）页面中【创建账号】按钮消失数据库及账号管理请通过高权限账号登录数据库以命令行形 式执行。RDS帐号管理 服务授权帐号 当需要寻求阿里云技术支持时，对服务帐号授权，技术支持人员才可以通过服务帐号提供技术支持服务。如果是IP白名单、数据库参数等问题排查，只需要授权查看修改配置。如果是应用导致的数据库性能问题，则需要授权查看表结构、索引和SQLI账号管理用户里号 服务授权账号权限名称 权限开通 权限说明强权限 改配置35限 素引和SQL权限到期时间：2017-07-04 01:30:41设置当您寻求阿里云的技术支持时，您需要有服务账号授权，技术支持人员才可以通过服务账号提供技术。查看授权步骤访问云数据库RDSRDS的访问模式RDS现在支持两种访问模式:标准模式和高安全模式标准模式使用负载均衡屏蔽了数据 库引擎H A切换对应用层的 影响，响应时间最短高安全模式预防90%的链路闪断 SQL注入防御：基于SQL语义分析来实现防御SQL 注入攻击，目前只支持MySQL和PostgreSQL增加少量的响应时间RDS的备份与恢复RDS的备份与恢复备份恢复管理自定义备份策略启动备份即时手工备份备份集查看、还原、下载 Binlog开放下载数据回溯（7天内秒级回溯）备份设置日选择时间定围：2017-06-27 至 2017-07-04一键上传Binlog,而皿件将被上传至阿里云OSS,不影响实例的数据恢复功能，binlog也不再占用RDS磁盘空间，请到基本信息页中查看已用空间 是否减小.BINLOG文件记录的开始时间BINLOG文件记录的结束时间文件大小BINLOG所在实例编号O掾作2017-07-04 04:01:242017-07-04 10:01:30310.00K2829933下载2017-07-04 03:59:442017-07-04 09:59:49310.00K2829931下载2017-07-03 22:01:222017-07-04 04:01:28310.00K2829933下载2017-07-03 21:59:442017-07-04 03:59:49310.00K2829931下载确定就肖RDS的备份与恢复自动备份-RDS提供多种类型备份，MySQL支持物理备份和逻辑备份，MSSQL支持全量备份和增量备份。备份开始时间可由用户根据自己的业务低峰灵活配置；所有备份文件免费保留7天。手动备份-用户在需要时可以临时性发起备份操作；备份文件免费保留7天。数据回溯-利用备份文件和日志，RDS可生成一个7天内任意时刻的临时实例，用户可在校验数据无误后，再 进行数据恢复操作。创建临时实例操作不影响用户当前实例的正常运行，同一时刻，每个RDS实例 最多只可创建一个临时实例，临时实例有效期为48小时，每天最多可触发10次。备份文件下载-RDS会将用户备份文件免费保留7天，在此期间用户可登录RDS管理控制台，将备份文件下载至本地RDS的备份界面备份列表临时实例Binlog列表备份设置一周内的备份列表选择时间范围：却诚置 定时备份的周期设定确定备份开始/结9备份周1备份实例手动备份 X2015-09-11 1/-2015-09-11 1备份时I、注：由于备份任史选择备份方式:物理备份逻辑备份-您确定再立即备份此室例吗？（备份仔冬病会在1分钟左右开始启才）2015-09-10 1取消RDS物理备份和逻辑备份比较RDS使用mysqldump对MySQL数据库进行逻辑全量备份;使用开源软件Xtrabackup进行实例级别的物理全量备份。1.备份方式优点缺点逻辑备份1.逻辑备份是可以用编译器或像grep和sed之类的命令查看和操作的普 通文件；2.恢复简单，非常灵活；3.与存储引擎无关。1.还原时需要mysql加载和解释语句，转化为存储格式，并重建索引，所以会比较慢;2.无法保证导出后再还原出来的一定是同样的数据。浮点数、软件BUG等都会导致问 题；3.必须由数据库服务器完成生成逻辑备份的工作，因此要使用更多的CPU周期。基于文件的物理备份，只需要将需 要的文件复制到其他地方即可完成 备份；恢复亩简单；恢复快，因为MySQL服务器不需要 执行任何SQL或构建索引。IrmoDB的原始文件通常比相应的逻辑备份 要大得多；物理备份不总是可以跨平台、操作系统及 MySQL版本。文件名大小写敏感和浮点格 式可能会遇到问题。物理备份23.执行RDS备份系统资源监控参数设置各份与依麓日志董理性能优化国值报警安全控制产品与服务备份实例选择每份方式：Q A 1 AccessKeys 工单服 备案 帮助 trainingdemoalh备份实例lifedb（运行中）士返回实例列表重启文例I备份与恢复选择备份方式:逻辑等份备份策略：实例备份 单库备份备份列表临时实例Bdoy表 备份设宣选择时间范围:2015-05-28每份开始/结束时间至 2015-06-04各份策略每份大小备份取2015g)3 17:44/2015-06-03 17:45 2015-06-02 19:04/2015-06-02 19:062015-05-30 19:05/20154)5-30 19:062015-05-28 19:05/2015-05-28 19:06实例备份实例备份实例备份实例备份0.23M逻辑备，2M2M物理年份备份在OSS上的查询状态操作2临时任务完成备份下嵬创建临时实例恢复单库备份Iwordpress常规任务常规任务常规任务备份实例完成备份完成备份完成备份下我下我下熨共有4条，每页显示30条选择备份方式:逻箱备份创建临时实例创建临时实例创建临时实例恢复恢复恢复注：逻率软份是导出您确定要立即备份此,物理品份是直接备份数据库的物理文件。?（备份任务将会在1分钟左右开始启动）确定取消您确定要立即备份此实例吗？（备份任务将会在1分钟左右开始启动）备份策略：实例备份3单库备一 彘定生。羸（备份储陪曲分钟左右开始后加注：逻辑备份是导出SQL语句，物理备份是直接备份数据库的物理文件。注：逻辑缶份是导出SQL语句，物理备份是直接备份数据库的物理文件。物理备份I逻辑备份I般取消恢复RDS实例什么情况下需要恢复RDS实例?1、系统上线前，做功能的反复验证。2、系统运行中，出现脏数据，无法在线修复。云数据库RDS的恢复，可以在线完成。RDS的备份与恢复恢复方法覆盖性恢复实例通过数据备份的实例级别的全量物理备份集，覆 盖性恢复数据；克隆实例将备份文件恢复到另外一个实例上，该实例可直 接使用，或验证无误后，将数据通过数据传输DTS 导回现有实例备份集可维护的时间段阿里云的后台运维人员将在指定的时间段进行例行维护。维护期间可能会造成RDS闪断，请确定应用程序有自动重连功能。可维护的时间段O时间段：O 22:00-02:00 O 02:00-06:00 Q 06:00-10:00 Q 10:00-14:00 Q 14:00-18:00 Q 18:00-22:00 保存取消RDS的数据迁入数据迁入实例间复制数据库RDS提供实例间数据库迁移功能，可非常简便的将数据库迁移至其他实例。数据迁入RDSRDS提供专业工具和向导式迁移服务来帮助用户将数据迁入RDS。MySQL on ServerRDS1,mysqldump逻辑备份,数据导入2,RDS控制台，迁移向导3,DTS数据迁移服务迁入RDS跨可用区迁移RDS高可用ABTNRDS跨可用区迁移一键式迁移满足业务部署如果当前可用区不满足业务部署需要，RDS支持跨可用区迁移。-跨可用区迁移必须在相同的物理地域下如支持杭州可用区A的实例迁移至杭州可用区B可用区迁移过程中不影响正常使用-会有30s的闪断，应用程序需要预先做好数据库重连的机制。登录控制台进入RDS实例，就可以轻松进行可用区的一键迁移RDS的日志管理日志管理通过日志可以进行数据库相关的审计 控制台进行的数据库管理操作 应用程序接入的IP地址 执行的SQL语句DMS管理台DMS的基本介绍DMS介绍DMS(原iDB Cloud)是一款访问管理 云端数据的WEB服务，支持MySQL、SQLServer、PostgreSQL和ADS等 数据源，覆盖RDS、ADS、TAE和万 网等阿里云环境。口 DMSrdsbivqrzbivqr乙 :3306al i ray“记主密码登录关于DMS(原iDB Cloud)Copyright DMS All Rights ReservedDMS介绍DMS提供了数据管理、对象管理、数据流转和实例管理功能。可以在SQL窗口和命令窗口上通过SQL语句来访问数据，也可以在打开表上通过鼠标点击完成数据的便捷操作。提供表、索引、视图、存储过程、函数、触发器、事件等对象的丰 富操作功能。库、表级别的导入和导出功能令数据流转更加顺畅。诊断报告、实时性能、实例会话、锁检测等专业实例管理功能让你 轻松应对。谢谢观看Thank All for wat ching