云上运维及应用 第4章 基础架构之对象存储.pdf

对象存储OSS/V*.*1 *T ；.,.、.；.01 oss概要介绍02oss基本概念目录CONTENTS一 对象存储概要介绍什么是对象存储OSS业务峰值如何高效应对？业务运维自动化如何实现?全部SOCHI 2014娱乐表演FOODEPL韩国棒球韩国足球韩国篮球韩国排球UFC/其他音乐某视频直播公司 无法预估业务负载情况，需要根据CPU 利用率、Load、带宽利用率，自动弹 性伸缩某游戏公司每天中午12点，每天晚上6点 9点，需要定时扩容引子：物理存储时代的困扰传统存储服务器当用户数、访问量急剧上升估算容量-数据备份-数据安全-成本控制.扩容容量大可能会浪费扩容容量小可能很快不够用！头大OSS产品介绍对象存储服务(object Storage Service,简称OSS)是阿里云对外提供的海量、安全、低 成本、高可靠的云存储服务。RESTF ul API的平台无关性，在任何应用、任何时间、任何地 点上传和下载数据，容量和处理能力的弹性扩展，帮您轻松应对海量数据的存储和访问，按 实际容量付费真正使您专注于核心业务。VS LsJ oss物理存储 OSS对象存储海量、安全、高可靠性、低成本按容量收费，使您无需担心存储容量和数据安全。oss的特点oss产品特点一可靠性服务设计可用性不低于99.99%规模自动扩展，不影响对外服务 解决你的烦恼:数据设计持久性不低于99.999999999%数据自动多重冗余备份 存储服务器down了怎么办?业务请求激增时，存储服务器是否可以支持?存储系统扩容影响业务？数据备份需要定制解决方案？oss产品特点二安全提供企业级多层次安全防护。多用户资源隔离机制，支持异地容灾机制。提供多种鉴权和授权机制及白名单、防盗链、主子账号功能。OSS产品特点三成本多线BG P骨干网络，无带宽限制，上行流量免费。无需运维人员与托管费用，0成本运维。不再为以下事情烦忧：不需要考虑存储扩容的容量大小我的数据在联通机房，移动客户访问速度上不去?J1IToss产品特点四数据处理能力提供图片处理、音视频转码、内容加速分发、鉴黄服 务、归档服务等多种数据增值服务，并不断丰富中可以解决以下事情烦忧：额外自建服务器存储，再单独部署？内容分发速度慢？oss的应用场景OSS适合作为应用数据的持久化存储SLB 负载均衡SLB负载均衡，流量入口，使用HTTP模 式，指定会话保持ECS运行CentOS 6.3 Linux Server z 无 状态的nginx+fastcgi Web应用,可 水平扩展文件（附件、图片、视频）持久化在OSS OSS适合存放任意文件类型，适合各种网 站、开发企业及开发者使用。应用场景一：图片和音视频等应用的海量存储视频及索引文件存储 relay.管理.视频分析 临时鉴权服务 内容分发4 a 4:螃：I J STS,OSS ECS CDN对歙存储 云服务器 内容分发网络视频转码 视频分享0ss可用于图片、音视频、日志等海量文件的存储。各 种终端设备、Web网站程序、移动应用可以直接向OSS写 入或读取数据。OSS支持流 式写入和文件写入两种方式MTS 音视频转码服务录像回放应用场景二：网页或者移动应用的静态和动态资源分离用户静态数据返回用户动态数据请求动态数据 用户静态结果返回 数据请求CDN 内容分发网络海量的就近加1速节点回源请求抓取数据利用BG P带宽，OSS可 以实现超低延时的数据 直接下载。也可以配合 阿里云CDN加速服务，为图片、音视频、移动 应用的更新分发提供最 佳体验ECS 云服务器Webm,触库内网访问 数据更新维护砂态脚本、附件、图片、视频/音频OSS云存储服务应用场景三：云端数据处理图片处理(IMG)OSS 对象存储上传文件到OSS后，可 以配合媒体转码服务(MTS)和图片处理服务(IMG)进行云端的数据处理媒体转码(MT)案例解读一：得图云、得图云提供图片云存储及云处理服务、高分辨率图片展示服务、360度全景漫游在线制作及展示服务、物品3D在线制作及展示服务得图云1.图片存储采用OSS进行存储，保 障其安全性，省去数据备份的工 作2.在OSS的基础上，进行图片相关 操作，包括各种图片样式，以及 API服务,并且可以根据访问压 力情况，对资源弹性调整图片处理 数据分析 图片上传 云缓存 服务监控 TCP监控 自定义监控SLBOSS案例解读二：亲宝宝亲宝宝专为o6宝宝家庭精心打造的超级应用。宝宝云空间为全家提供一个温馨的私密|空间，保存与分享宝宝照片视频，记录宝宝成长每一个心动时刻；育儿助手；亲宝社区。案例解读三：得图云微盟()是由上海晖硕信息科技有限公司研究开发的一个专门针%Weimob对微信公众账号提供营销推广服务的第三方平台。主要功能是针对微信商家公众号提供与众不同的、有针对性的营销推广服务。案例解读四：筋斗云呼叫系统筋斗云呼叫系统是昆山筋斗云信息科技有限公司开发并营运的呼叫中心云平台。9 公司现服务上海、江苏、浙江、安徽、山东的呼叫中心客户，为客户提供高质量报表对象存储服务oss其他典型案例够快网盘够快提供基于云存储的文档协同服务，用户规模100多万急需解决：用户量容量，服务器投入成本过高问题解决方案：OSS+云服务器+开放结构化数据服务（OTS）阿里巴巴一 XMibaba B2B小文件存储系统，存储超过50TB的数据，日访问量超过 5000万次，未发生一起数据丢失对象存储基本概念oss基本概念对象/文件Object-对象是OSS存储数据的基本单元，也被称为OSS的文件。用户的每个文件都是一个Object。-对象由元信息（Object Meta）,用户数据（Data）和文件名（Key）组成。-文件大小限制Put Object方式最大不能超过5GB,使用multipart上传方式Object大小不能超过48.8TB存储空间Bucket-存储空间是用于存储对象（Object）的容器，所有的对象都必须隶属于某个存储空间。-Bucket名在整个OSS中具有全局唯一性，一旦创建之后无法修改名称。-每个Bucket中存放的Object的数量和大小总和没有限制-一个应用可以对应一个或多个BucketService-提供给用户的虚拟存储空间，用户可以在这个存储空间中拥有一个或者多个Bucketoss基本概念Access Key（访问密钥）-指的是访问身份验证中用到的AccessKeyld和AccessKeySecret。OSS通过使用AccessKeyld和 AccessKeySecret对称加密的方法来验证某个请求的发送者身份。Endpoint（访问域名）-Endpoint表示OSS对外服务的访问域名。OSS以HTTP RESTful API的形式对外提供服务，当访 问不同的Region的时候，需要不同的域名。通过内网和外网访问同一个Region所需要的Endpoint 也是不同。-例如杭州 Region 的夕卜网 Endpoint oss-cn-,内网 Endpoint oss-cn-hangzhou-o数据组织结构OSS与传统自建服务器存储对比对比OSS自建服务器存储服务可用性99.99%自建服务器可用性低数据可靠性三重备份，可靠性99.99999999%需自行研发备份策略，为达到同步可靠性需增加 更多备份服务器成本系统安全性提供对称加密用户验证，签名权限控制及防 盗链功能；强大的安全防护系统，抵御落洪 水攻击自行部署，价格局）昂网络资源BGP多线（电国电信、联通、移动、教育网 等）骨十网络接入，全国各地流畅访问；无 而见限制，按头际用量付费单线或双线接入速度慢，有带宽限制，峰值时期 需人工扩容存储能力文件存储容量无限服务器存储受硬盘容量限制，需人工扩容文件处理能力支持海量数据处理，1个与数十亿个文件处 理能力尢差别Windows系统一个目录下仅支持6万多个文件，Linux系统目录卜支持3万多个文件；当一个目录 存储文件过多时，10性能会直线下降维护成本无需运维需招聘专职运维人员，花费大量人力成本部署扩容无需规则，按实际使用自动扩容，弹性伸缩需硬件米购、机房托管、部署机器等工作，周期 交长资源利用率按实际结算，100%利用率考虑峰值，资源利用率很低存储类型Bucket存储类型存储类型适用场景标准存储类型(Standard)OSS标准存储类型提供高可靠、高可用、高性能的对象存储服务，能够支 持频繁的数据访问。OSS高吞吐和低延时的服务响应能力能够有效支持各 种热点类型数据的访问。应用在各种社交、分享类的图片、音视频应用、大型网站、大数据分析的合适选择。低频访问存储 类型(Infrequent Access)OSS低频访问存储类型适合长期保存不经常访问的数据(平均每月访问频 率1到2次)。存储单价低于标准类型，适合各类移动应用、智能设备、企 业数据的长期备份，支持实时数据访问。归档存储类型(Archive)适合需要长期保存(建议半年以上)的归档数据，在存储周期内极少被访 问，数据进入到可读取状态需要1分钟的解冻时间。适合需要长期保存的档 案数据、医疗影像、科学资料、影视素材。存储类型转换通过生命周期设置存储类型自动转换归档类型ArchiveOSS生命周期管理(Lifecycle)提供Object Transition机制，支持以下存储类型的自动转换：标准类型转换为低频访问类型 标准类型转换为归档类型 低频访问类型转换为归档类型费用计算计费模式OSS服务费用由存储费用、流量费用、请求转用、数据处理费用组成6按量付费O包年包月存储费用流量费用1OSS费用组成请求费用数据处理费用6 c标准存储-按数据的实际存储墨和存储时i司计更6 低频存储J 一存储时间小于3快,按30天计算；大于3味,按实际天数计算存储的单个文件小于64KB,按64KB计算;大于陪于64KB,窗砺大小计胃-存储时间小于60天，按60天计亶；大于60天,按实际天数计翼6 归档存储6 6外网流出流量-演互联网从oss下蜘礴断钿题 OSS的所有收费项目都是单独计费6 CDN回源流量通过CDN服务层下载OSS数据所产生的回源流是 例如1 在 0ss 的存储空间内 存、放 了100GB数据每天启不同的客户通-将源Bucket数据同步复制到目标Bucket时所产生的流出流星 近夕卜网访问，则你会产牛存储帮 跨区域复制流量用、外网流加流藕用、请求按每小时调用OSS API的请求次数计算 由Hj O 请求次数6 图片处理-按被处理的原图片的实际大小计苴6 视频截M1按瞬数星计且6)Select 扫描按扫描的数据星大小计算(6 数据取回)1 访问瞰3存储类型的数据时,会产生额夕卜的访1可费用访问归档存储爱型的数据时,需对数据进行解冻，按解冻数据大小计苴数据解冻费用oss访问域名和数据中心Bucket和数据中心1.用户创建一个Bucket时，可以根据费用单价、请求来源分布、响应延迟等方面的考虑，为该bucket选择所在的数据中心。Bucket 一旦创建完成后，就不可以修改所属的数据 中心。2.OSS只支持Bucket级别的数据中心设置，不支持针对Object设置数据中心3.Bucket所在的数据中心确定后，该Bucket下的所有Object将一直存放在该数据中心,除非用户自己将它们搬迁到其它数据中心oss访问域名在分享链接或者做自定义域名绑定（CNAME）的时候建议使用三级域名构成规则是由bucketname和endpoint构成：bucketname,endpointendpoint根据bucket所在数据中心的不同,内外网访问方式的不同会有所区分OSS访问域名举例以华东2地域内名为oss-sample的Bucket为例三级域名为 oss-sample.oss-cn-使用SDK时，请将http:/或https:/+Endpoint作为初始化的参数。以华东2的Endpoint为例，建议将初始化参数设置为http:/oss-cn-或者 https:/oss-cn-不建议将三级域名(即http:bucket.oss-cn-)作为初始化参数。注意:-原地址默认指向华东1地域外网地址。-原内网地址oss-默认指向华东1地域内网地址。使用内网访问使用内网访问oss有两个条件：-只有使用ECS实例用户才能够通过OSS内网地址进行访问-使用内网只能访问与ECS实例所在区域相同的bucket,而如果访问的bucket与ECS实例 不在同一个区域，只能使用bucket所在区域的公网域名1 1Bucketoss-cn-beijing北京地域Region,cn-beijingECSbeijingres.oss-cn-beijing-ures.hangzh杭州地域Region,cn-hangzhouoss-cn-hangzhou(Buckethangzhouresoss-cn-内网访问oss的好处：-使用同区域OSS到ECS流量之间的免费流量-ECS内网访问OSS的网络质量较好，能够有效的提升应用的上传和下载质量Object外链地址的构成规则如果Bucket的权限为公共读或者公共读写时，Object的访问规则如下:http:你的bucket名字.数据中心服务域名/你的object名字示意图：http:/oss-example.oss-cn- URL 为：http/ossexample10ss2cngingda01al iyuncscom/al iyunj0901Png在使用oss时，请一直使用OSS服务域名，而不要使用固定的IP地址。Bucket操作Bucket操作创建Bucket 设置Bucket权限 册!I除Bucket 同一地域下每个账号最多可创建30个Bucket。Bucket的容量无上限，且OSS的读 写效率不会因为单个目录下存在大量文件而受到影响 每个bucket的名字全局唯一，bucket的名字需要符合命名规范 用户成功创建bucket以后，不能修改bucket名字，不能更改bucket所属数据中心设置Bucket权限创建Bucket I设置Bucket权限I 删除Bucket目前bucket有三种访问权限：私有，公共读，公共读写删除Bucket创建Bucket I设置Bucket权限I 删除Bucket为了防止误删，OSS不允许用户删除一个非空的bucket在删除之前，必须保证bucket内没 有任何的碎片以及。bject OSS支持设置生命周期(Lifecycle)规则，自动删除过期的文件和碎片，或将到期的文件 转储为低频或归档存储类型，从而节省存储费用Object操作Object说明用户操作的基本数据单元是object,单个object的大小限制为 48.8TB。在控制台上对用户展现形式为文件或文件夹。OSS服务是没有文件夹这个概念的,所有元素都是以object来存储 OSS控制台中的文件夹本质上来说是创建了一个size为0并以7结 尾的。bject。该object同样可以上传及下载。用户可以在OSS控制 台中，采用同Windows文件夹的基本操作使用OSS文件夹。Object操作新建文件夹 上传文件获取文件 访问地址设置文件HTTP头删除文件 通过OSS控制台仅可以上传小于5G B的文件 设置文件上传到OSS中的存储路径：当前目录和指定目录 在文件ACL区域中，选择文件的读写权限。默认为继承所在Bucket的读写权限Object操作新建文件夹/，获取文件 上传文件 访问地址设置文件HTTP头 删除文件 Bucket的读写权限为私有，则在获取文件访问URL时需设置链接有效时间，URL签名的链接有 效时间是基于NTP计算的，可以将此链接给与任何访问者，访问者可以在有效时间内，通过此链接 访问该文件 Bucket的权限为公共读或者公共读写时，Object的访问规则如下：http:（bucket名字.数据中心服务域名/object名字）例如：http:/chinamoocs001.oss-cn-beijing.aliyuncs.eom/2.pngObject操作新建文件夹/获取文件、上传文件 访问地址设置文件HTTP头 删除文件名称描述Content-Typeobject文件类型Content-Encodingobject被下载时的内容编码格式Cache-Control指定object被下载时的网贝缓存情况Content-Dispositionobject被下载时的名称Content-Language内容的语言Expires过期时间自定义元数据参数前缀须为x-oss-meta-使用控制台批量设置HTTP头的限 制数量为1000个文件。复制U RL 在浏览器中打开 设置 工具 开发人员工具 N etwo r k中 可以看到Object操作新建文件夹/，获取文件 上传文件 访问地址设置文件HTTP头 删除文件 单个删除。指定某个。bject删除。批量删除。批量删除一次最多可指定1000个。bject。自动删除。如果需要删除的。bject数目很多,而且删除的。bject有一定的规律，比如定期删除某些 天之前的。bject,或者是要清空整个Bucket,这个时候推荐使用生命周期管理来完成。一旦设置 了之后,OSS会根据规则自动删除已到期的。bject,能大大减少您发送删除请求的次数，提高删除 速度。碎片管理可以通过控制台查看或删除Bucket产生的碎片碎片（Part）是用户使用Multipart Upload上传模式时，将Object切成的若干个的 Part,我们将这些Part称为碎片。将这些Part上传到OSS服务端后,可以调用 Complete Multipart Upload将这些碎片（Part）组合成一个完整的Object。自定义域名绑定域名绑定绑定域名CNAME域名 解析访问地址 如果该域名在阿里云备案且没有绑定在其他Bucket上，会将该域名直接绑定到该 Bucket上。之后只需要对该域名添加对应的CNAME解析即可 如果该域名已经被其他用户（非本用户bucket）恶意绑定，可以通过添加域名TXT 记录的方式验证域名所有权，来强制绑定域名，同时解除与之Bucket的域名绑定域名绑定绑定域名 CN镰域名 访问地址 域名绑定成功后，为了使用域名正常访问OSS,还需要添加CNAME记录指 向B u c ket对应外网域名 可以选择自动添加CNAME或者手动添加CNAME 如果域名已经在其他账号的阿里云解析处做解析，只能通过手动添加的方 式添加CNAME记录域名绑定绑定域名CNAME域名 解析访问地址完成绑定后OSS中存储文件的访问地址,以演示Bucket、域名及演示文件防盗链设置操作防盗链设置适用场景：为了减少用户存储于OSS的数据被其他人盗链而产生额 外费用时防盗链设置说明 OSS是按使用量收费的服务，为了减少用户存储于OSS的数据被他人盗链而 产生额外费用，OSS支持设置基于HTTP和HTTPS header中表头字段 Referer的防盗链方法。可以通过控制台为存储空间设置Referer字段的白名单和是否允许Referer字 段为空的请求访问 每个Refer白名单使用换行符分隔，支持通配符(*,?)防盗链设置 白名单为空时：/不会检查referer字段是否为空（不然所有的请求都会被拒绝）白名单不为空：-如果白名单不为空，且不允许Referer字段为空，则只有Referer属于 白名单的请求被允许，其他请求（包括Referer为空的请求）会被拒绝。-如果白名单不为空，但允许Referer字段为空，则Referer为空的请求 和符合白名单的请求会被允许，其他请求都会被拒绝。静态网站托管静态网站托管静态页面支持(Index Document Support)静态页是指当用户直接访问静态网站根域名时，OSS返回的默认静态页(相当 于网站的index.html)0如果为一个Bucket配置了静态网站托管模式，就必 须指定一个静态页。错误页面支持(Error Document Support)错误页面是指在用户访问该静态网站时，如果遇到HTTP 4XX错误时(最典型 的是404 NOT F OUND错误)，OSS返回给用户的错误页面。通过指定错误 页面，您可以为您的用户提供恰当的出错提示。日志设置日志设置当一个Bucket（源Bucket）开启访问日志记录功能后，OSS自动将访问这个Bucket的请求日志,以小时为单位，按照固定的命名规则，生成一个Object写入您指定的Bucket（目标Bucket）。注意事工页：/源Bucket和目标Bucket可以是同一个Bucket,也可以是不同的Bucket，但必须属于同一个账号下的同一数 据中心内。您也可以将多个源Bucket的Log都保存在同一个目标Bucket内（建议指定不同的TargetPrefix）/0ss以小时为单位生成Bucket访问的Log文件，但并不表示这个小时的所有请求都记录在这个小时的Log文 件内，也有可能出现在上一个或者下一个Log文件中。/OSS生成一个Bucket访问的Log文件，算作一次PUT操作，并记录其占用的空间，但不会记录产生的流量。Log生成后，可以按照普通的Object来操作这些Log文件。日志纪录命名规则存储访问日志记录的object命名规则-YYYY-mm-DD-HH-MM-SS-UniqueString TargetPrefix由用户指定，表示存储访问日志记录的Object名字前缀，可以为空 SourceBucket 是源 Bucket YYYY,mm,DD,HH,MM和SS分别是该Object被创建时的阿拉伯数字的年，月，日，小时，分钟和秒（注意位数）UniqueString为OSS系统生成的字符串（UUID）,用于唯一标识该Log文件。实际的用于存储OSS访问日志的Object名称例子如下：MyLog-oss-example-2018-09-10-04-00-00-0000片处理服务片处理服务说明 用户可以将原始图片上传保存在OSS上，通过简单的RESTful接口，在任何时间、任何地 点、任何互联网设备上对图片进行处理。所有对图片的变换都会加在URL后面，会导致URL变得冗长，不方便管理与阅读。图片处 理服务提供用户将常见的操作保存成一个别名，即样式（Style）。一个复杂操作，利用样 式功能后，只要用一个很短的URL就能实现相同的效果。一个Bucket下面有多个样式，样式的作用范围只在一个Bucket下，目前一个Bucket允许 最多有50个样式。图片处理服务新建样式应用图片 样式原图保护基本编辑页面：规则名称、格式转换、渐进显示、自适应方向、图片质量、缩略方式、图片亮度、图片对比度、锐化、模糊、旋转、水印等等 高级编辑页面：通过API、SDK方式进行高级编辑图片处理服务新建样式应用图片 样式原图保护单击OSS文件管理，选择一张已上传的图片或者上传新图片，然后单击图片名称打开图片预览 页。从图片样式下拉列表中选择一个图片样式。在文件预览窗口中即刻看到经过图片处理后的图片效果。带有图片样式的公网访问地址也会同步生成，只需单击复制文件URL就可获取到文件访问地址。图片处理服务新建样式应鹦片 原图保护公共读和公共读写的文件，在业务中避免被盗图的风险，需要限制向外暴露的URL链接，使用 户只能获得处理过的图片，则可以开启原图保护。B u c ket 图片处理 访问设置开启原图保护：原图保护后缀自定义分隔符公共读或者公共读写的文件，直接打开URL,则无法显示，在URL后面添加-规则名称(styl ename)则可以显示URL。