云上运维及应用 第7章 弹性架构之CDN.pdf

内容分发网络CDN01 CDN概要介绍02 CDN工作原理及架构内容分发网络概要介绍什么是CDN影响网站访问速度的关键节点互联网的发展历程1991-1997,互联网产生与萌芽阶段19982000,互联网第一次大发展2000-2003互联网第一次泡沫破灭，寒冬到来2004*006 WEB2.0的出现，互联网开始复苏，电子商务开始流行2007现在 移动互联网+云计算的出现，互联网保持高速增长海量用户海量数据带宽不足亘联网发展带来的挑战WEB服务器广域网的资源CDN的使命静态内容缓存到 各个边缘集群,使用户伸手可得为CDN最终用户:到internet-后，去最近的边缘集群W 可望到想要的阳阿里云CDN概述X内容分发网络(Content Delivery Network,简称CDN)将源站内容分 发至全国所有的节点，缩短用户查看对象的延迟，提高用户访问网站的响 应速度与网站的可用性，解决网络带宽小、用户访问量大、网点分布不均北京用户北京CDN节点海外CDN节点勘卜用户阿里云CDN深圳用户深圳CDN节点杭州CDN节点杭州用户是阿里云飞天生态系统基于阿里巴巴优质网 络基础设施向用户提供的互联网内容投递服 务，提供低成本、高性能、可扩展的CDN 服务将海量内容高效的投递给互联网终端消 费用户。源站舸里云CDN的特点 分布式系统架构，国内节点数 1300+,海外200+节点 单节点带宽40Gbps+,全网 带宽输出能力120 Tbpso 95%+命中率,ms级响应时间 视频95%+流畅率。7*24小时全网监控 资源弹性扩展，按实际使用量付费 先用后付，提供按流量或峰值带宽 网站突发流量，无需用户干预，自动作出响应和调整节约成本稳定快速简单易用 自助化配置域名的添、册（改、查，丰富简洁可定制配置项，支持自定义防盗链、缓存策略、HTTP响应头等功能。开放API接口，提供服务开通、内容刷新、获取监控数据、下 载分发日志等功能。阿里云CDN的发展历程103 节点，861 Gbps30 节点，318 Gbps 4节点，67 Gbps230 节点，3400 Gbps130 节点，2100 Gbps1500+节点，单节点存储 容量达 40 TB 1.5 PB 300 节点，6 Tbps200820112011 2014.022014.02现在淘宝CDN服务淘宝 3DNS NetScaler Squid NetCache依赖硬件借力开源阿里CDN 服务集团各子公司 GTM LVS HAProxy 差.Squid Traffic Server自主可控阿里云CDN服务集团内、外用户-LVS Tengine Swift Pharos晌里云CDN节点 国内1300+节点，覆盖34个省级区域，主流大小运营商全支持，具备100 Tbps带 宽储备能力。海外200+节点，覆盖六大 洲、70多个国家和地区，具备20 Tbps 带宽储备能力。阿里云所有节点均接入万兆网卡，单节点 存储容量达40 TB1.5 PB,带宽负载达 至!40 Gbps 200 Gbpso 广泛布局的高性能节点联通CDN的功能和相关概念山里云CDN的功能-业务侧1.小文件加速（KB级）：图片、HTML页面等静态小文件；2.大文件加速（MB级）：APK等大文件、200KB以上;3.视频点播（MB 级）：（MP4、FLV,HLS、HTTP）;4,顺直播（HLS、HTTP OVER FLVS RTMP）;-用户侧1.快捷申请，用户可通过阿里云控制台很方便的去申请CDN加速服务;2.个性化配置，系统支持用户自定义文件缓存策略，如过期时间；3.报表，日志分析；包括：流量、命中率、访客、ISP等数据；4.OPEN API接口，实现服务开停、刷新内容、获取日志等功能；5.防盗链的支持：支持用户自定义或标准的auth_key的方式4可里云CDN的具体功能项 提供全站加速服务。自助化域名配置，即时生效。提供管理控制台和OPEN API两种操作方式。SSD力口速能力，各节点配有一定的SSD存储支持HTTPS（昆仑子域名）可直接搭配云存储OSS 使用网站内容过期时间设置，J 舞支持按目录、URL设置。提供防盗链功能，支持refer黑白名单设置。提供页面优化功能，支持智能gzip压缩和 页面trim功能。J可里云CDN的具体功能项 自动化更新缓存服务，支持目录、URL更新。提供文件预热功能，支持控制台和OPEN API两种途径进行文件预热。提供安全防护功能，可防御CC、WAF、跨站、注入等常见Web攻击。全景信息监控，包括：访问流量统计、访问分析、命中率、ISP、攻击信息、pv/uv、QPS、top访问信息监控等。网站 网站访问全量日志下载。视频流媒体支持，包括：存储、切片转码、鉴权、内容分发 视频渐进式点播，支持mp4、flv视频格式金DN相关概念术语说明加速域名加速域名即用户需要使用CDN加速的域名。域名是一组服务器的地址，可以是 网站,电子邮件,FTP等。CN AM Ei己录它是一个别名记录(Canonical Name);当DNS系统在查询CNAME左面的 名称的时候，都会转向CNAME右面的名称再进行查询，一直追踪到最后的 PTR或A名称，成功查询后才会做出回应，否则失败。CNAME域名CDN的域名加速需要用到CNAME记录，在阿里玄控制台配置完成CDN加速后，您会得到一个加速后的域名，称之为CNAME域名(该域名一定是*),用户需要将自己的域名作CNAME指向这个 的域名后，域名解析的工作就正式转向阿里云，该域名所有的 请求都将转向阿里云C D N的节点。术语说明DNSDNSBPDomain Name System,是域名解析服务的意思.它在互联网的作用是：把域名转 换成为网络可以识别的ip地址。人们习惯记忆域名，但机器间互相只认IP地址，域名与IP 地址之间是一一对应的，它们之间的转换工作称为域名解析，域名解析需要由专门的域名 解析服务器来完成，整个过程是自动进行的。比如：我们上网时输入的会自动转换成为220.191.131.XXX边缘节点也称CDN节点、Cache节点等;是相对于网络的复杂结构而提出的一个概念，指距皆最终 用户接入具有较少的中间环节的网络节点，对最终接入用户有较好的响应能力和连接速度。Cache高速缓存是指将经常被使用和访问的数据或内容存储于特定的设备或区域中，从而提局）数据访问的 性能和速度，在互联网技术中通常指web cache,其作用是将访问量较大的网页内容和对 象保存在服务器前端的专用cache设备上，以此来提高网站访问的速度和质量。CDN的应用场景杨景一（静态资源加速）静态资源较多的站点/应用加速00用户静态数据返回用户动态 动态数据 用户静态数据请求 结果返回 数据请求CDN 内容分发网络海量的就近加速节点回源请求 抓取摊ECS 云服务器Web程序、数据库内网访问 数据更新维护静态脚本、附件、图片、视濒/音频0SS云存储服务站点或者应用中大量静态资源 的加速分发，建议将站点内容 进行动静分离，动态文件可以 结合云服务器ECS,静态资源如 各类型图片、htmls css、js文 件等，建议结合对象存储OSS 存储海量静态资源，可以有效 加速内容加载速度，轻松搞定 网站图片、短视频等内容分发。场景二（音视频点播）音视频点播/大文件下载分发加速客户端点播负载均徵SLB视频上传负载均密SLB后台管理系统弹性伸缩服务ESS注册/登陆 上传/转码CMS审核服务源站服务铲弹性伸缩服务ESSCDN上传服务集卅源站服务集酊媒体转码MTS 消息服务MNS云存精OSS业务数比库VRDS支持各类文件的下载、分发，支 持在线点播加速业务，如mp4、fk视频文件或者平均单个文件大 小在20M以上，主要的业务场景 是视音频点播、大文件下载（如 安装包下载）等，建议搭配对象 存储OSS使用，可提升回源速度,节约近2/3回源带宽成本。心景三（移动APP）移动应用加速BGP网络ECS云服务器加速 接入节点源站移动APP更新文件（apk文 件）分发，移动APP内图片、页面、短视频、UGC等内 容的优化加速分发。提供httpDNS服务，避免 DNS劫持并获得实时精确 的DNS解析结果，有效缩 短用户访问时间，提升用户 体验。金景四（视频直播）视频直播加速视频流媒体直播服务，支持媒资 存储、切片转码、访问鉴权、内 容分发加速一体化解决方案。结 合弹性伸缩服务，及时调整服务 器带宽，应对突发访问流量；结 合媒体转码服务，享受高速稳定 的并行转码，且任务规模无缝扩 展。CDN的费用计算基础服务计费按带宽计费：按照每日带宽峰值计费，每5分钟统计一个带宽峰值，每日得到288个值，取其中的最大值适合场景：域名流量曲线比较平稳，全天内带宽利用率大于30%的用户适合使用按带宽计费方式 JG流量计费:、按照每小时使用的实际流量计费适合场景：域名流量曲线波动较大，有带宽尖峰，全天内带宽利用率小于30%的用户适合使用按流量计费方式）注*：带宽利用率=实际使用流量GB/（带宽峰值Mbps x 10.54）,1Mbps带宽每日100%利用率产生的流量约为 10.54GB。增值服务计费HTTPS力口速、全站加速和图片鉴黄是增值服务，需要单独计费计费项：静态HTTPS请求、动态HTTP请求以及动态HTTPS。付费方式：后付费。计皆规则；按静定次TTPS请求、动态HTTP请求以及动态HTTPS的价格计费,计费周期：按日计费，实时扣费全站加速计费项：当天开启了业务类型为全站加速的所有域名产生的增值服务请求数累计值为结算标准，并分别计费。付费方式：后付费。I 计费周期：按小时计费，实时扣费图片鉴黄计费周期1天次。计皆看隹：按照当口扫描量收费，每日扫描量越大，单价越低内容分发网络工作原理与架构能DNS解析的基本过程用户（北京）访叵http:DNS解析实现域名到IP地址的转换请我以名www a CQm对应 IR6.返回域名 对应 IP=222.27.请求域名wvwy 内容8.返回内容、访问实际的网页内容2清求域名MW,a CQnijthilP3.返回域名c NAMI：RLDNS5返回域名 对应 IP=2.222北京节点设备 IP=2.2.2.2上海节点设备 IP=9.9.9.94请求www.albcdn.ccrn 对 应 IP.边缘服务器如果 没有内容就回源站网站授权DNSDNS调度系统源站至bN加速全过程成都CDN服务网络/浏览器向LDNS请求对 的解析LDNS将请求发到网站授权DNS服 务器授权DNS返回一个CNAME(www.a.alikun )给LDNSLDNS重新去CDN智能调度系统请 求 的解析 源站杭州CDN智能调度系统，根据用户Idns所在区域返回给LDNS离用户 最近的CDN节点ip地址LDNS系统将最终解析到的IP地址告诉用户，同时将该解析结果保 存在自己的缓存中，直到相应的TTL(生存周期)过期，继续完成 新的动作用户在拿到CDN节点IP地址后，向该地址所指向节点服务器访问 CDN没有内容、回源站点CDN节点服务器则向用户源站进行请求，节点服务器拿到访问内 容后，给到用户并且将内容自己缓存起来eDN加速效果示例北京网民 跨越了互联网拥塞的瓶颈区域不使用CDN的访问时间/88ms使用CDN的访问时间/4ms/19ms/23msIdn节点分布阿里云CDN使用的独立节 点资源达到500+,会覆盖到电 信，联通，移动，铁通，教育,长宽等运营商；每个节点的最 小能力是40G;有海外节点：新加坡、香港、日本、德国、台湾等30个国家和地区。国内部分节点城市运营商城市运营商城市运营商上饶电信成都电信沈阳联通福电信西安电信太原联通嘉兴电信兰州电信联通杭州联通济南联通石家庄联通厦门电信济南移动天津联通/ri电信杭,卜|铁通汕头联通扬州电信上海电信哈尔滨联通昆明电信上海电信北京电信徐州电信青岛联通合肥电信南宁电信珠海电信成都电信黄仁电信海南电信重庆电信长沙电信乌鲁木齐电信唐山联通焦作 北京联通 教育网呼和浩特 洛阳联通金华 杭州电信 联通联通北京鹏博士南昌移动青岛联通金DN多层级缓存实现原理 阿里云CDN主要由智能调度系统和 Cache软件两个重要的环节构成。Cache系统结构可由一级和二级 cache节点构成。L1:每个CDN节点24台机器，支 持40GB流量，部署在各个运营商，命中90%以上。L2:每个CDN节点80台。杭州十 青岛；未来每一个阿里云的服务器 机房都有一个L2;目前有10几个L2 节点。L1和L2之间是ABTN的BGP网络连 接。国可里云CDN组件分层设备层月员务器路由器交换器防火堆其他专用设备由里云CDN节点架构Console布里云CDN节点系统：内部架构图Origin关键组件ALVS做四层负载均衡ATengine做七层负载均衡/安全/业务逻辑处理A Swift做HTTP缓存/高性能cache/磁盘（SSD/SATA）层负载均衡：LVSLVS技术特点 四层负载均衡由前端负载均衡器和后端服务器池组成，一般一组服务器池对应一个应用。前端负载均衡器采用LVS+Keepalived的架构，用两台 LVS机器互为备份(Master/Back叩)的角色，Master和 Backup之间通过VRRP协议自动切换从而实现Fail-Over。一切对后端服务器应用的访问都会通过LVS进入，LVS采 用fullnat模式，将流量分担到服务器池中不同服务器进 行处理，但处理完成后由相应服务器直接返回结果给客 户端，从而提高了系统效率。LVS是全球最流行的四层负载均衡开源软件，由章文嵩博 (当前阿里云产品技术负责人)在1998年5月创立，可以实现LIN UX平台下的负载均衡。层负载均衡：TengineWeb ServersTengine技术特点七层服务均衡主要针对应用层服务提供负载均衡，例如 HTTP服务等。对于HTTP服务而言，请求不仅仅通过LVS进行转发，而是 在LVS和Web Server之间增加一层HAProxy转发服务。HAProxy作为应用层的负载平衡服务，在收到LVS转发的连 接后，对HTTP头进行分析，根据规则配置（域名）转发到 相应的后端Web Server去。七层负载均衡出流量不同于四层直接从服务器出去，需要服 务器转发流量到前端HAProxy,由HAProxy负责转发。CDN的开通与停止存F通阿里云CDN服务停止CDN开通CDN开通申请创建CDN服务，选择计费方式（流量OR峰值带宽）点击立即开通按钮开通完成。/一M亭止阿里云CDN服务开通CDN 停止CDN 在控制台停止相应的域名，即视为停止了CDN服务;该域名下的请求都将回到源站 在做此操作前，请确认你的源站带宽处理能力。/CDN加速配置金DN加速配置*源站在翘A从源站加速：第一步：选择域名列表页，点击添加新域名。第二步：选择业务类型，填写源站域名，确认提交。从OSS bucket力口速:第一步：选择域名列表页，点击添加新域名。第二步：选择业务类型，填写OSS域名，确认提交。域名ossa名IPI 吟名优先级主如何设置多源优先级?*源站类型类型源站域名OS海名IPOSS作为源站，为怒节更多回源流量费用Bucket 的 外网访问域名源站域名CDN域名绑定金DN域名绑定获取 CNAME添加CNAME验证CNAME 配置是否生效1.获取加速域名的CNAME值在CDN控制台域名管理的域名列表中复制加速域名对应的CNAME值金DN域名绑定获取 CNAME添加CNAME验证CNAME 配置是否生效2.添加CNAME记录前往万网/阿里云解析的域名解析控制 台。在域名列表中找到加速域名对应 的主域名，进入解析设置页，然后添 加解析：企DN域名绑定获取 CNAME添加CNAME验证CNAME 配置是否生效3.验证C N AM E配置是否已生效 配置CNAME后，不同的DNS服务商C NAM E配置生效的时间也不同。可以ping所添加的加速域名，如果被转向*.*kunlun*.com,即表示C NAME配置已经生效，CDN功能也已 生效：C:Usersdxlping |正在 Ping 61.154.126.93来自61.154.126.93的回复来自61.154.126.93的回复来自61.154.126.93的回复来自61.154.126.93的回复 字节=32 时间=21ms TTL=44 字节=32 时间=22ms TTL=44 字节=32 时间=22ms TTL=44 学节=32 时间=22ms TTL=44具有32字节的数据:61.154.126.93 的 Ping 统计信息：数据包：已发送=4,已接收=4,丢失=0（0%丢失）,往返行程的估计时间（以毫秒为单位）：最短=21ms*最k=22ms,平均=21msCDN缓存刷新鎏存刷新-URL刷新原理：通过提供文件URL的方式，强制CDN节点回源拉取最新的文件。输入的URL必须带有http:或者https:/,5-10分钟之内生效。同一个ID每天最多只能预热刷新共2000个URL刷新缓存 刷新记录2000个文件（URL泡108目录.周新任终生效时间大约为5分钟.掾作类型刷新类型1999剩余刷新量存刷新目录刷新原理：通过提供文件目录的方式，强制CDN节点回源拉取最新的文件以http:或者https:开始，以/结束，5-10分钟之内生效天最多提交100个刷新请求刷新缓存刷新记录每天最多可刷新(邰熟)200峰文件(URL)ffl1 00目录.刷新任务生效时间大约为5分钟.操修型刷新刷新类型目录 URL100剩余刷新量壅存刷新URL预热原理：将指定的内容主动预热到CDN的L2节点上，用户首次访问即可直接命中缓存，降低源站压 力。输入的URL必须带有http:或https:，5-10分钟之内生效同一个ID每天最多只能预热共500个URL。资源预热完成时间将取决于用户提交预热文件的数量、文件大小、源站带宽情况、网络状况等诸多因素刷新缓存刷新记录每天最多可蹦f（含腌）2000个文件（URL用10峰目录.融祇鞋效时间约为5姗.刷僦型URL，*URL.png500剩余刷新量CDN数据监控徵据监控资源监控监控项监控指标沆量带宽带宽、流量回源统计回源带宽、回源流量访问次数请求次数、QPS命中率命中情况HTTPCODE5xx、4xxs 3xx、2xx实时监控监控项监控指标基础数据市优、流量、请求次数、QPSO回源流量回源流量、回源带范。质量监控请求命中率、字节命中率、5xx状态 码、4xx状态码、3xx状态码、2xx状 态码森计分析项目监控指标PV 和 UVPV、UV、用户区域分布、运 富商占比地区和运富商排名、区域、总流量、流量 占比、访问次数、访问占比、晌应时间。各个加速域名的访问排名热门Refer流量、流量占比、访问次数、访问占比。热门URL流量、流量占比、访问次数、访问占比。