基于DNS权重扩展协议实现CDN比例调度的探索与研究.pdf

662023.06互联网0 引言内容分发网络（Content Delivery Network，CDN）的作用是将数字内容智能分发到离用户最近的节点，从而减少网络延迟，节省带宽资源，提高用户体验。知名 CDN 服务商常常建有成百甚至上千个边缘节点，单个节点容量少则十几G、多则上百 G，各节点容量分布不均衡是普遍现象。受限于传统域名系统（Domain Name System，DNS）调度控制精度低，难以均衡各 CDN 节点的容量利用率，尤其是在单业务流量突发场景时，部分节点利用率超过 95%，而部分节点不到 30%，造成“有空闲容量却无法承载业务”的困境，这对 CDN 服务商的调度能力提出了巨大挑战。中国移动 CDN 业务也面临着类似问题，前期尝试了边缘节点多 VIP、调度中心根据收到的递归请求数量做按比例响应等技术，有一定成效，但仍存在易受 DNS 缓存影响、地址占用多，AAAA 类型响应报文过大等问题。为了应对 CDN 节点利用率均衡难题，充分发挥运营商掌握 Local DNS（简称 LDNS）的优势，首创了 DNS 权重扩展协议，实现了权重参数（如 CDN 节点的容量比例）由调度中心传递到 LocalDNS，继而将用户 DNS 访问请求按权重比例引流到不同的 CDN 节点，达到负载均衡的目的。1 总体思路及技术方案1.1 目标功能和使用场景传统的 DNS 权重调度是指权威 DNS 针对递归 DNS 访问总次数来进行比例解析，这种权重分配方式只能以递归DNS 服务器为分配颗粒度而不是最终用户，造成 CDN 业务节点的用户访问量与所期望的分配比例不一致（因为每个递归 DNS 服务器所服务的最终用户数量不同，导致流量分配产生误差）。中国移动所提出的 DNS 权重扩展协议，可针对域名的多个解析 IP 预设权重参数，由权威 DNS 或全局负载均衡（global server load balance，GSLB）传递给递归DNS 服务器（包括运营商 LocalDNS），再由 LDNS 按照权重比例基于终端用户返回相应的解析 IP，继而将用户访问流量引导至不同的 CDN 节点，达到负载均衡的目的。DNS权重扩展协议既可以独立运行，也可以叠加其他 EDNS 扩展功能共同服务，例如 EDNS Client Subnet 扩展（简称 ECS扩展）。DNS 权重扩展协议的应用场景：（1）通过 DNS 权重调度技术来微调域名使得多个CDN 节点的整体利用率均衡。比如有两个 CDN 边缘节点分布在 A、B 两地，其中 A 节点处理能力为 100G，B 节点处理能力为 50G，通过权重调度按每 3 个请求循环一次的周期进行 DNS 应答，在一个周期里 2 个请求回答解析地址 A，1个请求回答解析地址 B，使得 CDN 节点流量达到合理的比例。（2）作为一种应急手段，当某个 CDN 节点因业务突发暴涨，或者设备故障服务能力下降，通过 DNS 权重调度快摘要：CDN 服务商普遍面临着各边缘节点承载能力不均，难以最优调度的棘手问题，中国移动充分发挥掌握Local DNS 的优势，首创了 DNS 权重扩展协议，可将 CDN 节点的容量比例由 GSLB 调度中心传递到LocalDNS，实现面向终端用户的按比例调度。本研究介绍了 DNS 权重扩展协议的技术原理，在江苏移动的部署测试情况，为均衡 CDN 节点利用率提供了一种新的解决方案。关键词：EDNS；权重调度；比例调度；CDN 调度；ECS基于 DNS 权重扩展协议实现CDN 比例调度的探索与研究胡前笑 巫俊峰 郭志刚 王晓宇 王济晟 李瀚庭 刘怀彦 黄 钟 曹庆皇 唐 凯中国移动通信集团江苏有限公司672023.06互联网速将部分业务量引导迁移至其它节点，缓解流量压力。1.2 DNS 权重扩展协议的技术原理为了完善 DNS 功能，RFC2671 中提出了一种扩展 DNS机制 Extension Mechanisms for DNS（EDNS0），它扩展了原有 DNS 协议的数据包长度和字段内容，EDNS0 协议支持在 RR 中使用 TYPE=41 的 RDDATA 存放更多选项信息。中国移动提出的 DNS 权重扩展协议就是在此基础上，新定义了一个扩展选项（option）来携带域名多个解析结果的权重参数信息。如果整个解析流程的 LDNS、权威 DNS或 CDN 调度系统（GSLB）均支持权重扩展，则可以实现按照不同解析地址权重准确调度流量。如果解析流程中存在不支持权重扩展的 DNS 服务器，则会使用标准 DNS 协议进行 DNS 解析，不会有兼容性问题。图 1 DNS 权重扩展协议报文格式DNS 权重扩展协议定义了如下主要术语：权威服务器（Authoritative Nameserver）：一个或多个DNS 区的权威名字服务器。递归解析器（Recursive Resolver）：沿着域授权链为客户端进行域名解析的名字服务器。末端解析器（Stub Resolver）：在客户端的一个简单DNS 协议实现。转发解析器（Forwarding Resolver）：不自己进行迭代解析，而是将请求转发给其他递归解析器进行迭代解析的名字服务器。在实际运用中，LOCAL DNS 内部的缓存服务器承担上述转发解析器功能，递归服务器承担递归解析器功能。EDNS 权重扩展协议的报文格式如图 1 所示。1.3 DNS 权重扩展协议报文格式本研究使用的新扩展的 EDNS0 选项（option），整个EDNS0 选项的报文格式为：（1）选项代码（Option-Code）在 RFC6891 中定义，占 两 个 字 节。（2）选 项 数 据 长 度（Option-LENGTH）在 RFC6891 中定义，占两个字节。包括了整个 OPTION-DATA 的字节长度。（3）选项数据（OPTION-DATA）在RFC6891 中定义，所占字节由 Option-LENGTH 确定。在权重选项扩展中，请求报文和应答报文使用不同的 OPTION-DATA 内容。对于请求报文，不包含 OPTION-DATA 数据；对于应答报文，包含了域名每个解析地址的权重信息。请求报文 EDNS0 选项的报文格式为：682023.06互联网（1）选项数据长度（Option-LENGTH）设置为零。（2）选项数据（OPTION-DATA）为空。应答报文 EDNS0 选项的报文格式为：（1）选项数据长度（Option-LENGTH）为 n*2（n 为应答报文中 answer section 部分解析地址数量）。（2）选项数据（OPTION-DATA）为 n*2 字节长度。每个解析地址权重使用两个字节表示。应答文中选项数据（OPTION-DATA）特别说明：（1）每个解析地址权重使用两个字节表示，应答报文中 answer section 部分解析地址数量为 n，则整个 OPTION-DATA 长度为 n*2 字节长度。（2）权重必须为一个正整数，目前我们暂时只使用两个字节中的低位字节，范围从 1 到 255，高位字节设置为 0。（3）权重信息在 OPTION-DATA 中的数量和应答报文中 answer section 部分包含的解析地址资源记录数量必须相等。如果应答中 answer section 部分包含 5 条解析地址资源记录，那么 OPTION-DATA 也必须包含 5 个对应的权重。（4）权重信息在 OPTION-DATA 中的顺序和解析地址资源记录在应答报文answer section中出现的位置必须一致。即 OPTION-DATA 中第一个权重对应 answer section 中第一条解析地址记录，以此类推。（5）如果应答报文权重数据不符合上面规定（包括权重为 0、权重数量和解析地址数量不相同等情况），那么请求者将所有解析地址设置为相同权重处理。1.4 DNS 权重的工作流程DNS 权重的整个工作流程由多个参与方协同完成。DNS 权重工作流程如图 2 所示。图 2 DNS 权重工作流程图（1）末端解析器发起 DNS 查询请求用户终端的末端解析器首先发起域名的 DNS 查询，该查询不会带权重选项。（2）转发解析器转发 DNS 查询请求转发解析器（比如 LDNS 前端缓存服务器）收到末端解析器查询请求，根据配置策略决定转发查询特定域名是否启用带权重选项的 DNS 查询请求。如果需要启用带权重选项的 DNS 查询请求，则转发解析器在请求报文的附加部分（additional section）中必须加入 EDNS 要求的 OPT 类型伪资源记录，在 OPT 资源记录中加入权重选项数据。如 果 转 发 解 析 器 还 支 持 其 他 EDNS 扩 展 功 能，例692023.06互联网如 EDNS Client Subnet 扩 展（简 称 ECS 扩 展，参 考RFC7871），那么在转发解析器发起的请求中，必须加入EDNS 要求的 OPT 类型伪资源记录，并且在 OPT 资源记录中同时包括权重选项和 ECS 选项。（3）递归解析器发送 DNS 迭代查询请求递归解析器（比如 LDNS 后端递归服务器）收到转发解析器查询请求，如果该请求携带了权重选项，而递归解析器也支持权重选项扩展，则递归时启用带权重选项的 DNS 查询请求。如果需要启用带权重选项的 DNS 查询请求，则递归解析器在请求报文的附加部分（additional section）中必须加入 EDNS 要求的 OPT 类型伪资源记录，在 OPT 资源记录中加入权重选项数据。如果递归解析器还支持其他 EDNS 扩展功能，例如ECS 扩展，那么在递归解析器发起的请求中，必须加入EDNS 要求的 OPT 类型伪资源记录，并且在 OPT 资源记录中同时包括权重选项和 ECS 选项。（4）权威服务器生成含权重扩展的 DNS 应答如果支持权重扩展的权威服务器收到包含权重扩展的查询请求，而且所查询域名在权威服务器上也启用了权重扩展，则权威服务器必须在应答报文中也包含权重扩展选项，并且把多个解析地址的权重存放在权重扩展数据字段中，具体格式请参照前述“DNS 权重扩展协议报文格式”部分。如果权威服务器支持权重扩展，但是被查询的域名没有启用权重扩展，那么权威服务器在应答报文中还是应该包含权重扩展选项头（应答报文中包括 OPTION-CODE），但是将权重数据字段设置为空（应答报文中设置 OPTION-LENGTH 为 0，OPTION-DATA 为空）。这样权威服务器向查询发起方明确标识权威服务器支持权重扩展，但是所查询域名不启用权重扩展。（5）转发解析器/递归解析器缓存和处理含权重扩展的 DNS 应答对于转发解析器/递归解析器，如果从上游服务器接收到的含权重信息的应答，应该进行缓存，如果应答报文包含权重扩展信息，那么需要将权重扩展信息一并缓存。权重扩展信息完全依附于应答报文中 answer section 部分的 A 或 AAAA 类型的资源记录，可以把权重看作资源记录的一个扩展属性。因此如果资源记录 TTL 过期，则该资源记录的权重也同时失效。对于在缓存中含权重信息的域名，如果下游查询请求不含权重扩展，则转发解析器/递归解析器应答不含权重扩展信息，必须使用普通 DNS 报文应答。对于在缓存中含权重信息的域名，如果下游查询请求含权重扩展，则转发解析器/递归解析器应答必须含权重扩展信息。考虑到将来企业自建 DNS 可能支持权重协议，这样可以让权重参数信息从 LocalDNS 继续向企业自建 DNS传递。2 方案部署实施DNS 权重扩展协议支持独立运行，但考虑 ECS 扩展已是 LDNS 不可或缺的标配功能，中国移动 CDN 在江苏部署时，需要满足 ECS 和权重两项功能叠加的设计需求。当CDN GSLB 同时收到带有这两项扩展功能的 DNS 请求时，在处理逻辑上，GSLB 首先根据 ECS 扩展选项选择出相应的边缘节点视图，其次再对该视图下的各个节点下发权重信息。相比 CDN GSLB，LDNS 侧的改造难度更大，涉及网管服务器、递归服务器、缓存服务器三大网元的改造，权重扩展的部署实施模型如图 3 所示。2.1 缓存服务器改造前期在部署 ECS 功能时，已经根据业务模型规划了多个分区，通常省级 LDNS 会以地市做为基本的调度单元来规划 CDN 业务，每一个地市划分为一个分区，结合地址映射技术归并一个地市所有用户的解析缓存，而普通域名使用公共分区缓存。叠加权重功能时，公共分区和 ECS 分区均需要支持权重调度算法。2.2 递归服务器改造前期在部署 ECS 功能时，递归服务器已经分成了普通递归和 ECS 递归两个分组。虽然权重递归可以兼容普通递归，但权重递归比普通递归更加消耗资源，只需要在 ECS递归服务器上追加权重功能，改造成权重/ECS 合一递归服务器。对于非 ECS 域名的纯权重域名，实施权重递归；对于既是 ECS 又是权重的域名，实施带权重扩展的载源递归。2.3 网管服务器改造DNS 网管基于域名来标识是否属于权重、ECS 这两种特殊类别的域名，确保域名调度的主动权掌握在运营商 ISP手上。如果是权重或 ECS 域名，DNS 网管上还需要继续标识策略，如 forward 转发或迭代查询。前端缓存服务器根据网管标识的权重、ECS 域名列表实施分流，权重、ECS域名转发到专用的权重/ECS递归服务器，普通域名转发普通递归服务器。2.4 权重域名解析流程702023.06互联网DNS 前端缓存收到用户请求后，依据 DNS 网管里的域名标记判断其是否属于权重域名。如果是权重但非 ECS 域名，先分流至权重/ECS 合一递归服务器，解析结果由公共缓存空间进行缓存。如果网管标记为权重且 ECS 域名，则根据用户源 IP 对应的映射表，进入相应地市 ECS 缓存分区；将映射公网 IP添加进扩展字段构造出新的 ECS 请求，并追加权重扩展请求，转发给权重/ECS 合一递归服务器；合一递归服务器根据 ECS 里的映射公网 IP，进入相应递归分区后执行带权重扩展的载源递归。3 试点应用与测试结论中国移动集团 CDN 部门牵头，联合移动杭研 GSLB、江苏移动、南京信风于 2022 年 6 月至 2022 年 8 月期间对江苏宽带业务进行现网测试。选择了抖音点播和咪咕视频业务，测试场景覆盖了 CDN 业务中最频繁使用的视频点播和直播，还包含了权重调度和 ECS 调度的交叉情况。3.1 测试数据配置参与测试的 CDN 调度域名：（1）权重+ECS 域名：抖音点播；（2）权重+ECS 域名：咪咕点播；（3）纯 权 重（权 重+非ECS）域名：咪咕直播。考虑到现网用户规模、行为等复杂性原因，为方便数据对比GSLB 配置了苏南和苏北两个分组进行测试；其中苏南包括南京、苏州、无锡、常州四个地市，苏北包括徐州、盐城、淮安、连云港、宿迁五个地市；对于配置了 ECS和权重的测试域名可以按不同的分组配置不同的调度策略进行测试。3.2 测试数据提取分析（1）统计时间段：统计数据均取 20-24 点的晚高峰时段的用户请求数据，该时间段的 CDN 流量较大，便于统计分析。（2）DNS 数据分析：从江苏移动宽带 DNS 的原始采集日志中过滤出测试域名在统计时间段的请求数据，再按地市、DNS 请求类型、解析地址多维度进行汇总统计；最后计算出 DNS 访问量比例的实际值，与理论值进行比对。（3）CDN 流量分析：数据从 CDN 系统中导出后，过滤出统计时间段内各域名的不同解析地址的 CDN 流量后进行汇总统计。3.3 测试记录节选以下截取“权重+ECS”抖音点播域名的部分测试记录进行说明。（1）测试用例：验证 GSLB 上设置的权重比例与 CDN流量比例的偏差是否满足预期测试结果 1：GSLB 设置权重参数为 1：4 时，与实际CDN 流量比例相比，IPv6 偏差在 10%以内。CDN 节点列表-IPv6 如表 1 所示。图 3 DNS 权重扩展协议部署模型表 1 CDN 节点列表-IPv6区域记录类型CDN 节点CDN IP 地址苏北（五地市）AAAA 记录江苏省中心-无锡 04-视频加速2409：8087：2004：10：1100：0：2788：470e江苏省中心-无锡 05-视频加速2409：8087：2004：10：1100：0：2788：4719712023.06互联网测试数据记录：如图 4 所示。测试结果 2：GSLB 设置权重参数为 1：4 时，和实际CDN流量比例相比，IPv4偏差40%左右。CDN节点列表-IPv4如表 2 所示。表 2 CDN 节点列表-IPv4区域记录类型CDN 节点CDN IP 地址苏北（五地市）A 记录江苏省中心-无锡04-视频加速39.136.71.13江苏省中心-无锡05-视频加速39.136.71.24测试数据记录：如图 5 所示。从测试结果数据分析，偏差较小和偏差较大的域名都是来自相同的抖音点播域名，但 AAAA 纪录的 CDN 流量偏差较小，而 A 纪录的 CDN 流量偏差较大。（2）测试用例：调整 GSLB 权重参数，验证是否可以达到调整 CDN 流量比例的效果测试数据记录：如图 6 所示。从测试结果数据分析，通过在 CDN 调度中心调整权重数值，可以将实际的 CDN 流量比例逼近预期的比例，达到调度目标。（1）2022-7-21：CDN 期望比例为 1：3，在 GSLB 配置的 DNS 权重参数同样设为 1：3 时，CDN 流量的实际比例为 2.001，和 CDN 期望比例的偏差较大。（2）2022-7-23：调整 GSLB 权重参数，将 GSLB 配置的 DNS 权重参数比例改为 1：4（图中绿色部分），CDN 比例偏差明显减小。（3）2022-7-27：调整 GSLB 权重参数，将 GSLB 配置的 DNS 权重参数比例改为 1：5（图中紫色部分），CDN 比例偏差继续减小，CDN 的实际比例达到 1：2.87，基本满足期望的要求。图 4 ECS+权重测试域名的 IPv6 测试记录图 5 ECS+权重测试域名的 IPv4 测试记录722023.06互联网（4）受现网环境、业务类型的影响，虽然 CDN 流量比例不一定能精确匹配 DNS 权重参数，但测试发现偏差的大小和方向具备稳定性和一致性，因此可以通过不断调整DNS 权重参数来校准 CDN 流量比例，满足 CDN 调度的预期要求。3.4 测试结论通过现网复杂的业务场景测试数据，试点应用得出如下结论。3.4.1 功能特性（1）系统支持在 DNS 缓存、DNS 递归与 GSLB 之间通过 DNS 权重扩展协议传递特定域名多个解析地址的权重比例信息，现网测试验证 DNS 权重扩展协议工作正常，运行稳定可靠。（2）DNS 缓存系统通过权重扩展协议获取到 GSLB 上设置的多个解析地址的权重比例，缓存按照该权重比例应答终端用户请求，通过现网 DNS 日志统计分析，验证了 DNS缓存实际应答的多个解析地址权重比例与 GSLB 配置的权重参数能够精确匹配（偏差小于 10%）。（3）在现网环境下，发现部分域名的真实 CDN 流量比例和 GSLB 上设置的权重参数比较接近（截图中权重参数设置为 1：4 时，抖音测试域名 IPv6 流量偏差小于 10%），部分域名出现偏差（截图中权重参数设置为 1：4 时，抖音测试域名 IPv4 流量偏差 40%左右）。进一步观察分析，发现对于测试域名这个偏差是单向恒定的，调整 GSLB 上的权重参数可以达到纠正 CDN 流量偏差的效果，最终将不同解析地址上的 CDN 流量比例校准到与期望值（不同 CDN 节点处理能力比例）相符合。（4）在现网环境下，通过 GSLB 为不同解析地址设置恒定权重比例，分别对比不同 TTL、不同用户颗粒、不同业务种类、IPv4 和 IPv6 流量，进一步分析了 CDN 流量比例偏差的影响因素。总的来说，用户颗粒的差异越小，业务类型随机因素越小，CDN 流量比例越接近 GSLB 权重预设值。对于 IPv6 流量，因为基本没有 NAT 因素，用户颗粒差异小，CDN 流量比例偏差也小，因此从 CDN 调度角度说，尽快从用户终端侧和网站资源侧推动 IPv6 改造，提升 IPv6 流量占比，将使得 CDN 流量的权重调度更具精确性和可预测性。3.4.2 兼容性（1）系统支持 IPv4/IPv6 双栈网络层协议；（2）系统支持 A、AAAA 类型的 DNS 权重扩展，对 IPv4 的 CDN 流量和 IPv6 的 CDN 流量均可以支持权重比例调度；（3）系统支持权重扩展协议和 ECS 扩展协议叠加使用。3.4.3 性能效率在本次测试中，江苏移动现网南京和无锡两个宽带DNS 节点均进行改造参与测试，测试期间江苏移动宽带DNS 峰值负载 1650 万 QPS，单台 DNS 缓存设备 165 万QPS，启用 DNS 权重调度功能后，每秒解析能力、解析时延、解析成功率等指标没有变化，证明启用 DNS 权重功能基本不损耗系统性能。4 结束语对于 CDN 服务商和 ICP 内容提供商而言，传统的权威DNS/GSLB 仅能基于递归 DNS 进行权重分配，而不能基于终端用户进行权重分配。电信运营商具有掌握 Local DNS的优势，有可能整合权威 DNS 和递归 DNS，与 CDN 协同提升调度精准度，中国移动 CDN 团队率先进行了尝试，提出 DNS 权重扩展协议解决方案。本研究探讨了 DNS 权重扩展协议的技术原理，在江苏移动部署和测试情况，验证了GSLB 调度中心传递权重参数到 LocalDNS 的可行性，不但图 6 调整 GSLB 权重参数时 CDN 流量比例变化的测试记录732023.06互联网从技术上解决了传统 GSLB 无法按权重比例直接调度终端用户的难题，而且在业务上提升了电信运营商参与内容调度的话语权，对 CDN 行业具有普遍适用性和推广价值。作者简介：胡前笑（1973），男，江苏宿迁人，高级工程师，硕士；研究方向：通信工程、云计算。（收稿日期：2023-02-26；责任编辑：赵明亮）表 1 不同运维模式的技术对比对比项目传统模式运维中台部署模式分散集中部署成本低高，新增运维中台硬件，软件成本部署难度低高，需完成视频平台对接、第三方系统接口调试扩容成本中等，每个项目需要单独扩容低，集中式扩容运维难度较高低，实现了集中、自动化运维安全等保低较高故障判断准确率78%98%故障预处理时间38 分钟17 分钟点位（自维）在线率92%96%-98%参考文献：1 祝越，蒋玲.公共区域视频监控共享平台设计研究 J.河北省科学院学报，2022，（5）：14-19.2 高国伟.阿里巴巴技术中台的“云启示”J.项目管理评论，2018，（2）：26-27.3 项威，李富年，余兴胜，闫俊锋，林俊平.基于GB28181 的桥梁视频监测系统设计与实现 J.现代电子技术，2022，（10）：10-14.4（美）佩佩恩亚克，（美）吉查德著.MPLS 和 VPN 体系结构 M.北京：人民邮电出版社，2015.02：117-121.5 赵辑肖，范红，梁忠诚.基于光波检测的智能 ODN 故障管理系统 J.光通信技术，2019，（2）：34-37.6刘彬，陆璐.基于SIP协议的视频云网关研究与应用J.西部交通科技，2020，（6）：127-129.作者简介：洪伟（1976），男，江苏无锡人，工程师，硕士；研究方向：城域网、云计算、网络安全。（收稿日期：2023-03-03；责任编辑：赵明亮）（上接第 65 页）Optimization Online，2012.12LIN T，YU X，ZHU Y，et al.Channel estimation for IRS-assisted millimeter-wave MIMO systems：Sparsity-inspired approachesJ.IEEE Transactions on Communications，2022，70（6）：4078-4092.13CAI J-F，CANDS E J，SHEN Z.A singular value thresholding algorithm for matrix completionJ.SIAM Journal on optimization，2010，20（4）：1956-1982.14HU Y，ZHANG D，YE J，et al.Fast and accurate matrix completion via truncated nuclear norm regularizationJ.IEEE transactions on pattern analysis and machine intelligence，2012，35（9）：2117-2130.作者简介：王鹏（1976），男，河北玉田人，高级工程师，硕士；研究方向：5G 移动通信，通信原理算法。（收稿日期：2023-05-09；责任编辑：赵明亮）（上接第 56 页）