运营商算力网络发展及技术探讨.pdf

孙滔中国移动2023.3运营商算力网络发展及技术探讨中国移动算力网络整体发展情况中国移动洞悉算力发展趋势，把握算力时代脉搏，积极响应国家东数西算战略，充分发挥运营商网络领先优势，以网强算提出“算力网络”全新理念，一年多来持续开拓创新，全力推进算力网络发展2中国移动算力网络核心理念算力网络是以算为中心、网为根基，网、云、数、智、安、边、端、链（ABCDNETS）等深度融合、提供一体化服务 的新型信息基础设施。算力网络的目标是实现“算力泛在、算网共生、智能编排、一体服务”，逐步推动算力成为与水电一样，可“一点接入、即取即用”的社会级服务，达成“网络无所不达，算力无所不在，智能无所不及”的愿景。算为中心以网强算多要素融合一体化服务算是业务与服务的原动力表达从通信网络向信息网络变革技术要素（存/算/网）能力要素（AI、安全等）资源要素（局址、能源等）资源式到任务式端到端质量保障算力交易、算力并网算力从有界变成无界网络从刚性变成柔性算网从分立变成一体3算力网络演进路径起步：泛在协同发展：融合统一跨越：一体内生协同编排网随算动智能编排算网融合智慧内生算网一体一站服务、协同运营融合服务、统一运营一体服务，模式创新 十四五阶段十五五阶段及更长期阶段一阶段三阶段二算力网络发展分为泛在协同、融合统一和一体内生三个阶段，最终推动算力成为与水电一样，可“一点接入、即取即用”的社会级服务，赋能数字经济高质量发展45中国移动体系化推动算力网络创新发展主线一面向算网基础设施构建主线二面向业务融合创新实现算力在物理空间、逻辑空间、异构空间的融通，打造领先算网基础设施实现算网高效协同，支持CHBN业务融合发展，打造算网全新生态实现创新技术引领，打造原创技术策源地主线三面向创新技术引领6主线一：面向算网基础设施构建完善算力基础设施布局物理融通推进数据中心覆盖和互联，实现不同地域泛在算力在物理空间的融通。对接东数西算国家算力枢纽规划完善“4+N+X”数据中心布局，数据中心机架超120万架中国移动持续完善“4+N+X”数据中心布局，推进边缘算力覆盖，加快泛在算力基础设施构建逻辑融通推进云、边、端协同，实现中心、边缘、端侧算力在逻辑空间的融通。从300余个区域和省级中心云逐步延展，建设超过1500个CDN边缘节点，推进超1000余个边缘云节点建设哈尔滨长三角区域贵阳呼和浩特京津冀区域粤港澳大湾区域成渝区域异构融通推进算力多样化，实现通用算力和专用算力在异构空间的融通。x86、ARM等多样化算力服务器规模超60万台，通过合营/转售、API对接、云原生等方式加快社会算力并网纳管中卫庆阳7主线一：面向算网基础设施构建打造以算为中心的基础网络以算力为中心打造骨干(20ms)、省域(5ms)、地市(1ms)三级时延圈，提升网络确定性能力端侧算力20ms骨干时延圈枢纽算力省级/区域算力城市边缘算力接入省域/区域骨干枢纽算力SD-WAN 5m省域时延圈1ms地市时延圈骨干DCI网络省内DCI网络CMNet城域/省网OTN国干OTN省干城域SPN OTN城市向算而生构建网络新架构技术创新打造网络新能力扩大网络覆盖，DCI云专网覆盖超320个地市提升网络Mesh度，减少流量绕转，降低时延提升网络带宽，向400G/800G演进通过SRv6/G-SRv6技术提升网络调度能力，实现多种业务的差异化保障网络切片提供确定性连接服务新一代SD-WAN高效分发算力服务8主线二：面向业务融合创新构建融数注智的算网大脑算网大脑是算网共生发展的关键系统，通过对算力和网络资源的统一编排调度和管理运维，融数注智，向下实现泛在算力的跨层跨区域融通和网的跨域跨专业拉通，向上实现多要素融合能力供给和算网一体化服务支撑算网跨域调度算网数据感知跨领域、跨专业统一调度算网全域感知，端到端服务质量保障算网智能化意图感知、网络自智算网融合编排多要素一体编排算网能力开放算网原子能力融合供给算网资源拉通、控制命令下发、状态交互、API原子能力开放算力网络基础设施层算力网络协同编排中心2算力网络智慧中心3算网大脑统一运营入口、融合类业务支撑 业务需求解析算力网络运营层一体化运营支撑能力统一资源呈现算网服务目录效能评估呈现 算网感知平台5数据共享数据存储策略管理业务设计中心业务生命周期管理算网能力仓库算网产品中心算网能力开放中心1业务能力开放业务指标监控业务需求解析算力使能网络使能安全使能.智能优化智能编排智能感知数据采集数据处理 算网跨域调度4API管理接入管理9主线二：面向业务融合创新开创算网服务1.0 中国移动算力网络云网一体产品云专网节点覆盖全国所有地市全网用户一跳入网、算力高速互联3AZ高品质资源池运营商首个自研3AZ架构，布局全网5大区8个节点提供L6级同城双活、异地容灾服务5G*云，双引擎持续赋能行业以算力驱动生产力，推动千行百业数智蝶变融合ABCDENETS能力，任务式服务，算力即取即用AZ1AZ3AZ2PTN云专线OTN云专线PON云专线5G云梯云互联云组网SPN切片云专线一站式入云服务10+方式一跳入云5G/SPN端到端切片上云租户百G带宽，百T容量超低时延，安全可靠 云上云下互联组网网元亿级并发百G吞吐3000万pps 转发性能 超大规模云内网络上云云间影像回传边缘渲染远程手术数字孪生工厂质检云游戏全息课堂AI算法行业切片建模仿真视频加速5G 云新型算网解决方案位置物联网AR远程辅助城市大脑以网强算让业务品质更可靠更安全算网融合让客户体验更高效更便捷算网赋能让服务模式更灵活更多元以产品算力化和算力产品化为主线，融合多要素，重塑产品能力，创新服务模式，打造更可靠、更高效、更智能、更便捷的算网服务体系10主线三：面向创新技术引领构建创新技术体系算力卸载算力原生存算一体算力度量云原生多样性算力全程可信算力路由在网计算PON高速全光接入算力交易数据流通安全编排隐私计算算网多要素融合编排芯片节能数据中心节能服务器节能绿色安全400G/800G全光高速互联OTN灵活光电联动算网SPN承载泛在调度应用感知确定性网络新一代SD-WANSRv6/G-SRv6低碳能源算网数据感知智算中心融合服务技术算力提升技术以网强算技术星云算力运营服务层编排管理层算网基础设施层算网智能化智能网络调度中国移动对算力网络的关键技术进行体系化的梳理和深度挖掘，重点布局算力提升技术、以网强算技术和融合服务技术，横向映射三层架构，纵向串联各技术栈，形成创新技术体系，推动技术簇的共同成熟创新技术1：广域吞吐敏感网络技术（1/5）p 东数西训、东数西渲、东数西存等场景通过广域网将温、冷数据（占全部数据95%）迁移至西部，实现数据高效利用，降低能耗和成本。为将源源不断的数据按时保质迁移，对网络吞吐有较高要求随着东数西算国家战略的实施，大容量数据在广域网传输的需求越来越多，同时多云数据备份、数据异地上云等场景对在线数据迁移的有效吞吐提出了更高要求，实现海量数据在广域网高吞吐传输成为迫切需求p 多云数据备份、多云协同计算、数据异地上云等场景通过广域网实现海量数据迁移，满足不同云业务需求。网络有效吞吐决定了数据迁移成本，同时有时延、安全、可靠等性能保障要求IP网络光底座东部温、冷数据西部通用、智算数据中心海量数据广域网传输智算、超算中心数据产生端广域网智算、超算中心智算、超算中心云间数据备份、同步数据异地上云11创新技术1：广域吞吐敏感网络技术（2/5）p 当前广域网大数据迁移存在的问题FTP类传输协议吞吐量不高，如果数据量几百TB或者PB级别，一般选用人工快递硬盘方式，耗时长，数据丢失、损坏风险高原因1：物理带宽不高，存在带宽上限。通过建设超宽骨干网，消除物理瓶颈原因2：现有广域网拥塞控制算法准确度不高，有效吞吐存在瓶颈广域网拥塞控制算法按照拥塞判断依据分为丢包类、时延类、带宽类等，随着广域网拓扑日益复杂、业务越来越多样，设备类型越来越异构，拥塞控制算法也在不断完善，期望达到物理带宽的吞吐量p 丢包类拥塞控制l典型算法：Reno、CUBIC等l缺陷：丢包=拥塞，发送速率过调整，吞吐受限p RTT类拥塞控制l典型算法：FAST、Vegas等l缺陷：RTT变大=拥塞，发送速率过调整，吞吐受限p 带宽类拥塞控制l典型算法：BBR、GCC等l缺陷：可用带宽变化调整发送速率，欠调整，丢包率高拥塞控制算法要综合考虑准确性、公平性、扩展性等，目标是充分利用物理带宽，提升用户体验12创新技术1：广域吞吐敏感网络技术（3/5）超高速率的数据传输驱使TCP/IP协议处理由内核卸载至网卡，RDMA成为数据高效传输首选技术RoCEv2协议易部署、性能高，但应用在丢包率较高的广域网中需要优化其原生实现“数据中心税”算力损耗居高不下 CPU TPS有限，吞吐存在瓶颈 零复制：在应用内存与内核之间复制数据 内核旁路：应用程序无需执行内核内存调用就可向网卡发送命令 无CPU参与：应用程序访问远程内存，而不占用远程机器CPU1.Infiniband：高性能、部署成本高2.RoCEv1/v2：高性能、部署成本低3.iWARP：低性能、部署成本低RDMA三大实现协议RoCEv2应用在广域网中的挑战 广域网丢包率较高，RDMA原生Go-back-N丢包重传机制，少量丢包即可导致吞吐大幅下降 IBTA没有针对RDMA定义数据加解密算法，缺乏数据安全机制高速数据传输带来的问题RDMA技术13创新技术1：广域吞吐敏感网络技术（4/5）基础设施层东数西算企业专线网络功能层应用服务层数据灾备数据上云云专线数据安全加密丢包精确重传广域拥塞控制丢包快速恢复功能集合性能计算时延测量实时吞吐检测丢包检测可用带宽检测IP协议RDMA协议基础协议UDP协议协同计算SDWAN应用服务层网络功能层基础设施层东数西算：东数西存、东数西渲等大数据迁移场景数据灾备：多数据中心间的备份数据迁移场景数据上云：数据产生端向异地智算、超算中心迁移场景分布式计算：异地多数据中心间的实时数据同步基础协议：基于传统IP/UDP协议，保持现网兼容性，同时基于RDMA扩展适应广域部署性能计算：对丢包、时延、带宽、吞吐等网络性能指标实时计算，为功能实现提供数据功能集合：插件式功能集，各功能间解耦，系统可根据不同应用需求调用不同功能云专线：实现多云之间广域互联SDWAN：实现多用户和云数据中心广域互联企业专线：实现企业与企业或数据中心广域互联提出广域吞吐敏感网络(WGSN)总体架构，实现高吞吐、高安全、低算力损耗的广域网络数据传输状态参数能力14创新技术1：广域吞吐敏感网络技术（5/5）网络高吞吐算力低损耗数据高可靠 新型拥塞控制技术：基于单向时延和可用带宽的高精度测量，设计扩展性强、准确性高的广域拥塞控制算法 精确丢包重传技术：基于高效、准确的丢包检测，设计精确丢包重传机制，消除RDMA原生 Go-Back-N丢包重传缺陷 快速丢包恢复技术：设计基于前向纠错码的丢包恢复算法，既可降低链路丢包概率，又不增加重传时延，大幅降低丢包对传输性能的影响 数据安全加密技术：基于传输层加密技术，路由协议无关，确保数据安全传输p 关键技术p 广域吞吐敏感网络目标在有限网络和算力资源下，实现网络高吞吐、数据高可靠、算力低损耗三者的动态平衡和综合最优云间数据迁移服务市场规模近百亿美元，并持续以25%的年增长率递增*。受限于网络吞吐不足，目前TB级别的数据迁移多采用人工快递硬盘方案，效率较低。广域吞吐敏感网络通过提升网络有效吞吐，期望TB甚至PB级别数据线上迁移时，效率更高，成本更低，用户体验更好。15*SNS Insider云迁移服务报告（2022年）16创新技术2：算力路由（1/3）2018年开始研究算网融合技术，面向云边协同和边边协同的“性能反转”等问题，提出在路由域引入计算信息进行联合调度通过仿真发现在路由中引入算力信息在低中重载情况下均有一定的优化效果。在负载达到60%时，整体系统的算力可用容量提升33.17%，端到端平均时延提升35.29%重载下CAN的QPS较好重载下CAN的时延比较低（1）感知：路由系统感知计算资源（2）路由：综合网络和计算信息寻址选路解决思路在路由中引入计算信息，进行联合调度提出算力感知网络CAN，发布系列白皮书2019 2021边缘节点边缘节点中心云问题本质计算和网络是独立系统，算的负载和网的拥塞信息没有产生关联算：降低负载、计算资源预留.网：增加带宽、配置专线.增加网络建设、运维成本 造成大量计算资源的闲置-计算负载高及网络队列深的条件下，边缘响应平均时延及尾时延远大于中心云-算的负载状态以及网的拥塞情况均是问题来源发现问题 云边以及边边调度之间出现“性能反转”（1）（2）形成算力感知网络CAN的核心方向-算力路由17基于BPG协议感知通告算力信息，在距离向量上叠加计算向量，需设计自适应算力通告机制和新型多因子算路算法，实现算力和网络的联合优化在BGP距离矢量上叠加算力向量，改变了BGP选路方法，影响BGP路由决策。简单叠加将导致路由不收敛算力信息更新频率快、信息类型多，以BGP增量更新网络信息的方式简单叠加算力信息，将导致信息泛洪，引起路由震荡ABCE网络节点ABCE连接算力的网络节点网络拓扑算力网络节点拓扑算力网络状态拓扑网络节点ABCE连接算力的网络节点算力节点能力通告算力节点状态通告网络节点构建算力路由信息表（CA-RIB），考虑距离因子、算力因子以及权重，生成算网cost=w1*网络cost+w2*算力costCA-BGP：新型算网多因子算路算法通过仿真建模量化分析算力信息通告信令开销的影响，得到通告信令开销与路由调度成功率的最优解 CA-BGP：自适应算力通告通告频率越高，算力信息越实时，但开销越大，如何找到通告信令开销与信息实时性的平衡点CA-BGP：算力通告最优解提出分域通告、分类通告分域通告：约束算力信息更新的范围分类通告：减少算力信息的无效通告挑战3：路由求解挑战2：高效通告挑战1：算力扩展CAN协议簇包括CA-BGP、CA-BGP-LS、CA-OSPF、CA-Netconf/yang、CA-Restful/json等，实现算力感知、路由调度以及配置管理BGP是全球网际互联的域间路由控制协议的唯一事实标准，基于BGP的创新涉及到TCP/IP协议族核心协议的改动，创新难度大创新技术2：算力路由（2/3）2022 Mar IETF113Non-WG Forming CAN BoF2022 July IETF115WG Forming CAN BoF场景和需求达成共识220+人参会，包括半数AD讨论技术路线，工作组章程260人参会，投票支持度2/32023 March 2th IESG会议CATS工作组的成立中国移动担任工作组主席获取关注，凝聚初步共识3次 Side meeting20192021历经4年，中国移动在IETF推动成立算力路由CATS工作组并担任主席，是算力网络原创技术走向国际的里程碑 创新技术2：算力路由（3/3）18CATS首先面向单域，制定算力路由的场景、需求、架构标准Scope Groundwork of Problem statement,Use cases,Requirements Overall CATS framework&architecture Additional groundwork of computing metrics analysis,implementing the CATS control and data plane using existing mechanisms/potential new approaches MileStone Jul 2023:Adopt the CATS Problem Statement,Use Cases,Gap Analysis,and Requirements documents Jul 2024:Adopt the CATS Framework and Architecture document Nov 2025:Submit the CATS Framework and Architecture document to the IESG for publication as Informationalhttps:/datatracker.ietf.org/wg/cats/about/创新技术3：在网计算在网计算将应用相关功能卸载至网络设备，在数据转发同时实现高效数据处理，提升系统计算效率，算力网络体系中智算中心网络、高性能云网络等场景对于性能提出极致需求，在网计算可以大幅加速业务处理过程加速AI模型训练PS架构参数服务器聚合GPU节点1GPU节点2GPU节点3GPU节点NGPU节点1GPU节点2GPU节点NGPU节点3RAR架构循环参数聚合通信效率低带宽资源占用高GPU节点1GPU节点2GPU节点NGPU节点3可编程交换机聚合参数提升异构融合网元处理性能 在网计算优化分布式机器学习架构，实现通信性能和带宽占用的平衡 试验网初步完成性能评估，通信密集型模型训练任务最高可以上精准核间负载均衡系统架构异构融合网元负载方差相较传统网卡RSS机制下降数据面高速核负载感知和限速机制P4RSS:Load-Aware Intra-Server Load Balancing with Programmable Switching ASICs，ICC 202319总结与展望p 算力网络的终极目标是推进网络和计算两大方向的融合，实现算网一体共生发展，作为多学科交叉融合技术，需要体系化布局，解决系列科学性和工程性问题。p 中国移动以基础设施构建、业务融合、技术引领三条主线体系化推进算力网络创新发展，持续推动关键技术从概念原型进入产业实践p 实现算力网络的愿景和目标还存在诸多挑战，一些交叉领域的技术攻关还处于起步阶段，需要产学研各界共同努力，推进产业链跨域融通，促进生态繁荣。携手推动算力网络技术和生态成熟，助力新型基础设施建设，赋能新时代数字化转型升级！