2023龙蜥操作系统大会阿里云分论坛：释放云算力 繁荣云生态.pdf

Alibaba Cloud Linux 的发展和展望释放云算力 繁荣云生态阿里云操作系统产品专家贾正华Alibaba Cloud Linux 发展历程2009开始建设2023阿里云上用户部署规模最大云上对外服务2017龙蜥社区成立Alibaba Cloud Linux 云上部署400万+阿里云上超越CentOSCentOS占比第一占比第一40万+服务用户数安全商业级安全漏洞管理安全加固解决方案供应链安全保障软硬协同南向硬件协同优化北向生态软件协同优化持续维护超长生命周期维护确定性长远规划，保障操作系统连续性广泛的开源生态支持稳定阿里集团超大规模应用实践背书阿里云云产品实践背书阿里云操作性团队保障持续提升用户云上操作系统体验不忘初心 砥砺前行十年维护，持续保障连续性Alibaba Cloud Linux 2Alibaba Cloud Linux 2Alibaba Cloud Linux 3Alibaba Cloud Linux 3Alibaba Cloud Linux 4Alibaba Cloud Linux 4预计2019202120232025202720292031203320352037自研+开源，广泛的生态支持OSVirtualization&ContainerToolchain&LanguageMiddleware&WorkloadsAlibaba Cloud Linux袋鼠（阿里云沙箱容器)Alibaba Cloud CompilerAlibaba Cloud Container Service for Kubernetes（ACK)APythonDragonfly Hypervisor场景裸金属镜像ECS镜像容器镜像持续提升系统安全ISVOSV云用户行业用户开源回馈社区赋能安全生态安全治理安全合作国家安全安全组织/机构三方安全厂商国际安全组织合作共建稳定性保障开源社区以多个活跃稳定社区为上游base，保证开源软件质量在龙蜥社区合作共建经过阿里集团海量应用和双十一打磨、同时服务阿里云产品，在实际业务中锤炼阿里云操作系统团队为操作系统提供全生命周期服务龙蜥社区阿里集团操作系统维护软硬协同，性能优化基础设施ECS裸金属操作系统场景内核支持AMXQATDSAcoresight优化库OneDNNOneCCLOpenssl/BoringSSL/BabaSSL基础设施ECS裸金属操作系统内核编译器BaseOS场景应用优化KeenTune（轻豚）智能参数调优专家知识库可视化平台ECS协同应用协同，性能优化拥抱智算时代阿里云AI容器镜像发布AI工程化面临的困难性能问题性能问题AIAI软件栈存在调优空间软件栈存在调优空间生态复杂生态复杂北向软件生态多样性北向软件生态多样性兼容性问题兼容性问题南向硬件不兼容南向硬件不兼容Alibaba Cloud Linux 的解法标准和生态标准和生态源代码和组件供应链安全合规（SBOM）同源异构多芯片使能协同和兼容性规范软件栈支持软件栈支持支持并优化 TensorFlow、PyTorch、ONNX 等主流框架引入 AI 相关软件包官方支持AIAI优化镜像优化镜像提供多种基于硬件优化的基础 AI 框架容器镜像支持 ModelScope SDK，对接大模型生态重点特性重点特性更新的版本选型面向 AI 场景版本选型，享受最新组件带来的特性红利硬件基础设施原厂支持Intel,AMD,NVIDIA,海光等厂商均原厂合作支持，并形成解决方案软硬件生态布局全覆盖CPU/GPU,AI 加速库/框架均可自由组合开箱即用的使用体验无需繁琐操作，开箱即用的获取各类镜像打造全链路镜像发布平台镜像 CICD 流程系统架构支撑能力统一镜像集成框架镜像分类管理版本规则定义镜像参数定义批量管理测试定义自助工具镜像制作调度系统hook及按需触发任务编排/pipeline版本、参数解析镜像发布系统镜像版本管理sdk 交互T-One 测试安全卡点镜像发布系统通用测试自定义测试安全扫描DAST/SASTregistry 管理镜像分发镜像 registry容器镜像用户界面多维信息管理镜像信息检索SBOM&签名dockerhubACRABS镜像构建任务调度镜像构建API 服务统一容器镜像制作平台Alibaba Cloud AI Containers(AC2)即将上线查看获取使用支持合作官网二维码官网二维码钉钉交流群钉钉交流群低延迟高密度的云原生系统上海交通大学计算机系教授CCF青年科技奖，阿里青橙奖获得者陈 全研究背景0101问题分析研究成果02020303汇报提纲云计算（以电子商务为例）所有功能集成为1个总体应用，封装运行在虚拟的计算机，并部署在可扩展云平台上云平台和原先配置一样的虚拟的计算机包含所有功能的电子商务应用包含所有功能的电子商务应用满足对计算机配置的要求不挑云平台内的硬件配置根据业务自动扩容程序员对计算机配置有要求部署安装在虚拟机中云原生（以电子商务为例）每个模块独立运行，每个模块按照需要自动选择部署几个，按照运行次数计费容器网页前端购物车容器支付管理容器服务器服务器服务器服务器服务器服务器网页前端网页前端支付管理网页前端购物车云平台部署执行完就回收，不需要长期租用服务器云平台使用费用和用户下单、浏览量呈线性关系传统云 v.s.云原生传统云：将传统应用迁移上云平台云原生：“云”硬件+“原生”软件虚拟机传统应用本地服务器云服务器传统应用传统的软件开发和部署视角云服务器传统应用直接开发“原生”面向云的软件云服务器云服务器软件：默认云上运行的应用硬件：云计算平台虚拟机上云原生运行云原生时代：“云”硬件要部署的高密度、“原生”软件要响应的低延迟研究背景0101问题分析研究成果02020303汇报提纲云原生软件架构云原生运行时系统的软件架构：框架层、调度层、支撑层各层功能微服务解耦与应用构建容器资源分配及任务调度容器封装及硬件调用应用调度层硬件框架层支撑层互联网服务图计算AI服务微服务容器微服务容器硬件调用容器支持NPUCPU云原生应用的开发处理流程云原生软件开发需求开发部署（1）（2）（4）云服务器云加速器（3）（3）调用用户负载微服务框架层支撑层调度层问题1：如何写依赖复杂的云原生软件？问题3：如何把服务器的硬件用好，最大化部署密度？问题2：如何最小化整个流程的处理时间？问题4：如何支持互联网服务的高度动态负载？研究背景0101问题分析研究成果02020303汇报提纲研究成果概览技术难题研究成果数据流范式驱动的微服务工作流高效调度多层级共享的容器封装及启动优化基于共享资源全栈隔离的混部冲突管控基于阻塞图的瓶颈识别及QoS快速恢复微服务表示容器化封装高密度部署动态负载支持拓扑依赖高效表示及执行容器低开销封装及快速启动混部微服务的性能隔离优化瓶颈实时识别及按需扩展工作一：数据流范式驱动的微服务工作流高效调度调度时，采用控制流描述微服务拓扑和中心化调度引擎，导致请求处理延迟长难题：控制流编程带来的中心化调度导致并发性难以充分发挥，且通信开销大复杂依赖互联网应用编写控制流申明复杂依赖微服务工作流复杂依赖互联网应用执行TCP TCPTCP中心化微服务图调度引擎中心化调度工作一：数据流范式驱动的微服务工作流高效调度提供微服务图拓扑申明，重构为去中心化调度，引入双层数据流协同通信技术基于数据流的微服务图声明去中心化微服务图调度框架数据流双层协同通讯机制本地free memory本地freememory微服务B微服务C微服务A微服务D提供基于微服务间数据流向的拓扑定义基于微服务数据流图进行去中心化调度基于物理节点空闲内存加速数据流传输工作一：数据流范式驱动的微服务工作流高效调度1）将基于控制流的中心化调度重构为基于数据流的去中心化调度TCP TCPTCP控制流中心化调度引擎数据流图调度器TCP TCP去中心化引擎去中心化引擎数据流控制流DataFlower:Exploiting the Data-flow Paradigm for Serverless Workflow Orchestration.ASPLOS 2024 等去中心化引擎内保存有各微服务的数据源和终点，可建立直接数据通路，更早触发微服务！工作一：数据流范式驱动的微服务工作流高效调度2）设计微服务拓扑感知的双层协同通讯，加速数据流传输本地free memory本地freememory微服务B微服务C微服务A微服务DImport FaaStoreImport jsonFaaStore=FaaStore(user_function,configs)def main(event,context)Input=FaaStore.fetch(json,file)#Do something and get the resultOutput=json.dump(result)FaaStore.save(Output,content_type=json)FaaStore.save(File,contect_type=file)（1）根据数据流图调度结果，自适应选择本地空闲memory或者远端存储（2）动态收集微服务实例中的空闲内存，作为自适应memory存储的限额FaaSFlow:Enable Efficient Workflow Execution for Function-as-a-Service.ASPLOS 2022 等工作二：多层级共享的容器封装及启动优化部署时，微服务采用安全容器封装以保证隔离性，致冷启动时间长，部署密度低难题：容器的冷启动难以避免；容器本身数据需驻留内存，内存开销难降低主机端操作系统超轻量级虚拟机传统容器现有安全容器封装方案容器间数据不共享运行时内存开销大容器需加载依赖库冷启动时间长抽象安全容器容器规格部署密度工作二：多层级共享的容器封装及启动优化对用户容器镜像、文件系统进行分层共享，构建共享模板容器加速冷启动容器运行时文件系统的共享构建共享模板容器加速启动识别多个用户文件系统内的可共享部分基于共享部分构建模板容器加速应用冷启动工作二：多层级共享的容器封装及启动优化1)基于镜像分层的低开销容器运行时技术将镜像分离为可多容器共享的只读层和独占的低开销可写层用于阿里云，每天服务来自100万个不同函数的40亿次调用！单实例内存开销20MB以内，每秒200+并发，单机部署密度2500+RunD:A Lightweight Secure Container Runtime for High-density Deployment and High-concurrency Startup in Serverless Computing.ATC 2022等工作二：多层级共享的容器封装及启动优化2)基于文件系统分层的共享模板容器构建不同微服务以non-root形式执行请求，无法越权访问他人私有域文件系统共享域（多用户只读）文件系统私有域（单用户可写）Help Rather Than Recycle:Alleviating Cold Startup in Serverless Computing Through Inter-Function Container Sharing.ATC 2022等工作二：多层级共享的容器封装及启动优化3)基于共享模板容器的冷启动加速Help Rather Than Recycle:Alleviating Cold Startup in Serverless Computing Through Inter-Function Container Sharing.ATC 2022等函数A容器池空闲函数A容器池Pkg aPkg bPkg cconfigs模板镜像替换函数A容器池fork在函数A中挂载函数的冷启动单应用冷启动时延减少至20ms以内，系统级冷启动最高减少84%工作三：基于共享资源全栈隔离的混部冲突管控海量微服务在云节点混合部署运行，共享资源竞争导致微服务性能不及预期难题：各微服务容器之间同时竞争多维度资源，性能冲突程度难估计及管控互联网服务的微服务图竞争CPU核、高速缓存、总线锁、内存带宽、能耗.竞争SM流处理器、PCIe带宽、TensorCore、SM时间片.工作三：基于共享资源全栈隔离的混部冲突管控设计延迟目标驱动的CPU共享资源分配及隔离技术Alita:Comprehensive Performance Isolation through Bias Resource Management for Public Clouds.SC 2020、ICS 2023等99%尾延迟减少两个量级，容器资源占用减少49%微服务容器微服务容器微服务容器内存总线冲突在线冲突识别资源量-性能建模节点共享资源划分自适应冲突消解核LLC总线LLC核内存带宽基于底层系统信息识别受干扰容器与干扰源内存总线锁核心温度IPCLLC MPKI 预测容器在不同资源分配量下的性能为容器分配“恰好足够”满足延迟需求的资源量多类资源分配量的自动快速搜索LLC冲突能耗冲突工作四：基于阻塞图的瓶颈识别及QoS快速恢复微服务的调用动态性显著，阻塞效应影响QoS难题：阻塞效应致负载识别不准，瓶颈难识别BottleneckBlockedBlock relationship微服务间的负载阻塞关系微服务负载及调用图动态性工作四：基于阻塞图的瓶颈识别及QoS快速恢复基于微服务阻塞图的QoS快速恢复Nodens:Enabling Resource Efficient and Fast QoS Recovery of Dynamic Microservice Applications in Datacenters.ATC 2023等负载动态变化时，较Firm系统减少了90%以上的QoS恢复时间基于微服务阻塞图的QoS快速恢复通过监控网络流量快速识别负载基于阻塞图提前更新各微服务真实负载高效分配资源清空排队请求执行阻塞图构建真实负载传播技术落地：阿里云集成应用于Alibaba Cloud Linux云服务操作系统，部署在阿里云超过3万台服务器上，服务阿里云内存数据库、阿里云云原生产品等众多产品阿里云内存数据库微服务的尾延迟波动降低81.7%单节点容器部署密度从每节点1000容器提高到2500容器通过OpenAnolis龙蜥社区进行技术和软件开源软硬协同构建云上最佳操作系统体验Alibaba Cloud Linux解锁云算力阿里云智能程序语言与编译器技术总监龙蜥社区Java语言和虚拟机SIG成员李三红龙蜥社区与ALinux国际合作引领创新标准上游原生开源项目中游原生发行版社区下游衍生发行版 商业版 定制版 社区版产业协同产品演进迭代Linux基金会Linux基金会自由软件基金会GNU项目OpenStackKata ContainersOpenAtom开放原子基金会CNCFOpenYurt，Nydus，Sealer，Inclavare ContainersOpenAnolisAnolis OS 创新 LTS 版支撑下游商业模式可持续发展统信、麒麟中科方德、凝思OpenAnolis商业版OSVsAlibab CloudLinuxOpenAnolis 定制版移动BC-Linux联通Linux 下游商业版：需要专业商业服务 企业定制版：面向自有业务研发和优化:Alibaba Cloud Linux 社区免费版：需要社区支持，选择：Anolis OS 8，Anolis OS 23依据场景满足多样化诉求后摩尔定律时代：传统算力提升缓慢cite Turing Lecture,Hennessy,Patterson 提高 H/S 接口的抽象级别会带来创新机会 垂直整合(Vertical Integration)变得越来越重要挑战 I：Power和ILP Wall制约的算力增长挑战 II：处理器与内存性能差距在过去几十年稳步增长(Memory Wall)【Source:computer-architecture-patterson-5th-edition page:73】计算机体系结构：传统视角 vs 扩展视角Computer Architecture(传统视角)Computer Architecture(扩展视角)Application(Algorithm)Programing LanguageSystem SoftwareSW/HW InterfaceMicro-architectureRegisters&CountersCombinational&Sequential Circuits关键技术：基于芯片的全栈协同设计与优化Application(Algorithm)Programing LanguageSystem SoftwareSW/HW InterfaceMicro-architectureRegisters&CountersCombinational&Sequential Circuits1.跨hierarchy的协同设计:从芯片，OS，编程语言，到应用2.尽可能面向场景的定制化：确保服务用户的界面不变硬件平台关键技术：以ALinux为纽带的南北向软硬协同负载语言/工具链操作系统云基础设施Alibaba Cloud CompilerAPython应用优化针对Webserver、数据库、大数据、AI场景的专项优化性能优化服务：轻豚(Keentune)Base OS优化更新的编译器支持自研JDK：Dragonwell自研C/C+编译器：ACC全方位的系统配置、服务优化内核优化各个子系统在社区基础上的优化多种性能优化特性多种加速器支持(倚天710）阿里云ECS实例，g8i、g8a,g8y,g7.Alibaba Cloud Linux面向阿里云产品，服务云上客户Alibaba Cloud Compiler(ACC)C/C+编译器套件面向倚天710芯片优化 CoreBolt:倚天平台独特编译器+Bolt协作反馈优化能力-数据库场景1040%提升 更好的SVE指令支持 基于倚天710芯片微架构调优 最新C+20特性支持：Coroutine，Modules等 一套编译器：支持 x64，AArch64两种架构 编译构建：相比GCC 1540%构建加速 性能优化：相比GCC取得 515%性能提升Alibaba Dragonwell 解锁Java力量社区维护平台支持质量体系稳定的LTS发布安全补丁阿里巴巴线上验证SVTAdoptium CI 兼容性测试LinuxX64Linux-AplineWindows(Experimental)AArch64(面向倚天优化)RISC-VExtended Edition：Dragonwell增强(RAS、协程)8/11/17 发行版OpenJDK Upstream基于Anolis OS/ALinux的构建与发布构建线上验证测试发布开源与标准JCP EC席位GraalVM项目咨询理事会成员Adoptium工作组战略基石成员，PMC席位关于ALinux更多资源钉钉扫码加入【AlibabaAlibaba CloudCloud LinuxLinux交流群】1.Alibaba Cloud Linux产品文档：https:/ Cloud Linux钉钉交流群3.更多优化特性介绍https:/ Cloud Linux 与倚天软硬件结合，加速数据智能创新阿里云ECS首席架构师吴天议20092017弹性计算（第一阶段）支持开发者创新创业大规模对外提供云计算服务+按量、随需使用与游戏、互娱等众多客户共同成长，助力移动互联网浪潮软件定义虚拟化架构2021支持企业全面上云提效降本软硬协同，为企业级应用提供高效算力+高稳定，高弹性，高性能支撑双11核心系统100%上云，阿里云神龙架构扛住全球流量洪峰软硬一体神龙计算架构弹性计算（第二阶段）为企业智能化转型提速云原生算力，助力企业拥抱AI新趋势+稳定，安全，弹性，性能，成本为企业云上创新及智能化升级提供全方位支持云原生CIPU计算架构弹性计算弹性计算（第三阶段）（第三阶段）2022年中国公共云支出超过传统IT50%*摘自IDC报告IDC中国基础设施市场数据阿里云-全面拥抱云原生与AI新浪潮直播/短视频精准推荐基因/制药AI时代应用趋势：算力需求爆炸UGC指数级增长编解码负载80%百万核大数据画像/智能推荐Spark集群，AI推理分子动力学高负载、多并行，万核集群Spark/HPC/VideoFlink数据湖IDC 1KW 1w$数据膨胀精细化运营1234挑战趋势数据规模快速增长，算力需求高访存带宽和时延无法满足CPU算力存算分离/RPC/压缩成本，稳定性CPU-usage算力密度内存墙数据搬移高能耗传统计算架构面临挑战算力稳定算力输出更加稳定，无性能抢占软件协同通过CIPU提升产品稳定性和IO性能垂直场景加速原生支持视频、大数据加速特性云时代云原生处理器芯片视角云视角资源池化以CIPU为中心云原生处理器为解决算力挑战提供新的思路以CPU为中心云基础设施处理器CIPU大规模应用飞天云操作系统+云基础设施处理器CIPU异构服务器CPU服务器GPU服务器存储资源网络资源物理资源+CIPU=飞天纳管的云化计算资源池通用弹性计算集群AI弹性计算集群大数据弹性计算集群异构弹性计算集群飞天统一调度编排，随取随用弹性计算服务虚拟计算资源池虚拟网络资源池虚拟存储资源池CIPU全新云基础架构大规模调度海量云资源虚拟机、裸金属及安全容器共池数据加速，保持算力澎湃输出高性能网络弹性RDMA：3500万msg/s，8s 时延，支持端到端多路径传输超高性能云盘EBS云盘：IOPS 300万，时延32s本地盘：400Gbps带宽，800万IOPS企业级数据安全全量标配物理可信能力存储和网络的E2E数据加密能力虚拟化加密隔离环境EnclavevSGX机密计算能力VPC网络：5000万pps，16s 时延2*100Gbps 双向线速20212022倚天710发布202120222023eRDMA高速网络NVMe EBS高性能云盘倚天ECS上线EasyYitianBooster上线CADT最佳实践倚天生态阿里巴巴集团规模落地IaaS、PaaS客户突破1000个客户落地阿里巴巴更多应用落地基础：ACK、MQ、PAI、EMR、HPC，Video CloudDB：RDS、Redis、PolarDB倚天PaaS上线基础技术2022淘宝、天猫蚂蚁、ODPS飞天盘古存储平台达摩院大模型钉钉会议系统服务器研发、CIPU适配Alibaba Cloud Linux/Anolis软硬件加速倚天云产品持续演进，规模应用内外部用户大规模应用容器容器弹性裸金属VMVMVM神龙虚拟化Hypervisor以CIPU为核心系统架构倚天ECS产品倚天ECS底层架构CIPU倚天710倚天710存储网络网络存储IO加速高密计算高密度核：2颗倚天CPU，整机密度256core高密服务器：采用1U紧凑设计，空间降低50%，部署密度翻倍高可靠性缩小爆炸半径：采用独立双节点型设计方案，独立OS，互不影响；做到高密的同时稳定性与x86持平数据搬移加速eRDMA：VPC支持RDMA，比TCP时延降低一半，吞吐提高NVMe：采用NVMe ESSD云盘，时延降低10%NVMe ESSDeRDMA200Gbps挑战1算力密度挑战2内存墙挑战3数据搬移挑战4计算能耗以数据为中心的高密算力架构物理核/大Cache，缓解内存墙瓶颈L3 cacheALUALUL1 I/D cache L2 cacheL3cacheFrequencyx86 1vcpu4 INT/232K/48K21.28MB/248M/64vcpu变频2.1-3.5GYitian 1vcpu4 INT64K1MB64MB/64c定频3.0GhzCompare2x4x1.6x1.25x-X86Yitian2vCPUHyper threadL1 I/D cacheL2 cache分类性能测试项G7a百分比G8y百分比性能对比应用性能Flink Q046.9114243%IPC0.320.86269%Cache missL1i_miss0.450.48107%L1d_miss5.710.6211%L2d miss19.4710.7455%L3 miss86.498.76114%访存频率Memory Access 307256618%1，实测Flink性能2.43倍(query 0)，2，IPC 3倍（每个cycle执行的指令）Flink案例：倚天Cache命中率高，2倍性能ARM（Yitian）ECS.G8y.large1Corecore64K/64K1MB64MB/64vcpu1Corecore64K/64K1MBALU*4ALU*4X86ECS.G7.large 1 CoreHTHT32K/48K1.25MB48MB/64vcpuALU*4挑战1算力密度挑战2内存墙挑战3数据搬移挑战4计算能耗挑战1算力密度挑战2内存墙挑战3数据搬移挑战4计算能耗软硬件结合，降低数据中心税CIPU加速数据搬移：eRDMA时延降低2倍，e2e性能1.8倍技术收益：Lantency 20us8us CPU usage 20%4c32g规格 Redis qps性能数据236428439174050000100000150000200000250000300000350000400000450000500000r8yr8y+erdma倚天+eRDMA性能（QPS）数据中心税：RPC传、数据压缩、加密、Hash、搬移消耗30%负载倚天指令加速Gzip压缩：G8y对比G7性能2.3x3760131271042480010002000300040005000600070008000解压缩压缩16KB数据块ZSTD thoughput Mbps on 8vcpuG7.2xlargeG8y.2xlarge*性能数据来源内部测试挑战：数据搬移、压缩消耗算力高达30%低功耗+定频，减少冗余水位浪费CPU utility50%safe usage17%Freq base vs turbo16%Freq turn down17%preemptALU/Cache30%Health20%burstCPU utility50%Health 30%reserved20%burstALU/Cache exclusiveFreq steadyX86Yitian 应用水位：网站/电商/游戏等场景，CPU usage需要控制安全水位，避免事故 能耗温度控制：传统CPU消耗更多功耗，倚天1/6功耗，无需降频控制TDP。生产环境CPU安全水位提升：50%to 70%9.889.639.599.59.59.599.4612.7511.978.577.357.227.177.020.3.256.59.7513.16.25124681012fps/coreEncoding for X264 FPS Per vCPUYitian710X86Processor Work modeG7 freq（Ghz）x86G8y freq（Ghz）YitianTurbo frequency3.53.0Base frequency2.93.0Freq for AVX2.13.0案例：视频编码，高负载性能更平稳more workload-45%*性能数据来源内部测试70%safe usage挑战1算力密度挑战2内存墙挑战3数据搬移挑战4计算能耗倚天ECS产品再进化，性能提升20%20%算力再提升倚天710CIPU3.0GHzDDR 4800MTeRDMA应用软件优化加速库SVE2软硬协同进一步释放倚天原生算力全能力提升编译器存储内存网络倚天710倚天710存储资源网络资源CIPUCIPU+倚天710*以ECS Intel g7实例为基准70%大数据性价比大规模应用80%视频编解码50%生命科学软硬件结合，持续优化倚天ECS性能Alibaba Cloud Linux：软硬协同进一步释放倚天性能应用优化算法库压缩库配置优化虚拟化优化TLBICache PrefetcheRDMAAPPsAlinux3DragonFly编译优化JAVA编译器BoltSVE2内核优化64K pageKernel PGOE0PD优化运行时配置编译性能提升10-30%优化技术44项硬件指令+软件加速 实现倚天算力再进化FeatureYitian710指令应用加速加密AES、SM2、SM3、SM4数据加密HashSHA1，SHA2，SHA256，SHA512 and SHA3Hash加速CRC32SIMD CRC32数据校验加速FeatureYitian710指令应用加速VectorNEON，SIMD，SVE/SVE2数据压缩加速BF16 MMBF16 Matrix Multiply instructions,16-bit floating-point instructionsHPC数学库、矩阵计算INT8 MMInt8 Matrix Multiply instructionsX264/265，AI64core64core64M L364M L3Yitian 710ArchYitian 2022Yitian再进化主频2.75 Ghz3.0 Ghz内存带宽4400MT4800MT内存时延143ns131ns云操作系统4K page64K page加速库-Gzip/Zstd/Math/x264/x265/native engineDDR5CIPU大数据/Spark场景数据膨胀算力扩容查询排队010203业务需求：客户精准画像，数据埋点、采集、分析精细化分布式集群、计算密集、负载高、数据量大物理核大容量CacheeRDMA网络加速ZSTD压缩加速Dragonwell加速Native engineAlinux系统优化DDR5大内存带宽业务挑战硬件加速方案Alinux+应用加速方案倚天Spark TPC-DS耗时比G7省33%，比G8a省18%143559909913786541040374370.3750.7500.11250.15000.18750.g7ag7g8ig8ag8yg8y-optSpark TPCDS query 099 on 8xlarge 耗时低更好ZSTD压缩吞吐是G7的1.8倍，容量节约27%37601312710424800200040006000800016KB数据块ZSTD thoughput Mbps on 8vcpuG7.2xlargeG8y.2xlarge1.51.10.0.40.81.11.51.9Snappy on Yitian oss ZSTD on Yitian ossSnappy vs ZSTD OSS容量-初始5TB倚天ECS实例助力小米科技大数据业务上云峰值需要大量算力资源数据膨胀成本上涨快存算一体算力和存储难同步扩容客户挑战010203OS：升级到Alinux3Compiler：Dragonwell 11Spark版本升级到3.2ZSTD、Native优化技术落地迁移方案（2个月），xx万核OSS热存储R8y.8xl在线新业务logmsg离线业务（Spark大数据集群）OSS冷存储RedisESSDIDC机房100G专线X86 Cascade lake迁移存算一体HDFS大带宽倚天ECSServiceStorageCompute2.4x查询性能27%存储节约30%综合降本倚天ECS实例助力某在线教育客户降本增效视频编辑码业务性价比大幅提升智能算法优化直播点播转码服务调度引擎useruser窄带高清低成本转码PortalwebrtcConferenceaudiostreaming倚天实例集群迁移工具加速适配性能优化开箱即用倚天云原生算力优势向量化加速Cache预取DecoderEncoder性能视频转录性价比视频后处理28%50%视频编解码高算力高并发音视频转码成本消耗高短时间突发大量资源客户挑战时长变短，粘性增大，高清体验物理核+定频SVE2/Int8MM倚天编码加速库X264点播场景0.175.350.525.700.1246810121416fps转码任务数量x264 vod:32C instance Average fpsg7-x264c8y-x264-optX265直播场景0612182430射击游戏1射击游戏2F1赛车并发路数x265 live:ultrafast 32C 并发路数g7-x265c8y-x265-opt010203Java场景应用性能19547202622280718180229632496467741129113165934513171148010650013000195002600032500G7G8iG8aG8y-2022G8y-2023G8y-2023-optJava性能测试2xlargeSpecJbb 2015MaxSpecJbb 2015CriticalECS：2xlarge，8vcpu Memory 32GBOS：Alinux3，内核版本5.10.134JDK：Dragonwell版本11.0.17.13.8倚天SpecJbb2015 max性能比G7高28%，比G8a高11%优化领域优化内容硬件提升频率升级内存升级软硬件结合Cache优化OS性能优化OS加速镜像倚天软件优化Dragonwell 11优化倚天性能再进化*性能数据来源内部测试新开普校园管理系统嘉丰永道守塔不能停倚天版数据库-高性能低成本在线业务数据库业务架构倚天ECS数据库：RDS、Redis经济版CacheDatabaseAPP测试环境说明：RDS/PolarDB：8vcpu，32g memorySoftware：Mysql 8,Redis 6场景：多线程read性能经济版数据库，目录价降低1545%RedisPostgreSQLRedisPolarDBPGRDSPGRDSMySQLADBPGADBMySQLRedisPolarDBMySQL32%21%30%18%20%18%0%8%16%24%32%40%DBSeries2Series3Series4Series5Series6Database performance on Yitian vs x86经济版经济版read使用PaaS更稳定，平滑迁移逐渐丰富的开源软件生态主流开源软件，倚天已进行兼容性测试OSLanguageLibrary ApplicationRed HatLZ4ZSTDIaaSECS.g8yECS.c8yECS.r8y倚天云产品生态不断完善IaaSECS C8y/G8y/R8yAlibaba Cloud LinuxPlatformACKAlibabaCloud CompilerDatabasePaaSPAIEMRDing Talk视频云ODPSApplication飞天盘古E-HPCMQECIASR通义千问通义听悟PolarDBPGRDSPGRDSMySQLADBPGADBMySQLRedisPolarDBMySQLECS Booster 倚天智能优化方案ECS倚天根据不同场景，Web,数据库，缓存，视频，AI等不同场景，自动调配优化参数，开箱即用Linux KernelNginx/MySQL/Redis/Memcached/PgSQLHardwareStep 1.Install keentuneStep 2.Install applicationStep 3.optimize applicationkeentunedkeentune-target专家知识库ECSDatabaseWeb ServerMySQLPgSQLMemcachedRedisNginxHttpdRedis_arm.confRedis_x86.confYUM 源Keentuned.rpmKeentune-target.rpmMySQL-serverNginxMemcachedRedisApplicationProfileKeenTune RPMApplicationRPMNginxMySQLRedisMemcachedPostgreSQLX264/