2022年高性能计算云(HPC Clound)服务白皮书.pdf
《2022年高性能计算云(HPC Clound)服务白皮书.pdf》由会员分享,可在线阅读,更多相关《2022年高性能计算云(HPC Clound)服务白皮书.pdf(51页珍藏版)》请在咨信网上搜索。
1、 高性能计算云(HPC Cloud)服务白皮书 (2022 年)前 言为同时满足工业、能源、气象、多媒体等众多行业对极致算力与弹性服务的双重需求,以高性能计算为服务核心、以云计算为服务创新技术手段的高性能计算云受到了业界广泛关注。相比于传统高性能计算服务,高性能计算云服务具备弹性算力供给、便捷资源部署、统一融合平台、灵活业务编排等丰富的能力,满足行业应用差异化、定制化服务需求,赋能产业数字化、网络化、智能化转型。本白皮书以充分发挥高性能计算云的行业赋能作用为目标,从高性能计算云服务发展现状、参考架构、关键能力和未来展望等方面进行全面的分析和探讨,重点推进高性能计算云服务能力升级演进,为高性能计
2、算云服务创新发展提供参考和借鉴。目 录 一、高性能计算云发展现状.1(一)(一)算力时代高性能计算云迎来发展黄金期.1(二)(二)产业各方积极布局,云超算与超算云呈趋同方向发展.3(三)(三)高性能计算云服务满足行业算力需求.4 二、高性能计算云服务参考架构.13(一)(一)高性能计算云服务参考架构.13(二)(二)资源供给服务层.15(三)(三)平台服务层.18(四)(四)应用服务层.24(五)(五)可视化服务.26(六)(六)安全服务.30(七)(七)统一服务门户.32 三、高性能计算云服务关键能力.33(一)(一)异构计算资源供给.34(二)(二)多类型存储系统支持.34(三)(三)低时
3、延网络传输.35(四)(四)弹性资源调度.36(五)(五)规模化集群管理.37(六)(六)高效作业调度.37 (七)(七)灵活应用部署.38(八)(八)多层次安全防护.39(九)(九)可视化能力保障.40(十)(十)极致性能体验.40 四、高性能计算云服务发展展望.42(一)(一)算力多样性将成为高性能计算云服务发展的“双刃剑”42(二)(二)一体化服务将成为高性能计算云服务发展的重要趋势 43(三)(三)服务标准化将成为高性能计算云服务发展的基本路径 43 缩略语.45 参考文献.46 图 目 录 图 1 高性能计算云产业视图.3 图 2 基于高性能计算云的工业仿真平台.6 图 3 基于高性
4、能计算云的生命科学行业解决方案.7 图 4 基于高性能计算云的石油勘探解决方案.10 图 5 基于高性能计算云的 EDA 芯片设计.12 图 6 高性能计算云服务参考架构.13 图 7 高性能计算云服务十大关键能力.33 高性能计算云服务白皮书 1 一、高性能计算云发展现状(一)(一)算力时代高性能计算云迎来发展黄金期 在数字化应用需求驱动下,我国正统筹推进算力基础设施建设,在数字化应用需求驱动下,我国正统筹推进算力基础设施建设,助推产业转型升级与科技创新。助推产业转型升级与科技创新。2021 年,国家发改委等四部门联合发布全国一体化大数据中心协同创新体系算力枢纽实施方案,布局建设全国一体化算
5、力网络国家枢纽节点,构建国家一体化算力服务平台;同年,工信部发布“十四五”信息通信行业发展规划,提出建设形成包括超算算力在内的多层次算力设施体系;2023 年,中共中央、国务院印发了数字中国建设整体布局规划,系统优化算力基础设施布局,促进东西部算力高效互补和协同联动。在国家政策的支持下,2022 年我国算力总规模达到 180EFlops,居全球第二。在超算算力方面,中国与美国仍处于领跑地位。在超算算力方面,中国与美国仍处于领跑地位。根据 2023 年 5月最新发布的TOP500榜单显示1,中国共有134台超级计算机上榜,其中前 10 名中 2 台,分别是太湖之光和天河二号;美国共有 150 台
6、超级计算机上榜,其中前 10 名有 5 台,分别是 Frontier、Summit、Sierra、Perlmutter 和 Selene。中美两国上榜的超级计算机数量占榜单总数的 56.8%。超算算力对促进传统产业转型升级,提高人民生活水平,促进重大科学发现等方面发挥着不可替代的作用,是研究和解决各领域挑战性问题的重要手段。高性能计算云服务白皮书 2 超算服务能力将成为超算算力向生产力转化的关键。超算服务能力将成为超算算力向生产力转化的关键。数字化时代,除了海洋、气象、工业、地质勘探等传统超算应用领域之外,越来越多的企业业务场景存在超算算力需求,例如媒体渲染等2。超算服务以超算算力资源为基础,
7、向用户和应用提供算力供给、管理、调度、交易等能力,满足各类业务场景下的超算算力需求,发挥超算算力在各场景的赋能作用。传统的超算服务虽然在大规模算力支撑和性能等方面具有优势,但其存在整体架构复杂、稳定性不足、HPC 应用部署不够灵活、使用门槛高、日常维护管理难等痛点问题,不利于超算技术在中、小规模算力应用场景下的推广使用以及对行业应用的赋能作用。为了解决传统超算服务存在的痛点问题,高性能计算云受到了包括传统超算服务提供商、云服务商等在内的产业各方的高度关注。高高性能计算云是一种结合云计算技术的高性能计算服务模式,其中高性性能计算云是一种结合云计算技术的高性能计算服务模式,其中高性能计算是服务核心
8、,云计算是服务模式创新的技术手段,多云互联是能计算是服务核心,云计算是服务模式创新的技术手段,多云互联是服务能力的扩展支撑。服务能力的扩展支撑。在此基础上,高性能计算云将与大数据、人工智能等技术深度融合,面向行业应用需求,提供一体化智算服务能力,实现高性能计算云能力拓展。高性能计算云将助力企业更加快速地开展数字产品开发、创新技术验证、数据价值挖掘,具有巨大的市场潜力。2022 年,Gartner 将高性能计算云纳入到云计算成熟度曲线中,目前高性能计算云处于技术萌芽期。根据Hyperion Research 2022年高性能计算市场报告显示,高性能计算云服务白皮书 3 全球高性能计算市场增长最快
9、的是高性能计算云市场,增长率超过23%,2021 年市场规模达 62 亿美元。预计到 2027 年,高性能计算云的收入有望超过 110 亿美元。(二)(二)产业各方积极布局,云超算与超算云呈趋同方向发展 根据提供服务的主体与服务形态,高性能计算云可以分为超算云、云超算和多云互联三类。其中,超算云以超算资源为底座,通过云计算的服务模式为用户提供高性能计算服务;云超算以通用云资源作为底座,为不同租户提供高性能计算服务;多云互联在不同高性能计算云之间,实现资源、数据、应用、服务等不同维度的云间协同与统一的多云管理。图 1 高性能计算云产业视图 如图 1 所示,超算云是超算服务云化发展过程中的一种产品
10、形态。超算云服务的提供主体包括国家级超算中心、超算服务提供商等。与超算云不同,云服务提供商是云超算服务的主体,国内外主流的云高性能计算云服务白皮书 4 服务商均在公有云上为用户提供超算服务。产业上游的芯片企业、设备与方案商面向云化能力开展持续优化适配,支撑高性能计算云建设部署与技术创新。伴随高性能计算云产业发展,超算云与云超算在硬件设施、基础平台、服务能力等多个方面逐渐趋同,这也为多云之间的全面互联提供良好能力基础。网络运营商为多云互联构建高速互联网络基础设施,保障云间数据传输质量。2023 年 4 月,国家科技部启动“国家超算互联网”部署工作,构建一体化超算算力网络和服务平台。在国家政策的支
11、持下,多云互联将成为高性能计算云产业发展的重要方向。(三)(三)高性能计算云服务满足行业算力需求 “十四五”数字经济发展规划等相关政策推动企业高质量上云用云,进一步提升企业生产运营数据价值,创造显著的经济效益。企业上云用云加速,为高性能计算云带来了丰富的行业算力需求。工业、气象、能源等传统高性能计算应用领域也开始通过云上方式部署应用,以进一步缩短传统方式的排队时间,更加灵活地选择运行应用所需的各类硬件,提高成本效益。1.工业仿真 工业仿真技术作为工业生产制造中必不可少的首要环节,已经被世界上众多企业广泛应用到工业各个领域中。随着智能制造、工业 4.0和工业互联网等新一轮工业革命的兴起,以 CA
12、E、CFD 为代表的数高性能计算云服务白皮书 5 值仿真软件已经成为先进制造业不可或缺的数字化研发工具。工业仿真技术涉及结构、流体、电磁等学科领域,同时也对硬件性能、架构能力、数据安全具有非常严苛的要求。当前,工业仿真存在痛点:高性能计算集群建设属于重资产,建设成本高、周期长,往往无法满足企业灵活的业务形态,造成资源的浪费或不足;维护工作繁重、压力大,集群维护需要企业投入很多物力、人力,导致企业无法全力聚焦企业自身的业务;传统自建集群方式下,企业需要自建机房,包括水费、电费、系统维护费等会占用较高的运营成本;硬件设备更新迭代速度快,计算量快速膨胀,规划赶不上变化,新技术层出不穷,设备老化严重,
13、硬件更新速度快,无法快速适应新的业务需求。随着工业云时代的兴起,PC、工作站、集群机全面云化,高性能计算云化发展是大势所趋。仿真云端化可以通过海量资源共享,使企业降低成本,提高资源利用率,其操作的便捷性更是降低了使用门槛;企业内部能够更加便捷地连接协作,实现数据共享、数据同步和工作协同;云端仿真软件会在服务端积累大量的数据,企业能够实现数据沉淀、数据挖掘和数据分析。高性能计算云服务白皮书 6 图 2 基于高性能计算云的工业仿真平台 图 2 展示了基于高性能计算云的工业仿真平台,该平台集成了工业制造企业所需的设计与仿真工具,并支持前后处理可视化、仿真并行化、应用交互化等功能。该平台提供工程机械、
14、汽车工业、海洋船舶、能源化工、建筑土木等领域的 CAE/CFD 解决方案,提供从算力支持、软件部署安装、可视化设置等全流程服务,为用户打造一体化的 CAE/CFD 环境。系统可动态调度 CAE/CFD 软件的许可证,最大化利用软件许可。2.生命科学 生命科学行业发展至今,早已离不开高性能计算的辅助。从计算机辅助药物设计、疫苗研发,到通过基因检测提供精准医疗服务、产前筛查等,高性能计算在生命科学研究中扮演着十分重要的角色。随着云计算技术服务及实践的日趋成熟,越来越多的行业通过上云实现了整个产业的转型升级,正处于黄金时期的生命科学行业也不例外。然而,目前针对生命科学行业的解决方案大部分都为线下 I
15、DC 超算高性能计算云服务白皮书 7 集群方案,随着基因组学、生物制药技术的不断演进及计算机科学的不断发展,传统计算机集群资源已无法满足生命科学行业及技术演进的需求。使用云上 HPC 服务的需求,并基于业务的高峰和低谷动态进行计算资源的弹性扩缩容,有效节省业务成本,尤其适用于快速发展的生命科学企业。生命科学应用具备大内存、高 I/O 的高性能计算云服务需求。如基因测序中每个细胞的表达量数据高达数十万条读取,这种海量级的数据分析需要大内存容量。基因组织学研究产生的数据增长快速且需永久保存,要求存储系统具有海量容量及高扩展性。另外,基因研究应用软件种类众多,部分计算任务对 I/O 吞吐要求很高。图
16、 3 基于高性能计算云的生命科学行业解决方案 如图 3 所示,基于基因测序、靶标发现、虚拟筛选、分子动力学模拟等应用场景,为生命科学行业用户提供一站式的生物信息学及计算化学领域整体解决方案。基于该云平台,某上市药企并行调动 200-400 Nvidia v100 卡,将计算时间从数周计算降至 2 小时左右,计算效高性能计算云服务白皮书 8 率提高数百倍。某生物医药科技公司直接通过浏览器使用云上高性能计算服务,API 接入可在几分钟内启动 1000 台共 16000 核心的计算资源,10 分钟内即可完成计算任务,并在该计算平台直接呈现结果。3.气象预报 气象预报与居民日常生活息息相关。交通出行、
17、农业生产、地质灾害防范等等,无不有赖于对气象的监测与提前预判。精准的预报,可以指导人们更好地生产和生活。现代气象预报工作的原理:建立用来描述天气演变过程的方程组,输入代表不同大气状态的数据,在计算机上求解,用来预测天气。气象工作领域中的数据格外复杂,再加上气象预报业务量激增、高时效性要求等,一般的计算机难以有效胜任气象领域的计算工作。现阶段我国在气象数值预报中,更需要向着多模式耦合、辨别率更高、集合预报的方向进行不断进展,这也使气象领域对高性能计算技术的需求变得急切。高性能计算技术可利用超级计算机和并行处理的方式快速完成耗时较长的任务或同时完成多个任务,其在气象领域中的应用极大地推动了气象领域
18、的信息化进程。气象预测为数据密集型,需要更大计算能力,研究人员必须更加关注性能瓶颈,如内存、I/O、互连延迟和带宽。天气模拟需要成千上万微处理器并行运算,突破硬件和软件的可扩展性限制。某科技企业提供了基于高性能计算云的天气和气象建模平台,具有 HPC 工作负载协调、资源管理、用户访问、分析等功能,以确保高性能计算云服务白皮书 9 天气和气象建模及仿真工作负载能够尽可能地快速、高效运行,让 HPC 资源得到充分利用。还提供了一种循环系统开源工作流引擎,能够处理许多复杂的工作流。它能根据具体调度和依赖关系自动执行任务,尤其适用于天气和气候建模、数值气象预报、物理仿真和数据处理等领域,目前已被多个国
19、家气象部门广泛使用。4.能源勘探 随着勘探技术不断进步及其业务规模的持续增长,能源勘探数据处理正面临着更为严苛和严谨的要求。能源勘探行业具有计算密集型的特点,HPC 与大数据的应用是实现高精度勘探开发技术的关键因素。HPC 云平台解决方案能够为能源勘探行业中采集、预处理和分析地震数据,油藏建模等提供紧密的计算能力,使勘探更便捷,更准确。因此,借助 HPC 云帮助能源勘探实现海量数据的高效存储、访问和计算,可以降低勘探开发的经济风险,为油气产业保驾护航。图 4 展示了基于高性能计算云的石油勘探解决方案,该方案具有安全合规、专属隔离、独占独享等优势,帮助油气企业有效提升运作效率,降低运作成本,减轻
20、业务维护压力,实现业务安全合规上云。该方案建立了统一的勘探开发数据服务平台,实现数据的浏览、查询、下载、管理、分析、存储和集中展示,以及与应用系统的集成应用,满足油田用户对勘探开发数据的应用需求;该方案建立了应用系统集中部署环境,支持协同工作,实现项目研究、生产管理过程中数据的生命周期管理,为地震、测井、油藏工程等专业提供处理解释、模拟高性能计算云服务白皮书 10 计算和地质综合研究的专业软件共享平台;该方案建立了生产管理云计算环境,需要实现油藏工程业务系统等应用系统的集中部署、整合和共享应用,建立标准化、免维护的云应用环境,提升应用部署效率和运维效率。图 4 基于高性能计算云的石油勘探解决方
21、案 5.芯片设计 半导体行业涵盖设计、制造、封装等一系列环节,其中芯片设计是一个高风险的业务。从手工完成集成电路设计、布线等工作,到使用计算机辅助设计软件来完成超大规模集成电路芯片的功能设计、综合、验证、物理设计等工作,电子设计自动化的发展已近 60 余载,EDA 的出现极大缩短了芯片设计周期及提高成功率。随着芯片工艺的跃升,处理的数据已高达 PB 级别,EDA 需要的计算能力越来越大。传统的算力交付模式已无法跟上快速发展的芯片设计行业。紧张的上市时间压力与 IT 建设的长周期与高投入之间存在巨大矛盾:一高性能计算云服务白皮书 11 方面产品流片时间节奏紧张,另一方面 IT 采购预算准确度低,
22、采购周期长,无法匹配研发节奏。目前,芯片设计行业在 IT 方面普遍存在以下四个方面的挑战:时间:时间:EDA 验证需要大量时间,资源不足会导致验证工作无法收敛,且硬件设备采购周期长,部署建设需要耗费大量时间,拖累产品上市速度;成本:成本:任务具有明显的波峰特性,长期持有大量硬件成本较高,测算项目成本及 IT 资源占用成本分析难度较大;安全:安全:架构设计主要用本地文档保存,容易发生外泄,数据交付复杂且体量巨大,授权审核环节众多,管控存在漏洞;协同:协同:多地域办公工作协同,一方面 IT 部门难以快速提供统一的研发桌面环境,另一方面数据安全也面临新的挑战。EDA 高性能计算云解决方案可以帮助芯片
23、设计企业提升 EDA 运行效率,加速产品上市;减轻 IT 投资压力,降低 IT 运维难度。芯片设计对高性能计算云存在数据安全、高性能计算资源、自动运维和弹性调度等需求。在数据安全方面,需要支持数据落盘加密的方案,支持安全操作审计、用户自带密钥上云等;在计算资源方面,需支持高主频、大内存服务器;在自动运维方面,需要弹自动化部署和集群管理能力节省客户的运维投入。高性能计算云服务白皮书 12 图 5 基于高性能计算云的 EDA 芯片设计 图 5 展示了为 EDA 芯片设计企业提供的 EDA 工作流上云服务。针对 EDA 项目短期突发效应明显,提供混合云解决方案,使用云上资源解决短期突发算力需求;同时
24、提供本地与云上一致性的访问使用方案,无需改变用户使用习惯;方案使用与本地一致的 3 层安全架构,保护企业的 IP 与工艺库等资源的安全性。某芯片设计服务公司使该方案,前端设计及后端设计的全流程 EDA 云上运行、弹性按需的资源分配、按项目独立的 EDA 设计环境、安全,数据流向可授权与追踪。高性能计算云服务白皮书 13 二、高性能计算云服务参考架构(一)(一)高性能计算云服务参考架构 图 6 高性能计算云服务参考架构 如图 6 所示,本白皮书结合业界优秀高性能计算云服务实践,提出了高性能计算云服务参考架构。相比于传统高性能计算服务,高性能计算云具备弹性算力供给、便捷资源部署、统一融合平台、灵活
25、业务编排等丰富的服务能力,满足行业应用差异化、定制化服务需求。资源供给服务层资源供给服务层向用户提供应用运行所需的计算、存储、网络等虚拟和物理算力资源,并通过将云计算的虚拟化技术融合应用到高性高性能计算云服务白皮书 14 能计算的用户应用层面,基于虚拟机、容器等技术向用户提供应用运行所需的算力资源使用方式,同时对用户的数据进行应用级别的隔离和权限控制,使用户能够根据需求弹性的获取和使用各类算力资源,可支持用户灵活、高效、低成本的使用高性能计算云服务。平台服务层平台服务层是高性能计算云服务的核心,为用户和开发者提供丰富的功能和服务,可简化应用程序的构建、部署和管理过程。一方面,平台服务层向用户提
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 2022年高性能计算云HPC Clound服务白皮书 2022 年高 性能 计算 HPC Clound 服务 白皮书
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【Stan****Shan】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【Stan****Shan】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。