一种基于国产处理器的高性能四路服务器设计方案.pdf

叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期一种基于国产处理器的高性能四路服务器设计方案马晓光1袁2窦锦柱1袁2陈乃阔1袁2李清臣1袁2渊1 超越科技股份有限公司袁山东 济南 250101曰2 山东省特种计算机重点实验室袁山东 济南 250101冤随着军队信息化建设和军事信息技术的发展袁 信息系统成为军队作战指挥尧克敌制胜的重要保障遥当前大数据尧虚拟化尧云计算尧AI 等技术在军事领域广泛运用咱1暂袁有效提高了情报获取能力尧指挥决策能力袁有助于提升军队管理水平袁带来了军事思想及思维的变革遥 经过多年发展袁信息系统已在作战指挥尧作战筹划与作战仿真等领域取得一定成果袁 但同时也遇到许多瓶颈问题袁例如数据爆炸尧数据迷雾尧野缺知识冶野少样本冶尧智能处理计算能力不足等问题遥为解决这些问题袁亟需提升底层硬件设备的整体性能遥目前军方使用的多路服务器设备绝大多数仍是 X86 架构产品袁 配套软件大部分还是基于 Windows尧Oracle 等国外基础软件开发的袁存在严重的信息泄露隐患遥当前已经曝出多次美军利用设备及系统后门打击其他国家国防建设的案例遥 为杜绝此类事件发生袁关键核心领域尧关键信息设备必须实现自主可控遥 尤其在现代化军事系统中袁 自主可控装备已经成为军队信息化建设尧保证未来信息化作战指挥克敌制胜尧保障国防安全的关键遥高性能多路服务器国产化替代的主要矛盾集中在虚拟化尧大数据分析等关键应用对底层硬件单体设备性能需求同国产服务器性能较低的矛盾遥 差距产生的主要原因为国产处理器单核性能较 X86 服务器单核性能存在一定距离袁 当前单颗 CPU 提升性能的主要途径为提升 CPU 主频尧 提高流片工艺及增加CPU 核心数量咱2暂遥但随着工艺上逐步接近摩尔定律的极限袁以上几种方法也逐渐达到物理上限袁 因此通过多路互连是进一步提升整机性能的有效途径咱3暂遥近两年国产自主 CPU 厂商相继推出或升级更高性能的服务器处理器芯片袁 性能水平与国际主流商用芯片能力差距进一步缩小袁 军事信息化应用对于高性能服务器国产化替代迫在眉睫袁同时当前国产处理器已具备研制自主可控多路服务器条件袁因此开展自主可控高性能多路服务器研制势在必行遥1系统设计基于国产处理器的四路服务器整机设计主要由主板模块尧电源模块尧存储模块尧散热模块尧机箱模块及软件模块组成袁各模块的组成及相互关系如图 1 所示院图 1四路服务器模块组成其中主板模块主要包括国产处理器尧桥片尧配套接口芯片尧配套部件和电路等关键部分遥 处理器选用天津飞腾公司最新的产品腾云 S2500 芯片袁 该芯片集成 64 个飞腾自主研发的高性能处理器内核 FTC663袁采用乱序四发射超标量流水线袁主频可达 2.1 GHz袁通过集成高效处理器核心尧基于数据亲和的大规模一致性存储架构尧层次式二维 Mesh 互连网络尧多端口高速直连通路袁优化存储访问延时袁提供计算性能尧访存带宽和 IO 扩展能力遥 腾云 S2500 在单核计算能力尧 单芯片并行性能尧 单芯片cache 一致性规模尧访存带宽等指标上都处于国际先进水平遥A Design Scheme of High Performance Four-way Server Based on Domestic Processor摘要院多路服务器作为高性能服务器的代表袁其整体性能较高袁属于计算密集型设备袁具有多 CPU尧多核心的特点袁可满足并发性任务的并行处理需求袁是承载核心数据库尧虚拟化尧大型业务系统等关键应用的主力设备袁能够为军事信息系统建设提供强有力的支撑遥 基于国产自主飞腾腾云 S2500 处理器提出了一种高性能四路服务器设计方案袁从服务器的架构设计尧内存设计尧总线设计尧网络设计尧存储设计及显示设计六个层面详细阐述了服务器核心关键硬件模块的设计方法袁并从固件尧操作系统及管理软件三个方面详述了服务器配套关键软件的设计方案袁为国产自主可控多路服务器的设计提供了技术借鉴遥关键词院高性能服务器曰国产处理器曰自主可控Abstract:As a representative of high-performance servers,multi-processor servers have high overall performance andare computationally intensive devices.They have the characteristics of multiple CPUs and cores and can meet the parallelprocessing requirements of concurrent tasks.They are the main equipment that carries core databases,virtualization,large-scale business systems and other key applications,and can provide strong support for the construction of military informa鄄tion systems.This paper proposes a high-performance four-way server design scheme based on the domestic autonomousPhytium S2500 processor.It elaborates the design method of the servers core key hardware modules from five aspects ofserver architecture design,memory design,bus design,network design and hard disk design,and details the designscheme of the servers supporting key software from three aspects of firmware,operating system,and management soft鄄ware,it provides a technical reference for the design of domestic autonomous controllable multi-processor servers.Keywords:high-performance server,domestic processor,autonomous and controllable7一种基于国产处理器的高性能四路服务器设计方案在部件尧板级元器件方面袁全面贯彻 100%全国产化设计原则袁内存尧硬盘尧BMC尧CPLD尧网络芯片尧电源芯片尧时钟及芯片被动元器件均采用国产化方案遥在整机设计方面袁采用 19 英寸 2U 机箱袁提供基于模块化结构并可扩展的硬件构架遥 整机采用标准化尧通用化设计方案袁遵循相关国军标和国标袁可以使设备的物理规格尧电气特性尧信号定义尧传输协议等方面兼容现有的标准遥同时通过适配主要外设和扩展板卡的驱动程序等方式袁实现了与现有网络尧外设尧扩展板卡的互联互通和配套兼容袁 基本不改变用户的应用体验和使用习惯遥在软件模块方面袁BIOS 固件选用符合 UEFI 2.5 规范的国产化昆仑固件袁在操作系统引导尧系统备份和恢复尧处理器及主要配套芯片的接口检测尧 多种介质引导以及系统监控和管理等关键功能特性上已进行相应的适配联试遥 操作系统选用麒麟V10 国防版服务器操作系统遥 该系统基于 S2500 平台完成了关键部件的软硬件适配优化尧软件移植和功能定制等遥服务器配套的管理软件基于开源 OpenBMC 进行了深度二次开发袁 实现了健康信息监控袁远程 BIOS尧BMC 升级尧远程控制尧媒体重定向及Web 服务等功能袁配合内存状态指示灯袁可以快速定位整机故障袁从而实现远程及本地便捷运维遥 整机的系统设计框图如图 2所示院图 2四路服务器系统设计框图2硬件设计2.1 架构设计四路服务器硬件电路主要集中在主板模块上遥 在设计过程中袁考虑 S2500 平台的特殊性袁采用四路 CPU 共享部分元器件的创新架构设计袁 在有限空间内实现高密元器件布局及对外接口设计咱4暂遥 硬件架构设计如图 3 所示院图 3硬件架构设计图服务器四颗 CPU 采用高速 FIT 总线互联袁采用飞腾 X100 套片作为外围扩展芯片袁对外提供 VGA 显示尧USB 接口尧PCI原耘/SA鄄TA 等信号输出遥 同时在设计时充分融合国产自主体系架构及国产基础软件研发成果袁主板集成了支持 TOE渊TCP Offload Engine冤卸载的网迅 WX1820 万兆网络控制器袁同时通过信号/电源完整性协同仿真分析与优化袁实现了四路服务器高性能尧可靠性和高安全性的主板设计遥2.2 内存设计飞腾 S2500 处理器内部集成 8 个 DDR4 内存控制器袁对外可提供 8 个 DDR4 内存插槽遥 四路服务器采用四 CPU 设计方案袁标配 DDR4 32 GB RDIMM 服务器内存袁四路服务器最多可配 32 条 64 GB 内存袁最大支持内存容量 2 TB遥 处理器内存实现如图 4 所示院图 4内存实现框图2.3 总线设计飞腾 S2500 处理器通过 PCI-E 总线进行外围功能电路及接口扩展袁四路服务器对板载 PCI-E 扩展设备尧外围扩展接口及板卡性能有较高要求袁 需要提供 NVMe SSD尧SATA/SAS尧万兆/千兆网络及 PCI-E 插槽等多种功能电路或接口遥 合理分配PCI-E 总线可以有效利用处理器接口资源袁 降低主板设计面积与走线复杂度袁提高主板性能遥 图 缘 为 PCI-E 总线资源分配图院图 5PCI-E 总线资源分配图2.4 网络设计四路服务器采用网迅公司 WX1820 万兆以太网控制器芯片实现两个 SFP+万兆以太网口的扩展遥WX1820 网络控制器集成一个嵌入式处理器袁负责对网络包协议进行解析袁可有效分担飞腾 S2500 处理器的压力袁 从而提高网络和整机性能遥 WX1820以太网控制器通过 PCI-E3.0伊8 链路与 CPU 上的 PCI-E3.0伊8链路对接袁实现两者间的高速互联遥 WX1820 网络设计框图如图6 所示遥2.5 存储设计四路服务器存储模块主要由 RAID 卡尧 硬盘背板和存储设备构成遥 四路服务器配置国产自研 RAID 卡袁支持 RAID 0/1/10/8叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期图 6网络设计框图5/50 存储模式遥为满足系统安装及数据存储的分离需求袁采用系统盘与数据盘并存设计模式遥系统盘选用国产 M.2 电子盘袁四路服务器共配备 2 块 M.2 电子盘袁 通过操作系统集成的软 RAID功能袁可将系统盘创建成 RAID 1 后安装系统袁有效降低操作系统的故障率袁 提升系统的稳定性遥 数据盘采用 2.5 寸可拔插SATA 电子盘袁为方便硬盘的拔插袁四路服务器内的 24 块数据盘采用硬盘背板进行扩展遥 可支持 3 块 8鄢2.5 寸硬盘背板袁最多可支持 24 块 2.5 寸硬盘袁支持 SAS/SATA 接口袁硬盘背板示意图如图 7 所示院图 7硬盘背板示意图机箱硬盘背板上的 SAS 信号经较长的传输距离后会存在衰减袁 设计时需考虑高速数据信号走线要求遥 为有效降低 SAS信号的衰减袁 将 SAS 信号走线与板材内部栅格成一定角度袁保证 SAS 走线阻抗连续性袁减小信号衰减幅度遥 在串扰较严重的线间插入保护地线袁进行隔离袁有效降低了信号间的串扰遥 设计时对 SAS 信号的总长进行了严格控制袁 满足走线长度要求袁有效保证了信号传输的质量遥连接 SAS 线的插座均放在硬盘背板一侧袁以便于走线与维护袁每块硬盘背板上的 8 块硬盘采用热拔插设计遥2.6 显示设计服务器的显示功能通过板载的飞腾 X100 桥片实现袁 桥片输出的 DP 视频信号袁经过国产 DP 转换芯片转为 VGA 信号袁经过一分三电路袁一路引到后面板 VGA 接口对外袁另一路引出到前面板 VGA 接口袁 最后一路由 BMC 卡进行采集袁 用于 KVMOver IP 功能遥另外主板可通过 Riser 卡的 PCI-E伊16 插槽扩展外置独立显卡袁以满足特殊场合对于高性能显卡的需求遥显示接口设计示意图如图 8 所示院图 8显示接口设计图3软件设计3.1 固件设计四路服务器采用国产自主昆仑固件袁实现对飞腾 S2500 平台系统的正常启动尧运行的支持遥 固件的主要工作包括袁在硬件平台上电后袁获得系统控制权袁初始化处理器尧内存尧芯片组等关键部件袁枚举外设并为其分配资源袁初始化显卡尧硬盘尧网卡等必要的外设袁为操作系统建立运行环境袁然后将控制权交给操作系统遥针对四路服务器特性袁通过关键技术的优化设计来实现各模块间的协同工作袁 提高外设兼容性遥 固件的设计分不同阶段进行袁其中每个阶段都建立在前一阶段的基础上袁每个阶段都有其特定的可用资源和需要完成的功能遥 固件的启动和工作流程如图 9 所示院图 9固件启动和工作流程图固件各工作阶段的主要任务为院1冤硬件初始化阶段遥执行由汇编语言代码实现的固件组件袁主要实现对硬件平台和固件初始启动代码做安全验证袁 同时初始化系统缓存袁为后续的硬件初始化工作准备必要的存储空间遥建立堆栈袁跳转到 C 语言执行环境袁并初始化处理器尧内存尧芯片组和其他芯片及设备遥2冤驱动服务执行阶段遥 执行设备驱动程序袁安装及初始化与设备尧总线尧服务等相关的协议遥 驱动服务执行阶段为后续操作提供协议/服务接口袁提供给固件自身及操作系统和应用软件调用遥3冤启动设备选择阶段遥 根据系统中预先设置的配置规则或者用户本次的选择袁寻找承载操作系统的设备渊例如系统固件尧USB 设备尧硬盘尧光盘等冤并加载操作系统遥 由于在此阶段系统已经有充足的资源袁足以执行复杂的处理操作袁用户开发的应用程序可以作为系统软件在这个阶段执行遥4冤操作系统或应用软件运行阶段遥 固件将机器的控制权正式移交给操作系统遥 此时袁仍然有部分固件服务/协议可用遥3.2 操作系统设计四路服务器采用麒麟软件开发的麒麟 V10 国防版服务器操作系统袁 该系统是麒麟软件为满足企业应用及党政军关键业务设计开发的专用操作系统软件袁 并针对国产飞腾处理器架构平台进行了深度的兼容适配袁支持国产主流数据库尧中间件和应用软件袁并通过了测试认证袁符合野自主可控冶战略目标的要求袁能够满足企业级用户的要求袁广泛适用于电信尧金融尧政府尧军队等政企办公应用遥麒麟操作系统按照分层和模块化的原则设计袁 由下至上分别是内核层尧驱动层尧库函数层尧系统服务层尧支撑层及应用层遥系统的各层次设计整体框架如图 10 所示遥操作系统设计的各层次主要作用如下院1冤内核层院提供核心的进程管理和调度尧内存管理尧网络协议支持和服务尧文件系统以及设备管理袁是操作系统内核管理和9控制系统中各类资源的关键组件袁 屏蔽硬件差异并为上层应用软件提供底层服务遥内核运行在保护模式下袁负责控制所有用户进程对底层硬件渊CPU尧内存尧磁盘尧网卡冤和软件的功能访问遥内核主要采用系统调用渊SYSCALL冤的方式袁向上层应用提供功能调用接口遥2冤驱动层院主要为各类设备提供驱动程序遥麒麟操作系统进行设备适配袁保证设备驱动能够在操作系统上正常加载袁并为设备分配系统资源袁完成设备的初始化袁实现设备在服务器上的基本功能遥3冤函数库层院对系统调用进行封装袁以库文件的形式提供访问接口袁使用户态程序能够方便地进行系统调用袁从而提高程序开发效率袁保障应用程序稳定运行咱5暂遥4冤系统服务层院系统运行时可根据需要对外提供远程连接尧系统对时尧文件共享尧动态 IP 地址分配等各项功能袁以满足不同应用场景下对系统各类服务的需求遥5冤支撑层院可选择性集成各类开发工具袁包括图形化 IDE 开发环境尧工具链尧开发项目管理工具尧编程环境尧网络编程工具尧数据库编程工具尧构造工具等袁以提供满足实际应用环境的上层软件支持遥6冤应用层院基于操作系统基本功能可按需部署各类系统级应用程序袁以满足不同用户对不同应用的需求遥3.3 管理软件设计服务器管理软件可方便用户了解当前整机的工作状态袁如各模块的电流尧电压尧功耗尧温度等袁以便对整机的健康状态进行实时的监测袁并能通过 KVM Over IP 及媒体重定向实现对服务器的远程操作及监控管理遥同时预留系统管理接口袁为整个机房或上层系统管理提供接口咱6暂遥服务器管理软件设计从下到上分为五个层次院硬件接口层尧内核层尧驱动层尧支撑层和应用层袁如图 11 所示遥管理软件设计的各层次主要作用如下院1冤硬件接口层院用于硬件连接袁如I2C设备连接尧IPMB尧LAN等遥2冤内核层院采用精简的 Linux 系统内核袁实现基本的系统控制功能袁为驱动层尧支撑层及应用层提供基本的调度处理及核心管控遥3冤驱动层院主要为硬件驱动部分袁如 I2C 驱动尧GPIO 驱动尧USB 驱动等遥 I2C 驱动用于完成对 IPMB 总线的访问曰GPIO 驱动用于完成对逻辑的控制曰USB 驱动用于完成鼠标尧 键盘输入和实现虚拟媒体技术遥4冤支撑层院主要包含各类协议栈支撑袁如 IPMI 协议尧RPC协议等袁用于管理软件与固件间的信息交互遥 VGA 服务完成对采集的 VGA 数据的压缩封包功能袁同时提供外部用户端的远程显示的连接曰USB 服务用于完成远程用户端鼠标尧 键盘输入和虚拟媒体技术遥5冤应用层院主要包含 Web 服务及 SNMP 服务袁其中 Web服务以网络方式对外提供管理软件的应用界面曰SNMP 服务用于提供基于 SNMP 的系统应用接入遥4结束语本文对基于国产飞腾腾云 S2500 处理器的四路服务器袁从硬件设计尧软件设计两个层面进行了模块化尧层次化的阐述袁给出了服务器关键软硬件模块的设计方案袁 方案中提及的架构设计尧 模块设计思路可直接或间接地应用于其他国产处理器的服务器设计中袁根据实际设计需要进行适当调整即可遥本文的论述可为国产自主可控多路服务器的设计提供技术借鉴袁 以加快多路服务器设备国产化进程遥参考文献咱1暂刘静涛袁林志文袁刘超.军事大数据建设研究与思考咱C暂/第十届中国指挥控制大会论文集.北京院兵器工业出版社袁2022院329-333咱2暂方建滨袁杜琦袁唐滔袁等.飞腾处理器与商用处理器性能比较咱J暂.计算机工程与科学袁2019袁41渊1冤院1-8咱3暂董杰明.浅谈多处理器片上系统高性能总线互联关键技术探究咱J暂.装备制造袁2014渊S1冤院57-58咱4暂刘茗中袁朱香佳袁颜世佳袁等.基于国产处理器的服务器设计咱J暂.信息通信袁2020渊7冤院75-77咱5暂肖健袁郑超袁郭冰袁等.基于银河麒麟操作系统的文件共享设计与实现咱J暂.科学技术创新袁2022渊17冤院85-88咱6暂朱建培.浅谈 BMC 管理系统在国产平台服务器中的运用分析咱J暂.中国设备工程袁2021渊8冤院62-63咱收稿日期院圆园圆圆-12-26暂图 10操作系统设计框图图 11管理软件设计框图一种基于国产处理器的高性能四路服务器设计方案渊上接第 远 页冤咱2暂阎雪峰袁闫菲菲袁周红兵袁等.我国冷轧管机的现状及发展趋势咱J暂.重型机械袁2010渊3冤院1-7咱3暂凌健袁符影杰.冷轧管机监控管理器的设计与实现咱J暂.工业控制计算机袁2021袁34渊2冤院11-13咱4暂郭书军.ARM Cortex-M3 系统设计与实现院STM32 基础篇咱M暂.北京院电子工业出版社袁2018咱5暂许弘毅袁刘国民袁莎日娜.基于 CAN 总线的分布式仓储系统设计咱J暂.计算机测量与控制袁2019袁27渊12冤院177-181咱6暂张拓智袁孔德岐袁郑涛袁等.基于嵌入式 Linux 系统的 NVRAM 驱动架构设计咱J暂.航空计算技术袁2022袁52渊3冤院109-111袁129咱7暂景子奇袁邹兆年.嵌入式数据库 SQLite 上多版本并发控制的设计与实现咱J暂.计算机应用袁2022袁42渊1冤院140-147咱收稿日期院圆园圆猿原园员原圆愿暂10