基于龙芯2K1000处理器和复旦微FPGA的全国产RapidIO解决方案研究.pdf

现代电子技术Modern Electronics Technique2023年10月1日第46卷第19期Oct.2023Vol.46 No.190 引 言RapidIO 总线协议1经过 20 多年的发展，已成为基于数据分组交换的高性能系统互联2首选解决方案之一，广泛应用于无线通信、军事、超算、医学图像处理和工业控制等多个领域，而这些领域无一例外地关系到国计民生和国家安全。目前，提供 RapidIO总线接口的芯片主要来自美国恩智浦公司的 PowerPC、德州仪器公司的C6000系列DSP、瑞萨公司的TSI系列RapidIO交换芯片和 PCIe 转 RapidIO 桥片，以及赛灵思公司的 RapidIO IP 软核，而国内则鲜见对标上述芯片的国产化替代方案。本文提出一种基于龙芯 2K1000处理器3和复旦微FPGA 的全国产 RapidIO 解决方案，并结合具体项目验证该方案的可行性。1 方案设计1.1 总体设计复杂的嵌入式设备，如核心网高端交换机、路由器、5G 基站、飞机航电系统等，一般采用多子卡机架式设计，这些子卡由机架背板布线信号联通，从而实现相互间的通信。子卡间的通信一般包括数据平面通信和控制平面通信。数据平面通信一般要求实现高可靠、高带宽、低延迟的全双工通信，相应的数据平面系统互联方案包括RapidIO总线、以太网和PCIe总线等，而RapidIO基于龙芯2K1000处理器和复旦微FPGA的全国产RapidIO解决方案研究郭 佳，张 渊，冯 伟，吴 骏（中国船舶集团有限公司 第七二二研究所，湖北 武汉 430205）摘 要：RapidIO总线是基于数据分组交换的高性能系统互联方案，广泛应用于无线通信、军事、超算、医学图像处理和工业控制等多个领域。目前国内使用的RapidIO芯片多来自美国，一旦美国对我国实施相关的断供，则势必威胁到我国的国家安全。文中提出并研究一种基于龙芯2K1000处理器和复旦微FPGA的RapidIO全国产解决方案，并结合具体项目验证了该方案的可行性。关键词：国产化；自主可控；RapidIO；数据平面；PCI Express；高性能系统互联；DMA；通信系统中图分类号：TN6134 文献标识码：A 文章编号：1004373X（2023）19000805Research on indigenous RapidIO solution based on Loongson Processor 2K1000 and Fudan Micro FPGAGUO Jia,ZHANG Yuan,FENG Wei,WU Jun(The 722 Research Institute of CSSC,Wuhan 430205,China)Abstracts：RapidIO bus is a highperformance packet switch system interconnection solution,which is widely used in the fields of wireless telecommunication,military,supercomputing,medical image processing,industrial control,etc.At present,most of the RapidIO chips used in China come from the United States.It will evidently push severe threats to our national security if the corresponding silicons are restricted.In this paper,an indigenous RapidIO solution based on Loongson Processor 2K1000 and Fudan Micro FPGA is proposed.Its feasibility has been verified by a specific scheme.Keywords：domestication;independence and controllability;RapidIO;data plane;PCI Express;high performance system interconnection;DMA;communication systemDOI：10.16652/j.issn.1004373x.2023.19.002引用格式：郭佳，张渊，冯伟，等.基于龙芯2K1000处理器和复旦微FPGA的全国产RapidIO解决方案研究J.现代电子技术，2023，46（19）：812.收稿日期：20230518 修回日期：20230620基金项目：国家自然科学基金青年基金项目（51809099）8 8第19期总线以其传输带宽高、互联信号线少、抗干扰性强、易于扩展等优势成为如飞机航电系统等复杂系统的首选子卡数据平面高速互联方案。龙芯 2K1000处理器（下文简称CPU）是中科院计算所研发的面向网络应用、工业控制等领域的嵌入式SoC处理器。片内集成两个64位的双发射超标量GS264处理器核，兼容 MIPS64 体系结构，主频为 1 GHz，集成 64 位DDR3控制器、SATA3控制器、2个x4的PCIe 2.0控制器、2个千兆以太网控制器等多种外设。龙芯 2K1000处理器具有丰富的外设资源，适合作为控制子卡的处理器，但由于片上没有集成 RapidIO控制器，比较可行的替代方案是使用复旦微JFM7K325T FPGA配合RapidIO IP软核来实现RapidIO总线接口，再选取PCIe 2.0总线接口作为龙芯 2K1000处理器与复旦微 FPGA之间交换数据的通路。FPGA 端 RapidIO 总线采用 LPSerial x1 物理层接口，工作频率为 3.125 GHz，数据带宽为 2.5 Gb/s。软件方面，在龙芯2K1000处理器上运行国产锐华实时操作系统，并研发锐华系统下的PCIe驱动程序和RapidIO驱动程序；硬件方面，使用中航通用公司自行研发的国产RapidIOIP 软核。以龙芯 2K1000 处理器和复旦微电JFM7K325T FPGA为核心构建最小子系统，系统总体设计方案4如图1所示。图1 系统总体方案设计示意图CPU与 FPGA之间通过 PCIe总线和 LPC总线相连，其中高速信号使用 PCIe 总线传输，控制信号使用 LPC总线传输。RapidIO 差分信号由 FPGA 引出。CPU 和FPGA 均使用基于 SPI 总线的 NOR FLASH 存储启动固件，CPU 的大容量文件存储使用并行的 Nand FLASH，CPU 外接 4 片 x16 的国产 DDR3 颗粒，CPU 片上集成的两 路 GMAC 以 太 网 控 制 器 通 过 RGMII 接 口 外 接88E1111千兆以太网 PHY。FPGA 除引出 RapidIO 信号外，还实现了 HDLC 同步串口信号和 RS 422 高速串口信号。子系统的外围均使用国产化芯片，例如兆易创新 公 司 研 发 的 FLASH 芯 片、长 江 存 储 公 司 研 发 的DDR3芯片和中电 32所研发的 88E1111以太网 PHY 芯片等。1.2 数据传输FPGA与CPU之间通过PCIe总线5交换数据的方式主要有两种，分别是PIO方式和DMA方式。PIO方式的原理是：FPGA在 PCIe BAR 区间划出一定范围，实现数据寄存器、控制寄存器和状态寄存器，CPU使用MMU映射 PCIe BAR 空间，并基于简单的数据拷贝算法实现数据交换6。使用 PIO 方式进行 PCIe数据传输时，CPU 每次读、写数据寄存器都会触发 PCIe的 TLP事务包，当数据寄存器为 4 B 时，净荷数据只占到 TLP 事务包的4 256，加上 PCIe每次 TLP事务建立开销，容易得出 PIO方式效率低的结论，因此不适合作为高速 RapidIO总线的数据通路。DMA 方式使用 FPGA 中的 DMA 通道，在 CPU 内存和 FPGA 内存间搬运数据，每次搬运时尽可能保证 TLP事务包中的净荷数据最大，且搬运过程不需要 CPU 参与。当 CPU 向 FPGA 发送数据时，CPU 仅向 FPGA 告知需要发送数据的地址和长度，由 DMA 通道负责搬运数据，数据搬运完成后，FPGA 以 PCIe MSI 中断的异步方式通知 CPU 数据搬运完成；当 CPU 从 FPGA 接收数据时，CPU首先告知 FPGA写入数据的内存地址，当 FPGA数据就绪时，DMA通道将数据搬运到该内存地址中，然后向CPU发送PCIe MSI中断，通知CPU数据搬运完成，CPU 可以通过读取 FPGA 特定的寄存器来获取搬运数据的实际长度。本方案采纳的是一种改进的 XDMA 方式7，该方法的核心思想是使用数据描述符链表来控制 CPU 与FPGA 之间的 PCIe 数据收发与同步。XDMA 数据描述符如图 2所示，数据描述的长度为固定的 32 B，存储数据描述符的缓冲区地址要保持与 CPU 缓存行对齐，保证内存吞吐效率最优。描述符中存储了DMA通道需要搬运数据的长度、数据的源地址（从 CPU 向 FPGA 搬运数据时使用）/目的地址（从 FPGA向 CPU搬运数据时使用）；控制字字段包括数据搬运完成标志位，用于标识数据搬运的状态。描述符之间通过下一个相邻描述符地址字段连接成单向链表，链表中最后一个描述符的该字段为空，作为链表尾部标识。CPU在接收和发送数据前按需准备好数据描述符链表，并把链表首个描述符的地址设置到FPGA的XDMA寄存器中。郭 佳，等：基于龙芯2K1000处理器和复旦微FPGA的全国产RapidIO解决方案研究9现代电子技术2023年第46卷图2 XDMA数据描述符基于 XDMA 的数据传输方向包括 CPU 到 FPGA 方向和FPGA到CPU方向，两个方向上数据传输的原理基本相同，都是由CPU使用数据描述符队列控制FPGA的DMA 通道进行数据搬运。二者区别在于：PCIe MSI中断的含义不尽相同，前者代表 DMA 通道完成从 CPU 到FPGA 的数据搬运，后者代表 DMA 通道完成 FPGA 到CPU的数据搬运。共同点在于中断总是代表DMA操作的结束。图 3 以 CPU 搬运数据到 FPGA 为例描述了XDMA的具体过程，FPGA到CPU的数据搬运如前所述，过程大致相同，这里不做赘述。图3 XDMA流程当数据由 CPU 搬运到 FPGA 后，FPGA 通过 AXI 总线把数据路由到 RapidIO IP 软核78，该 IP 软核经过处理，把数据重新打包成符合 RapidIO协议的逻辑层和传输层帧格式，并最终通过 SerDes 接口实现 8B/10B 编码和数据串行化，最后把数据送到 RapidIO 物理链路上。当 RapidIO 物理链路上的数据到达 FPGA 时，SerDes 接口对数据进行串并转换和 8B/10B 解码，解析并提取RapidIO帧的数据部分，并通过 AXI总线传递给 DMA模块，然后使用 1.2 节描述的方法，把数据搬运到 CPU 的内存中，并以 PCIe MSI 中断的方式通知 CPU 数据搬运完成。RapidIO IP软核的功能模块结构如图4所示。图4 RapidIO IP软核的功能模块结构2 方案论证与性能分析2.1 方案论证为了论证本文提出的 RapidIO国产化方案，选取某国产通信系统9的主控子卡和接入控制子卡，用龙芯2K1000处理器和复旦微 FPGA 组成的最小子系统替换原有的基于美国恩智浦公司PowerPC 8569E方案。如图 5所示，该通信系统是由多张子卡组成的复杂机架式系统，该系统的子卡可划分成三类，分别是控制子卡、业务子卡和业务辅助子卡。图5中的两个灰色方块分别代表主控子卡和接入控制子卡，二者硬件组成上基本一致，接入交换芯片的 RapidIO 信号均工作在 x1 3.125 GHz模式。业务子卡采用国防科大研发的M6678国产 DSP 芯片，片上集成 2个 RapidIO 端口。控制子卡与业务子卡均由 RapidIO 差分信号通过连接器引出并经由背板布线信号接入国产 TSI578RapidIO 交换芯片。按照本通信系统设计，控制子卡与业务子卡间有大批量、高实时性的业务数据传递需求。采用本国产化RapidIO方案替换恩智浦公司的进口方案后，按照系统原有的设计用例进行回归测试显示，国产化方案在功能和性能上均满足设计要求。2.2 性能分析采 用 数 据 回 环 的 方 法 测 试 CPU 与 DSP 之 间RapidIO通信的性能10，即CPU通过RapidIO接口发送不10第19期同长度的数据报文给 DSP，DSP 收到数据后立即回环给 CPU，CPU 通过记录数据发送时的时间戳和收到回环数据时的时间戳，计算回环数据时延。记录时间戳的方法11采用龙芯 2K1000 处理器内部的 125 MHz 的HPET 高精度定时器，理论计算精度为 8 ns。为了计算方便，假设 CPU 通过 RapidIO 发送数据给 DSP 的时间与 DSP 通过 RapidIO 发送数据给 CPU 的时间大致相同，取回环数据时延的1 2为 CPU 到 DSP 的数据发送时延。依据该方法测试，得到时延与带宽数据如表 1所示。图5 某国产通信系统表1 时延和带宽统计数据长度/KB644832126.41.6时延/s226.2176.8131.970.773.454.8带宽/(MB/s)282.9271.5242.6169.787.129.2CPU 发送 RapidIO 数据给 DSP 的时延可大致分解成4个阶段12。记这4个阶段分别为T1T4，如图6所示。图6 时延组成的4个阶段图6中：T1表示数据从CPU应用层缓冲区拷贝到驱动缓冲区的时延；T2表示 DMA 通道将 CPU 驱动缓冲区的数据通过PCIe接口搬运到FPGA中的时延；T3表示数据 在 RapidIO 线 路 上 的 时 延；T4表 示 数 据 到 达 DSP RapidIO 控制器硬件缓冲区后，DSP 驱动将硬件缓冲区的数据拷贝到应用程序缓冲区的时延。表 2 是依据上述 4 个阶段，CPU 发送 RapidIO 数据给DSP时延的理论最优估算值。表2 T1T4阶段时延估算值 s数据长度/KB644832126.41.6T10.6250.4680.3130.1170.0630.016T225.619.212.84.82.560.64T3204.8153.6102.438.420.485.12T40.6250.4680.3130.1170.0630.016估算时延231.6183.7115.843.423.25.8实测时延226.2176.8131.970.773.554.8表 2中：T1和T4是内存拷贝时延；T2是 PCIe总线传郭 佳，等：基于龙芯2K1000处理器和复旦微FPGA的全国产RapidIO解决方案研究11现代电子技术2023年第46卷输时延；而T3是RapidIO总线传输时延。龙芯2K1000处理器和 M6678国产 DSP的工作主频均为 1 GHz，均外接4 片 DDR3 内存颗粒，总线宽度为 64、内存工作频率为400 MHz；PCIe接口符合 PCIe 2.0标准，由 4条差分信号对组成的 x4链路，单条链路的速度为 5.0 GT/s；RapidIO总线工作在 3.125 GHz，考虑到物理层采用 8B/10B 编码，有效带宽为2.5 Gb/s。针对内存拷贝时延的估算，忽略 DDR3信号的建立保持时间，得到T1和T4时延估算公式为：T1,4=发送数据字节数DDR3工作主频 单时钟采样数 总线宽度（1）忽略协议帧开销，仅考虑净荷数据，忽略物理层协议应答帧的时间开销，得到T2和T3的时延估算公式分别为：T2=发送数据字节数PCIe 2.0工作频率 通道数（2）T3=发送数据字节数RapidIO总线频率 通道数（3）表 2中的数据仅仅是一个粗略的估计13，真实的时延计算需要考虑的问题比上述简化估算公式要多得多，为了计算方便，估算公式仅考虑各时间阶段最耗时的操作，且均以最优方式为衡量。不难看出，在发送数据长度大于等于32 KB时，理论估计时延和实测时延吻合得较好，而数据长度小于等于 6.4 KB时，二者的误差则较大，原因在于：数据量较小时，CPU时间戳计时的精度、CPU 数据缓存、CPU 时钟中断的粒度、CPU 任务上下文切换和中断上下文切换的时间、FPGA 封包 RapidIO 协议帧以及 SerDes编码和串并转换的时间等因素给总时延带来的影响不可忽略。3 结 论本文阐述的基于龙芯 2K1000 处理器和复旦微FPGA 的国产 RapidIO 解决方案可以实现与其他支持RapidIO器件（如飞腾M6678国产DSP）互通，本方案应用在 2.1节介绍的某通信系统中，可以实现原位替换原有的进口方案主控子卡和接入控制子卡。使用本国产RapidIO方案替代后，该通信系统运行稳定，在进行大量数据传输的系统实验中，丢包率、误码率满足原系统设计要求。龙芯 2k1000处理器在运行主控子卡和接入控制子卡的业务逻辑代码中也展现了比较好的性能14。综上，国产自主可控替代方案，一方面要考虑到性能指标是否能达标或者基本达标，另一方面也要考虑国产芯片的产能等一系列的问题。龙芯2K1000处理器作为中科院计算所自主研发的国产CPU，制造工艺为28 nm，该制程在国内芯片制造厂家可以实现量产，不受美国实体清单的制约。因此，本文方案所涉及的芯片选取、FPGA 逻辑开发、操作系统的选取、驱动开发等多个方面都能实现自主可控、性能达标，具有一定的现实价值。注：本文通讯作者为郭佳。参考文献1 RapidIO Trade Association.RapidIOTM interconnect specification EB/OL.2009 08 01.https:/ 胡涛.基于SRIO的多协议实时交换技术研究D.杭州：浙江大学，2023.3 高业文.一种机载嵌入式 RapidIO 网络动态管理方法J.航空计算技术，2022，52（4）：126130.4 付国楷，解永亮，房利国.基于龙芯 2K1000 PCI Express 链路重定向的 FPGA 逻辑资源动态加载配置机制设计J.通信技术，2021，54（8）：20302036.5 都乐.基于PCIe接口的高速数据传输系统技术研究D.北京：北京邮电大学，2021.6 金璐.基于 ZYNQ 平台的 XDMA IP 核性能研究J.科技资讯，2023，21（4）：1518.7 谢鑫.串行 RapidIO IP核的设计与实现D.南京：南京理工大学，2021.8 崔汪莉，吴刚，黄忠平.基于网络消息的 RapidIO 链路可重构系统J.信息化研究，2022，48（1）：5962.9 李士刚，黄威，张鹏.龙芯处理器性能测试方法研究J.现代电子技术，2013，36（23）：8890.10 任礼虎.一种基于龙芯 2K1000的 COME功能主板产品设计方法J.电子技术，2018，47（4）：4647.11 柳兵.小型RapidIO交换网络的设计及路由配置方法J.电子世界，2021（15）：137139.12 张锐.基于 IMX6Q+TSI721的 RapidIO 硬件设计与实现J.计算机与网络，2021，47（13）：2223.13 马晓光，封桂荣，孙睿，等.自主可控软件性能需求与关键技术研究J.工业控制计算机，2022，35（3）：13.作者简介：郭 佳（1982），男，河北遵化人，硕士，工程师，研究方向为嵌入式实时操作系统。张 渊（1985），男，湖北武汉人，博士研究生，高级工程师，研究方向为量子计算。冯 伟（1990），男，土家族，湖北恩施人，硕士，工程师，研究方向为嵌入式系统与高性能网络。吴 骏（1969），男，湖北武汉人，高级工程师，研究方向为嵌入式系统与高性能网络。12