面向国产处理器的FPGA原型验证系统优化方法.pdf

收稿日期:修回日期:作者简介:褚捃博()男硕士生主要研究方向为片上系统芯片:.:/面向国产处理器的 原型验证系统优化方法褚捃博(信息工程大学河南 郑州)摘要:在集成电路的设计过程中流片之前进行现场可编程逻辑门阵列()验证是一个必不可少的环节 在对某款国产处理器芯片进行 验证时一些性能测试课题出现测试结果不稳定与其他验证平台结果出入较大的现象 针对这一问题基于事务处理模块开发了一套新型调试系统能够方便准确地观测到 测试过程中关键事务的动态变化数据并实时传递 用事务级查错方式替代常见的信号级查错手段有效提高了 原型验证过程的可观测性加快问题定位速度提高查错验证效率 在目标处理器芯片验证流程中成功解决二级缓存访存延迟测试不稳定的问题取得了一定成效关键词:原型验证 调试方法事务处理模块中图分类号:文献标识码:文章编号:().引言随着集成电路的发展片上系统()设计已经成为主流并且由于晶体管尺寸的缩小和设计过程的改进现代数字系统的计算能力在过去几年里有了极大的提高 然而与之相对的现代数字系统中的设计验证工作面临着巨大的挑战当今的设计人员必须满足高性能、低功耗和小面积等苛刻的研制要求 公司最近的一项研究表明芯片研制项目中验证时间平均占比 验证工程师将 的验证时间用于被测设计的调试 而在研究者日常的工第 卷第 期 年 月信 息 工 程 大 学 学 报 .作中验证过程甚至占整个芯片开发周期的 以上在众多处理器验证手段中现场可编程逻辑门阵列()原型验证因为其具有良好的软硬件协同验证模式以及远超软件模拟验证和硬件加速器仿真验证的速度成为芯片验证流程中不可或缺的一部分 但是由于它自身的可观测性差难以定位错误现场等固有问题 验证的查错过程成为一大难题 使用 平台进行验证设计逻辑错误经常会和 验证板缺陷、综合时序违例、器件接触不稳定等工程因素交织在一起 因此如何提高 原型验证过程的可视化加强调试手段以快速进行错误定位精确找到错误原因就变得尤为重要本文从 调试过程遇到的问题入手在某款国产处理器性能测试的过程中相同条件下二级缓存访问延迟测试结果和硬件加速器仿真结果相差较大且多次测试结果数据不稳定 针对这一现象本文基于 公司提供的事务处理模块采用事务级数据处理技术解决了处理器核心数据筛选、存储资源分配以及软硬件传输速率差异等问题实现了 与前端机之间的事务级数据传输 通过在处理器内部编写的关键事务统计模块周期性地对课题运行过程中处理器内部发生的关键事务进行统计提高 原型验证过程的可视化程度从而为 验证查错定位问题提供新的方向与思路节约验证时间和验证成本提高验证效率 相关工作.原型验证在高性能处理器芯片的验证过程中软件模拟验证、硬件加速器仿真验证和 原型验证是最为常见的 种方法 其中 原型验证允许在 原型板上实时运行 芯片的寄存器传输级()设计 此外 验证平台可以让 设计与真实的外部设备进行互连测试如、等高速接口设备 并且 原型验证的运行速度远远高于模拟验证和硬件加速器仿真验证能够支持系统级软硬件协同验证因此 原型验证成为芯片研制过程中是不可或缺的重要环节在实际验证流程中设计往往需要经过大量的软件模拟验证具备一定正确性基础之后交给 验证团队 和软件模拟相比 原型验证平台更接近真实系统环境这些真实系统环境是之前软件模拟验证所不能提供的 通常在 原型平台上的验证方向可以分为以下 种:)设计内部逻辑错误 设计内部未被软件模拟测试发现的 逻辑错误)外部接口错误与真实外部接口设备互连测试时发现的问题)软硬件接口错误在系统级软硬件协同验证时发现的问题然而 原型验证的缺点也很明显与其他验证技术相比 原型验证提供的可观测性非常差错误难以定位 验证人员只能观察直接连接到输出引脚的信号而不能观测到内部信号 这基本上是一个黑盒验证由于缺乏可观测性设计人员只知道测试程序运行错误使得 验证平台定位问题非常困难 所以增强 验证平台的可观测性成为 原型验证领域的关键技术要求之一.常规调试手段为区分、识别和解决上文中提到的错误需要将错误原因定位到设计代码的具体位置 像 和 这样的 供应商通过在设计中插入逻辑分析仪()、系统分析器()以及虚拟输入输出接口(/)等方法来提供缺乏可观测性问题的解决方案一旦发现问题设计人员可以通过配套的 等分析工具来检查信号并跟踪问题 归根到底传统的方法是通过提取内部信号对出错位置设置触发条件进行信号采样进一步分析排查问题 目前常见的提取信号方法大致分为实时信号探测和嵌入式轨迹提两种)实时信号探测 这是最常见也是最简单的探测设计内部节点信号方法通过直接修改设计将内部节点信号引出到 引脚使用逻辑分析仪和示波器等外部仪器进行实时探测 这是一种常见的调试手段它的好处是具有实时性观测到的信号变化可以与系统的状态联系起来作为整体分析问题 缺点是会过多占用 引脚资源且依赖外部工具的配合)嵌入式轨迹提取 这种方法通常需要 工具支持来添加观测信号集和使用存储器()以便对内部节点信号进行采样后暂时存储起来用做后续分析 这种方法只消耗少量的资源以及用于探测信号的引脚 信 息 工 程 大 学 学 报 年这两种提取信号方法都存在以下共性的缺点和问题首先是需要在综合开始之前提供观测信号集验证人员根据错误现场尽可能全面地补充信号集以方便更多地观测到查错相关信息 因此验证人员首先需要明确检测的问题然后设置一个信号集并重新进行综合 通常为了精确定位问题需要多次修改信号集虽然可以使用增量编译的方法但是仍然需要花费较长的时间其次是信号探测深度受到 资源和综合工具的限制 不同的 综合工具都设有采样信号数量限制本质上是受到 内部存储资源的限制验证人员难以一次观测更多的错误相关信号来加快错误定位最后是需要对触发信号进行精确控制 这个问题同样受限于 内部存储资源不能像模拟验证一样观测整个运行过程的波形只能通过设置触发信号来观测出错点附近的波形如若触发信号不够精确则可能导致错过报错现场上述常规调试手段存在的问题给实际 调试工作带来了诸多不便 为解决以上常规调试手段存在的问题本文使用的调试系统具有如下特点)能够根据测试课题中设置的开始和结束标志全面地统计在课题运行过程中设计内部发生的关键事件如指令运行总数、各级缓存的命中率、转移预测失败率、根据测试现象和调试需要不断进行调整 这种转变由传统的信号级调试升级到事务级调试避免出于对信号集设置疏忽、信号集大小超过采样上限等原因导致观测信号不完整、无法定位问题从一定程度上减少了综合次数提高了验证效率)通过事务处理模块将 内部收集的关键事务传递到前端机上再通过上层数据计算和处理完整分析测试全过程的关键事务的动态变化轨迹避免由于触发条件设置不精确和观测窗口的时间限制而错过出错现场 调试系统总体框架伴随着处理器结构的不断发展和日益复杂在处理器研制过程中进行性能分析非常重要 常见的商用处理器芯片会设计相应的性能计数器来进行性能分析 这种性能测试方法为本文的调试系统提供了思路同样通过硬件计数器的方式对与错误现象相关的处理器核心关键事务进行统计避免设置庞大的信号集也摆脱了综合工具对采样信号数量的限制 如图 所示本文使用的调试系统实现了一种基于硬件计数器的处理器核心数据统计方法 调试系统代码独立不属于设计的一部分 和传统商用处理器芯片性能计数器相比本文设计的调试系统不仅能得到最终性能测试结果还能够得到处理器核心运行课题全过程的关键事务动态变化数据并借此提高了 验证平台的可观测性图 调试系统总体框架本文基于研制的处理器核心编写了一个关键事务统计模块 该模块实现了多个事务计数器可以实时并行统计多个关键事务 关键事务统计模块和芯片设计的 代码同时运行在 原型系统上最后借助于事务处理模块将收集到的关键事务数据传递到前端机上进行具体的上层计算通过这些事件可以计算出处理器核心的每拍时钟周期内所执行的指令数量()、分支预测失误率、核内各级缓存命中率等.事务统计模块事务统计模块由若干计数器组成针对所关注的关键事务进行计数统计 该模块和处理器核心运行在同一个时钟域下对来自处理器核心的关键事务进行统计并把统计结果输出到事务存储模块 事务统计模块中的计数器个数依据分析和需要可以任意添加或删减能够同时对需要统计的所有事务进行并行计数 这种事务级调试方法区别于以往的信号级调试不会因为单个信号遗漏造成观测结果失效且可以根据调试需求和错误现象编写新的事务逻辑灵活性更高事务统计模块具体实现的时序逻辑如图 所示 该模块会每隔一定的采样周期(周期数可调)对关键事务进行采样事务存储模块会提供一个采样使能信号(比如每 万拍使能有效可配置)当事务统计模块收到该信号有效时计算此时到上次被置有效这段时间内的关键事务的统计值 该模块可以根据事务类型分为事务有效 第 期褚捃博:面向国产处理器的 原型验证系统优化方法次数计算或事务比率计算图 事务统计模块时序逻辑图图 中:和 分别为待测事务的统计值 为采样系统的使能信号 当使能有效记录统计值 和 当使能再次有效计算两次记录的差值得到采样间隔时间中待测事务的统计次数记入 中完成统计.事务存储模块事务存储模块通过接收测试题内的性能测试启动使能开始存储关键事务统计数据并提供新的采样使能来更新并保存数据 如图 所示 其中每次收集的关键事务数据按顺序存储在先入先出()中所有关键事务使用同一个采样使能以保证每组关键事务数据有相同的时间基准 以本文为例每个性能事件间隔 万拍采样每个采样数据连续写入存储 中图 事务存储模块时序逻辑图采样周期的选择首先考虑 的容量与写入速度的关系过于密集的采样会导致 写满造成采样数据丢失其次是 验证平台与前端机软件侧处理速度的差异由于软硬件之间存在握手协议当软件侧速度无法匹配存储 内数据不能及时读出造成写满导致数据丢失时系统会产生报错 结合该处理器 原型平台的核心运行频率选取 万拍作为采样周期既可以缩小 容量减少 的综合开销同时又能保证数据完整避免周期过短出现数据丢失.与前端机通信模块 与前端机通信模块的主要功能是用来实现在课题运行过程中及时将事务存储模块中的采样数据传递到前端机上减少 内部的存储压力充分发挥 运行速度快的优势 本文采用事务处理模块在 与前端机软件侧之间建立通信事务处理模块在硬件软件之间传输数据 平台与前端机之间的硬件接口是基于通用多资源总线()每个事务处理模块对应一个客户端应用接口模块和一个应用程序编程接口()模块 的 软件支持 的自动路由 事务处理模块支持多种 总线协议 本系统使用了中断主事务处理模块()这是一个由软件控制的事务处理模块它会在硬件总线上发送中断信号来启动传输 同时还使用了流从事务处理模块()这是一个由硬件控制的事务处理模块它能够触发软件中的回调函数读取数据实现软件与硬件平台之间的数据交互 与前端机通信原理如图 所示图 与前端机通信原理图测试开始阶段软件侧执行使能函数通过中断主事务处理模块向硬件侧发送中断信号硬件侧在接收到中断信号后建立通路开始向软件侧发送事务存储模块 内的数据 流从事务处理模块通过每拍比较硬件侧发送过来的数据将变化的数据作为新数据存入流从事务处理模块的 内并最终发送到前端机中完成传递全过程 收集到的性能数据在前端机上进行具体的上层计算实现对处理器核心内待测关键事务的分析 应用案例与结果分析本文从 验证平台的实际问题入手选取一道在 验证平台与硬件加速器平台仿真结果存在差异的测试题进行问题排查与调试 信 息 工 程 大 学 学 报 年.测试场景在使用 构建处理器原型验证平台系统时往往由于 内部逻辑和存储等资源的限制需要对设计进行必要的裁剪以实现处理器芯片的 原型验证 同时因为 原型验证平台连接了真实的存储器并在构建的过程中使用团队研发的内存控制器和物理接口模块与存储器连接此时存储器只能在低频模式下运行 这种情况会直接影响该处理器核心的主存访存延迟性能因此选用一道测试处理器核心内二级缓存访存延迟的性能测试题 该测试不涉及核心外三级缓存裁剪也不会受到物理接口模块的影响 理论上在 验证平台的测试结果应该接近同版本下硬件加速器的仿真结果 其结果比较如图 所示图 与硬件加速器仿真结果比较然而在测试过程中如图 所示 验证平台的二级缓存访问延迟测试结果并不稳定相同课题的测试结果在 拍内波动相同版本硬件加速器的仿真结果稳定在 拍 这也是本文实验内容开始的原因 为查清 验证平台在测试课题的过程中哪些因素直接或间接地影响了 验证的测试结果使用本文调试系统进行测试 通过事务统计模块首先对运行课题全过程的指令数量进行统计设置 万拍采样断点 如图 所示:硬件加速器测试过程的 分布在.附近计算得到平均 为.运行测试课题过程中的 集中在.之间计算得到平均 为.高于硬件仿真加速器平台 并且 验证平台总采样点数为 个高于硬件加速器的 个采样点数 换言之在 验证平台和硬件加速器上运行相同课题的指令数总量差别巨大 这其中一定存在软硬件行为差异从而导致课题测试结果的偏差因此通过本系统首先为 验证平台的性能课题测试不稳定现象找到了调试与排查的方向图 与硬件加速器 对比确定了调试方向与思路同样通过本系统对测试课题全过程中转移预测失败率、一级缓存访问次数及命中率、二级缓存访问次数及命中率、三级缓存访问次数及命中率等与测试课题相关的性能事件进行逐一统计这里不一一列举仅以二级缓存命中率为例结果如图 所示图 与硬件加速器二级缓存命中率结果对比 第 期褚捃博:面向国产处理器的 原型验证系统优化方法可以看出 验证平台和硬件加速器的测试结果虽然存在指令数量差异但在课题运行全过程中二级缓存命中率整体走势相同符合测试课题编写规律 直接表明在 验证平台的测试过程中存在一种自始至终均匀存在的软硬件行为导致 验证过程出现指令数量增加再次将查错与调试范围缩小经与设计人员讨论将下一步的查错调试方向放在了 验证平台与硬件加速器平台运行测试课题过程中的中断状态 处理器在正常执行程序的过程中可能会遇到异常事件发生这时处理器就要将当前的程序暂停下来去处理异常事件当异常事件处理完成之后再返回被异常打断的点继续执行程序 再次使用本文设计的调试系统对处理器核心中的中断请求次数进行统计记录 验证平台与硬件加速器在运行测试课题过程中的中断次数 如图 所示每个采样点代表在 万拍采样周期中发生的中断次数将图中所有采样点数加和为测试课题全过程的中断次数计算后得到 验证平台共计发生中断 次硬件加速器发生中断只有 次 运行相同课题在 验证平台和硬件加速器发生的中断次数差异巨大 这也再次将 验证平台的测试过程具象化将这次二级缓存延迟测试题测试结果不稳定的原因定位到了验证过程中出现的中断行为上图 与硬件加速器中断次数对比 最终通过调整校准操作系统的处理器频率、定时器中断阈值等配置将 验证平台与硬件加速器测试过程中的中断次数调整接近后复测得到图 数据 可以看到二级缓存访问延迟下降至拍并能够稳定测试符合测试预期与硬件加速器结果相近图 与硬件加速器复测数据对比.结果分析 与硬件仿真器前后测试结果比较如表 所示 验证平台的处理器二级缓存访问延迟从 拍浮动下降至 拍与硬件加速器结果相近符合处理器设计预期且多次测试结果稳定测试结果标准差从.下降到.实现测试课题的稳定运行表 与硬件仿真器前后测试结果比较测试平台二级缓存访问延迟节拍数第 次第 次第 次第 次第 次第 次第 次第 次第 次第 次标准差硬件仿真器.调试前.调试后.从测试时间角度分析相同的测试课题在硬件加速器测试时间约为 分钟而 验证平台仅用时 分钟提升了近 倍充分利用了 原型平台运行速度快的特点大大提高了测试效率 从 资源使用率角度分析事务统计模块中平均每个事务计数器使用约 个可配置逻 信 息 工 程 大 学 学 报 年辑块()资源事务存储模块使用约 个 资源、个 资源 与前端机通信模块使用约 个 资源、个 资源以极小的 资源代价实现系统功能 结束语本文测试场景源自工作中真实的 验证平台调试环境选用一道二级缓存访问延迟测试题测试结果不稳定的现象构建了新型事务级调试系统针对处理器核心中多个关键事务结果进行统计与分析逐步定位问题最终完成在 验证平台准确快速的二级缓存访问延迟课题测试本文构建的调试系统充分发挥了事务级调试的优势解决了 原型验证平台可观测性差查错困难的痛点并成功应用在实际工作中极大地方便了 原型验证平台的查错工作提高验证效率节约验证开销和成本 下一步工作将继续对系统进行优化编写通用事务收集模块增强普适性优化结构进一步节省 内部资源使用参考文献:郭阳李思昆屈婉霞.片上多核处理器验证:挑战、现状与展望.计算机辅助设计与图形学学报():.:/.().:././.:./.().:./?./.:./.:/.:./.:.:.:/.:./.:.:.(编辑:李志豪)第 期褚捃博:面向国产处理器的 原型验证系统优化方法