远程实验设备终端的硬件加速方案研究_蒋诚恒.pdf

电子设计工程Electronic Design Engineering第31卷Vol.31第15期No.152023年8月Aug.2023收稿日期：2022-03-30稿件编号：202203239基金项目：湖南省水利科技项目（XSKJ2019081-44）；湖南省重点研发计划项目（2018GK2054）作者简介：蒋诚恒（1996），男，土家族，湖南长沙人，硕士研究生。研究方向：信号检测与处理。远程实验设备终端视频图像处理主要有小型ARM系统1-3、大型计算机4和 FPGA+ARM5-7三种实现方案。小型 ARM 系统大多调用封装好的图像处理库进行处理，但其本身算力和资源限制，导致在对实验数据的处理提取有很大延迟；使用大型计算机可以对图像数据高速处理，但占地空间大、成本高；FPGA+ARM 具有体积小、成本低、速度快的优势。目前ARM+FPGA的视频图像处理方案利用FPGA硬件运算优势进行预处理，把实验图像识别放到搭载linux系统的ARM上。FPGA通过相应的图像处理IP核来实现图像的模块化处理，使用的图像处理 IP核是封装好的现成IP核，处理过程数据存在重复处理、运算周期长的问题，处理好的实验图像被移植到远程实验设备终端的硬件加速方案研究蒋诚恒1，2，唐立军1，2（1.长沙理工大学 物理与电子科学学院，湖南 长沙 410114；2.近地空间电磁环境监测与建模湖南省普通高校重点实验室，湖南 长沙 410114）摘要：传统远程实验中设备终端的视频图像处理速度直接关系到实验现象在远程操作平台上的延迟大小。文中基于减小远程实验平台设备终端延迟的目的，采用ARM+FPGA架构，设计流水线和并行阵列的方法以及帧间差分的方法来加速实验设备终端视频图像处理和实验特征信息的提取。在该实验室的远程实验操作平台基础上，结合迈克尔逊干涉仪进行远程实验，实验结果表明，应用文中方法使原有远程实验设备终端的总延迟缩短了97.17%。关键词：远程控制；zynq-7000；图像处理；硬件加速中图分类号：TN791文献标识码：A文章编号：1674-6236（2023）15-0135-05DOI：10.14022/j.issn1674-6236.2023.15.028Research on hardware acceleration scheme of remote experimentalequipment terminalJIANG Chengheng1，2，TANG Lijun1，2（1.School of Physics and Electronic Science，Changsha University of Science and Technology，Changsha410114，China；2.Key Laboratory of Nearground Space Electromagnetic Environment Monitoring forColleges and Universities in Hunan Province，Changsha 410114，China）Abstract:In traditional remote experiments，the video processing speed of the device terminal is directlyrelated to the delay of experimental phenomena on the remote operation platform.Based on the purpose ofreducing the terminal delay of the remote experimental platform，this paper adopts ARM+FPGA architecture，pipeline design，parallel array design and interframe difference method to accelerate the videoimage processing and experimental feature information extraction of the experimental device terminal.Based on the remote experiment platform of our laboratory，combined with the remote experiment ofMichelson interferometer，the experimental results show that the total delay of the original remoteexperiment equipment can be reduced by 97.17%by using the proposed method.Keywords:remote control；zynq-7000；image processing；hardware acceleration-135电子设计工程 2023年第15期Linux系统上的OPENCV库进行识别，最终实验图像结果并不能保证系统整体的实时性8。因此，文中以减少远程实验平台延迟为目标，探索 ARM+FPGA的远程实验设备终端视频图像处理方法，为提高远程实验操作平台的性能提供一定的支撑条件。1远程实验设备终端架构设计实验设备终端负责整个系统对实验现象的采集、处理传输等任务。该实验采用 ARM+FPGA 架构，该架构包含 PS 端和 PL 两部分，PS 端集成双核ARM处理器芯片，PL端由FPGA芯片组成，架构设计如图 1所示，包括图像数据采集、缓存、图像处理、网络传输四个部分。图1远程实验平台设备终端架构设计实验终端视频图像通过视频接口传输进入 PL端。图像数据流经过滤波、边缘检测、帧间差分IP核进行视频图像处理以及实验现象信息提取，得到的图像数据通过 AXI-stream IP核进行格式转换，并送入 VDMA IP 核，VDMA 利用其特有的帧缓存和缓冲机制，实现高效视频数据存取。PL和PS通过AXI片内协议进行通信，PS端控制PL端寄存器的配置以及DDR3、以太网模块等外设的控制，处理好的图像数据存入 DDR3进行存储，待准备好送入 PS端进行进一步的处理，最终将处理所得的实验现象信息通过以太网口进行发送，并与远程实验平台进行通信。2远程实验设备终端视频图像加速方案2.1滤噪加速方案考虑到远程实验平台实际使用场景，选取在实验室场景下滤噪效果好的中值滤波。文中选择 33的滤波窗，通过三个步骤来求得最终的中值9。中值滤波算法划分为两级流水线任务，其实现步骤如图 2 所示，第一级流水线的行列计数模块对滤波窗滑过的图像行列进行计数，此步的目的是判断滤波窗滑动是否到达图像边界，到达边界像素值因为没有邻域像素则需要独立进行处理10-11。图2中值滤波两级流水线设计第一级流水线的滤波窗口生成模块将图像数据分成三通道并行阵列方便后续进行并行处理，中值滤波算法将输入的三通道图形数据分别进行运算，文中采用的 33滤波窗口模块结构如图 3所示。可以采用同步 FIFO 或者 shift_ram 来完成对图像的遍历，在图中为硬件实现滤波窗口框图，该滤波窗口由两个FIFO（或是带抽头的shift_ram）和六个寄存器构成，图像数据在同步时钟驱动下，从 FIFO 输入端口串行输入，图像数据通过 FIFO 一次向下和向右通过，将图像数据分割成九个独立像素，从而转变为并行数据，以便通过中值滤波进行处理。图3滤波窗口生成模块第二级流水线是中值滤波部分，如图 4 所示。根据中值滤波原理，可以将处理过程分成三级子流水线。图4中值滤波模块结构第一级子流水线将滤波窗对应的 33图像 9个数据按行进行分组(L1,L2,L3)，对它们进行大小排序。第二级子流水线进行重新分组，将每组中最大-136值、中值、最小值分别筛选出来。第三级子流水线在三组数据中挑选最大值组中的最小值、中值组的中值、最小值组的最大值，将三个数据再做比较，最终将这三个值的中值作为 9 个数据的中值。将快速中值滤波算法进行原理分析，将算法计算任务划分为两级流水线，其中滤波窗体生成模块和中值滤波模块又细分为多级子流水线，同时有多个图像数据在重叠执行，子流水线将三通道数据进行并行处理，从而大大提高了图像数据处理速度。2.2边缘检测加速方案文中采用Sobel边缘检测算法进行边缘检测，为避免像素点其他方向幅值较高，但水平和垂直方向梯度幅值较低的情况出现，采用x、y、45、135方向算子进行梯度计算，如式（1）所示：Gx=(z7+2z8+z9)-(z1+2z2+z3)Gy=(z3+2z6+z9)-(z1+2z4+z7)G45=(z6+2z8+z9)-(z1+2z1+z4)G135=(z2+2z3+z6)-(z4+2z7+z8)（1）梯度幅值采用向量Gx,Gy,G45,G135T的一范数进行表示。根据 Sobel边缘检测算法的原理12，其硬件实现包括三个部分，如图5所示。图5边缘检测流水线设计根据边缘检测原理将处理任务分成三级流水线，将梯度计算的四个方向梯度分成四路并行阵列。图像输入与前文一样不做赘述。第一级流水线卷积运算通常使用触发器、加法器和乘法器方式或可编程乘法器的 altmult_add 模块方式进行实现，但这些方法基于乘法器的结构，存在图像处理过程复杂速度较慢和缺乏输入的连续性的问题。针对这些不足，该模板设计采用移位加法运算，第二级流水线将四个方向的梯度值进行合成，第三级流水线与阈值T进行比较筛选出边缘。图 6 所示为垂直方向的梯度计算子电路，该子电路将三行数据分成并行阵列垂直方向 Sobel算子模板和对应的像素灰度值做移位乘法，算子模板储存在寄存器中，与相对应的图像模板数据进行移位乘法运算，将每一行结果送入并行相加模块进行相加。图6卷积计算流水线设计第二级流水线将第一级流水线四路有符号梯度结果求一范数并进行相加，得出该像素点的梯度值。第三级流水线采用自适应的阈值方法13，以像素窗口中的中值作为该局部图像的阈值，实现阈值的自适应。将每个像素梯度值与其自适应阈值进行比较来判断是否为边缘。这种方式调用模块较少，可以简化设计，因为没有乘法器的使用，增加了运算效率和减少资源使用率，流水线设计和并行处理三通道可以让任务重叠执行，提高了边缘检测效率。2.3实验特征信息提取加速方案该设计以迈克尔逊干涉仪为场景，根据实验步骤，实验现象信息为干涉条纹“冒出”和“湮灭”数量和微动鼓轮读数。文中使用逻辑复杂度低、易于实现的帧间差分法对条纹状态信息进行提取14-15。当条纹发生位移时，每帧图像运动区域的像素点与上一帧相比，灰度值会发生变化，此时对两帧做差分，可以将运动部分像素分割出来，根据两帧图像差分的正负值便可以得出条纹位移方向。两帧图像差分得到的像素由摄像头与观察屏进行标定可得出每一帧相比上一帧的微位移dx1，将每帧的dx进行累加，那么一段时间内的条纹运动距离为X=k=1dxk，当变化的像素对应的位移距离大于阈值 T 时，则判定“冒出”或“湮灭”条纹，记作一次标志位，如图 7所示。实现过程如图 8所示，将图像数据分为两路，前一帧做一次缓存处理，在当前帧到来时，将两帧图像进行差分，将所得的差分结果放入累加器，累加器累加得位移结果，将位移结果通过 AXI总线与 PS端进行通信，存入 DDR中，PS端访问 DDR对结果进蒋诚恒，等远程实验设备终端的硬件加速方案研究-137电子设计工程 2023年第15期行最终的阈值判断，最终发送到以太网模块与服务器通信。图8实验数据提取3测试与分析文中对加速方案的测试分为两种，一种是实验结果准确性测试，将线下实验数据与远程实验操作实验数据进行对比；另一种是对加速环节延迟性进行测试，将原有远程终端视频处理方案和传统方案的延迟进行对比。原有平台为树莓派 3b+，拥有 1.4 GHz处理器，双频 2.4 GHz；传统 FPGA 硬件实现采用 zynq-7000，100 MHz 工作频率；实验均使用迈克尔逊干涉仪实验进行测试。该实验为测量 He-Ne激光的波长，需要转动微调鼓轮并记录刻度读数，在观察屏上观察干涉条纹的“冒出”和“湮灭”，记录干涉条纹“冒出”和“湮灭”的次数，最终使用逐差法计算波长的平均值16。每当“冒出”或“湮灭”条纹时，新条纹会取代旧条纹的位置，因此“冒出“或“湮灭”条纹的标志是位移距离等于条纹间距。迈克尔逊干涉条纹半径可表示为：R=L4d2k22-1 2Lkd,k=1,2,（2）根据条纹半径公式可以求出指定条纹的间距，经过标定，可以根据条纹间距设定阈值 T，当位移距离大于阈值T时，可以判断条纹状态变化，进行一次标记。根据收到的条纹“冒出”和“湮灭”信息k和M1镜移动d，可以求出He-Ne激光波长为：=2dk（3）准确率结果通过对比线下实验操作和远程实验操作得到，远程实验平台实验可得条纹数k（X1-X10表示每变化 50个条纹进行一次计数）与对应的M1镜位置d如表1所示。图7条纹边缘帧间差分过程表1实验数据表kd/mmX10.003 19X20.003 12X30.003 23X40.003 22X50.003 21X60.003 20X70.003 23X80.003 24X90.003 17X100.003 26经过逐差法得出M1镜平均位置变化：d=X1+X2+X1010（4）He-Ne激光波长为=2dk=642 nm，误差相比He-Ne激光波长632.8 nm长1.5%，在允许范围内，能够达到实验结果误差要求。延迟性测试针对硬件加速模块进行测试，结果如图9所示。图9测试结果加速后的延迟与原平台、传统硬件实现方案延迟如表2所示。表2三种实现方案对比延迟环节中值滤波延迟/ms边缘检测延迟/ms条纹变化延迟/ms总延迟/ms原有平台方案440.857563.2521 210.2752 548.474传统方案5.94914.832文中方案2.4584.91660.74072.352根据三种方案对比中值滤波和边缘检测两项延迟表现，可以发现，原有平台和传统硬件实现方案在中值滤波环节延迟分别是文中方案的 180 倍和 2.4倍；原有平台和传统方案在边缘检测环节延迟分别是文中方案的114倍和3倍；最终远程视频图像处理总延迟相较于原有平台方案缩短了97.17%。4结论采用 ARM+FPGA 作为远程实验设备终端视频图像处理架构，设计流水线、并行阵列以及帧间差分的方法实现了图像处理以及实验特征信息提取的加-138速，有效解决了远程实验过程中图像处理效率低、实验特征信息提取速度慢的问题，有效缩短了远程实验平台的延迟。在该实验室的远程实验操作平台应用结果表明，应用文中方法使原有平台的总延迟缩短了97.17%，提升了远程实验平台的性能。参考文献：1 谌建飞,邓敏,唐俊龙,等.实时大规模远程实验通信方案研究J.计算机工程与应用,2018,54(19):94-100.2 吴凯,张琳.远程实验平台软件设计J.工业控制计算机,2019,32(3):24-25.3 郭东亮.一种基于网络的远程电路实验教学系统设计J.闽南师范大学学报(自然科学版),2020,33(1):107-113.4 李睿佳,丁睿曦,丁子原,等.基于TCP/IP技术的远程教学实验平台系统设计J.计算机与网络,2021,47(20):33-34.5 陈靖宇.基于FPGA的远程实验平台设计与实现D.广州：广东工业大学,2021.6 宋孟华,曹金龙,鲍成伟,等.基于ARM和FPGA的远程实验系统研究J.机械与电子,2019,37(6):19-21,27.7 陈靖宇.基于FPGA的远程实验平台设计与实现D.广州：广东工业大学,2021.8 刘应盼.基于ZYNQ的图像采集处理系统设计与实现D.西安：西安电子科技大学,2019.9 周林鑫,余飞鸿.图像降噪算法的FPGA实现方法J.电子测量技术,2020,43(24):135-140.10孙少伟,杨粤涛,杨炳伟,等.基于FPGA的红外图像中值滤波算法研究与实现J.电视技术,2020,44(9):50-53,57.11王正家,吕召锐,刘文超,等.基于FPGA的时序优化中值滤波算法研究J.电子器件,2020,43(6):1374-1378.12Liu T,Li X.Design of English video learning platf-orm based on FPGA system and sobel algorithmJ.Microprocessors and Microsystems,2021(83):1-6.13宁帮祥.基于FPGA的图像边缘检测系统设计D.太原：中北大学,2021.14逯宏超.基于ZYNQ的视频关键帧提取系统设计D.太原：中北大学,2019.15李鹏.基于FPGA的运动目标检测算法实现D.西安：西安电子科技大学,2020.16李忠明,唐延甫,李俊霖,等.迈克尔逊干涉条纹位移信息提取研究J.电子测量技术,2021,44(5):51-54.（上接第134页）中文在线课程评论方面情感分析J.计算机科学,2021,48(S1):264-269.3 陈晋音,方航,林翔,等.基于在线学习行为分析的个性化学习推荐J.计算机科学,2018,45(S2):422-426,452.4 薛淑敏,张雪亚.基于云计算的网络教学平台设计研究J.微型电脑应用,2018,34(9):7-9.5 卢伟.基于分布式微服务化架构的大规模在线课程学习平台的设计与实现D.南京:东南大学,2019.6 臧洁,宋丽丽,康鹏,等.基于在线平台的云端智慧参与式互动教学模式研究与实践J.辽宁大学学报(自然科学版),2021,48(2):187-192.7 史亚庆.基于B/S架构的网络学习平台研究与实现D.西安:西安理工大学,2018.8 罗飞.基于云计算和IRS的在线课程推荐算法研究J.信息技术,2019,43(6):35-38,43.9 苏超,王国中.基于改进OpenPose的学生行为识别研究J.计算机应用研究,2021,38(10):3183-3188.10孙道林.基于并行H-mine算法的学生行为分析D.南京:南京邮电大学,2020.11陈乾国.一种干部在线作弊学习行为分析与预测策略J.计算机工程,2017,43(9):17-22,28.12孙如卿,刘丹.基于大五人格的在线学习行为与人格特质识别研究J.软件,2020,41(12):224-229.13任占广,尚福华.基于行为分析的在线课程成绩预测模型J.计算机技术与发展,2019,29(11):139-143.14李松江,苏瑀,黄春雨,等.基于成绩变化趋势的多任务成绩预测模型J.长春理工大学学报(自然科学版)，2019,42(5):122-127.15蔺小清.大数据时代K-means聚类算法应用于在线学习行为研究J.电子设计工程,2021,29(18):181-184,193.16张恩,李会敏,常键.可验证的隐私保护k-means聚类方案J.计算机应用,2021,41(2):413-421.蒋诚恒，等远程实验设备终端的硬件加速方案研究-139