基于时间递归神经网络的轨道车辆自检系统设计_李宁宁.pdf

收稿日期:2023 04 21基金项目:陕西省教育科学“十三五”规划 2020 年度课题(SGH20Y1631);西安交通工程学院中青年基金项目(2022KY 35)第一作者:李宁宁(1987)，女，甘肃庆阳人，本科，讲师，研究方向为轨道车辆结构修造。基于时间递归神经网络的轨道车辆自检系统设计李宁宁1，师玲萍2(1 西安交通工程学院 机电学院，陕西 西安 710300;2 西安铁路职业技术学院 机电学院，陕西 西安 710026)摘要:针对轨道车辆内部复杂的信号和多样化的故障类型，为提高故障自检的快速性和有效性，设计了一种基于时间递归神经网络的轨道车辆自检系统，此系统中包含了基于 FPGA 的神经网络加速器、信号处理芯片、通信模块和传感器。加速器是利用时间递归神经网络 LSTM 作为自检系统内部智能化神经网络模型，采用剪枝、量化和编码等方式对模型进行了轻量化压缩，最后设计相应的加速器部署在自检系统中，同时完成了 LSTM 网络轻量化压缩实验和神经网络加速器实验。实验结果表明，自检系统的神经网络压缩算法的设计虽然使模型准确率下降了 12 1%，但是压缩率可达 7 1%;加速器部分在 FPGA 部署时仅占用了 1 28%的硬件存储资源，性能则可以达到 200MHz，吞吐率为 19 39 GOPS。关键词:轨道车辆;故障检测;神经网络;LSTM;模型压缩;硬件加速;FPGA中图分类号:TP311 52文章编号:1000 0682(2023)04 0058 06文献标识码:ADOI:10 19950/j cnki cn61 1121/th 2023 04 011Design of rail vehicle self test system based on time recursive neural networkLI Ningning1，SHI Lingping2(1 School of Mechanical Electrical Engineering，Xian Traffic Engineering Institute，Shaanxi Xian 710300，China;2 School of Mechanical and Electrical Engineering，Xian ailway Vocational Technical Institute，Shaanxi Xian 710026，China)Abstract:In order to improve the rapidity and effectiveness of fault self detection，a rail vehicleself detection system based on time recursive neural network is designed，which includes neural networkaccelerator，signal processing chip，communication module and sensor based on FPGA The acceleratoruses the time recursive neural network LSTM as the internal intelligent neural network model of the self checking system The model is lightweight compressed by means of pruning，quantization and coding Fi-nally，the corresponding acceleration circuit is designed and deployed on the accelerator，and the LSTMnetwork lightweight compression experiment and neural network accelerator experiment are completed Theexperimental results show that although the design of the neural network compression algorithm reducesthe model accuracy by 12 1%，the compression rate can reach 7 1%In FPGA deployment，the accel-erator occupies only 1 28%of the hardware storage resources，and the performance can reach 200 MHzwith a throughput of 19 39 GOPSKeywords:rail vehicle;fault monitoring;neural network;long short term memory;model compres-sion;hardware acceleration;field programmable gate array0引言轨道交通是我国城镇化交通运输体系的重要组成部分，是一种客运量大、安全可靠性高、运输模式环保的陆地公共交通工具，随着其数量的不断增长85工业仪表与自动化装置2023 年第 4 期和运行速度不断增加，车辆的安全性和可靠性面临着更加严峻的考验1，所以在轨道车辆管理系统中通常会集成相应的自检系统2 3。轨道车辆自检系统需要对车辆运行状态进行实时监测、对异常情况进行及时诊断、对运行参数的运行轨迹进行及时预测。自检系统内部的主要技术包括:传感器技术、信号处理技术、嵌入式通信技术、人工智能数据分析技术等。面对轨道车辆内部复杂的信号和多样化的故障类型，需要设计更加智能高效的车辆自检系统。近年来，越来越多的系统故障研究引入了深度学习神经网络技术4 5，深度学习是当前国内外的热门研究方向之一，已经在计算机视觉6、大数据分析7 等领域有着成熟的应用经验。随着深度学习技术的不断迭代，神经网络结构变得越来越复杂、处理的数据量越来越庞大，很难部署于硬件资源较少的轨道交通车辆等嵌入式硬件平台上，所以需要进行轻量化算法改进。轻量化算法主要是神经网络压缩算法，例如可以实现网络结构精简的剪枝算法8、数据从浮点数向定点数量化的量化算法9。实现网络轻量化之后，还需要在具体硬件平台上实现算法加速，嵌入式多采用 CPU+FPGA 的模式实现神经网络算法的硬件部署:FPGA(Field Program-mable Gate Array，现场可编程逻辑阵列)的可编程性、低功耗和高吞吐率能有效的实现神经网络的算法加速，而嵌入式 CPU(Central Processing Unit，中央处理器)用于实现逻辑控制功能，实现整体嵌入式系统的高效协同工作。综合以上需求，该文设计了一套基于时间递归神经网络的轨道车辆自检系统。这套系统上集成了时间递归神经网络 LSTM，时间递归神经网络是深度学习中，可以智能化处理轨道车辆的运行状态数据的神经网络;此外针对时间递归神经网络难以部署在轨道车辆的嵌入式平台的问题，文中对时间递归神经网络进行了剪枝和量化压缩，最终将压缩后的 LSTM 神经网络在 FPGA 完成了加速部署。1自检系统硬件设计该文所设计的车辆自检系统硬件设计如图 1 所示，硬件部分主要包括自检系统前端嵌入式系统和后端智能分析系统两部分。前端嵌入式系统中包括:ADC(Analog to Digital Converte，模数转换器)芯片、DSP(Digital Signal Processing，数字信号处理)芯片、基于 FPGA 的神经网络加速器、SPI(Serial Pe-ripheral Interface，串行外设接口)通信模块、串口通信模块、存储 SD 卡和蓝牙通信模块。后端智能分析系统包括:蓝牙通信模块和智能诊断分析系统。图 1自检系统硬件设计图车辆故障自检系统硬件设计的具体工作流程:(1)通过传感器收集轨道车辆在运行时的相关数据，如高压供电电路的温度、电压和电流数据，轨道车辆振动数据;(2)将这些数据经过内部转换和处理单元进行处理，例如需要完成模拟信号到数字信号转换和分析处理、通过谐振器采集车辆振动环境和滤波处理;(3)将数据送入带有人工智能神经网络算法的智能诊断系统，系统将最终结果输出并反馈。前端嵌入式系统作用除了采集和处理轨道车辆的内嵌的电压电流传感器、振动传感器的数据，最重要的是其内部集成了可以智能化处理和预测车辆运952023 年第 4 期工业仪表与自动化装置行状态数据的基于 FPGA 的神经网络加速器，用于智能化处理轨道车辆运行中与时间相关运行状态数据，加速器中集成了可实现已完成剪枝和量化压缩的轻量化压缩的时间递归神经网络 LSTM 加速器电路。2基于 FPGA 的神经网络加速器2 1加速核设计在轨道车辆自检系统的嵌入式系统中，基于FPGA 的神经网络加速器中包含了最重要的 LSTM加速器，其架构如图 2 所示。自检系统加速架构主要结构包含片外存储、缓存单元、控制单元和神经网络加速单元。存储部分包括输入输出缓存、权重缓存和外部存储，外部存储一般为动态存储器，用于存放网络运算需要用到的所有数据;加速计算部分包括完成向量计算的 MAC(Multiplier Accumulator，乘累加器)和完成 LSTM 网络基本运算的 PE(Pro-cessing Engine，处理单元);控制器则是用于控制整个网络加速器的数据搬运、逻辑运算等工作。加速器的整体工作过程如下:首先，控制器控制数据从外部存储向内部缓存进行搬运，并且向运算单元发送运算信号;然后开始进行运算，并且向控制器发送搬运输出数据的信号;最后，控制器根据所需要完成的任务量来控制系统运行。图 2加速器架构示意图2 2基于 LSTM 加速单元算法设计轨道交通车辆的运行状态数据通常是跟随时间而动态变化的，在深度学习技术中，处理和预测这种类型数据通常采用循环递归神经网络，而与此同时，要将这种网络应用在嵌入式设备中通常还需要进行轻量化压缩。2 2 1LSTM 网络模型LSTM(Long Short Term Memory，长短时记忆)网络是有记忆功能的时间递归神经网络的一种，可以处理按时间顺序排列的数据10。LSTM 网络的基本结构如图 3 所示，结构中主要通过函数构成的“门”来实现数据的遗忘和存储，运算过程主要包含遗忘门运算、输入门运算、Cell 状态更新和输出门运算。图 3LSTM 网络的基本结构图在 LSTM 网络的基本结构中，基本输入输出包括:当前时刻输入 x(t)、上一时刻的输出 h(t 1)和c(t 1)、当前时刻的输出 h(t)和 c(t)。基本结构内的门函数包括:遗忘门函数 i(t)、输入门中的输入函数 j(t)和记忆存储函数 k(t)、输出门中输出函数o(t)，各个门函数之间有着对应的权重矩阵为 W。此外基本结构中还包括了两种激活函数分别为 sig-moid 和 tanh。基本结构按照以下步骤完成运算:(1)遗忘门运算通过当前输入 x(t)和上一刻输出 h(t 1)来确定需要遗忘门函数的 i(t)的值，其中通过 sig 函数控制遗忘程度，具体公式如下:i(t)=sig(Wxix(t)+Whih(t 1)+bi)(1)(2)输入门函数运算需要确定输入函数 j(t)和记忆存储函数 k(t)的值，以便更好地更新结构的状态，其运算函数如式(2)和式(3)所示:j(t)=sig(Wxjx(t)+Whjh(t 1)+bj)(2)k(t)=tanh(Wxkx(t)+Whkh(t 1)+bk)(3)(3)Cell 状态更新则是通过将上一时刻状态c(t 1)与遗忘门函数 i(t)和输入函数 j(t)进一步计算得到当前时刻状态 c(t)，具体公式如式(4)所示:c(t)=i(t)c(t 1)+j(t)k(t)(4)(4)输出门函数运算，除了需要此时刻的输入x(t)和上一时刻的输出 h(t 1)进行运算，同时加入激活函数进行进一步过滤，具体过程如式(5)和式(6)所示:o(t)=sig(Wxox(t)+Whoh(t 1)+bo)(5)06工业仪表与自动化装置2023 年第 4 期h(t)=o(t)tanh(c(t)(6)2 2 2模型剪枝与量化该文所采用的神经网络模型轻量化压缩算法为结构剪枝和数据量化。结构剪枝是通过裁剪网络结构或数据来达到网络轻量化的目的，而数据量化则是将网络在计算机中的复杂浮点型数据通过网络训练量化成低位宽的定点数。模型剪枝算法主要是采用结构化、颗粒平衡剪枝算法量化，这种剪枝方法是一种结构化、硬件友好的剪枝方法11。具体剪枝过程如图 4 所示，通过将权重矩阵按行进行粒度划分，然后分别根据各行所占比重，完成相应行阈值设置，最后将一行低于阈值的数据置 0 裁剪，由于是按照行的顺序进行稀疏化、结构化剪枝，因此剪枝完后的各行非零权重个数相等。图 4行颗粒平衡剪枝示意图网络计算时对权重和输入输出数据的处理方法主要采取的是定点数量化方法12 与稀疏矩阵编码13 相结合的方式。定点数量化可以实现数据低位宽量化，主要是在网络训练时，分别对数据采用式(7)和式(8)完成量化:m=clib(i)0，i 0i，0 i 11，i 1(7)o=12k 1round(2k 1)m)(8)式中，输入数据 i 经过截断函数 clib(i)输出为m，在经过小数位四舍五入函数 round(x)和与想要量化位宽数 k 进行一系列运算得出输出 o。稀疏矩阵编码是基于颗粒平衡剪枝算法而设计的编码方式，编码后的数据会存储非 0 数据位置和数值，具体形式如图 5 所示。图 5稀疏矩阵编码图根据以上压缩算法可以完成自检模块内嵌LSTM 网络的轻量化压缩，具体的网络训练、压缩流程如图 6 所示。LSTM 网络的轻量化压缩分为以下步骤:(1)原始网络训练。利用轨道交通车辆运行动态数据集进行网络模型初步搭建和训练。(2)行颗粒平衡剪枝。需要设置一定的剪枝率，然后反复调整、重训练和检查剪枝目标的过程。最终实现最大程度剪枝且网络适配度最好。(3)参数定点数量化。先对参数按照量化公式进行量化，由于量化是有损的，所以需要进行精度损失补偿训练。(4)稀疏矩阵编码。编码过程是无损的，所以无需进行再训练。完成对 LSTM 网络轻量化压缩后，就可以将其部署在嵌入式硬件平台上。图 6LSTM 网络轻量化压缩算法流程图2 3加速单元电路设计计算单元 MAC 和 PE 的结构如图 7 所示，MAC是完成向量运算，内部包含了低位宽的加法器和乘法器，主要完成矩阵向量的乘法计算;PE 是完成激活运算，需要完成 LSTM 网络基本结构运算，除了乘法器和加法器，还有需要用来激活的 sig 和 tan 算子电路。加速器中的控制器通过合理的控制，完成运算电路的分时复用，最大程度地减少硬件资源，此外外部存储与缓存构成多级存储，实现加速器并行不间断的工作机制，从而大幅提升了运算效率。162023 年第 4 期工业仪表与自动化装置图 7LSTM 加速单元结构示意图3实验结果与分析该文实验部分主要完成了 LSTM 网络轻量化压缩实验和神经网络加速器实验。LSTM 网络轻量化压缩实验的实验环境为:网络训练硬件平台 GPU、软件集成开发环境 PyCharm、编程开发语言 Python、深度学习开发框架 PyTorch 等。LSTM 网络轻量化压缩实验的结果如表 1 所示。在实验过程中主要统计轻量化压缩对模型准确率和参数压缩率的影响，从表中的数据可以看出，自检系统内嵌的 LSTM 网络经过剪枝、量化和编码之后，模型准率虽然下降了 12 1%，但是压缩率却达到了 7 1%。压缩后的模型满足了轻量化的标准，同时准确率也满足了应用的需求。表 1轻量化压缩各阶段数据原模型剪枝量化编码准确率/%83 573 371 471 4压缩率/%100407 17 1该自检系统神经网络加速器的实验环境为:Xillinx 公司 FPGA 开发板、VCS+Verdi 功能仿真工具、Vivado 硬件开发环境、Verilog 硬件描述语言等。神经网络加速器实验结果如表 2 所示，主要统计模型在压缩前和压缩后，部署在 FPGA 上所使用的硬件资源，在 FPGA 上最重要的三类资源分别为BAM(Block andom Access Memory，块存储器)、LUT(Look Up Table，查找表)和 DSP(Digital SignalProcessor，数字信号处理)，可以明显地看出，轻量化压缩能够有效节省 FPGA 部署的硬件资源，例如压缩后模型存储资源 BAM 的利用率仅为 1 28%，相较于未压缩模型使用的存储资源更少。此外，在实验中还计算了该文轻量化网络 FPGA 加速器的性能参数，并与近几年同类的研究成果进行了比较，结果如表 3 所示。该文在加速器端设置的时钟频率为200 MHz，最终计算的吞吐率为 19 39GOPS(GigaOperations Per Second，每秒计算 10 亿次)，效率为0 097，相较于同类文献，该文的加速效果表现较好。表 2FPGA 资源使用情况表阶段BAMLUTDSP压缩前18 12%10 66%4 11%压缩后1 28%6 01%2 33%表 3同类研究成果的性能比较加速器工作性能/MHz吞吐率/GOPS效率/(GOPS/MHz)该文20019 390 097文献 141006 440 064文献 151420 450 003文献 161507 260 0484结束语该文以轨道车辆内部需要增加自检系统的需求出发，设计了一种轻量化、智能化的车辆自检系统。26工业仪表与自动化装置2023 年第 4 期该文的主要工作有:(1)完成自检系统网络轻量化压缩后，设计了可以对车辆运行状态数据进行收集、处理和通信的故障自检系统硬件系统，讨论了自检系统网络加速器的架构，并完成了加速器在 FPGA上完成部署的实验，实验结果显示，相比于近年来的相关研究，该文有着较为理想的加速性能;(2)根据轨道交通车辆运行状态数据通常是跟随时间而动态变化的特征，将具有记忆功能的时间递归神经网络LSTM 作为自检系统内嵌网络模型，并且对网络模型完成了剪枝、量化和编码的轻量化压缩算法设计和实验。轻量化压缩实验结果表明，虽然压缩后模型的准确率有所下降，但是压缩率较为理想，在硬件部署时仅占用了 1 28%的硬件存储资源，可以满足车辆轨道自检系统的嵌入式需求。参考文献:1 谭常清 轨道车辆走行部故障监测系统可靠性分析与优化建议J 电力机车与城轨车辆，2022，45(5):104 107 2 李宏菱 城市轨道交通车辆网络节点重要性分配优化算法研究 J 电子设计工程，2022，30(9):57 61 3 刘海斌 基于云平台的城市轨道交通综合监控系统设计与实现J 微型电脑应用，2022，38(10):194 197 4 李思雨，王沁蓉，黄少罗，等 基于深度学习的某型远火武器系统故障诊断方法研究J 火炮发射与控制学报，2022，43(5):72 76+83 5 邓刚，叶伟，程磊，等 基于深度学习的站用交直流电源系统故障诊断方法J 电子设计工程，2022，30(20):189 193 6 潘超，王雪涵，高俊平，等 基于深度学习的计算机视觉技术在交通场景中的应用 J 长春工业大学学报，2022，43(3):251 257 7 ZHANG Q C，YANG L T，CHEN Z K，et al A survey ondeep learning for big dataJ Information Fusion，2018，42(7):146 157 8 张佳钰，寇金桥，刘宁钟 基于滤波器分布拟合的神经网络剪枝算法 J 计算机技术与发展，2022，32(12):136 141 9 王骞，陶青川 基于 AI 神经网络加速芯片的模型量化算法 J 现代计算机，2021，27(36):28 33 10 王夏霖，阚秀，范艺璇 基于 LSTM Attention 的 P300事件相关电位识别分类研究 J 电子科技，2022，35(12):10 16 11 李屹，魏建国，刘贯伟 模型剪枝算法综述J 计算机与现代化，2022(9):51 59 12 于涵 深度学习通用加速方案的设计与研究 D 长春:吉林大学，2019:34 54 13 王晞阳，陈继林，李猛，等 FPGA 架构上面向稀疏矩阵求解的静态调度算法J 计算机工程，2022，48(7):199 205+213 14 张奕玮 基于 FPGA 的高能效比 LSTM 预测算法加速器的设计与实现D 合肥:中国科学技术大学，2018:12 37 15 顾俊杰，白雪丽 基于 FPGA 的多通道可调增益数据采集系统设计J 电子设计工程，2022，30(19):44 48 16 GUAN Y，YUAN Z，SUN G，et al FPGA based accel-erator for long short term memory recurrent neural net-works C Chiba:The 22nd Asia and South Pacific De-sign Automation Conference(ASP DAC)，IEEE，2017:629 634 17 CHANG A X M，CULUCIELLO E Hardware accelera-tors for recurrent neural networks on FPGAC Balti-more:IEEE International Symposium on Circuits andSystems(ISCAS)，IEEE，2017:1 4欢迎投稿!欢迎订阅!欢迎刊登广告!国内邮发代号:52 49国际发行代号:BM529定价:18 00 元/期108 00 元/年地址:西安市高新区沣惠南路 8 号邮编:710075电话:[phone]网址:http:/yb zdh shaangu group com电子邮箱:gyybbjb126 com362023 年第 4 期工业仪表与自动化装置