基于YOLOv5的铁路远距离异物识别报警装置.pdf

设备管理与维修2023 翼11（上）部件名称配置型号处理器AMD Ryzen 5 2600 六核内存16 GB（威刚 DDR4 2666 MHz 8 GB伊2）显卡NVIDIA GeForce RTX 2060主板华硕 PRIME B450M-A（LPC Controller B450 芯片组）硬盘西数 WD5000AZLX-00K4KA0表 1权重训练计算机配置0引言铁路作为国家经济发展的大动脉，已经成为交通运输不可或缺的一部分。在铁路运行时，常发生接触网悬挂异物、异物侵限，甚至地陷等安全隐患。如果可以实现远距离对侵限异物快速、准确、高效的检测，就可以有效减少碰撞异物问题，降低损失。目前，对侵限异物的检测主要分为接触式和非接触式两类1。徐伟等2提出的高铁接触网异物自动化智能检测方法，通过训练接触网安全巡检装置（2C），采集图像数据，并由 Softmasx 进行目标分类，实现异物识别。刘力3提出的基于 YOLOv4 的铁道侵限障碍物检测方法，研究通过改进 YOLOv4，提高检测精度及速度。于晨4提出的基于深度学习的机场跑道异物检测与识别技术研究，通过融合 FOD 图像检测算法与多属性识别算法，实现对FOD目标的准确检测，再通过对抗生成网络对样本进行识别分类。上述研究实现了异物检测功能，但由于摄像头铺设线路费用高、维修困难、面对突发情况来不及通知司机等问题，使在列车运行中的诸多突发情况仍需要依靠司机进行判断并采取措施。如果可以实现在列车运行中实时远距离检测异物，就可以为司机留有足够的判断时间，及时采取停车或者降弓通过等措施规避异物，避免长时间停留而引发大规模晚点的事故发生。AlexNet 网络5在 ImageNet 大赛中一举夺冠后，深度卷积神经网络取得高速发展，如工程病害检测等任务6。主流检测网络分为单阶段检测以及以 YOLO 为代表的双阶段检测7。YOLOv5以其简洁的网络结构、简单的环境配置、较快的检测速度以及较好的识别精度被本次研究所采用。本文将显示模块、识别模块、语音报警模块、视频传输模块、定位模块相结合，构建了铁路远距离异物识别报警装置，可以实现列车在运行中远距离图像实时传输并识别异物。构建铁路异物数据集并进行训练，部署YOLOv5 深度学习算法，实现常见异物的检测识别。针对路外人员配合背景优化和离线增广，探究了背景及数据扩容对目标检测的影响，从而实现了高精度、高鲁棒性的目标检测。1硬件搭建YOLOv5 权重训练使用的计算机配置如表 1 所示。语音报警模块选用 Risym 的 MP3 语音播放模块，定位模块选用亚博智能的 GPS 北斗双模定位模块，图像传输模块选用海康威视 DS-2DC4423IW-D 型，显示模块选用 7义高清触摸屏，检测模块选用 Jetson Nano，具体硬件设计如图 1 所示。在接通电源后，通过双摄像头模块进行远、近图像传输，通过 RTSP 推流将视频送入边缘计算设备进行预测。由于存在误判的可能，增设一个阈值，在预测概率大于阈值时进行报警。在报警信号发出后，为方便观察异物，添加延时程序。由定位模块进行设备定位，基于 YOLOv5 的铁路远距离异物识别报警装置袁航1，2，胡伟1，赵龙2，琚中超2，卜旭辉1（1.河南理工大学，河南焦作454003；2.郑州铁路局郑州机务段，河南郑州450053）摘要：为减少异物造成的影响及损失，设计一种基于卷积神经网络的铁路异物识别与报警装置，放置在列车前段。将 YOLOv5 深度学习算法部署至嵌入式设备中，并搭配显示模块、语音报警模块、视频传输模块、定位模块，构建铁路异物数据集并训练权重文件。研究结果表明，在常见异物数据集中 mAP0.5 值为 0.638。针对路外人员仅进行背景优化和结合离线增广，AP0.5 值由 0.851 升至0.937，并取得了良好的鲁棒性。关键词：侵限异物；目标检测；YOLOv5 算法；远距离图像传输；报警中图分类号：U265文献标识码：BDOI：10.16621/ki.issn1001-0599.2023.11.592004，34（4）：463-476.6文桂林，刘杰，陈梓杰，等.非线性连续体拓扑优化方法综述 J.力学学报，2022，54（10）：2659-2675.7郭中泽，张卫红，陈裕泽.结构拓扑优化设计综述 J.机械设计，2007，24（8）：1-6.8陈泽，张剑敏，吴斌兴.基于拓扑优化的混凝土泵车一臂轻量化设计 J.中国工程机械学报，2019，17（3）：238-242.9姜淑凤，贾瑞超，王俊峰，等.双柱立式车床横梁结构轻量化设计研究 J.现代制造工程，2022（4）：143-148.10万一品，汪子睿，贾洁，等.装载机动臂结构力学分析与拓扑优化设计 J.机械设计，2021，38（12）：25-30.11魏春梅，杨畅，严学涛.重载汽车传动轴的拓扑优化与轻量化设计 J.机械设计与制造，2020（11）：289-292.12翟旭强.消力池水下巡检机器人结构设计与研究 D.绵阳：西南科技大学，2020.13严高超，沈孝芹，于复生，等.基于 ANSYS Workbench 对水下机器人框架结构优化设计 J.制造业自动化，2020，42（10）：1-3.编辑吴建卿骳髊髜设备管理与维修2023 翼11（上）图 1硬件设计实现位置信息识别并判定，通过与预设的位置区间相比较，控制远距离传输摄像头云台旋转至预设位置。2部署 YOLOv5 并构建铁路异物数据集2.1YOLOv5_6.1 网络结构YOLOv5_6.1 网络结构主要由输入端、Backbone（骨干）网络、Neck 网络、Head 网络构成（图 2）。2.1.1输入端在网络训练中，每个模型文件会设定有预设框。在YOLOv5 中，将自适应锚框计算融入到代码中，每次训练时都会在初始锚框的基础上与真实框进行比较，反向迭代网络参数，用来计算数据集中最佳锚框值。2.1.2Backbone 骨干网络YOLOv5_6.1 骨干网络采用 New CSP-Darknet53。New CSP-Darknet53 相较于 YOLOv4 的骨干网络，将网络原本第一层的FOCUS 模块替换为一个 6伊6 的卷积层，两者在理论及实际准确率相同，但随着 GPU 的普及，6伊6 的卷积层更加高效。同时将SPP结构替换为 SPPF（图 3）。2.1.3Neck 网络和 Head 网络Neck 网络位于 Head 网络与骨干网络之间，主要用来特征融合以在不同尺度下都可以获取丰富的语义信息，在 YOLOv5 中采用 FPN+PAN 结构。通过 FPN（Feature Pyramid Network，特征图金字塔网络）可以融合高分辨率的浅层结构和具有丰富语义的深层结构；而 PAN 自底向上传达强定位特征，两者结合对不同分辨率大小的检测层进行融合，方便实现各个尺寸的目标检测。2.2铁路异物数据集2.2.1铁路异物数据集类别构成在设计铁路异物数据集时，通过大量事故案例以及咨询业内相关人士，构建出铁路异物数据集类别及属性（表 2）。2.2.2铁路异物数据集统计铁路异物数据集的标组工作采用 Labelimg 软件进行。在标注完成后对标注图片进行筛查、修改等，确保标注图片准确可靠。铁路异物数据集包括 9 类异物，共计2000 张图片，选取各类型图片文件夹前70%作为训练集、后 30%作为验证集。2.2.3权重训练选用 yolov5s.pt 作为预训练权重，修改类别以及分类个数，epochs 设定300 轮，batch_size 为 4，输入图像分辨率为 640伊640，训练权重 PR 曲线及各类 AP（Average Precision）值如图 4 所示。选取数据量较大的路外人员为例，选用路外人员数据集 500 张，采用PS、图 2YOLOv5_6.1 网络结构图 3SPP、SPPF 网络结构类别危险等级出现频率数据集占比/%地陷高低2.5落石高较低8.2路外人员高较高25.0缠绕防尘网高较低8.5无人机低较高7.8风筝低较高12.9树枝高较高10.1高速列车-15.0普速列车-10.0表 2铁路异物数据集类别及属性骳髊髝设备管理与维修2023 翼11（上）图 4铁路异物权重 PR 曲线及 AP 值PPT 分别进行更换背景，并通过高斯模糊、锐化、对比度等方法模拟不同天气、不同时间段的图像情况。每张图片进行离线增广后为扩大5 倍，结合原图共计 3000 张，其中训练集 2400 张、测试集 600张，增强效果如图 5 所示。在模拟真实背景的情况下，初始训练集、统一背景、统一背景且离线增广权重的 AP0.5、AP0.50.95 如表 3 所示。2.2.4鲁棒性测试为验证权重的鲁棒性，构建图片包含大、中、小三种目标并进行检测（图 6），分别进行遮挡、旋转、模糊、拉伸及高亮度修改，实验结果如图 7 所示。图 7a）进行随机遮挡约 1/4，准确率分别为 0.78、0.53、0.80、0.83、0.54；图 7b）为旋转，在旋转 9%的情况下准确率分别为 0.89、0.78、0.84、0.92、0.93；图 7c）高斯模糊，进行三轮高斯模糊半径为 10、阈值 20，准确率为 0.90；图 7d）长度拉伸一倍情况下准确率分别为 0.92、0.80，图 7e）宽度拉伸一倍情况下准确率分别为 0.79、0.92；图 7f）为高亮度，准确率分别为 0.89、0.90、0.80、0.65、0.51。通过观察图 7 可以观测到，权重在鲁棒性测试中准确度分别下降 17.9豫、-2.8豫、-28.6豫、1.7豫（长度拉伸）、2.3豫（宽度拉伸）、-0.5豫，由精度下降可以看出，在进行部分遮挡时，精度下降较大，而在其他测试中精度总保持在较高水平，甚至有提高。为剔除偶然因素，依次构建 20 张图片并统计，随机遮挡、旋转、模糊、拉伸及高亮度修改平均准确度下降为 19.1豫、-1.3豫、-5.6豫、5.8豫（长度拉伸）、6.1豫（宽度拉伸）、1.7豫。3应用效果及实际问题解决3.1远距离检测效果将软件与硬件相结合后，使用 Jetson Nano 调用 YOLOv5，在摄像头传输距离为 22.5 km 范围内调用 YOLOv5s 权重，输入分标率为 640 情况下，检测效果如图 8 所示，基本检测出所有待检测目标。截取真实铁路运行视频帧，构建图片并检测，效果如图 9所示。图 5离线增强示意图 6原图测试图 7鲁棒性测试表 3不同权重 AP 值权重AP0.5AP0.50.95初始训练集权重0.8510.504统一背景权重0.9140.576统一背景且离线增广权重0.9370.676图 8远距离检测效果骳髍髒设备管理与维修2023 翼11（上）图 9模拟铁路检测效果3.2图像延时及摄像头旋转问题实验发现，检测时存在 3 s 延时，面对运行的列车，尤其是对高速列车而言，3 s 可前进约 290 m，无法达到实时监测的目的。本文采用的 Jetson Nano 设备采用 ARM 架构，经查阅资料，其SDK 仅适用于 x86 架构，无法通过官方 SDK 调用 rtsp 推流加速。由于无法使用 SDK，造成无法通过调用 SDK控制摄像头旋转。通过对检测代码重新梳理并改进后，实现了摄像头实时图像传输，并取消缓存检测，修改后的延迟约为 0.5 s。编写 Python 代码，通过对网页发出请求实现摄像头根据位置信息，实现旋转至预设点，满足实时检测条件要求。4结论（1）构建铁路异物数据集平均检测精度均值为 63.8%，通过离线增广，可将路外人员平均检测精度均值由 85.1豫提升至 93.7豫；通过 Python 代码解决在 ARM 架构下摄像头无法旋转以及摄像头延时的问题，将延迟降低至 0.5 s 以内，满足实时检测条件。（2）构建基于 YOLOv5 的铁路远距离异物识别报警装置，有效解决了人工瞭望的局限性，通过远距离图像传输，实现提前20 s 发现异物，留给司机足够反应时间，甚至达到在异物前停车，减弱了异物侵限所成的损害。（3）以检测分辨率 640、YOLOv5s 权重为例，使用 NVIDIAGeForce RTX 2060 显卡，同时调用 2 个摄像头，帧率可达 31 fps，满足实时检测需求。而使用入门级的 Jetson Nano 帧率只有 6 fps，无法满足实时观测的条件，实际使用中需采用 Jetson AGX Orin或 Jetson AGX Xavier 版本，以满足实时检测的需求。（4）在天气不良或瞭望困难的场景下，检测距离会极度缩短。基金项目：国家自然科学基金，项目名称：非线性网络系统的数据驱动分布式迭代学习控制及应用，项目编号：U1804147。参考文献1王泉东，杨岳，罗意平，等.铁路侵限异物检测方法综述 J.铁道科学与工程学报，2019，16（12）：3152-3159.2徐伟，吴泽彬，刘建新，等.高铁接触网异物自动化智能检测方法 J.中国铁路，2019（10）：39-44.3刘力，苟军年.基于 YOLOv4 的铁道侵限障碍物检测方法研究 J.铁道科学与工程学报，2022，19（2）：528-536.4于晨.基于深度学习的机场跑道异物检测与识别技术研究 D.北京：北京工业大学，2019.5Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification withdeep convolutional neural networks J.Communications of the ACM，2017，60（6）：84-90.6沙爱民，童峥，高杰.基于卷积神经网络的路表病害识别与测量 J.中国公路学报，2018，31（1）：1-10.7 Bochkovskiy A，Wang C Y，Liao H Y M.YOLOv4：Optimal speedand accuracy of object detectionJ.arXiv preprint arXiv：2004.10934，2020.8徐岩，陶慧青，虎丽丽.基于 Faster R-CNN网络模型的铁路异物侵限检测算法研究 J.铁道学报，2020，42（5）：91-98.编辑张韵设备管理与维修 杂志系中国科协主管、中国机械工程学会和北京卓众出版有限公司主办的设备与维修工程分会会刊（国内统一连续出版物号 CN11-2503/F，国际标准连续出版物号 ISSN 1001-0599），创刊于 1980 年，是跨行业为企业设备管理、维修、改造和节能、环保服务的综合性信息型技术刊物。设备管理与维修 杂志以为企业设备资产保值、增值，提升设备管理水平、降低维修成本，保证设备高效安全运行服务为办刊宗旨；以内容突出实用性、技术性和指导性为办刊方针。主要宣传报道国家有关设备工作的政策法规；介绍推广设备工程领域的新技术、新成果和新经验；以及国外设备工程动态和技术讲座。设备管理与维修 杂志辟有设备管理、工作研究、专家论坛、维护与修理、技术改造、设备与技术、诊断技术、润滑与密封、节能与环保、工场经验、讲座、国外设备工程、信息、资料等多种栏目。行业覆盖机械、化工、轻工、建材、冶金、电子、纺织、地矿、电力、煤炭、铁道、交通、石化、航空航天、有色金属、船舶、汽车、军工等领域。读者对象为各行业企业的各级设备管理人员，从事设备维修和改造的工程技术人员、技师以及有关院校师生。设备管理与维修 杂志为国际标准大 16 开本、黑白正文 70 g 胶板，铜版纸彩封、彩插。每月 6 日出版，每册定价31.00 元，全年订费 372.00 元（仅上刊期）。全国各地邮局均可订阅，邮发代号 2-395，漏订可随时向本社发行部订阅，银行、邮局汇款均可。订阅电话：[phone]传真：[phone]骳髍體