基于改进YOLOv5的轻量级铁水罐号车号检测算法.pdf

Vol.42,No.3Journal of Inner Mongolia University of Science and Technology第42 卷第3 期September,20232023年9 月内蒙古科技大学学报基于改进YOLOv5的轻量级铁水罐号车号检测算法张继凯，周亚辉，梁勇，柴轶凡?（1.内蒙古科技大学信息工程学院，内蒙古包头014010;2.内蒙古科技大学材料与冶金学院，内蒙古包头014010)摘要：为解决车号罐号识别中因环境恶劣、字符较小导致的准确率偏低且实时性较差等问题，提出一种基于改进YOLOv5的轻量级检测方法首先通过二阶段检测并增加小目标检测层，进一步采用大尺寸图像输入和数据均衡方法，提升模型检测效果；其次在骨干网络的最后一层引入CA坐标注意力，并制作掩码实现感兴趣区域检测，提升复杂场景下的车号字符检测精度最后，通过采用GhostNet模块替换骨干网络模块，使模型进一步轻量化实验结果表明：YOLO-MGCA模型，相较于基线模型map提高了1.4%，模型精度增加了3%，模型参数量减少了40%。关键词：号码识别；YOLOv5；轻量级目标检测；感兴趣区域中图分类号：TP391文献标识码：A文章编号：2 0 9 5-2 2 9 5（2 0 2 3)0 3-0 2 6 5-0 6D0I:10.16559/ki.2095-2295.2023.03.012Lightweight hot metal tank number detectionalgorithm based on improved YOLOv5ZHANG Jikai,ZHOU Yahui,LIANG Yong,CHAI Yifan?(1.Information Engineering School,Inner Mongolia University of Science and Technology,Baotou 014010,China;2.Materials andMetallurgy School,Inner Mongolia University of Science and Technology,Baotou 014010,China)Abstract:In order to solve the problems of low accuracy and poor real-time performance in vehicle number and tank number recogni-tion due to bad environment and small characters,this paper proposes a lightweight detection method based on improved YOLOv5.Firstly,two-stage detection and small target detection layer were added,and then large image input and data balancing methods were a-dopted to improve the model detection effect.Secondly,the CA coordinate attention was introduced in the last layer of the backbonenetwork,and the mask was made to realize the detection of the region of interest,so as to improve the detection accuracy of vehiclenumber characters in complex scenes.Finally,the model was further lightened by replacing the backbone network module with Ghost-Net module.The experimental results show that the map value of the YOLO-MGCA model in this paper is improved by 1.4%.In com-parison with that of the baseline model the model accuracy is increased by 3%and the amount of model parameters is reduced by 40%.Key words:number recognition;YOLOv5;lightweight object detection;region of interest钢铁工业是国民经济的重要支柱产业。我国专家首先提出了面向钢铁制造全流程的冶金工程流程学，在其指导下，现代钢铁设计体系和方法取得了重大创新随着时代发展，冶金工程信息化智能化的*基金项目：国家自然科学基金资助项目（519 0 416 1）；内蒙古自治区自然科学基金资助项目（2 0 19 BS06005）；内蒙古自治区高等学校科学研究资助项目（NJZY20095）；内蒙古自治区科技计划资助项目（2 0 19 CG138）.作者简介：张继凯（19 8 8），男，内蒙古科技大学讲师，博士，研究生导师，研究方向为数据可视化技术和增强现实技术。通信作者：e-mail:收稿日期：2 0 2 2-0 4-3 02662023年9 月第42 卷第3 期内蒙古科技大学学报高度融合，对冶金工程流程学应用于现代钢铁制造流程功能拓展起到了积极的推动作用1-3 。人工智能技术的发展推动着钢铁行业的变革，智能制造技术逐渐应用到传统的钢铁生产环节中4 随着钢铁企业转型升级需求的不断提升，传统依靠人工记录钢包运输车辆位置以及钢包编号的方式已无法满足企业对生产流程智能化和信息化建设的迫切需求。在钢包智能定位的解决方案中，基于计算机视觉的目标检测技术因无需为车辆加装额外易损装置（如RFID技术5 或车载传感器），只需通过喷涂或焊接简单的数字编码就能实现目标信息的无接触自动记录，成为目前钢包物流管控的首选方案但工厂环境存在背景杂乱、光照条件差、车号罐号喷涂不规范以及因相机无合适安装角度造成的号码偏斜以及过小等问题，这就使得从工厂监控视频中准确检索钢包罐号车号具有一定的挑战性。传统方法的字符识别在字符样式不一、背景混乱干扰较多的情况下，传统方法失灵，模型鲁棒性能很差王剑6 为获得车号的候选区域，进行二值化、形态学和连通域滤波等一系列操作，再通过投影和线扫描等方法，完成车号精定位任务王晓华等7 人为实现货运列车车号识别采用模糊统计法，引入了模糊决策的方法克服提取过程的不确定性。基于神经网络分类框架的字符识别方法，只适用于字符占比较大的图像检测任务，因此，通常应用于定位阶段之后，张荣梅等8 提出基于LeNet-5网络的车牌识别优化算法，实现了车牌号码的单字分类识别.郑祥盘等9 应用Haar级联分类器提取车牌区域，再经过一系列数字图像处理操作抠出单个字符目标，最后训练卷积神经网络实现分类识别。基于神经网络目标检测框架的字符识别方法，可分为单阶段法和2 阶段法.2 阶段法检测精度一般优于单阶段法，而单阶段法协调平衡了检测精度和速度更适合即时性检测任务文献10 提出改进的TinyYOLOV3模型提取车辆位置，缩小车牌检测范围，去除复杂背景干扰；并结合去除掩码分支的MaskR-CNN模型，达到车牌识别的目的.基于神经网络文本检测框架的字符识别方法，对于背景存在大量噪声、字形多变、边缘干扰严重的场景检测效果往往较差，艾鑫等1 人提出一种面向小尺度目标精确定位的列车车号定位与识别方法，基于CTPN改进，首先采用改进的VGG16网络提取特征，其次采用区域建议网络生成候选区域，并设计了困难样本挖掘策略和边界敏感的细粒度文本框回归策略对其进行分类回归张彩珍等12 人为了解决现实中模糊车牌的字符识别，提出一种基于改进CRNN+CTC的免字符分割车牌字符识别算法.上述算法在特定领域特定条件下的效果不错，但是在钢铁企业复杂的背景下，普遍会出现识别率较低或实时性不佳等问题。因此本文选用基于YOLOv5的目标检测算法以适应复杂生产环境下的字符小目标的检测任务，并满足实时性、轻量化的需求.1算法流程及网络结构1.1算法流程首先采用12 8 0 12 8 0 的大尺寸输人，避免罐号车号字符的图像占比太小而无法检测的问题；其次通过聚类对比数据集真实标记与默认初始锚定框，增加小目标检测层：然后通过替换除网络首层的组卷积外的所有卷积和C3模块为Ghost 13模块，使模型轻量化最后引人坐标注意力机制14，获取图像宽度和高度上的注意力并对精确位置信息进行编码，进一步提高模型检测精度，检测阶段，通过设定ROI实现限定区域检测，裁剪检测网络输出的字符目标图像，然后送人已训练好的ResNet网络进行识别为避免罐号、车号与罐车对应错误，引人罐车这一标签，仅使同时位于同一罐车预测框内的车号、罐号相对应复杂场景下的算法流程图如图1所示。1.2算法网络结构原始YOLOv5林模型首先将数据集gt框进行聚类，分析gt框宽高尺寸，并将其对应到检测头部的特征图上然后通过联系自上而下和自下而上的网络结构，将经上采样处理的特征金字塔网络FPN和路径聚合网络PAN的相应特征图拼接，将高层语义信息和底层位置信息融合，使网络充分学习特征。但由于YOLOv5模型是在COCO数据集上训练得来，导致直接应用模型在自制数据集上进行迁移训练效果不佳，因此本文将在此模型基础上加以改进.针对复杂场景下的罐车目标检测，提出YOLO-MGCA算法，模型如图2 所示.267张继凯，等：基于改进YOLOv5的轻量级铁水罐号车号检测算法P5P4P4P4标签整合P3P3P3TS97P2P27P1一阶段感兴趣区域检测输出1代表下采样操作Resnet1代表上采样操作一代表层拼接操作一代表卷积接操作裁剪字符小目标图像送入分类网络图1算法流程图BackboneNeckHead22021Concat2023181924Concat1725Concat16141526Concat271328Concat12299SPPF11Concat303110图2YOLO-MCCA网络结构图2模型改进2.1输入尺寸与检测层特征图的调整YOLO模型一般有5次下采样操作，并将经不同倍数下采样并融合处理的特征图用来检测输出。数据集聚类得到Anchor与模型默认Anchor对比如表1所示因此，尝试增加一个小目标检测层.2.2轻量化模块常用的轻量化模型主要由MobileNet，G h o s t-Net，Sh u f f l e Ne t 等为实现更加轻量化目标，将YOLOv5骨架网络分别置换为上述网络进行了比较实验.MobileNet引人了深度可分离卷积结构，可以减少网络参数和计算量表1模型默认与聚类Anchor配置对比检测层P3P4P5YOLOv5默认10,13,16,30,33,2330,61,62,45,59,119116,90,156,198,373,326YOLOS默认4,5,8,10,13,1623,29,43,55,73,105146,217,231,300,335,433数据集聚类5,24,9,30,10,4013,59,13,37,19,2519,46,40,59,355,584GhostNet从穴余特征图角度思考构建轻量化网络，GhostNet仅采用少量传统卷积生成部分特征图，然后对这部分特征图做简单的线性变化，实现了以更少的参数产生更多的特征图普通卷积与Chost模块结构对比图如图3 所示。268第42 卷第3 期2023年9 月内蒙古科技大学学报恒等映射卷积输入输出图3ghost 模块ShuffleNet的主要想法是使用分组卷积和通道混合来改进ResNet，并且可以被认为是ResNet的压缩版本.ShuffleNet的本质是先把卷积操作限定在各个分组中，减少模型的计算量，再采用组间信息交换方法，保证并增强模型的表达能力通过采用上述轻量化模块替换YOLOv5骨架网络，以减少模型检测时间，并通过对比检测效果选择更适合的模型.2.3注意力机制模块为进一步提高模型精度和实时性，考虑引入CA坐标注意力机制.CA坐标注意网络采用矩形池化核进行全局平均池化操作，分别得到2 个方向的特征图将其拼接并经1*1卷积变换后激活，随后沿着空间维度进行split得到2 个分离的特征图，再对它们进行transform和sigmoid，最后得到注意力向量.CA坐标注意力模块如图4所示.InputResidualCxHxWXAvgYAvgCx1xWCxHx1PoolPoolConcat+Conv2dC/rx1x(W+H)BatchNorm+Non-linearC/rx1x(W+H)Conv2dConv2dCx1xWCxHX1CxHx1SigmoidSigmoidCx1xWRe-weighttCxHxWOutput图4CA坐标注意力机制3结果与分析3.1实验平台实验基于Ubuntu20.04和PyTorch1.9.0构筑的深度学习框架，测试平台GPU为RTX1080Ti，模型训练优化器设定为SGD，学习率设定为0.0 1，批处理大小batchsize为4.3.2评估指标采用APO.5作为评估模型性能的指标,因此需要计算模型的Precision和Recall，具体公式如下：TPPrecision(1)TP+FPAP=P(r)dr.(2)0TPRecall(3)TP+FN3.3实验结果及分析1）轻量化网络性能验证用ShuffleNetv2及MobileNetv3替换YOLOv5骨架网络，并将其对应生成模型命名为YOLOS与YOLOM模型；用GhostNet模块替换YOLOv5骨架网络,并将其命名为YOLOH,在此基础上进一步用GhostNet模块替换YOLOv5的特征金字塔和路径聚合网络中的标准卷积和C3模块，并命名为YOLOG，训练结果如表2 所示，其中YOLOS模型中将Focus模块用卷积池化加激活函数的组合模块替换，YOLOM模型中将Focus模块用stem模块替换，以进一步使模型轻量化，YOLOH和YOLOG模型中用组卷积替换Focus模块：表2轻量化模型训练所得各类精度对比表模型大小/MmapYOLOv5n4.20.957YOLOS1.30.952YOLOM30.889YOLOH3.30.96YOLOG2.60.958由表2 可知，Ghost模块的引人可以使模型精度有略微提升，YOLOG与YOLOv5n相比，模型精度提升0.1%，相比YOLOS，模型精度提升了0.6%，但模型大小增加了1倍基于上述实验结果，采用YOLOS和YOLOG模型来做对比实验。269张继凯，等：基于改进YOLOv5的轻量级铁水罐号车号检测算法2)消融实验依据上文对模型检测层提出的相关改进，搭配轻量化模型及注意力机制，做消融实验，结果如下.由表3 对比YOLOv5n与YOLO-M可发现，当增加一个小目标检测层（记为M）后，整体检测效果有略微提升.对比YOLO-M与YOLO-MG发现，当采用Ghost模块（G)替换骨架网络及检测头部的标准卷积与C3模块时，模型大小得到有效轻量化，并且map值相对于YOLOv5n模型提升了1.4%.由表可知,CBAM(C)与CA注意力、Focal loss(F)和BiFPN（B）的引入对模型没有太多提升.表3以YOLOv5n为基础实验所得精度对比表模型mapMGCCABFYOLOv5n0.957XYOLO-M0.963VYOLO-MC0.963VYOLO-MG0.97VXYOLO-MGC0.964V*YOLO-MGCA 0.971VVYOLO-MCB0.97VYOLO-MGBCA0.957VVYOLO-MCF0.958表4为采用ShuffleNetv2模块替换模型骨架网络后的消融实验效果由表4可知,CBAM（C）和CA注意力与Ghost(G)模块均不能使模型的检测效果有所提升当采用focus（f)或组卷积模块（g）替换组合模块时，模型map提高了近2%，但模型大小增加了3 0%.表4以YOLOS为基础实验各类精度对比表模型mapfgGCCAYOLOS0.952XYOLOS-C0.946VYOLOS-G0.944YOLOS-f0.97VXYOLOS-g0.97YOLOS-CAg0.968VV综合上述2 个模型框架，选择map数值较高的模型进行进一步比较，如表5所示对比表5数据可知YOLO-MGCA模型的mapO.50.9数值较大，模型更稳定，并且模型精度P最高，达到0.9 8.因此本文选择YOLO-MCCA模型作为复杂场景下检测网络的第一阶段.表5模型性能对比模型PRmapo.5map0.5 0.9YOLO-MG0.970.9260.970.737YOLO-MGB0.960.9110.970.738*YOLO-MGCA0.980.9010.9710.745YOLOS-g0.9480.9040.970.726YOLOS-f0.9450.8980.970.722YOLOv5n0.9510.9250.9610.7493）对比实验表6 为应用不同基础模型及上述消融实验各表中精度最好的模型对测试集进行推理检测所得性能对比表表中最后7 行是消融实验应用Ghost和ShuffleNetV22种框架所得精度最好模型的对比情况.表6不同模型性能对比表大小参数量浮点数模型mapFPS/M/M/GYOLOv5n4.20.9571371.764.2YOLOv31240.9612061.6154.9YOLOv3-tiny17.50.9111068.6712.9YOLOv42560.9587一YOLOv4-tiny23.60.84263一一PPYOLO-tiny40.80.4035一一YOLOX-tiny4.10.09365.066.45*YOLO-MGCA4.730.971811.04一YOLOS-f1.70.97560.446YOLOS-g1.70.97560.446YOLOS1.30.952970.441.3本文算法提供了识别铁水罐号车号的一种新方责任编辑：师宝萍）270第42 卷第3 期2023年9 月内蒙古科技大学学报案，方便了铁水物料信息的监测和跟踪另外，模型的轻量化使算法更易在移动端设备上部署。4结论提出一种改进的YOLOv5轻量级检测方法，通过二阶段检测并增加小目标检测层，提升了复杂场景下的车号字符检测精度；通过采用大尺寸图像输人和数据均衡，进一步提升了车号字符检测精度。为降低极小困难样本对实验结果的影响，制作掩码实现限定区域的检测最后，通过采用ChostNet与ShuffleNetV2模块替换网络相应模块，使模型进一步轻量化在复杂场景下应用YOLO-MGCA模型，相较于YOLOv5n模型map提高了1.4%，模型大小增加了12.6%，模型参数量减少了40%.算法的检测效果如图5所示.图5算法检测效果参考文献：1殷瑞钰.冶金学的时代命题一一打通流程，沟通层次，开新说.钢铁,2 0 2 1,56（8）：4.2张福明，颉建新.冶金流程工程学的典型应用.钢铁,2 0 2 1,56(8):10.3胡正彪,贺东风.钢铁制造流程物质流与能量流协同优化研究进展.钢铁,2 0 2 1,56（8）：6 1.4刘.人工智能推动冶金工业变革J.钢铁，2 0 2 0,55(6):1.5田朋云,董增文，胡利，等.基于物联网射频技术的仓管机器人设计与实现C/第二十届全国自动化应用技术学术交流会论文集.包头，内蒙古：冶金自动化，2015:337.6王剑.一种新的货运列车车号定位方法刀.微型电脑应用.2 0 17,3 3(9）：3 2.7王晓华，高庆吉，赵卫平.利用模糊统计法识别货运列车车号的研究J.中国图象图形学报,2 0 0 0,5（11）：963.8张荣梅，张琦，陈彬.基于改进LeNet-5的车牌识别算法J.科学技术与工程.2 0 2 0，（12）：47 7 5.9郑祥盘，王兆权，宋国进.改进深度学习的车牌字符识别技术J.福州大学学报：自然科学版.2 0 2 1，（3）：316.10苏航，李顶根.基于深度学习的多车道大场景车牌识别研究J.武汉理工大学学报.2 0 2 0，（2）：7 4.11艾鑫，邹琪，罗常津.面向精确定位的列车车号文本定位与识别.计算机辅助设计与图形学学报.2020,(11):1863.12张彩珍，李颖,康斌龙，等.基于深度学习的模糊车牌字符识别算法J.激光与光电子学进展.2 0 2 1，(16):259.13HAN K,WANG Y,TIAN Q,et al.Ghostnet:morefeatures from cheap operations C/proceedings of theIEEE/CVF conference on computer vision and patternrecognition.Seattle,USA:IEEE,2020:1580.14HOU Q,ZHOU D,FENG J.Coordinate attention for ef-ficient mobile network designJJ.2021,arXiv.2103.02907.