基于改进YOLOv3算法的线束端子缺陷检测方法.pdf

Computer Era No.12 20230 引言汽车线束1是当今中国电子信息产业中发展最快，市场需求量最高，安装方式最为便捷的产品之一。线束作为汽车的“中枢神经”每一个指令都必须通过线束进行传达和实现，如今信息化2、电子化3的高速发展，已经蔓延到传统汽车领域。然而线束端子4压接过程中的缺陷问题，如压接不良5，开口过大等都会影响线束接插件的装配和导通。随着汽车工业的发展，社会对车灯零部件的质量要求越来越高，而目前大多数企业采用的是人工检测方法，这很难保证产品的质量及性能。使用深度学习算法的检测不仅提高了产品的检测精度和速度，而且减少了人工，满足企业高自动化和高精度检测需求。Miao等人开源了一个X光检测图像的大规模数据集SIXray。Akcay6探讨了 Fast R-CNN7、YOLOv3 等深度学习检测网络在X光安检任务中的适用性，性能优异于基于滑动窗口的传统检测方法SW-CNN8。本文在之前研究的基础上先通过X-Ray9机器拍DOI:10.16644/33-1094/tp.2023.12.007基于改进YOLOv3算法的线束端子缺陷检测方法程晓颖1，2，李海生2，吕旭波3(1.电子科技大学机械与电气工程学院，四川 成都 611731；2.浙江理工大学机械工程学院；3.浙江新宝汽车电器有限公司)摘要：研发了一套基于深度学习的汽车线束缺陷检测系统。基于YOLOv3改进的Pr-YOLOv3算法来检测线束端子接插件缺陷，将主干提取网络替换成ResNet50，提高特征提取能力，减少参数量，吸收多尺度预测方式和特征融合方面的优势，将主干提取网络与FPN特征金字塔进行对接，丰富了特征的表达能力。用改进的YOLOv3模型进行训练，准确率可达98.61%，Recall指数可达98.6%。关键词：射线无损检测；线束端子缺陷检测；卷积神经网络；YOLOv3中图分类号：TP181文献标识码：A文章编号：1006-8228(2023)12-29-05Defect detection method of wire harness terminal based on improved YOLOv3Cheng Xiaoying1,2,Li Haisheng2,Lv Xubo3（1.School of Mechanical Engineering,University of Electronic Science and Technology of China,Chengdu,Sichuan 611731,China;2.School of Mechanical Engineering,Zhejiang Sci-tech University;3.Zhejiang SIMITEK Auto-Electronics CO.,LTD）Abstract：A deep-learning based automotive wiring harnesses defect detection system is developed.The Pr-YOLOv3 algorithmbased on improved YOLOv3 is used to detect defects in wiring harness terminal connectors,and the backbone extraction networkis replaced with ResNet50,which improves the feature extraction capability and reduces the number of parameters.Drawing on theadvantages in multi-scale prediction methods and feature fusion,the backbone extraction network is interfaced with the FPN featurepyramid,which enriches the feature expression ability.Trained with the improved YOLOv3 model,the accuracy can reach 98.61%and the Recall index can reach 98.6%.Key words：radiographic non-destructive testing;wire harness terminal defect detection;convolution neural network;YOLOv3收稿日期：2023-08-15作者简介：程晓颖（1986-），男，湖北随州人，工学博士，副教授，主要研究方向：基于人工智能的无损检测方法。通讯作者：李海生（1998-），男，河南信阳人，工学学士，主要研究方向：X射线无损检测，机器视觉，深度学习。29计算机时代 2023年 第12期摄的线束端子缺陷照片作为神经网络的训练集，然后通过改进传统的YOLOv3模型，并采用训练集与测试集分开挖的数据集来验证改进模型的有效性。1 线束端子缺陷及其数据集线束端子缺陷在本文中挑出两类进行检测，分别是压接不良和开口过大，如图1所示。为了增加对比类型，本文中引进了正常压接和开口闭合两种类型。端子压接作为线束中导通和电路闭合承接的载体1，在线束中有着很重要的作用，压接不良这是不允许存在的致命缺陷。我司检测过程中为了方便对压接端子进行评价，按照其对线束的危害程度将压接不良、正常压接、开口过大、开口正常这四类命名方式命名，在 Labelimg图 片 标 记 中 分 别 是 Poorcrimping，Normalcrimping，Distortion，Closing。图1缺陷图像本文的数据集来自浙江新宝电器有限公司的X-ray机器，经过初筛之后，每张数据都是1500X1000像素的三通道RGB图。最终数据集包括Poorcrimping、Normalcrimping、Distortion、Closing 分 别 是 600 张，600张，450张，450张。2 YOLOv3神经网络概况2.1 网络主要构成YOLOv3整体网络结构由特征提取网络Darknet-53、特征金字塔（Featurepyramidnetwork，FPN）以及YOLOHead 三个框架组成，其中卷积模块（Convolu-tional）与残差模块（Residual）是其最重要的组成部分，如图2所示。主干提取网络Darknet-532是一个全部由卷积层与残差块组成的层级结构，在YOLOv2中，可通过最大池化操作来变换图像尺寸，而在YOLOv3中，为了降低池化池化带来的负面梯度效果，直接摒弃了池化层。图2卷积和残差模块2.2 ResNet架构ResNet 通过在浅层网络上加入一个恒等映射H（X）=X，既可以保证神经网络达到更深的层数，又可以避免神经网络的退化。图2为ResNet的网络结构。ResNet网络结构通过对每层的输入做恒等映射H（X）=X，如图5所示。构造残差函数F（X）=H（X）-X。这种残差函数能够保证网络达到更深的深度，而且其结构也较容易优化。表达式如下：F=W2()W1X研究表明，从DarkNet到ResNet的神经网络层和模块均是按顺序进行堆叠通过他们的分层精度、可转移和可视化分析可知，更深层次的神经网络能够提取更多语义和全局特征。3 YOLOv3神经网络改进方法图3ResNet各个Stage具体结构本文对YOLOv3的网络结构进行调整，首先保持30Computer Era No.12 2023FPN与YOLOHead结构不变，然后对于构建FPN的特征提取层进行替换，为了提高YOLOv3的性能，我们将其主干提取网络由 Darknet-53 替换为 ResNet-50，图3为ResNet-50各个Stage的具体结构。ResNet-50是一种深度卷积神经网络，具有优秀的特征提取能力。我们将其预训练权重加载到模型中，并将输出作为 YOLOv3 网络的输入。为了使ResNet-50的输出与 YOLOv3网络的输入一致，我们在其输出后添加了一个卷积层。如图 4 为改进的YOLOv3模型。图4改进的YOLOv3模型4 模型性能指标和实验4.1 模型性能指标准确率（Accuracy）是指分类结果中分类正确的端子缺陷数量在所有样本中所占的比例。精确率P是指正确的预测为为某类线束端子缺陷的样本除以预测为这一类缺陷的样本总数。查全率R是指正确的预测为某类缺陷数除以这一类的实际缺陷数量，公式如下：Recall=TPTP+FN4.2 实验为了评估YOLOv3和Pr-YOLOv3模型的缺陷检测性能，我们根据捕获图像数量共标记了3180个样本框，而后将每个缺陷图片以8：1：1的比例随机划分成训练集，验证集和测试集。最终四个类别的训练集，验证集和测试集分别进行汇总，得到1680张训练集，210张验证集，210张测试集，如表1所示为样本图片和标注数量的统计。这样得到训练集，验证集和测试集中的数据不会互相重叠，能够有效地防止模型出现测试效果虚高的假象。表1样本图片和标注数量PoorcrimpingNormalcrimpingDistortionClosing图片数据集600600450450样本框数据集985806559830图5YOLOv3和YOLOv3-Pr的Loss曲线实验结果表明，YOLOv3-Pr模型的各方面检测性能优于YOLOv3，mAP值达到了98.61%。与原始YOLOv3模型相比，YOLOv3-pr模型的额mAP提高了一个百分点，且对于单类缺陷检测结果的AP均能达到90%以上，而且在漏检方面有很大的提高。在工业应用上对于漏检是无法容忍的态度，这不仅损害了公司的信誉，更对汽车的健康驾驶有着不小的威胁。图 5分别为YOLOv3和YOLOv3-Pr的损失函数曲线，两种LOSS31计算机时代 2023年 第12期曲线都收敛的很好，trainingloss 和 validationloss 都已经收敛并且相差很小，而且两者并没有肉眼的差距，这说明两种神经网络的loss曲线都已经达到goodfit的目标。YOLOv3-Pr在改进漏检率方面也有很好的改良，YOLOv3-Pr能够将漏检率降低至0.1个百分点，在三项检验中都可以达到百分之百的检查率，然而在压接不良方面还存在着0.1%的漏检率。图6部分含缺陷线束端子的检测结果示意图为了进一步验证基于 ResNet的改进 YOLOv3模型对于缺陷的检测性能，随机抽取了若干幅含有缺陷的线束端子X光图像对训练好的YOLOv3-Pr模型进行测试，测试结果如图 6 所示，其中，“Poorcrimpin”、“Nomalcriming”、“Opening”、“Distortion”分别代表”压接不良”、“正常压接”、“闭合”、“扭曲变形”，矩形框的框选区域为线束端子的缺陷部位，框上方文字代表该缺陷的类别及确定概率。可以看出，经过训练的YOLOv3-pr模型能够准确地识别并定位线束端子的缺陷位置，并且对于每类缺陷的确定概率都较高，对于同一幅图像中含有多类缺陷的情况也可精确检出，充分验证了模型的检测能力。研究结果克服了人为主观因素，建立了统一的缺陷判别标准，有助于提高线束端子的缺陷检测效率。对测试集的具体检测结果如图7所示，在原有的两个神经网络基础上，增加了三组对照。通过使用YOLOv3、YOLOv3-Pr 和 EfficientDet-D1、EfficientDet-D2、改进EfficientDet-D2作为网络的模型的mAP值分别达到 95.75%、98.61%、63.19%、75.97%和 91.48%。可以看出，以ResNet作为主干网络改进YOLOv3神经网络具有最高的检测精度，mAP相较于原始YOLOv3提升了2.86%，此外，压接不良、端子变形、正常压接、开口正常四类特征各自的 AP 值相比改进之前均有所提升。对于漏检的问题，使用ResNet作为主干特征提取网络，可以很好地解决这个问题，能够让目标检测达到工业的标准，如表 2所示。与此同时，在改进EfficientDet网络上，我们通过添加注意力机制和改变预训练权重的方法，使得网络有了一个质的飞跃。但是改进的 EfficientDet网络相较于 YOLOv3还是存在一些不足和缺点，相比之下，改进YOLOv3不仅拥有较高的检测精度同时具备较高的召回率，还解决了目标检测网络的漏检问题。图7测试集mAP值检测结果表2测试集漏检率检测结果主干网络EffNet-B1EfftNet-B2EfftNet-B2sDarkNet-53ResNet-50Recall（%）Closing96.43%100%100%94.44100%Distortion94.12%94.74%94.44%10094.44%Poor26.83%75.68%93.94%88.57100%Normal42.42%54.65%87.80%94.87100%Recall（%）64.95%81.26%93.97%94.4798.61%5 结论针对目前线束端子检测方面存在的问题，为了提高检测效率以使检测部门能够及时地对缺陷端子进行识别和检出，同时建立统一的线束端子缺陷判别标准，客服人为判别的主观因素，本文基于X光图像与深度学习开展了线束端子的智能检测研究，得出以下结论：在YOLOv3目标检测算法的基础上，吸收多尺度预测方式和特征融合方面的优势，保留YOLOHead和32Computer Era No.12 2023FPN特征金字塔这两个优势结构，只对其特征提取结构进行调整，引入去除输出层的ResNet50网络，将其与FPN特征金字塔对接，以步长为2的卷积输出替代原Darknet-53输出的三个特征层，完成线束端子缺陷智能检测模型的构建。实验结果表明，该方法有助于提升预测性能，mAP可达98%。同时，在提高精确度的同时，能够将漏检率降到最低，对企业应用有参考价值。在以后的工作中，我们将把工作重心放在线束端子数据集增强方面，以便获得更大量的数据集，从而提高神经网络的检测精度。参考文献(References):1 高永丽.浅析汽车线束工艺在线束加工中的应用J.汽车实用技术,2020,45(17):135-7.2 曾文治,王疆瑛,蔡晋辉.基于深度学习的车灯零部件缺陷检测系统设计J.中国计量大学学报,2022,33(2).3 李文强,陈莉,谢旭.改进 YOLOv5的 X光图像违禁品检测算法J.计算机工程与应用,2023,59(16).4 黄健峰.线束端子压接工艺的研究与可靠性分析 D.北京:北京邮电大学,2016.5 康家晨.基于深度学习的绝缘子检测与缺陷识别研究D.南昌:华东交通大学,2023(2).6 Deep Learning based on CNN for Pedestrian Detection:AnOverviewandAnalysis;proceedingsofthe9thInternational Symposium on Telecommunications(IST),Iran Telecommunicat Res Ctr,Tehran,IRAN,F 2018Dec 17-19,2018C.2018.7 MIAO C,L X.SIXray:A Large-scale Security InspectionX-rayBenchmarkforProhibitedItemDiscoveryinOverlapping ImagesJ.2019,8 SONG Y,JANG S,KIM K.Depth-Specific VariationalScalingMethodtoImproveAccuracyofResNetJ.Journal of Korean Institute of Intelligent Systems,2021,31(4):338-45.9 卢祖文.基于X光图像与深度学习的耐张线夹缺陷识别D.南昌:南昌大学,2023(2).Exploringthesequencedeterminantsofamyloidstructureusingposition-specificscoringmatricesJ.Nature methods,2010,7(3):237-242.14 Boeckaerts D,Stock M,De Baets B,et al.Identification ofPhageReceptor-BindingProteinSequenceswithHiddenMarkovModelsandanExtremeGradientBoosting ClassifierJ.Viruses,2022,14(6):1329.15 Elnaggar A,Heinzinger M,Dallago C,et al.&Rost,B.(2021).ProtTrans:towards cracking the language oflifes code through self-supervised deep learning andhigh performance computingJ.IEEE transactions onpattern analysis and machine intelligence.16 Bao H,Dong L,Wei F,et al.Unilmv2:Pseudo-maskedlanguagemodelsforunifiedlanguagemodelpre-trainingC/Internationalconferenceonmachinelearning.PMLR,2020:642-652.17 Spence M A,Kaczmarski J A,Saunders J W,et al.AncestralsequencereconstructionforproteinengineersJ.Currentopinioninstructuralbiology,2021,69:131-141.18 Vaswani A,Shazeer N,Parmar N,et al.Attention is allyou needJ.Advances in neural information process-ing systems,2017,30.19 Tang S,Xia J,Fan L,et al.Dilated convolution based CSIfeedback compression for massive MIMO systemsJ.IEEE Transactions on Vehicular Technology,2022,71(10):11216-11221.20 Wang G,Dunbrack R L.PISCES:recent improvements toa PDBsequence culling serverJ.Nucleic acids re-search,2005,33(suppl_2):W94-W98.21 Altschul S F,Madden T L,Schffer A A,et al.GappedBLASTandPSI-BLAST:anewgenerationofproteindatabasesearchprogramsJ.Nucleicacidsresearch,1997,25(17):3389-3402.22 Li J,Zhang C,Zhou J T,et al.Deep-LIFT:deep label-specificfeaturelearningforimageannotationJ.IEEE Transactions on Cybernetics,2021.23 Lundberg S M,Lee S I.A unified approach to interpretingmodel predictionsJ.Advances in neural informationprocessing systems,2017,30.(上接第28页)CECE33