基于多任务级联的动车裙板螺栓缺陷检测算法_徐文辉.pdf
《基于多任务级联的动车裙板螺栓缺陷检测算法_徐文辉.pdf》由会员分享,可在线阅读,更多相关《基于多任务级联的动车裙板螺栓缺陷检测算法_徐文辉.pdf(7页珍藏版)》请在咨信网上搜索。
1、 实 验 技 术 与 管 理 第 40 卷 第 10 期 2023 年 10 月 Experimental Technology and Management Vol.40 No.10 Oct.2023 收稿日期:2023-05-23 基金项目:国家自然科学基金项目(62176100)作者简介:徐文辉(1981),男,湖北武汉,博士,主要研究方向为计算机视觉、嵌入式系算法加速,。通信作者:何顶新(1966),男,湖北武汉,博士,教授,主要研究方向为计算机控制技术、嵌入式系统、机器人控制技术,hedingxin 。引文格式:徐文辉,钟胜,邹旭,等.基于多任务级联的动车裙板螺栓缺陷检测算法J.实验
2、技术与管理,2023,40(10):63-69.Cite this article:XU W H,ZHONG S,ZOU X,et al.Multi-task cascading-based defect detection method for skirt bolts of EMUJ.Experimental Technology and Management,2023,40(10):63-69.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.10.010 基于多任务级联的动车裙板螺栓缺陷检测算法 徐文辉1,2,
3、钟 胜1,2,邹 旭1,2,何顶新1(1.华中科技大学 人工智能与自动化学院,湖北 武汉 430074;2.华中科技大学 多谱信息智能处理技术全国重点实验室,湖北 武汉 430074)摘 要:为了提高动车检修效率和准确性,设计了一种基于多任务级联的动车裙板螺栓缺陷检测算法。首先结合螺栓缺陷特征的先验知识,在 YOLOv3 的基础上引入注意力机制,采用通道级拼接方式引入螺栓的边缘特征图,引导检测网络学习鲁棒的螺栓缺陷特征,检测螺栓是否缺失;然后对螺栓局部区域进行语义分割,获得防松标记线信息,并基于这些信息判断是否存在螺栓松动和标记线缺失等缺陷。实验结果表明,该检测算法显著提升了动车裙板螺栓缺陷的
4、检测性能,与 YOLOv3 相比,平均准确率提升 11.3%,平均召回率提升 13.6%。关键词:动车检修;螺栓缺陷检测;多任务级联;注意力引导;YOLO 中图分类号:TP274.5 文献标识码:A 文章编号:1002-4956(2023)10-0063-07 Multi-task cascading-based defect detection method for skirt bolts of EMU XU Wenhui1,2,ZHONG Sheng1,2,ZOU Xu1,2,HE Dingxin1(1.School of Artificial Intelligence and Autom
5、ation,Huazhong University of Science and Technology,Wuhan 430074,China;2.National Key Laboratory of Multispectral Information Intelligent Processing Technology,Huazhong University of Science and Technology,Wuhan 430074,China)Abstract:To improve the efficiency and accuracy of EMU Inspection and Repai
6、rment,a multi-task cascading-based defect detection method for skirt bolts is proposed.Firstly,based on the prior knowledge of bolt defect features,an attention mechanism is introduced on YOLOv3 by injecting edge feature maps through channel splicing,which leads the detection network to learn robust
7、 bolt defect features and detect whether bolts are missing.Then,semantic segmentation is applied to the local areas of the bolts,and the marked lines are detected and fitted.With the information on the marked lines,the other defects(including loose bolts and missing marked lines)can be detected.The
8、experimental results show that the detection method significantly improves the performance of defect detection for the skirt bolts of EMU.Compared to YOLOv3,the average accuracy is improved by 11.3%,and the average recall is improved by 13.6%.Key words:EMU inspection and repairment;bolts defect dete
9、ction;multi-task cascading;attention guidance;YOLO 1 背景 动车检修是确保高铁安全运行的重要措施,随着动车组保有量的迅速增长(预计 2025 年底,我国高铁营业里程将达到 5 万公里左右,动车组保有量将超过5 000 标准组),动车检修工作面临巨大压力。目前动车检修仍以人工检修为主1,存在检修需求大、工人工作强度大、误检与漏检率高等问题。亟需将人工智64 实 验 技 术 与 管 理 能应用于动车检修领域,提高检修效率,增强检修可靠性,为铁路运输安全提供强有力的保障。为促进铁路信息化建设,2005 年我国提出铁路车辆安全防范预警系统(简称“5T
10、”系统),开启了车辆智能检修的序幕2。近年来,相继开发了用于货车故障检测的货车运行故障动态图像检测系统(trouble of moving freight car detection system,TFDS)3和用于客车检修的客车运行故障轨边图像检测系统(train coach machine vision detection system,TVDS)4。此类系统都是利用轨边高速相机捕捉运行中的列车图像,并将图像上传至控制室由检修工人进行缺陷判断。2016 年,动车组运行故障动态图像检测系统(trouble of moving EMU detection system,TEDS)投入使用。该系
11、统由部署在轨道内部和两侧的面阵相机和线阵相机获取动车底部、转向架以及侧边裙板等可视部位的图像,再利用图像识别单元发现故障并告警5。由于受室外成像条件限制,TEDS 在实际使用中存在漏检和误检率较高问题。巡检机器人也是动车检修领域的研究热点6-11,该类巡检机器人可自主移动,利用图像或声学技术对动车关键部件故障进行检测,有效提高了动车检修效率。但这些巡检机器人均针对动车底部缺陷进行检测,还未见针对动车裙板部分的巡检机器人。螺栓缺陷检测算法根据采用特征的不同,可分为基于手工设计特征12-17和基于神经网络18-28两大类。陈燕等12基于边缘特征,对 TFDS 系统中的心盘螺栓是否存在缺失故障进行检
12、测。ZANG Y 等13提取图像中螺栓部位的 SIFT14特征,根据模板匹配对比采集到的图像与模板图像之间的差异,判断螺栓是否存在缺陷。刘炎钊等15利用 Hough 变换对六边形螺栓区域图像进行检测,并根据螺栓边的角度信息判断螺栓是否存在松动缺陷。吴梦迪16使用多特征融合,并采用两阶段级联方法对螺栓缺陷进行检测,提高了缺陷检测的实时性和准确性。基于神经网络的螺栓缺陷检测算法是利用卷积神经网络来提取螺栓的显著特征,进而完成螺栓缺陷检测。SUN J 等19利用卷积神经网络提取螺栓边缘特征,并应用于检测螺栓松动缺陷。赵江平等20先用 Faster R-CNN21进行螺栓定位,然后使用分类网络对螺栓区
13、域进行判断,检测是否存在螺栓缺失缺陷。戚银城等22在 Faster R-CNN 基础上引入多注意力机制,有效降低了螺栓缺陷检测的漏检率和误检率。刘伟铭等23在YOLOv224的基础上,通过引入空间金字塔池化(spatial pyramid pooling,SPP)提高了螺栓缺陷的检测效果。王振等25将 YOLOv326应用到钢轨螺栓缺陷检测任务中,提高了检测的实时性,但对细小缺陷的检测能力不理想。杨培盛等27利用二值分割网络检测出地铁螺栓上的标记线,并根据拟合直线的斜率判断螺栓松动缺陷。上述螺栓缺陷检测方法多针对特定螺栓的某一类缺陷进行检测,如螺栓缺失或螺栓松动。但实际应用中动车裙板螺栓可能会
14、发生多种缺陷,如螺栓缺失、松动、标记线缺失等。而且动车裙板在运行过程中与空气、灰尘等接触多,螺栓及周围区域易附着脏污,影响缺陷检测效果。此外,实际应用中存在缺陷的螺栓样本较少,网络难以学习到鲁棒的缺陷特征,检测性能难以保证。针对上述问题,本文设计了一种基于多任务级联的动车裙板螺栓缺陷检测算法。将动车螺栓缺陷检测任务中多种缺陷类型的检测分为两步,首先基于螺栓自身及其周围局部区域的特征检测是否存在螺栓缺失,然后再利用螺栓对应标记线信息判断是否存在螺栓松动和标记线缺失。此外,针对螺栓缺陷样本少、网络难以学习到鲁棒缺陷特征问题,通过引入注意力机制,利用螺栓缺陷先验知识引导网络学习螺栓缺陷特征,有效提高
15、了螺栓缺陷分类的准确性。2 基于多任务级联的动车裙板螺栓缺陷检测算法 2.1 整体框图 在动车检修过程中,检修工人常常利用防松标记线(螺栓上涂抹的带有颜色的涂料)来直观辨别螺栓的松动缺陷。但受风吹日晒及脏污附着等因素影响,标记线可能会出现颜色变淡或被遮盖等情况,影响螺栓松动缺陷判别,因此,防松标记线的缺失,也和螺栓缺失、松动一样,是一种螺栓缺陷类别,需要检测出来并向检修工人告警。基于多任务级联的动车裙板螺栓缺陷检测算法整体框架如图 1 所示,主要包括边缘特征通道拼接、螺栓定位及缺失检测、标记线缺失和螺栓松动检测三部分。首先利用边缘提取算子获得动车裙板图像的边缘特征,再将边缘特征图通过通道拼接方
16、式与原始图像拼接在一起,得到红(R)、绿(G)、蓝(B)和边缘特征(M)四个通道的图像数据。然后,将四通道图像数据送入到 YOLOv3 网络进行检测,对动车裙板螺栓进行定位,并检测螺栓是否存在缺失缺陷。接着,将螺栓区域裁剪出来,送入到金字塔场景解析网络(pyramid scene parsing network,PSPNet)分割出防松标记线,并根据标记线的分割结果判断标记线是否缺失。如标记线未缺失,则根据螺栓螺母上的标记线和垫片上的标记线之间的夹角判断是否存在螺栓松动缺陷。徐文辉,等:基于多任务级联的动车裙板螺栓缺陷检测算法 65 图 1 基于多任务级联的动车裙板螺栓缺陷检测算法整体框图 2
17、.2 注意力引导下的 YOLOv3 螺栓缺失检测算法 动车裙板螺栓尺寸相对于裙板尺寸很小,并且容易受脏污影响,因此在实时采集的动车裙板图像中,螺栓部分呈现出尺寸小、特征少的特点,再加上实际应用中的螺栓缺陷样本数量较少,如何稳定地提取动车裙板螺栓的鲁棒特征,进而判断是否存在缺陷并非易事。通过分析大量实际动车裙板螺栓样本,发现螺栓具有较丰富的边缘信息,因此可利用注意力机制引导网络关注与螺栓边缘相关的特征信息,从而提高螺栓缺陷的检测性能。在不同的注意力机制(通道注意力、空间注意力、时间注意力等)中,通道注意力旨在加强算法对特定特征的关注,更适合于动车裙板螺栓缺陷检测任务。如图 1 所示,左上角边缘特
18、征图通道拼接部分,对于动车裙板图像(彩色图像,含 RGB 三个通道),首先使用边缘检测算法提取边缘特征图,并将其转换为与原始动车裙板图像分辨率相同的单通道灰度图,然后与原始动车裙板图像进行通道级拼接,生成一个四通道的 RGBM 图像。在网络训练过程中,使用生成的 RGBM 四通道动车裙板图像替换原来的RGB 三通道动车裙板图像,送入 YOLOv3 网络进行训练,利用 M 通道特征的引导作用,引导网络更关注对螺栓边缘特征信息的学习,使网络能够通过少量动车裙板螺栓缺陷样本学习到鲁棒的螺栓缺陷特征,提升检测性能。常用的边缘提取算子有 Roberts 算子、Sobel 算子、Laplacian 算子和
19、 Canny 边缘检测算法等。Roberts 算子是基于交叉差分的梯度算法,采用局部差分进行边缘特征提取,其水平和垂直方向的卷积模板如图 2(a)所示。Sobel 算子结合了高斯滤波和微分求导,其边 图 2 边缘提取算子卷积模板 66 实 验 技 术 与 管 理 缘定位更准确,常用于噪声较多、灰度渐变的图像,其水平和垂直方向的卷积模板如图 2(b)所示。Laplacian算子属于二阶微分算子,通过对邻域中心像素的四方向或八方向求梯度,再利用梯度运算的结果对中心点像素灰度进行调整,其卷积模板如图 2(c)所示。Canny边缘检测算法通常使用 Sobel 算子作为梯度算子,在边缘提取后增加了非极大
20、值抑制,避免了多条相似边缘线的重复提取,并通过增加一高一低双阈值判断对一阶微分算子进行优化,可以捕捉到图像中的微弱边缘信息。本文分别使用上述四种边缘提取方法获取边缘特征图,并用于 YOLOv3 网络的训练和螺栓缺陷检测。实验结果表明,四种边缘提取方法都能有效引导网络学习到动车裙板螺栓特征,提高螺栓缺陷检测性能,详细对比结果见本文实验部分。2.3 基于标记线检测的螺栓缺陷检测算法 螺栓松动是常见的螺栓缺陷类型,正常状态和松动状态的动车裙板螺栓如图 3 所示,依据螺栓螺母和垫片的标记线是否对齐能有效判断螺栓是否松动。图 3 螺栓正常(左)和螺栓松动(右)2.3.1 标记线检测及缺失判断 为了精确定
21、位不同位置处的标记线,本文使用PSPNet 分割算法实现螺栓标记线检测。PSPNet 是一种高效的语义分割算法,通过引入金字塔池化模块(pyramid pooling module,PPM),提取到不同细粒度的特征,从而获取不同尺寸的语义信息。该算法可以有效地将全局信息与局部信息融合在一起,利用图像中的上下文语义信息,提高分割精度。部分螺栓标记线检测结果如图 4 所示,图中螺母、垫片和裙板上的标记线分别使用不同颜色进行标示。图 4 螺栓标记线检测结果示例 基于螺栓标记线的检测结果可以进行标记线缺失判断,判断依据为是否同时包含螺母上的标记线和垫片上的标记线。当未检测出螺母或垫片上的标记线时,则判
22、断为防松标记线缺失,否则判断为标记线未缺失。2.3.2 螺栓松动缺陷检测 当标记线未缺失时,可以利用螺母和垫片上两条标记线之间的角度差异来判断螺栓是否松动,其流程如图 5 所示。如图 5 所示,依据螺栓标记线缺失缺陷检测结果,当标记线未缺失时,首先对标记线进行二值化,再检测标记线的轮廓,然后使用最小二乘法对标记线进行直线拟合。当拟合后的直线数量为 1 时,说明螺栓螺母、垫片上的标记线在一条直线上,此时螺栓良好,不存在螺栓松动缺陷。当拟合后的直线数量为 2 时,需要计算拟合直线之间的夹角,并与预先设定的阈值进行比较。夹角小于阈值时,螺栓螺母和垫片上的标 图 5 螺栓松动缺陷检测流程 徐文辉,等:
23、基于多任务级联的动车裙板螺栓缺陷检测算法 67 记线只存在微小的角度差异,可以判断螺栓良好,不存在松动缺陷;反之,夹角大于或等于阈值时,则判定螺栓存在松动缺陷。判断螺栓松动的夹角阈值越小,螺栓松动缺陷的漏检率越低,但同时可能会出现一些不必要的虚警。该阈值一般可依据检修工人的经验进行设置,本文的阈值设置为 5。部分拟合直线夹角示例如图 6所示。图 6 拟合直线夹角示例 3 实验设置与结果分析 3.1 实验设置 本次实验中,共采集到实际动车裙板图像 118 张,通过添加不同类型和强度的噪声,并采取色彩域(亮度)变换等数据增强方式对数据集进行扩增,共获得动车裙板图像 3 672 张,从中随机选取 3
24、 136 张图像构成训练集,其余的 536 张图像作为测试集。所有实验均在个人计算机(CPU:I7-7700K;GPU:GTX1080Ti;内存:32 GB)上进行,操作系统为 Ubuntu-18.04,CUDA 版本为 10.1,Pytorch 版本为 1.8.0。YOLOv3 训练参数设置如表 1 所示。表 1 YOLOv3 训练参数设置 参数 参数值 批大小 8 优化器 SGD 学习率 0.001 动量 0.9 训练尺寸 640640 学习尺寸 640640 训练轮次 15 在标记线检测任务中,在对螺栓区域的标记线进行标注时,将标记线按所在位置分为三类:位于螺栓螺母上的标记线(tag1)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 任务 级联 动车裙板 螺栓 缺陷 检测 算法 徐文辉
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。