基于语义分割的钢材缺陷检测算法.pdf
《基于语义分割的钢材缺陷检测算法.pdf》由会员分享,可在线阅读,更多相关《基于语义分割的钢材缺陷检测算法.pdf(6页珍藏版)》请在咨信网上搜索。
1、第 38 卷 第 2 期2024 年 4 月有色设备NONFERROUS METALLURGICAL EQUIPMENTVol.38 No.2Apr.2024引用格式:许凯,雷斯聪,范崇盛,等.基于语义分割的钢材缺陷检测算法J.有色设备,2024,38(2):59-64.XU Kai,LEI Sicong,FAN Chongsheng,et al.Steel defect detection algorithm based on semantic segmentationJ.Nonfer鄄rous Metallurgical Equipment,2024,38(2):59-64.基于语义分割的
2、钢材缺陷检测算法许摇 凯,雷斯聪,范崇盛,蒋佳茗,张雪迎(上海航天设备制造总厂有限公司,上海 200245)摘摇 要 针对语义分割算法在钢材缺陷检测的实际应用与研究较少,以及传统语义分割方法对缺陷分割精度较低的情况,提出基于 HRNet(High鄄Resolution Net)的钢材表面缺陷深度高分辨率特征检测方法。该方法采用多级网络并联架构保持高分辨率特征,通过并行多分辨率卷积和重复多分辨率融合机制提取强位置敏感度的高分辨率特征,结合 HRNet 对增强数据集进行冻结训练与迁移学习,最终实现钢材表面缺陷图像的高精度分割。试验表明,该方法对钢材缺陷具有较好的分割效果,其平均交并比(MIOU)指
3、标和平均像素精度(MPA)指标分别达到 94郾 92%和 97郾 64%。关键词 HRNet;钢材缺陷;并行多分辨率卷积;重复多分辨率融合中图分类号 TP273摇 摇 摇 文献标志码 A摇 摇 摇 文章编号 1003-8884(2024)02-0059-06DOI:10.19611/11鄄2919/tg.2024.02.010收稿日期 2024-02-10第一作者 许凯(1997),男,江苏仪征人,助理工程师,硕士,主要研究方向为运载火箭系统测试。0摇 引言随着国家对高质量钢发展要求,钢材在生产以及成品阶段的质量检测需求逐渐提升1。针对生产中因工艺以及设备等限制出现的钢材表面划痕、油斑、氧化皮
4、等缺陷,基于图像处理以及计算机视觉的缺陷检测正逐步取代传统人工检测方式,从而提升检测效率以及精度。目前对钢材缺陷的主要检测方式为目标识别,主流算法包括单阶段如 SSD(Single Shot MultiBoxDetector)、YOLO(You Only Look Once)等算法,双阶段如 R鄄CNN(Region鄄Convolutional Neural Networks)、Fas鄄ter鄄R鄄CNN 等算法。卢海滨2通过在 YOLOV5s 的主干网络添加 CA(Coordinate Attention)注意力机制以及 Swin Trainsformer 自注意力机制提高模型特征提取能力,
5、相比传统 YOLOV5s 将 MPA 提高 6郾 4%。朱传军等3以 YOLOV5 为架构基础,设计空对深CA 注意力模块避免下采样过程中的特征信息丢失,从而提高钢材表面小目标对象识别精度。上述几种钢材的缺陷检测方式主要以目标识别的锚框形式进行判定,但是针对钢材表面缺陷的精确语义分割研究尚少4。蓝王力5通过数据预处理结合语义分割搭建一套钢材缺陷检测实时系统,利用特征级联以及感受以改进增强特征提取能力。钟喜扬6通过设计类残差模块网络实现对带钢表面的实时端到端像素级检测。上述几种对缺陷的语义分割基于常见的高阶与低阶特征信息相互维度转换的方式进行,在高阶向低阶压缩或低阶向高阶维度扩张时,特征信息的丢
6、失不可避免。本文 提 出 一 种 基 于 HRNet(High鄄ResolutionNet)7-10的钢材语义分割模型,采用多级网络并行联接架构,全程维持高分辨率特征取代高低阶信息融合,通过并行多分辨率卷积逐渐增加高分辨率至低分辨率形成并行多分辨率流,利用重复融合机制将跨分辨率间的特征进行信息交互,提升空间敏感度。采用冻结训练以及迁移学习加快网络收敛,结合高分辨率特征图和精准空间信息实现高精度钢材缺陷识别分割。1摇 面向语义分割的高分辨率网络1郾 1摇 HRNet 模型结构语义分割对位置信息敏感,传统模型基于串联架构进行编码得出低分辨率特征,再将低分辨率特征经过上采样层恢复至输入图像分辨率进行
7、像素级分类,表征空间增加,但实际位置敏感度随着降采样时分辨率丢失而下降。HRNet 全过程保持高分辨率,子网络间进行重复多尺度融合,学习一个空间敏感度强的高分辨率表征,保留准确的空间信息。模型如图 1 所示。图 1摇 High鄄Resolution Net(HRNet)网络模型图Fig.1摇 High Resolution Net(HRNet)network model diagram摇摇 摇HRNet 由高分辨率到低分辨率子网组成,在并行的子网之间通过重复的多尺度融合丰富特征信息。图 1 中灰色特征层所在阶段为第一阶段,始终维持高分辨网络,保留空间位置敏感度以及高分辨率特征。图 1 中黄色特
8、征层所在阶段为第二阶段,从第二阶段开始依次通过步长为 2 的 3 伊 3 卷积进行下采样形成高至低(high鄄to鄄low)分辨率子网络,将原有分辨率降低至 1/4。子网络特征图通过上采样达到前一阶段网络分辨率进行多尺度融合,丰富上层子网络的特征信息。相比串行联接网络,HR鄄Net 采用多级网络并行联接的方式,全程保留的高分辨率网络取代低至高(low鄄to鄄high)上采样操作和高低阶语义信息融合,将相似深度相似级别的低分辨率特征图反复与上层高分辨率特征图进行多尺度融合,提高高分辨率表征信息。1郾 2摇 重复多分辨率融合重复融合机制将跨分辨率间的特征进行多次信息交互。DeepLabv3+模型结
9、合空洞空间金字塔池化模块进行多尺度信息融合,HRNet 结合融合思想具备 2 个特点:(1)融合输出 4 个分辨率特征;(2)采样深度融合策略,对融合模块进行多次重复。图 2 为3 种分辨率特征融合模块示例,多分辨率特征融合机制依次推导。图 2摇 高中低 3 种分辨率特征融合模块示例Fig.2摇 Example of feature fusion module for high,medium,and low resolutions摇摇 摇 引入交换单元实现并行子网之间的信息交互。图 2 中为 3 个阶段进行尺度融合的交换模块,每个模块包含 3 个并行的卷积单元,通过交换单元进行高中低三尺度信息
10、融合。通过 3 伊 3 卷积进行高分辨率特征图下采样,1 伊1 卷积进行中低分辨率特征图的上采样操作,针对不同交换模块设计的交换单元能够提高整体网络性能。输入分辨率特征可表示为 Rim,输出分辨率特征表示为 Rom。其中,m 为 1,2,3 级索引。每个输出特征由三级输入特征经过处理再融合形成,表达式为式(1)。06有色设备摇 2024 年第 2 期Rom=f1m(Ri1)+f2m(Ri2)+f3m(Ri3)(1)式中,fkm()为对应上采样或下采样的处理函数,函数选择取决于输入分辨率索引 k 和输出分辨率索引 m。若 k m,fkm(R)函数将对输入特征进行单次或连续下采样操作;相反,若 k
11、逸m,则利用双线性上采样并进行 1 伊1 卷积对齐通道数。Representation head 利用并行多分辨率卷积和重复多分辨率融合提取的主干特征进行预测,如图 3 所示。图 3摇 HRNet 的 3 种多尺度融合 Representation head 图Fig.3摇 Three multi鄄scale fusion representation head diagrams for HRNet摇摇 摇 图 3 中由左至右依次为 HRNetV1、HRNetV2 以及 HRNetV2P。相比 HRNetV1 的单个高分辨率特征输出,HRNetV2 将低分辨率特征进行双线性上采样调整为高分辨率
12、,使用 1 伊 1 卷积进行通道数对齐,达到多尺度特征融合输出原图像分辨率大小特征图进行语义分割分类器预测。而 HRNetV2P基于 HRNetV2 进行多级输出,常用于构建目标检测模型。2摇 试验与结果分析2郾 1摇 数据集构建本文数据集采用东北大学的钢材缺陷公开数据集(NEU鄄DET),本文所用钢材缺陷图像为液体、油斑、氧化皮、划痕。钢材液体以及油斑是生产过程中的残余物,划痕主要表现为直线状,在前期生产过程中可能因轧机张力小,钢材在轧辊中出现相对滑动而产生,后期可能因运输、装卸等产生。氧化皮则是最为常见的一种钢材缺陷,主要由于除鳞阶段残留所致。本文所用图像训练集与验证集为 9颐 1,图像像
13、素大小为 200 伊 200。在原有数据集基础上,通过数据增强方式进行扩充样本,提高模型训练后的泛化性。考虑钢材在实际生产运输过程的相对位置,采用角度增强方式,考虑在实际外部环境下采用光照增强方式,通过混合增强将数据样本扩充至 945 张。2郾 2摇 评价指标语义分割的客观评价指标主要包含像素精度PA,平均像素精度 MPA 以及平均交并比 MIOU。以钢材图像为例,以钢材缺陷作为目标的总体像素数量中经过分割识别正确的像素数量两者比值即为像素精度(PA)。而平均像素精度(MPA)即钢材缺陷像素精度与背景像素精度的平均值。平均交并比(MIOU)即钢材缺陷与对应背景的预测结果和标签结果的交集并集比值
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 语义 分割 钢材 缺陷 检测 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。