基于神经网络的螺丝表面缺陷检测.pdf

第 卷 第 期兵 器 装 备 工 程 学 报 年 月 收稿日期:修回日期:基金项目:北京信息科技大学计算机学院学科发展项目()国家自然科学基金项目()作者简介:朱敏玲()女博士副教授:.:./.基于神经网络的螺丝表面缺陷检测朱敏玲任玉琢(北京信息科技大学 计算机学院 北京)摘要:针对螺丝零件通常存在的缺陷检测问题提出了一种基于神经网络螺丝表面缺陷检测方法 将 注意力机制引入 网络模型用 损失函数替换 损失函数提高模型检测精度在目标框位置预测过程中引入 优化候选框选择方法有效提升候选框位置选择的精度 实验结果表明改进后的网络模型平均精度均值()达到.对小目标缺陷检测精度更高误检漏检情况更少可以有效满足螺丝表面缺陷检测要求关键词:螺丝缺陷检测神经网络小目标检测本文引用格式:朱敏玲任玉琢.基于神经网络的螺丝表面缺陷检测.兵器装备工程学报():.:.():.中图分类号:.文献标识码:文章编号:()():.:引言随着现代战争的飞速发展各国对武器装备目标打击的要求越来越高这要求武器装备零件的精度也随之提高机器视觉技术通过数字化的方法对武器零件进行质量检测能够提高检测的精度和效率降低人工检测成本提高产品质量和生产效率在武器装备零件的生产过程中机器视觉技术已逐渐成为零件精度检测环节必不可少的一部分 其中螺丝作为机械加工中不可缺少的零部件其表面缺陷的检测至关重要这些缺陷如果未被及时发现将会对螺丝的使用造成不利影响影响螺丝的扭矩和螺纹连接力从而导致武器装备的故障和安全事故同时通过对螺丝表面缺陷的有效检测可以在生产过程中及时发现不合格产品减少不良品提高生产效率降低生产成本 因此实现对螺丝表面缺陷的自动检测具有非常重要的意义目前针对螺丝表面缺陷的检测主要依靠人工视觉检测和机器视觉检测 种方法 人工视觉检测的缺点在于检测效率低、主观性强、易出现疏漏和错误等问题 而机器视觉检测技术则可以通过数字化的方法对螺丝表面缺陷进行自动检测避免了人工检测的缺点因此机器视觉技术在螺丝表面缺陷检测中具有广泛的应用前景 深度学习技术在图像识别、图像生成、图像去噪和图像增强等众多领域有很广泛的应用已经成为机器视觉技术的重要支撑基于深度学习的方法可以通过构建深度卷积神经网络模型对螺丝表面缺陷进行自动识别和检测从而提高检测的准确性和效率 等在缺陷检测中引入了卷积神经网络的 方法对比了基于无监督的正则化方法但是检测精度仍然较低无法满足武器装备的生产需要 赵月等利用深度卷积对抗生成网络 对数据集增强通过构建 网络利用迁移学习方法进行螺丝的表面缺陷检测该方法较为复杂步骤较多且检测速度较慢 胡欣等提出了一种基于改进 的螺纹钢表面缺陷检测方法该方法利用残差堆叠的思想对 中的()模块做了改进但该方法存在候选框选择有偏差导致缺陷类型进行分类存在不准确的情况 上述现有的这些方法在螺丝缺陷检测精度、缺陷定位准确度和检测速度上存在不同的短板螺丝表面的光泽和复杂纹理容易导致图像处理难度增加故而采用更先进的深度学习技术展开对螺丝多种常见缺陷进行检测的研究有很强的必要性 网络模型 系列算法是基于 目标检测算法的典型代表基于深度神经网络进行目标的定位和识别有较高的检测精度和较快的检测速度 是由 等在 年提出的 系列最先进的算法在检测速度和精度上都超越了 系列其他的检测算法 如图 所示 网络由 个部分组成分别是输入端()骨干网络()和检测头()其中()为卷积层()由卷积层、批标准化和 损失函数组成 网络层和 用于特征提取 和 由最大池化层()和 组成()采用最近邻插值算法用于上采样 和 共同用于特征融合和降维加快网络训练速度()为连接层用于多分支特征融合()和 由多个 构成通过控制最短和最长的梯度路径使网络能够学习到更多的特征输入和输出特征大小保持不变()为空间金字塔结构通过不同的最大池化参数来获得不同感受野用于检测图片中不同大小的目标()结构由 组成其借鉴了 的结构思想 是将 卷积、卷积和恒等映射合成了一个卷积网络中包含了 个 分支分别用于特征提取、平滑特征和特征传递图 架构图.朱敏玲等:基于神经网络的螺丝表面缺陷检测 改进的 网络模型改进后的 网络模型骨干部分如图 所示图中蓝色部分为本文提出的()结构替换 原始架构中的 结构 融合了注意力机制可以提高螺丝小目标缺陷的检测精度 本文中模型引入 损失函数考虑预测框与真实框之间的角度关系减小网络模型训练损失提高模型训练精度 本文中引入 优化预测框选择在预测框重叠情况下减少预测框被错误移除的情况图 改进后的 骨干网络架构图.深度学习中的注意力机制是一种受到人眼观察外界事物的特点在复杂的环境中快速定位找到视觉中显著区域的启发而产生的一种深度学习算法注意力机制是通过在网络中对输入的特征动态调整权重使得网络能更好地感知图像中具有标识性的特征从而快速地对目标进行定位注意力机制已经被广泛应用到计算机视觉中并取得了很大成功本研究中提出基于 注意力机制的(为主要结构的网络层)结构如图 所示相比 在保留其降维和特征融合能力的同时加强了对显著性小目标的定位能力 经过测试 用 替换 网络结构的 可以增强检测过程中缺陷特征的目标定位能力尤其对小目标缺陷的定位更加准确 注意力机制()是由 在 年提出的一种无参数注意力机制 该注意力机制不同于现有的 通道注意力机制和 空域注意力机制 注意力机制同时考虑空间和通道维度相关性通过对特征层中的特征映射来推断 注意力权重其本身只需通过一个能量函数来计算无需额外参数去推导是一个即插即用的注意力机制因此无需对网络模型的结构进行调整在改善卷积网络的表征能力上具有良好的灵活性和有效性图 改进网络模型中的 结构.:注意力机制的原理如图 所示 图 中 表示特征 表示当前特征通道数 和 分别表示当前特征宽度和高度为输出特征其中 其中同样颜色的权重与特征表示数据流动的对应关系即某一颜色处理后的特征是输入特征通过同样颜色的权重计算得到的通过 注意力机制 权重计算得到的输出特征更具全局性对数据的处理同时包括空间维度和通道维度参考信息更全面可以更好地定位图片中的小目标图 原理框图.计算过程如式()所示(/)()式()中:为输入的特征为通过能量函数计算后输出的特征 为每个通道上的能量函数为点积计算函数用于避免 值偏离中心位置过大导致的模型不收敛的问题其中 的计算方法为()()()式()中:为输入的特征值 为常数不同数据集 值不同 和 表示 通道上的均值和方差 和 的计算方法如式()所示其中 表示每个通道上特征的数量()()兵 器 装 备 工 程 学 报:/./改进后的网络在进行候选框定位时包含目标的候选框数量更少置信度更高可以提高网络模型的收敛速度 如图 所示原有网络对螺丝前端同一破损预测出 个较低精度的候选框改进后的网络预测得到一个精度更高的候选框图 小目标缺陷检测结果.损失函数的改进本研究中的模型引入()替换 中默认的()作为训练的损失函数 定义 为真实框 为候选框 的计算方法为 ()()式()中:()为预测框与真实框中心点之间的欧氏距离 为同时包含真实框与预测框最小闭包矩形框的对角线距离其中的惩罚项 和 的计算方法为 ()()在这个过程中 没有考虑预测框和真实框之间角度的问题但框之间的夹角关系可以影响回归的结果如图所示在不同的 值的情况下对于候选框的选择置信度是不同的和 分别为真实框和候选框的水平距离和垂直距离图 计算角成本对损失函数的贡献.在考虑到真实框和候选框之间的不同角度可以影响候选框的置信度定义角度损失为 ()()()()式()中 为真实框和候选框之间中心点的距离针对现有的损失函数没有考虑框之间角度关系的问题 等提出 的损失函数为 ()式()中:由角度损失、距离损失、形状损失和 损失组成 为距离损失函数 为形状损失函数计算距离损失 时需要先计算 需要先通过先计算角度损失 得到如式()所示其中 和 分别为真实框和预测框的宽度和 分别为真实框和预测框的高度和 分别为真实框和预测框中心点的横坐标和 分别为真实框和预测框中心点的纵坐标 ()()()()()()().候选框选择方法 在进行目标框的选择时采用的是非极大值抑制()算法 算法是一种贪心算法首先按照框的置信度从高到低进行排序找到置信度最高的候选框 然后计算其他较低置信度的框与 的交并比()过滤出那些 较大的候选框进行舍弃不断迭代上面的操作最终确定目标候选框 在迭代中 算法将较小置信度的相邻候选框检测分数强制归零即移除重叠部分大于重叠阈值的候选框在这种情况下如果一个真实的目标出现在重叠区域如图 所示为网络模型检测出的候选框存在重叠的情况同一处缺陷即被判定为 种缺陷如将螺丝侧面缺陷同时判断为侧面缺陷和顶部缺陷将前端缺陷同时判定为侧面缺陷和前端缺陷 算法会导致对该目标的检测失败并降低算法的平均检测率同时最终检测的结果会因 阈值设置的不同而不同过小的阈值会导致误删候选框过大的阈值会导致目标误检 考虑到螺丝表面缺陷检测的特点螺丝表面缺陷的裂痕、破损等缺陷所需要检测的目标较小候选框的微小偏移会导致最终的预测结果有偏差因此本文中引入 替代 来对该问题进行改进 对比移除候选框的步骤传统的 和 做法对比如式()和式()朱敏玲等:基于神经网络的螺丝表面缺陷检测所示 ()()()()()()()其中()计算的是最大置信度的候选框 和候选框之间的重叠率通过与阈值 对比进行给候选框 的置信度 进行赋值 在算法执行的流程上与 相同在计算检测置信度得分方式上 直接将候选框置信度设置为 通过计算降低置信度得分 计算置信度得分的方法是线性计算在没有明显增加计算量的情况下可以优化由于目标重叠带来的目标检测失败和平均检测率降低的问题 较为适合无法确定候选框重叠阈值的情况 是 的一种特殊形式即当得分重置函数采用二值化函数时 和 是等价的图 检测候选框重叠.实验结果与分析实验所采用的数据来自 中的 螺丝数据集经过扩充螺丝图像共计 张分为 个类别随机将图像划分为训练集、验证集和测试集 个数据集比例为 其中包括螺丝存在的典型缺陷类型包含螺丝前端破损()、顶部有划痕()、螺丝侧面破损()、颈部有划痕()和螺丝顶部划痕()评价指标包括模型的精确度()、召回率()和平均精度均值()其中当 阈值设置为.时计算的 记为.阈值从.到.每隔.计算一个将得到的 计算的平均值记为.:.对比实验 训练结果和改进的 训练结果对比如图 所示其中蓝色为 的训练结果橙色为改进的 训练结果 可以看出 网络模型在训练到 轮次改进后的网络模型在 轮次时模型在精确度、召回率和平均检测精度达到稳定且不再有波动改进后的模型收敛速度更快 其中通过图中的 和 可以看出改进后的网络缺陷目标选择更加准确通过 可以看出改进后的网络对缺陷类型分类更加准确通过 可以看出改进后的网络找到的缺陷准确度更高通过 可以看出改进后的网络漏检更少通过 可以看出改进后的网络目标检测平均精度均值更高图 与改进后的训练结果对比.在测试集上进行测试缺陷检测结果如图 所示可以看出训练后的网络针对不同种类的缺陷可以准确判断出缺陷类型包括螺丝前端破损、顶部有裂痕、螺丝侧面破损、颈部有划痕和螺丝顶部划痕并可准确定位缺陷所在位置兵 器 装 备 工 程 学 报:/./如图 所示其中图()为置信度准确度曲线图()为置信度召回率曲线图()为置信度 分数(精确率和召回率调和平均数)曲线图()为召回率准确率曲线 在相同实验环境下用原、和 网络模型对构建的螺丝数据集进行检测与改进后的 网络进行对比对比结果如表 所示图 缺陷检测结果.图 改进的 测试结果.朱敏玲等:基于神经网络的螺丝表面缺陷检测表 目标检测结果对比 模型精度()().改进后的.在精度上相比 提高.相比 提高.相比 提高.相比 提高.相比 提高.相比原始 提高.在召回率上相比 提高.相比 提高.相比 提高.相比 提高.相比 提高.相比原始 提高.在平均精度均值相比 提高.相比 提高.相比 提高.相比 提高.相比 提高.相比原始 提高.可以看出本文中改进后的模型在螺丝缺陷检测任务中在精度、召回率和平均检测精度上优于其他各方法证明模型改进的准确性.消融实验为了验证所改进的方法对螺丝缺陷检测有着更好的效果本研究中设计了 组消融实验每一组实验在相同的环境下使用相同的参数和数据集进行训练和测试测试结果如表 所示其中表示模型包含所在列的方法改进 表示模型不包含所在列的方法改进 其中 为基准网络 由表中数据可知改进 包括 注意力机制的改进改进 包括损失函数 的改进改进 包括 候选框选择方式的改进对比基准网络这 种改进方式检测精度都有提升其中改进 对精度和平均精度均值的提升最大即 注意力机制可以较大的提升网络模型对目标的定位能力 改进 包括 注意力机制和损失函数 的改进检测精度优于改进 和改进 改进 包括注意力机制和 候选框的选择方式检测精度优于改进 和改进 改进 包括损失函数 和 候选框的选择方式的改进检测精度优于改进 和改进 通过改进 和改进 的对比可以看出多种改进方式之间没有互斥作用相互搭配使用可以同时提高网络检测精度本文模型与改进 对比可知本文模型的检测精度、召回率和平均精度均值都优于其他改进模型优化效果最好表 消融实验结果对比 改进名称损失函数精度()().改进.改进.改进.改进.改进.改进.本文模型.结论为了提高螺丝表面缺陷检测精度提出了改进神经网络模型的检测方法 使用 替换 融合 注意力机制提高对于小目标的定位能力提高模型对于缺陷目标的检测精度并通过改进网络模型的损失函数引入 的损失函数将预测框与真实框之间的角度损失引入到网络的损失函数中使网络模型预测框与真实框之间差距更小提高模型目标检测精度同时通过引入 方法优化候选框选择方法减少了由于误删候选框导致的目标误检的情况提高了模型检测精度 通过对比实验和消融实验在公开螺丝数据集 上验证了改进后的模型取得了.的检测精度较 网络提高了.从而验证了本文方法能够有效地解决螺丝表面缺陷的检测问题兵 器 装 备 工 程 学 报:/./参考文献:张天琦吕卫民陈健等.基于 的岸舰导弹武器装备体系结构建模.火力与指挥控制():.():.程国建卞晨亮.基于目标识别的钢材缺陷检测方法.计算机工程与设计():.():.林杰宣寒玉宋学勇等.基于机器视觉微小螺纹孔缺陷智能检测技术的研究.制造技术与机床():.():.:.:.:.().:.赵月张运楚孙绍涵等.基于深度学习的螺纹钢表面缺陷检测.计算机系统应用():.():.胡欣周运强肖剑等.基于改进 的螺纹钢表面缺陷检测.图学学报:.:.:.:.:./.:.:.:.:.:.:./.:.:./().:.:./():.:./().:.:.科学编辑 田春伟 博士(西北工业大学 副教授)责任编辑 唐定国朱敏玲等:基于神经网络的螺丝表面缺陷检测