基于改进DG-MobileNet模型的焊缝缺陷识别方法.pdf

第 期 年 月组 合 机 床 与 自 动 化 加 工 技 术 .文章编号:():./.收稿日期:修回日期:基金项目:国家自然科学基金资助项目()广西创新驱动发展专项项目(桂科)作者简介:潘海鸿()男壮族教授博士生导师博士研究方向为机器人控制技术、计算机视觉等().通信作者:雷运理()男壮族高级工程师硕士研究方向为计算机科学技术在焊接技术与机械行业的应用研究().基于改进 模型的焊缝缺陷识别方法潘海鸿李松莛陈 琳邓火生雷运理(.广西大学机械工程学院南宁.广西机电职业技术学院机械工程学院南宁)摘要:针对焊接缺陷识别及分类过程中传统卷积神经网络识别准确率低、适应性差和低效等问题提出一种基于融合空洞卷积的 焊接缺陷识别模型 首先基于 模型将深度可分离卷积与空洞卷积相结合以扩大卷积核感受野然后引入 模块和批量规范化算法优化焊接缺陷特征提取过程和防止过拟合现象其次引入 自注意力机制进行特征重标定提升焊接缺陷识别效率 此外考虑到焊接缺陷数量类不平衡问题采用 进行数据增强并在增强后的数据集上验证模型有效性 实验结果表明相比于传统算法 在焊缝缺陷图像特征提取、识别准确率和耗时方面均具有更好的效果其测试准确率达到.关键词:焊缝缺陷识别空洞卷积生成对抗网络深度学习中图分类号:文献标识码:(.):.:引言焊接是一种重要的加工手段由于焊接过程受人为干扰和环境因素的影响容易产生各种缺陷 在主流的焊缝缺陷检测方法中由于射线检测法可获得直观的焊缝内部透视图像被广泛应用 对检测所得图片进行缺陷识别的方法有人工目测法、图像处理方法、机器学习等 人工目测法受检测人员的先验知识影响不同人员可能对同一缺陷进行检测得出不同的结果导致检测结果不稳定为提高缺陷识别的准确率和稳定性有学者开始研究基于图像处理和机器学习算法的缺陷识别算法朱雄轩采用数学形态法提取缺陷边缘边缘信息为缺陷分类依据 迟大钊等基于不变矩的图像校正方法对焊接缺陷进行识别 罗爱明等将分离多叉树支持向量机()应用于焊接缺陷分类 尹立航等采用多尺度采样方法结合控制变量法确定模型最优尺度 上述方法皆需要人为参与调参且某些模型只能识别特定类型的缺陷泛化能力不足近年来深度卷积神经网络在图像分类方面取得了一系列突破 等结合卷积神经网络和高斯核的优点提高缺陷识别的准确率 姜洪权等改进平均池化模型有效提高模型特征选择能力 等提出信息融合技术解决训练样本有限影响识别精度等问题 刘涛等融合空洞卷积与注意力机制对大幅提升网络的检测性能 鲍光海等在网络中加入残差网络结构和可分离卷积提高精度的同时减少了参数计算量现有方法主要针对 算法和应用领域具体问题做出相应的改进 但对于焊接缺陷识别而言由于缺陷类型、位置和大小不一增加识别难度同时会出现某些特征信息被削弱、适应性差等另外由于缺陷样本的收集较为困难缺陷样本数量少且模型参数过大易导致训练过程中易产生过拟合的现象使得学习不够充分从而影响焊接缺陷分类准确率为解决上述问题采用深度生成对抗神经网络()对数据集进行增强平衡处理 同时提出一种 模型提高焊接缺陷分类识别准确率 模型构建.空洞卷积模块空洞卷积又被称为扩张卷积()其在卷积过程引入称为“扩张率()”参数 空洞卷积代替普通卷积核能增大卷积核感受野同时保持模型参数不变有效避免池化过程降低特征图空间的分辨率空洞卷积就是在普通卷积基础上加零填充来扩大卷积感受野范围 如图 所示图 表示标准卷积核为 的感受野图 表示扩张率为 卷积核为 时感受野为 因此 模型融合空洞卷积能有效保持焊接缺陷特征图分辨率并且相比普通卷积过程感受野更大感知特征信息更广()扩张率 为()扩张率 为 图 不同扩张率空洞卷积.模型 是一种采用深度可分离卷积构建的轻量级网络模型深度可分离卷积是由深度卷积和点卷积核组成深度卷积对输入图像的每个通道进行单个卷积点卷积采用 的卷积核对深度卷积输出特征进行加权求和假设输入特征图大小为:其中表示特征图尺寸 表示输入特征图的通道 若输出与输入一致则为 其中 表示输出特征图的通道 当输入和输出特征图尺寸一致情况下若卷积核尺寸为空洞卷积率为 则 空洞深度可分离卷积与传统卷积计算量比为:()()()可以看出空洞深度可分离卷积可以极大减少计算量因此采用 模型对焊接缺陷特征进行提取与分类.自注意力机制对于传统卷积神经网络而言主要利用堆叠非线性卷积变换和池化层捕获感受域信息使提取特征更具有表达意义 但相应卷积操作进行相乘运算时局部感受域特征信息存在混合考虑到特征通道关系这一点团队提出()实现通道特征信息的增强抑制当前任务中无用特征信息 模块主要是对空间维度特征进行压缩并生成权重乘到特征图上对特征通道进行重标定从而有效提高网络特征信息.构建 焊接缺陷识别模型传统方法通过增加网络层和全连接层来提升模型性能但结构复杂使得效率低且在样本有效情况下易发生过拟合现象 针对传统方法识别准确率低、模型泛化性能差等问题提出 模型(图)其主要包括:空洞卷积、深度卷积()、点卷积核()及自注意力机制 模型因引入空洞卷积进行多尺度卷积时可扩大感受野进而增加焊接缺陷特征提取的能力 模型中采用扩张率为 的空洞卷积与卷积核为 深度卷积结合深度卷积步长设置为(如图 中 卷积)点卷积核步长设置为(如图 中 卷积)其余层不变 模型由多个 模块组成输入图像首先通过 卷积对通道进行扩张然后先后使用 的 卷积和 的 卷积对通道维度进行还原 由于 卷积并没有改变通道数影响缺陷特征提取因此在 模型中对 的 卷积融入空洞卷积模块扩大卷积核感受野使感知原图像的范围要更大提升缺陷特征提取能力并防止网络退化图 模型结构组合机床与自动化加工技术 第 期 基于 网络基础上利用深度可分离卷积的优势将每组深度卷积 和点卷积 模块与 模块进行结合 其中深度卷积 和点卷积 模块作为基础网络用于学习焊接缺陷图像的低维和高维特征 在每个深度点卷积后增加 层 这种改进可以保留 优势同时通过嵌入 模块可以解决特征通道信息依赖关系以达到提升焊接缺陷识别准确率和识别速度的效果 最后采用全局平均池化层 替换全连接层减少模型参数并且结合 技术和批归一化()优化焊缝缺陷特征提取过程提升焊接缺陷模型泛化能力和防止过拟合现象 焊缝缺陷数据集处理.焊缝缺陷数据集概述采用的焊接缺陷数据集来自实验室实际焊接过程中提取焊缝缺陷图像 由于焊接缺陷区域占整张图像比例较小因此将整张图像裁切为 像素共获得 张原始缺陷图像其包括气孔()、夹渣()、裂纹()、未焊透()和无缺陷()等 种类型 为消除缺陷类型不平衡影响以及学习样本过少影响分类的性能而且数据量太少也易造成训练过程中过拟合问题 因此采用优化 对缺陷数据集进行平衡处理和样本扩充.数据集平衡处理 相比于其它生成对抗网络算法在训练稳定性和生成样本质量方面具有优势但仍存在梯度消失、多样性不高等问题 因此在原始 做以下改进:生成模型采取批标准化 策略引入高斯混合模型()解决生成器 生成样本多样性差问题 实验中采用改进 对焊接缺陷数据集进行平衡处理以消除不平衡数据对模型分类性能的影响 生成的焊接缺陷图片如图 所示()裂纹()气孔()未焊透()夹渣图 采用 生成的缺陷图片 试验验证与分析.实验过程首先收集出现缺陷的焊接样件送至第三方检测机构获取射线检测图像 对图像进行裁剪后挑选出带有缺陷的图片进行初步分类 得到原始数据集后使用采用 进行数据增强 实验基于 为 显卡频率为.为 位.操作系统上进行 采用.作为实验框架训练过程中使用自适用矩估计算法作为模型优化算法并设置其学习率为.一阶、二阶矩阵指数衰减率分别.和.训练时输入 维随机高斯向量循环训练迭代 次 挑选训练 周期中生成的图像扩充数据集得到最终模型训练的数据集如表 所示表 焊接缺陷图像数据类别原始数量增强后数量数据集实例将最终获得的数据库根据:比例划分训练集与测试集在相同的实验条件下设置初始学习率()为.矩估计得指数衰减率分别为.和 每次输入模型的图片数量()设置为模型训练一次迭代 个.实验结果与分析使用焊接缺陷数据集对提出 模型进行训练 表 是使用 与 网络对不同类型焊接缺陷识别结果由结果可以看出 网络总分类精度为.相比于 识别准确率提高.网络在 张焊接缺陷测试图片中只有 张缺陷图片被误判识别错误 其中在 张夹渣缺陷图片中有 张被误误判为小孔 张裂纹中 张被误判为夹渣其原因可能是夹渣和裂纹两种缺陷特征存在相似性使得识别过程中两者之间容易造成混淆无缺陷识别的精度为 相比于 模型能有效提升焊接缺陷分类精度表 模型缺陷分类结果缺陷类型总样本训练集测试集准确率/准确率/.总计.训练过程中为防止过拟合现象和减少训练时间 采用“”策略实验分别建立 与提出模型进行对比图 分别是不同模型测试过程中准确率 和损失值 曲线图 从图 中可以看出提出的 模型收敛速度较快在训练 个 基本达到稳定状态 从图 中 损失值收敛速度显著并且随着迭代次数的增加损失值基本稳定在一个较低的水平有效防止过拟合现象的发生相比其他方法提出 模型具有更好的泛化性能识别准确率更高能更好描述缺陷特征信息有利于缺陷识别率的提升()训练过程准确率()训练过程损失值图 不同模型迭代准确率与损失在同一测试数据集下对不同模型在训练和测试准 年 月 潘海鸿等:基于改进 模型的焊缝缺陷识别方法确率、生成模型大小、耗时进行比较表 是不同网络的实验结果对比情况表 不同模型识别结果对比模型训练准确率/测试准确率/模型大小/训练时间/.从实验结果可以看出 网络模型生成权重最小相比、其模型大小分别是 的.、.、.、.倍且比 模型大小有所降低其原因是在原有基础上将 网络全连接层替换全局平均池化层减少计算量时有效降低模型参数数量 在测试准确率和模型效率方面 迭代 个 仅耗时.就达到.的训练精度而 和 测试准确率分别为.、但其耗时却是 网络的 倍图 混淆矩阵中纵坐标对应标签代表预测准确结果横坐标对应标签代表误判概率 模型对每种类型的缺陷得到较好的识别其中无缺陷识别图 混淆矩阵结果准确率为 夹渣预测准确率为.被误判为气孔的概率 为 裂纹被误判为夹渣的概率为.误判原因可能是夹渣、气孔和裂纹特征细节上存在重叠现象影响模型的识别准确率将使用 增强后焊接缺陷数据集随机测试样本的特征识别结果可视化(如图 所示)图片的 标注表示正确的类别 表示模型检测后的分类类别相比于增强前其被误判的概率明显降低误判率满足混淆矩阵结果图 随机可视化测试结果实验结果表明对于使用 填充的样本数据改进的 网络模型能够实现各焊接缺陷的准确检测分类证明所提方法是有效可行的 结论针对焊接缺陷识别过程中结构复杂、效率和识别准确率低等问题提出一种新的 模型提高焊接缺陷识别能力其主要结论如下:()通过在 中引入空洞卷积来扩大卷积核感受野范围可以更好提取焊接缺陷特征信息提高缺陷识别准确率()采用全局平均池化层 替代全连接层降低模型训练参数及过拟合现象同时结合 优化算法和批归一化 优化模型训练过程提升焊接缺陷模型的泛化能力()采用所提出的 模型应用于不同像素比焊接缺陷识别中其准确率为.相比于其它传统方法 模型泛化性能更好、效率更高、所占内存更小适用于部署移动端且在其他缺陷识别领域具有通用性参考文献 .():.朱雄轩.基于多特征点的船舶焊缝图像缺陷识别技术.舰船科学技术():.迟大钊马子奇程怡等.不等厚板搭接焊缝缺陷数字 射线检测.焊接学报():.罗爱明沈才洪易彬等.基于改进二叉树多分类 的焊缝缺陷分类方法.焊接学报():.尹立航孙士保许烨等.基于改进多尺度采样算法的焊缝缺陷图像识别.计算机工程与设计():.()/().姜洪权贺帅高建民等.一种改进卷积神经网络模型的焊缝缺陷识别方法.机械工程学报():.():.刘涛汪西莉.采用卷积核金字塔和空洞卷积的单阶段目标检测.中国图象图形学报():.鲍光海林善银徐林森.基于改进型卷积网络的汽车高度调节器缺陷检测方法.仪器仪表学报():.樊丁胡桉得黄健康等.基于改进卷积神经网络的管焊缝 射线图像缺陷识别方法.焊接学报():.:.徐镪朱洪锦范洪辉等.改进的 网络在钢板表面缺陷检测研究.计算机工程与应用():.:.(编辑 祝智铭)组合机床与自动化加工技术 第 期