基于密集连接和多尺度池化的X射线焊缝缺陷分割方法.pdf
《基于密集连接和多尺度池化的X射线焊缝缺陷分割方法.pdf》由会员分享,可在线阅读,更多相关《基于密集连接和多尺度池化的X射线焊缝缺陷分割方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 39 卷 第 1 期2024 年 1 月Vol.39 No.1Jan.2024液晶与显示Chinese Journal of Liquid Crystals and Displays基于密集连接和多尺度池化的 X射线焊缝缺陷分割方法张勇1,王鹏2*,吕志刚1,3,邸若海1,李晓艳1,李亮亮3(1.西安工业大学 电子信息工程学院,陕西 西安 710021;2.西安工业大学 发展规划处,陕西 西安 710021;3.西安工业大学 机电工程学院,陕西 西安 710021)摘要:为解决 X 射线底片焊缝缺陷分割精度不高、边界信息模糊的问题,本文提出一种改进的 Dilated_Pooling_Une
2、t(DP_Unet)网络分割模型。首先,在上下采样间加入编解码信息提取模块 DP_block,旨在下采样后最大限度地保留原始缺陷语义信息及减少连续卷积与池化操作造成的损失;然后,在模型中添加 GAM 注意力机制重点关注焊缝缺陷部分,有效提升缺陷特征通道的学习能力,降低背景噪声影响;最后,提出一种融合二元交叉熵和 DiceLoss的混合损失函数,用于解决网络训练时不均衡的正负类数据问题。实验数据集由公开数据集 GDX-ray缺陷数据集组成。实验结果表明,本文所提方法在 GDX-ray数据集上有较好表现,Dice值达到了 93.45%,与基线算法相比均有显著提高。该方法具有良好的分割性能,优于传统
3、的分割算法,有效提高了底片焊缝缺陷分割精度。关键词:焊接检测;缺陷分割;DP_Unet;注意力机制中图分类号:TE973.3;TP391.4 文献标识码:A doi:10.37188/CJLCD.2023-0088X-ray weld defect detection method based on dense connection and multi-scale poolingZHANG Yong1,WANG Peng2*,L Zhigang1,3,DI Ruohai1,LI Xiaoyan1,LI Liangliang3(1.School of Electronic and Informa
4、tion Engineering,Xi an Technological University,Xi an 710021,China;2.Development Planning Service,Xi an Technological University,Xi an 710021,China;3.School of Mechatronic Engineering,Xi an Technological University,Xi an 710021,China)Abstract:In order to solve the problems of low segmentation accura
5、cy and fuzzy boundary information of 文章编号:1007-2780(2024)01-0059-10收稿日期:2023-03-06;修订日期:2023-03-23.基金项目:国家自然科学基金(No.62171360);2022年度陕西高校青年创新团队项目;2023年陕西省高校工程研究中心;西安市军民两用智能测评技术重点实验室;陕西省电子设备智能测试与可靠性评估工程技术研究中心;山东省智慧交通重点实验室(筹)Supported by National Natural Science Foundation of China(No.62171360);2022 Sh
6、aanxi University Youth Innovation Team Project;2023 Shaanxi University Engineering Research Center;Xian Key Laboratory of Intelligent Evaluation Technology for Military and Civilian Use;Shaanxi Province Electronic Equipment Intelligent Testing and Reliability Assessment Engineering Technology Resear
7、ch Center;Shandong Intelligent Transportation Key Laboratory(Preparatory)*通信联系人,E-mail:wp_第 39 卷液晶与显示weld defects in X-ray films,this paper proposes an improved Dilated_Pooling_Unet(DP_Unet)network segmentation model.First of all,the codec information extraction module DP_block is added between up a
8、nd down sampling,aiming to preserve the original defect semantic information to the greatest extent and reduce the loss caused by continuous convolution and pooling operations after down sampling.In addition,the GAM attention mechanism is added to the model to focus on welding.The seam defect part c
9、an effectively improve the learning ability of defect feature channels and reduce the influence of background noise.Finally,a hybrid loss function combining binary cross entropy and DiceLoss is proposed to solve the problems of unbalanced positive and negative data during network training.The experi
10、mental dataset is composed of the public dataset GDX-ray defect dataset.Experiments show that the method proposed in this paper has a good performance on the GDX-ray dataset,the Dice value reaches 93.45%,which are significantly improved compared with the baseline algorithm.This method has good segme
11、ntation performance,is superior to traditional segmentation algorithms,and effectively improves the segmentation accuracy of negative weld defects.Key words:welding detection;defect segmentation;DP_Unet;attention mechanism1 引言随着我国石油天然气行业的高速发展,输送油气管道的焊接质量问题1显得尤为重要。X 射线成像2成为工业界焊缝缺陷检测3一个重要的研究手段。该方法利用 X
12、 射线对焊缝管道进行照射,进而获取焊缝内部的形态图像4。对焊缝缺陷检测和评估质量的传统方式是通过工程师经验来评测,此方式存在检测人员评判标准不一、费时费力、检测误差大等问题。为了提高焊缝底片评测5的精度和效率,许多科研工作者试图提取缺陷区域6。文献 7 提出了一种利用拉普拉斯算子8,根据缺陷的纹理特征来分割缺陷边缘,最后分类图像的特征信息的方法。Zhang9等人利用大律法(OSTU)结合部分不均匀像素分割焊缝,并通过串行区域分割方法识别缺陷。用图像处理的方法进行缺陷检测,噪声大且鲁棒性差。在传统机器学习算法中,高炜欣10等人研究焊缝缺陷,提出利用像素点个数的密度近似相等,采用聚类分析11的算法
13、进行缺陷分割。Jiang12等人提出用主成分分析法13提取缺陷信息的特征,再采用支持向量机14对该特征进行缺陷分类。传统机器学习的方法在缺陷分割中的灵活性与精确性表现欠佳。近年来,深度学习中的卷积神经网络在图像分割15任务中取得了很好的效果。人工智能也应用于越来越多的行业。在工业质检行业,人工智能和语义分割相结合有着广泛应用16。文献 17 提出全卷积神经网络(Fully Convolutional Networks,FCN),先输入图像,然后对最后一层特征图利用反卷积的方式进行加权,最后恢复到原尺寸大小,得到图像像素,保留原始信息,最后逐像素分类。该方法得到的结果在细节上不够敏感且特征表达不
14、够准确。U-net18(Unity Networking)属于FCN的变体,网络结构成U型对称,采用Encoder-Decoder19的设计思想实现特征融合,相比 FCN有优势,但其在训练不同大小数据集时,模型结构不灵活。Schlemper20 等人提出 A-Unet(Attention Gated Networks)分割模型,即分割模型融入了注意力机制。该模型可以在相关任务中重点关注、捕捉感兴趣的区域而抑制无用特征,但存在边界分割不清晰等问题。Huang21等人提出了全尺度连接的 Unet+网络,该网络可以在一定程度上提高小缺陷分割精度,但无法保证边界缺陷的分割精度和数据不平衡导致的分割困难
15、等问题,单一的密集连接22,易造成过拟合现象。Qin23等人提出 U2net 网络用于图像分割,采用 RSU(ReSidual U-blocks)的池化操作,在提升模型架构的基础上,不增加计算模型的复杂度。Chen24等人提出了 DeepLabv3+分割算法解决下采样造成分辨率减小,导致分割精度降低的问题。上述方法在分割任务中均有应用价值,但在分割过程中,模型对于细节特征提取能力较弱且产生了大量冗余信息,导致在 X射线缺陷数据集上表现不佳。60第 1 期张勇,等:基于密集连接和多尺度池化的 X射线焊缝缺陷分割方法针对上述X射线焊缝缺陷分割的不足之处,本文提出了一种在上下采样间加入编解码信息提取
16、模块 DP_Block的 U 形网络 Dilated_Pooling_Unet(DP_Unet),同 时 融 入 GAM(Global Attention Mechanism)注意力模块25,最后提出了一种混合损失函数 Dice_BCE,提升了网络对于焊缝缺陷的分割精确度。2 Unet模型Unet 起初是一个应用于医学二维图像分割的卷积神经网络。作为最经典的语义分割模型之一,它的优势在于利用 Encoder-Decoder 的 U形网络结构,Unet结构如图 1所示,左侧由 4个部分组成,每个部分中有两个卷积层,每部分之后会有一个激活函数和一个池化层操作。图像的起始分辨率为 572,每个模块的
17、分辨率如图 1 标识。相应解码器也包含了 4 个部分,分辨率随着上采样操作而升高,从而得到最终图像。图 1 中灰色箭头表示跳跃连接,目的是连接上采样的输出结果和下采样中子模块有着相同大小的输出结果,作为该子模块的下一个模块的输入。3 本文方法Unet 的缺点在于编码器部分的语义信息既可以通过跳跃连接也可以通过上下采样传递给解码端,从而产生冗余的信息。传递方式不一样,也会存在信息融合的不确定性,导致缺陷边界分割模糊,小缺陷分割精度低。另外,在下采样时随着分辨率升高而生成的浅层特征信息,其缺陷边缘有着不够充分的特征表现,且通过跳跃连接将编码端结果传至解码端时容易导致信息不完整,缺陷分割精度低。针对
18、上述 Unet网络存在的问题。改进后的Dilated_Pooling_Unet(DP_Unet)网络模型如图 2所示,本文有以下优化:(1)提出一个介于上下采样间的编解码语义信息提取模块 DP_block,它由密集空洞卷积和多尺度池化层组成。通过增强焊缝缺陷信息及最大限度对缺陷进行特征提取来保留图片原始信息和提升焊缝缺陷分割效果。(2)将 GAM 注意力机制引入下采样中重点关注缺陷信息部分,改善缺陷分割模型效果差的问题。(3)提出一种混合损失函数 Dice_BCE,具体为二元交叉熵(Binary Cross Entropy,BCE)和 Dice函数采用不同比重相结合的混合损失,提升焊缝缺陷边界
19、分割精确度和模型的泛化性。3.1DP_block由于 X 射线底片焊缝上的缺陷具有丰富的语义信息及形状大小的不同,在缺陷分割任务中,浅层神经网络难以得到充足的特征信息。本1 0241 024512282 302 322 562642 662 682512512542522104210221002512 256136213821402256256196219822002256 128128 64 64 2392392390390388388388388Conv 33,ReLUCopy and cropMax pool 22Up-conv 22Conv 11tile5725725705705685
20、6828421281282822 2802 64 641输入图像输出分割图像图 1Unet结构图Fig.1Unet structure diagram密集连接的空洞卷积模块多卷积核大小池化模块DP_BlockEncoderDecoder512264 128264 642128322256162512162512162516 322256 642128 128264 512232InputOutputSkip connectionAttention modulePooling layerConvolutional layer图 2DP_Unet模型图Fig.2DP_Unet model diag
21、ram61第 39 卷液晶与显示文沿用 Encoder-Decoder架构,提出在上下采样间加入编解码信息提取模块 DP_block,旨在减少连续池化和卷积导致的信息损失,增强编码器下采样后 X 射线底片焊缝缺陷的语义信息及最大限度地对缺陷进行特征提取来保留图像原始信息,以便更好地服务于上采样过程,达到提升底片焊缝缺陷分割效果。它由基于密集连接的空洞卷积模块和基于空间金字塔的多卷积核大小池化模块组成。空洞(扩张)卷积网络26的提出是为了有效计算小波变换,后来用于解决图像语义分割的问题,空洞卷积引入”Dilated rate”参数,定义了卷积核各点之间的间隔数量,如图 3所示,分别是该参数 ra
22、te 为 1 的标准卷积、rate 为 4 和 rate 为6的空洞卷积。3.1.1 密集连接的空洞卷积模块深度学习中有 Inception 和 Resnet 两个经典架构。Inception 系列结构使用了不同的卷积核大小来扩大感受野,Resnet则采用快捷机制避免梯度消失,使卷积神经网络层数突破上千。二者结合后,继承了两种优点,至此深度神经网络达到了新的高度。受上述机制和空洞卷积的启发,提出基于密集连接的空洞卷积模块,发挥提取高级语义特征的作用。如图 4 所示,密集连接的空洞卷积模块有 4 个分支,rate 值随着卷积数量的增加而增加到 1、4 和 6,每个支路的感受野大小分别是 3、9、
23、11和 23。分别加入一个 11卷积在并联支路中来线性激活。最后,如同 resnet快捷机制,将原始特征与其他特征相融合。大目标的抽象特征往往被大感受野的卷积核所提取,而小感受野更适合于小缺陷。通过组合不同大小的rate值,该模块能够提取不同大小对象的特征。3.1.2 基于空间金字塔的多卷积核大小池化模块能够使用编解码器中有效语义信息的多少往往取决于感受野的大小,一般只使用 33这种单个池化核进行池化操作。本文提出了基于空间金字塔的多卷积核大小池化模块。图 5所示共4个不同大小的感受野池化模块,分别对应了 4级输出,分别含有不同池化大小的特征图像。每池化一次,相应地用一个 11卷积来减少计算成
24、本和维数,将特征图像的权重维数减少为原始特征图像维数的 1/K,K值为原始特征图像的通道数。然后网络通过上采样方式将低维特征图恢复至高维原始图像大小,最后将该特征图与上采样后的特征图连接。3.2GAM 注意力模块Unet模型通过下采样和跳跃连接来提取和传递有效特征信息,这种途径会导致传递冗余信息和传递过程中信息的不完整性和不确定性。针对上述两种方式融合,各维度特征进行简单拼接,从而无法获取丰富的特征信息,尤其对于焊缝缺陷ConvKernel:33Rate:1ConvKernel:33Rate:4ConvKernel:33Rate:6 图 3感受野示意图Fig.3Flowchart of hei
25、ght measurementFeature mapFeature map16251216251233 Convrate=1Channel=51233 Convrate=1Channel=51233 Convrate=4Channel=51233 Convrate=1Channel=51233 Convrate=1Channel=51233 Convrate=4Channel=51233 Convrate=1Channel=51233 Convrate=1Channel=51233 Convrate=6Channel=51233 Convrate=4Channel=512图 4密集连接的空洞卷
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 密集 连接 尺度 射线 焊缝 缺陷 分割 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。