基于改进的DeepLabv3p网络的轮胎胎面花纹缺陷分割算法.pdf

2023 年第 8 期95计算机应用信息技术与信息化基于改进的 DeepLabv3p 网络的轮胎胎面花纹缺陷分割算法梁步超1 罗印升1 宋 伟1LIANG Buchao LUO Yinsheng SONG Wei 摘要 为了解决 DeepLabv3p 网络在检测汽车轮胎胎面花纹图像上呈现的边缘分割模糊、模型参数量大、训练速度慢等问题，提出了一种融合双重十字交叉注意力模块（URCCA）的轻量级图像分割算法DeepLabNLAS。首先，采用STDC2代替DeepLabv3p网络中的特征提取网络来降低模型的参数量和体积，提升模型的训练速度；然后，将 URCCA 模块与 ASPP（atous spatial pyramid pooling）模块并联来获取长距离密集的上下文信息；之后，将两个模块的特征图相融合送入解码器进行上采样恢复至输入图像的分辨率大小。实验结果表明，本文改进算法在语义分割公用数据集城市景观数据集 Cityscapes 以及本文数据集 Tread_pattern 上的效果都优于 DeepLabv3p 网络。在公用数据集 Cityscapes 上，DeepLabNLAS比 DeepLabv3p 网络和文献 9 的平均交并比分别提高了 1.22%和 2.68%，在数据集 Tread_pattern 上分别提高了 2.13%和 3.41%。关键词 DeepLabv3p；汽车胎面花纹；STDC2；URCCAdoi：10.3969/j.issn.1672-9528.2023.08.0201.江苏理工学院 江苏常州 213001项目名称 基于3D 视觉和AI 技术的首胎检测系统研发（江苏省科技计划项目），项目编号：BY20221340 引言在汽车轮胎工业检测领域中应用深度学习理论是目前计算机视觉的研究热点。其中，2019 年，吴则举等人1针对轮胎缺陷检测算法速度与精度都不高的问题，使用 U-Net 网络对轮胎带束层区域存在的缺陷进行检测分割，并与传统的基于形态学的分割方法进行比较，证明了 U-Net 在速度与精度上的优越性。2021 年，李明达等人2针对轮胎图像背景复杂缺陷难以区分的问题，使用 Faster-RCNN 网络，通过引入ROI Align 池化对轮胎表面的缺陷进行识别，减少了缺陷误判和漏判的情况。陈亮等人3针对在 X 光成像的轮胎图像上，使用传统深度学习算法检测效率低、精度差等问题，改进了Effi cient-Net 网络，使其融合了多级特征提取网络 TWFPN，并对 6 种轮胎缺陷类型图像进行了检测，并取得了较好的效果。2022 年，王鹏辉等人使用 YOLOv5 网络对轮胎表面的缺陷进行了检测，检测精度（mAP）为 65.4%，并与 YOLOv4网络和 Faster-RCNN 网络进行了对比证明了 YOLOv5 网络的有效性。语义分割作为深度学习图像处理中非常重要的分支，被广泛应用于工业产品的缺陷分割，将其应用于轮胎胎面花纹缺陷识别领域，对比于人工检测或者传统的缺陷检测，检测效率更高，检测准确率也更高，能够有效地识别并且区分出轮胎胎面花纹存在的鼓泡、划痕以及花纹错位等缺陷。张达等人5对 PSPNet 网络进行了改进，采用 MoblieNet 网络来提取钢包底吹氩图像的特征，在网络中引用深度可分离卷积以及金字塔池化来融合特征信息，不仅提高了分割的精度，还减少了模型的计算量；邓天民等人6对 FCN 网络进行了改进，利用压缩后的 VGG16 进行特征图提取，像素点的聚类采用 DBSCAN 算法搭配逆透视变换，最后拟合车道线像素点采用最小二乘法，得到了兼具实时性和准确性的车道线分割算法；任楚岚等人7针对新冠肺炎病毒，设计了一款分割网络，该网络是在经典网络Unet基础上与残差连接相结合，引用了分层分裂模块、坐标注意力、特征内容感知重组上采样来分割肺部的病变区域，提升了分割的精度；周倩倩等人8针对传统视觉算法在识别类型少、速度慢、准确率低等问题，实验对比了 Deeplabv3+采用不同骨干网络对排水管道进行缺陷检测的结果，得出特征提取网络采用 Resnet50 时，分割的精度要明显高于其他网络。刘文祥等人9针对在遥感图像上Deeplabv3+网络出现的拟合速度慢、边缘分割模糊等问题，以串并联两种方式将双注意力机制融入到了 Deeplabv3+网络中，实验证明，并联方式对 Deeplabv3+网络存在问题的改善效果更好。DeepLabv3p 网络在语义分割领域应用广泛，同时存在一定的不足，比如模型体积大、训练速度慢、边缘分割精度低等。针对上述缺陷，本文对 DeepLabv3p 网络进行了2023 年第 8 期96计算机应用信息技术与信息化改进，将双重十字交叉注意力模块引入该网络，并采用轻量级的特征提取网络 STDC2，对轮胎胎面花纹进行缺陷分割。1 DeepLabv3p 网络2018 年，谷歌公司提出了 DeepLabv3p 网络10，该网络主要包含两个部分：编码器（Encoder）和解码器（Decoder）。Encoder 主要是采用 Resnet50 对图像进行特征提取，提取到的特征图分为两个部分，低层次部分直接输送至 Decoder，高层次部分输送至 ASPP 模块进行多尺度特征信息的融合，再将融合后的特征图通过 11 的卷积进行降维，然后将降维后的特征图进行双线性插值 4 倍上采样与之前通过 11 卷积降维的低层次特征图进行拼接，最后，使用 33 的卷积和双线性插值将特征图恢复至输入图像的分辨率大小，得到最终的结果图。DeepLabv3p 网络的优点在于采用了空洞卷积，可以扩大感受野，提高分割的精度，编解码结构可以融合高低层次的特征信息，有利于边缘特征的恢复。DeepLabv3p 网络的整体结构如图 1 所示。图 1 DeepLabv3p 网络结构图2 改进的 DeepLabv3p 网络DeepLabv3p 网络作为语义分割领域中最为优秀的网络之一，在公用数据集 VOC、Cityscapes 上都取得了很好的效果。但是，针对本文的轮胎胎面花纹数据集 Tread_pattern，由于轮胎胎面花纹图像的背景色为黑色，缺陷也为黑色，对比度低难以区分，DeepLabv3p 网络表现得不是很好。另外，由于采集到的轮胎胎面花纹分辨率较高，DeepLabv3p 算法训练时，总参数量多达 2679 万个，参数量太大导致网络训练时间长，收敛慢。针对以上两个方面的问题，本文在 DeepLabv3p 网络中融合了双重十字交叉注意力模块，并采用了轻量级特征提取网络 STDC2，将改进后的 DeepLabv3p 网络命名为 DeepNLAS。2.1 DeepNLAS 网络由于 Transformer11在自然语言处理（natural language processing，NLP）领域上取得了很大的成就，很多研究者开始研究将其最为核心的自注意力机制应用于计算机视觉领域。在语义分割任务中第一个使用自注意力机制的是 Non-local 模块12，它不仅能够扩大感受野，还能够增强远距离特征之间的联系，但是它也存在一定的不足，由于需要生成的注意力图很大，导致计算量太大，需要占用大量的GPU内存。Non-local 模块如图 2 所示。图 2 Non-local 模块在后续语义分割网络的发展中，基于注意力模块的网络有：DAnet13主要是融合了位置注意力机制和通道注意力机制来提取丰富上下文信息，增强了特征图任意两个位置之间的空间联系与通道联系。GCnet14主要对 Non-Local 模块进行了改进，借鉴了 SENet 中的 SE 模块，在充分利用全局上下文信息的同时大大地减少了 Non-Local 模块的计算量。这些网络都通过设计复杂的注意力模块来提高分割的精度，使得网络变得非常复杂。考虑到在保持分割精度高的同时降低网络的复杂度，2020 年，黄子龙、刘文予等人15提出了 CCnet 网络，该网络的十字交叉注意力模块（criss-cross attention，CCA）主要是在 Non-Local 模块的基础上进行了改进，不仅能够高效地捕获长距离的密集的上下文信息，所需计算量也远远低于 Non-Local 模块。与 Non-Local 模块不同的地方在于 CCA 模块增加了 Affi nity 操作和 Aggregation 操作。Affi nity 操作就是对特征图上每个像素点提取其十字位置上的特征向量。Aggregation 操作就是将 V 任意位置上的像素点提取十字位置上的特征向量并与特征图 A 进行矩阵相乘。由于 CCA 对应的特征图呈现十字交叉稀疏形式，大大降低了计算的复杂度，Non-Local 模块的计算量为 O（HW）（HW），而 CCA 的 计 算 量 只 有 O（HW）（H+W-1），提高了语义分割的精度和效率。图 3 所示为十字交叉注意力模块。图 3 Criss-Cross Attention 模块2.2 DeepNLAS 网络的整体结构为了加强十字交叉注意力模块与周围像素点的联系并将其应用于 DeepLabv3p 网络中，本文设计了 URCCA 模块。如图 4 所示，URCCA 模块先将提取到的特征图进行Reduction,然后连续使用两次 CCA 模块，再对特征图进行 2倍上采样，这样的操作能够获得全局的上下文信息，生成更加丰富且密切联系的特征。2023 年第 8 期97计算机应用信息技术与信息化图 4 URCCA 模块图 5 所示为 DeepNLAS 网络的整体结构图，DeepNLAS网络首先使用 STDC2 网络对轮胎胎面花纹图像进行特征提取，然后将提取到的特征图分为三个部分，分别记为 TP1、TP2、TP3。TP1 输送至 URCCA 模块，TP2 输送至 ASPP 模块，TP3 输送至解码器部分，将经过 URCCA 模块处理后的特征图与ASPP处理后的特征图使用相加操作进行特征融合，得到的特征图与经过卷积降维的 TP3 进行拼接融合操作，得到的特征图再次进行双线性插值四倍上采样恢复至与原图分辨率大小一致的输出结果图。图 5 DeepNLAS 网络整体结构图3 实验与分析3.1 实验数据为了验证 DeepNLAS 网络的有效性，实验采用了语义分割公用数据集城市景观数据集 Cityscapes 和数据集 Tread_pattern 两种数据集来进行对比实验。数据集 Cityscapes 中一共有 5000 张在城市环境中驾驶场景的图像，其中训练集有2975 张，验证集有 500 张，测试集有 1525 张，一共 19 类。表 1 展示了所有类别的名称。表 1 数据集 Cityscapes 类别分类GroupClassesfl atroad sidewalk parking+rail track+humanperson*rider*vehiclecar*truck*bus*on rails*motorcycle*bicy-cle*caravan*+trailer*+constructionbuilding wall fence guard rail+bridge+tunnel+objectpole pole group+traffi c sign traffi c lightnaturevegetation terrainskyskyvoidground+dynamic+static+数据集 Tread_pattern 是通过 gocator2440 线激光 3D 相机采集轮胎胎面花纹图像数据，经处理之后得到总样本数为 1656 张胎纹缺陷图像制作成数据集，其中划分为 1356 个训练样本，150 个验证样本以及 150 个测试样本，并使用labelme 标注软件对数据集的训练集与验证集进行标注。如图6 所示，Tread_pattern 数据集包含了胎纹表面可能存在的 3种常见缺陷：鼓泡、划痕、花纹错位，分别用蓝、绿、黄三种颜色标注。其中，鼓泡类缺陷数据包含有 452 张训练图、50 张验证图、50 张测试图；划痕类缺陷数据包含有 455 张训练图、50 张验证图、50 张测试图；花纹错位类缺陷包含了449 张训练图、50 张验证图、50 张测试图。（a）鼓泡 （b）划痕（c）花纹错位图 6 Tread_pattern 数据集示例3.2 实验环境与参数实 验 环 境 为 Windows 10 操 作 系 统，使 用 NVIDIA GeForce RTX 3060 Laptop GPU 显卡，显存为 6 GB，使用Pycharm 进行编程，深度学习框架使用的是 PaddlePaddle。在训练阶段的超参数设定为：初始学习率为 0.01，单次批处理量大小为 2，优化器类型设置为 SGD，在数据集 Cityscapes上，总迭代次数设置为 120 000；在数据集 Tread_pattern 上，总迭代次数设置为 60 000。3.3 评价指标本文使用公认的平均交并比（MIoU，记为 I）、平均像素精度（MPA，记为 A）、模型大小以及单张图像分割耗时这四种指标来评估模型的性能。语义分割是基于像素进行一个分类，分类任务预测结果一般是 4 种情况：true positive（TP，记 为 PT）、false positive（PF）、true negative（NT）、false negative（NF）。平均交并比是衡量语义分割精度的重要指标，它是指计算所有类别交集和并集之比的平均值，计算公式为：式中：k+1 表示类别数；平均像素精度（MPA）指的是每个类内被正确分类像素数的比例，之后求所有类的平均，计算公式为：A=式中：k+1 表示类别数，pij表示第 i 个类别预测为第 j 个类别的总量；模型大小指的是经过训练后保存的最好的模型的体积，关乎是否能够部署到移动端，模型越小所占用的 GPU 内存越少；单张图像分割耗时是指每张图像进行分割时所需要的时间，能够反映出模型处理图像的速度。3.4 实验结果分析选 取 DeepLabv3p 网 络 和 文 献 9 的 网 络 与 本 文 的DeepNLAS 网络在两种数据集上进行对比实验，表 2 所示为2023 年第 8 期98计算机应用信息技术与信息化三种网络在数据集 Cityscapes 上进行实验的结果对比。表 2 三种网络在数据集 Cityscapes 上的实验结果ModelsMIoU/%MPA/%模型大小/MB单张图像分割耗时/msDeepLabv3p70.6695.29102203文献 969.2094.91134348本文模型71.8895.2346.6191由表 2 中数据可知，在公用数据集 Cityscapes 上,本文模型的平均交并比分别比 DeepLabv3p 模型和文献 9 模型高出 1.22%和 2.68%；模型的平均像素精度本文模型达到了95.23%，而 DeepLabv3p 为 95.29%，文献 9 为 94.91%；本文模型体积大小为 46.6 MB，远远低于 DeepLabv3p 的体积102 MB；在单张图像分割的速度上，本文模型最快，分割一张图像仅需要 191 ms。DeepLabv3p 网络和文献 9 的网络与本文的 DeepNLAS网络在数据集Tread_pattern上进行对比实验的结果如表3所示。表 3 三种网络在数据集 Tread_pattern 上的实验结果ModelsMIoU/%MPA/%模型大小/MB单张图像分割耗时/msDeepLabv3p84.6799.3910287文献 983.3999.2613499本文模型86.8099.3446.574由表 3 中数据可知，在数据集 Tread_pattern 上,本文模型的平均交并比分别比 DeepLabv3p 模型和文献 9 模型高出 2.13%和 3.41%；模型的平均像素精度本文模型达到了99.34%，而 DeepLabv3p 为 99.39%，文献 9 为 99.26%；本文模型体积大小为 46.5 MB，远远低于 DeepLabv3p 的体积102 MB；在单张图像分割的速度上，本文模型最快，分割一张图像仅需要 74 ms。4 结论由于采集的轮胎胎面花纹图像分辨率较高，导致DeepLabv3p 网络训练时参数量大、收敛慢；轮胎胎纹图像背景为黑色，缺陷也为黑色，两者难以区分，导致 DeepLabv3p网络对其边缘分割效果差。对此，本文提出了一种在DeepLabv3p 网络基础上进行改进的 DeepNLAS 网络。基于公用数据集 Cityscapes 和汽车胎面花纹数据集 Tread_pattern，通过实验对比分析表明，DeepNLAS网络在保持精度高的情况下，模型的收敛速度更快，模型的体积更小，有更好的效果。参考文献：1 吴则举,王嘉琦,焦翠娟,等.基于深度学习网络 U-Net的轮胎带束层分割算法研究 J.青岛大学学报(自然科学版),2019,32(4):22-29.2 李明达,姜静.基于深度学习的轮胎缺陷检测算法 J.信息技术与信息化,2021(2):52-53.3 陈亮.基于 3D 视觉的轮胎成型缺陷检测 D.青岛：青岛理工大学,2020.4 王鹏辉,王旭飞,刘怡帆,等.基于 YOLOv5 网络的轮胎面缺陷检测分析 J.汽车实用技术,2022,47(17):25-30.5 张达,熊凌.基于改进 PSPNet 的氩花图像分割算法 J.计算机工程与设计,2022,43(10):2843-2849.6 邓天民,蒲龙忠,万桥.改进 FCN 的车道线实例分割检测方法 J.计算机工程与设计,2022,43(10):2935-2943.7 任楚岚,张亨.基于改进 U-Net 模型的新冠肺炎图像分割J.网络安全技术与应用,2022(10):38-41.8 周倩倩,刘汉林,陈维锋,等.基于 Deeplabv3+的排水管道缺陷检测与语义分割 J.中国给水排水,2022,38(13):22-27.9 刘文祥,舒远仲,唐小敏,等.采用双注意力机制Deeplabv3+算法的遥感影像语义分割 J.热带地理,2020,40(2):303-313.10CHEN L,ZHU Y,PAPANDREOU G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentationC/Proceedings of the European Conference on Computer Vision(ECCV),2018:801-818.11PARMAR N,VASWANI A,USZKOREIT J,et al.Image transformer:International conference on machine learningC/PMLR,2018:4055-4064.12WANG X,GIRSHICK R,GUPTA A,et al.Non-local neural networksC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2018:7794-7803.13FU J,LIU J,TIAN H,et al.Dual attention network for scene segmentationC/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,2019:3146-3154.14CAO Y,XU J,LIN S,et al.Gcnet:Non-local networks meet squeeze-excitation networks and beyondC/Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops,2019:2130-2141.15HUANG Z,WANG X,HUANG L,et al.Ccnet:Criss-cross attention for semantic segmentationC/Proceedings of the IEEE/CVF International Conference on Computer vision,2019:603-612.【作者简介】梁步超（1996），女，硕士研究生，研究方向：深度学习语义分割。邮箱：。罗印升（1964），通信作者（邮箱：）男，博士，教授，硕士，研究生导师，研究方向：智能控制理论方法与应用、计算机视觉。（收稿日期：2022-12-10 修回日期：2023-01-15）