基于改进YOLO v5s算法的沥青路面裂缝病害识别.pdf

2023 年第 10 期128计算机应用信息技术与信息化基于改进 Y O L O v 5 s 算法的沥青路面裂缝病害识别陈俊豪1 吐尔逊买买提1 张永辉2 何润昌 1CHEN Junhao TURSUN Mamat ZHANG Yonghui HE Runchang 摘要 以沥青路面裂缝病害为研究对象，旨在以及时发现路面损伤并进行针对性养护决策为视角，通过基于YOLO v5s 神经网络结构的方法，为沥青路面病害识别提供参照。在裂缝病害特征提取过程中增加自适应注意力模块和特征增强模块，通过减少特征通道和增强特征金字塔，提取裂缝边缘不规则信息，可以有效提高裂缝识别准确率。同时，针对裂缝目标尺寸差异的挑战，通过重构特征金字塔结构，能够有效提高裂缝目标检测与定位的精确度。实验证明，改进算法对沥青路面裂缝识别准确率高达 90.75%，相较于YOLO v3、YOLO v4及YOLO v5s识别算法，裂缝识别的平均准确度分别提高了11.58%、8.9%、1.98%，表明改进后的 YOLO v5s 算法在沥青路面裂缝识别上拥有更优的准确率。关键词 道路工程；沥青路面裂缝；目标检测；改进 YOLO v5s；识别准确率 doi：10.3969/j.issn.1672-9528.2023.10.0271.新疆农业大学交通与物流工程学院 新疆乌鲁木齐 830052 2.新疆公路桥梁试验检测中心有限责任公司 新疆乌鲁木齐 830000 基金项目 新疆维吾尔自治区研究生科研创新项目（XJ2022G141）；新疆交通投资（集团）有限责任公司 2022年度科研项目(ZKX-FWCG-202212-015)0 引言随着道路使用年限的延长，沥青路面病害逐渐成为公路主要病害之一，对道路使用寿命和车辆行驶安全产生严重影响。裂缝病害的出现进一步加大了沥青路面检测与养护的挑战。截至 2021 年末，我国道路检测养护里程占总里程的99.4%，传统的沥青路面裂缝检测手段效率低下，难以实现快速和大规模的检测目标。因此，运用基于深度学习的智能方法对沥青路面裂缝病害图像进行识别，已成为领域内的发展趋势。深度学习在沥青路面裂缝病害识别领域得到了广泛应用，其关键在于通过学习沥青路面裂缝特征来提取特征，并据此预测未知数据。支持向量机、K-means 等算法已被广泛用于沥青路面裂缝图像的分类与识别。Li 等人1提出了一种基于卷积神经网络和遗传算法的创新性道路裂缝检测策略，以提高检测效率、准确性，并为长期沥青路面维修决策提供直接指导。Liu 等人2提出了一种基于深度域适应的裂缝检测网络（DDACDN），通过利用源域知识预测目标域的多类裂缝位置信息，实现了在仅具有图像级标签的情况下检测路面裂缝的目的。Tang 等人3提出了一种名为 IOPLIN 的深度学习框架，通过迭代优化，仅使用图像标签检测多种路面病害，具有优于现有单分支卷积神经网络模型的性能。邓砚学等人4采用图像语义分割技术中的多尺度视网膜算法提升了沥青路面裂缝的识别度，提高了裂缝的识别精度，结果表明，该方法能够有效地提取路面裂缝的图像特征。陈永强等人5针对沥青路面裂缝提出了基于矩阵神经网络的检测算法，能够对裂缝病害的损伤形式进行有效的自动提取。赵自豪等人6针对沥青路面裂缝的检测，采用卷积神经网络建立了一种全新的检测分割算法，以 Anchor Free 机制替代 YOLO网络中传统的 K-means 算法，以更加适合复杂背景下的裂缝特征识别，从精确率和召回率等指标上均优于传统的阈值分割算法和语义分割算法，提升了算法的准确度。Zhu 等人7提出了一种基于弱监督网络的沥青混凝土桥面裂缝分割和检测方法，通过利用自编码器和 k 均值聚类算法对数据进行处理，成功实现了对六种不同类型缺陷的精准检测。林涛等人8提出了基于 GSO-K-means 算法提升沥青路面裂缝的图像特征分割，结果显示该方法具有收敛速度快、分割结果精准的优势。Pei 等人9提出了一种基于改进的深度卷积生成对抗网络（DCGANs）生成虚拟沥青路面裂缝图像的方法，以解决智能道路检测中小样本问题，实现更高准确性的裂缝检测。琚晓辉等人10提出了 SVM-Adaboost 裂缝图像分类算法，通过对支持向量机分类器的内部参数进行动态优化，从而实现沥青路面裂缝的有效分类检测。Lu 等人11采用了卷积神经网络（CNN）、循环神经网络（RNN）和深度卷积生成对抗 2023 年第 10 期129计算机应用信息技术与信息化网络（DCGAN）等三种不同的深度学习方法来进行路面裂缝图像的识别。实验结果表明，CNN 方法在准确率和 F1 分数方面表现最好。RNN 方法则在召回率方面表现最好。使用DCGAN 进行数据增强可以显著提高深度学习方法的性能。在沥青路面病害识别中，受众多干扰因素影响，传统识别技术的效率与准确性难以满足机器视觉智能化应用的需求。因此，有必要采用先进的方法以提高识别性能，以适应智能化生产环境。鉴于沥青路面裂缝病害识别的重要性和挑战性，本文在基于 YOLO v5s 神经网络模型的基础上，进一步优化了特征提取过程。为了提高模型对裂缝病害的识别效果，引入了自适应注意力模块（adaptive attention module，AAM）和特征增强模块（feature enhancement module，FEM），并对特征金字塔结构进行了重构。这些改进旨在增强模型的特征提取能力，减少沥青路面病害信息的缺失，从而提高裂缝病害的识别效果。1 沥青路面裂缝病害数据集构建为高效识别沥青路面裂缝病害，本文采用搭配激光扫描技术的路面检测系统。在新疆地区 G3012 吐和高速公路阿克苏段 K818+000 为起始点，针对下行方向第 2 车道，每隔 10秒采集一次分辨率为 38002000、96 dpi、8 位色深的路面原始图像。通过对原始图像进行裁剪和切割，如图 1 所示，共得到 1218 张图片。为提高模型的准确性和泛化能力，对训练数据集进行扩充，采用亮度调整、噪声扰动、翻转等数据增强方法，共得到 3845 幅图像。其中，3210 幅用作训练集，而另外的 635 幅作为测试集。图 1 路面裂缝病害图像在保留裂缝病害特征的前提下，首先利用伽马变换（伽马系数为 0.65）处理图像亮度，使得亮度均值达到 0.60，方差为 0.189，经过调整后的图像更有利于识别裂缝病害的边缘特征。然后对数据集进行降噪处理，以提高模型在噪声环境下的鲁棒性。最后通过应用弹性变形算法，消除了图像中的不必要噪声，有助于模型更准确地捕捉裂缝病害的细节特征。2 沥青路面裂缝病害的识别在本文中，使用高性能计算设备来进行沥青路面裂缝病害识别模型的训练和测试。计算环境配置如下：操作系统为Windows 11（64 位系统）；CPU 型号为 Intel Core i7；显卡型号为 NVIDIA GeForce RTX 3050；本地内存容量为 16 GB。采用 Python 编程语言进行模型开发，并选用了功能强大、易于使用的 PyTorch 深度学习框架。为更好训练模型，设定合适的参数，以优化模型性能，初始学习率设定为 0.01，最终学习率设定为 0.002 5，最大训练次数为 300 次。同时，将IoU 阈值设定为 0.2，以确保模型在预测过程中能够有效地识别不同的裂缝病害实例。为评估模型在沥青路面裂缝病害识别任务中的改进效果，选取了多个性能指标进行评价，包括平均精度（mean average precision，mAP）用于衡量模型在不同阈值下的检测效果，传输帧数（frames per second，FPS）评估模型在实时应用场景中的运行速度，存储空间估计模型的复杂度和占用资源，准确率与召回率分别反映模型识别正确的裂缝病害占总预测数量的比例以及模型识别正确的裂缝病害占真实裂缝病害数量的比例，计算时间评估模型在处理单个样本时所需的时间。通过对这些指标的综合评估，可以全面了解模型在沥青路面裂缝病害识别任务上的表现。2.1 视觉检测在 YOLO v5s 模型中，采用空间池化层来提取沥青路面裂缝病害的多尺度感受野特征。空间池化层的作用是将不同尺度的特征图整合在一起，从而在多个尺度上获取图像的详细信息。通过对池化后的特征进行拼接和标准化处理，可以获取到不同层次的图像特征，有助于更准确地识别裂缝病害。但仅依赖浅层特征进行沥青路面裂缝病害检测的准确率可能较低，因为浅层特征通常只能捕捉到图像的低级别信息，如边缘和纹理。因此，利用图像的多层信息可以揭示目标的内在关联，降低浅层特征导致的图像精细度损失，从而提高检测性能。为了在保持图像分辨率的同时扩大沥青路面裂缝病害敏感区域的覆盖范围，采用空洞卷积（dilated convolution），空洞卷积通过引入膨胀率（dilation rate）来重新定义卷积核间的空间关系，使得在不增加参数数量和计算复杂度的情况下，可以获取更大的感受野。这种方法有助于在不损失图像细节的前提下，更好地捕捉沥青路面裂缝病害的特征，从而进一步提升网络性能2.2 YOLO v5s 网络结构的改进为了提高沥青路面裂缝病害的识别率和准确性，本文对目前广泛应用的 YOLO v5s 网络结构进行了改进与优化。YOLO v5s 模型是一种高效的目标检测模型，其主要包含四个核心部分：input、backbone、neck 和 head，如图 2 所示。这些部分协同工作，共同完成图像处理、基本网络结构构建、2023 年第 10 期130计算机应用信息技术与信息化特征提取增强以及基于特征的预测过程，从而达到准确识别沥青路面裂缝病害的目的。图 2 YOLO v5s 网络结构图（1）input（输入）：该部分负责接收输入的图像数据，对其进行预处理，包括缩放、归一化等操作，以适应模型的输入要求。这一步骤为后续网络处理提供了合适的输入数据。（2）backbone（基 本 网 络 结 构）：backbone 部 分 是YOLO v5s 模型的主体，其主要负责从输入图像中提取基本特征。该部分通常采用卷积神经网络（CNN）结构，逐层递进对图像特征进行抽取和表示，从而获取对应的特征图。（3）neck（特征金字塔网络）：neck 部分用于增强特征提取的能力，它采用特征金字塔网络（FPN）结构，对来自 Backbone 的多尺度特征图进行融合与上下采样。这样可以获取更丰富的特征表达，有助于模型在不同尺度和复杂度的裂缝病害上实现更高的识别效果。（4）head（预测头）：head 部分负责基于融合后的特征图进行预测过程，它包括分类、定位和置信度评分等子任务。在这个阶段，模型根据特征图生成裂缝病害的边界框、类别和置信度，从而完成对沥青路面裂缝病害的检测与识别。针对原有网络结构中的特征金字塔模型，本文对其进行改进提出一种新的特征金字塔模型，引入自适应注意力模块（adaptive attention module，AAM），以减少参数损失并提高特征表达能力。此外，还在特征金字塔模型中添加了特征增强模块（feature enhancement module，FEM），以进一步提升特征金字塔的表示能力。改进后的网络结构如图 3 所示。图 3 改进后 YOLO v5s 网络结构图特征金字塔模型在沥青路面裂缝病害识别中发挥了关键作用，通过引入自适应注意力模块（AAM）和特征增强模块（FEM），模型能够更有效地提取特征，进而提高识别准确度。AAM 的核心思想是通过学习不同层次的特征之间的关联，使网络能够自动关注更为重要的特征信息。这样的机制有助于提高特征提取的有效性，进一步增强模型在识别沥青路面裂缝病害时的准确性和鲁棒性。与此同时，特征增强模块（FEM）通过对特征图进行逐层处理和融合，实现在不同尺度上捕捉更丰富和精细的特征信息。这一过程有助于提高模型对细节的捕捉能力，从而提升其在沥青路面病害识别任务上的准确度。如图 4 展示了整合自适应注意力模块（AAM）和特征增强模块（FEM）的特征金字塔结构。图 4 改进后 YOLO v5s 网络结构图3 结果与分析3.1 改进 YOLO v5s 模型的训练结果经过优化的 YOLO v5s 模型在沥青路面裂缝病害识别任务上的训练结果如图 5 所示，在对 3210 幅图像进行测试时，改进后的 YOLO v5s 检测模型表现出了显著的性能提升。识别准确率达到了 92.58%，召回率为 96.25%，平均精度为94.37%。此外，该模型在保持高准确性的同时，实现了 85帧/s 的快速检测速度。训练结果表明，经过对特征金字塔结构、自适应注意力模块和特征增强模块等改进措施的加入，YOLO v5s 模型在沥青路面裂缝识别任务上具有更高的精度和快速的检测速度。图 5 改进 YOLO v5s 模型训练过程3.2 消融实验消融实验是一种评估策略，旨在揭示各个改进措施对模型性能的贡献。在沥青路面裂缝病害识别中，通过消融实验，可以深入了解改进的 YOLO v5s 算法中的各个组件对性能提升的作用。有助于在控制其他变量的情况下，专注于研究特定组件的作用，避免盲目叠加改进措施而导致计算复杂度增加和产生过拟合问题，从而为进一步优化算法提供有价值的洞察，如表 1 所示。2023 年第 10 期131计算机应用信息技术与信息化表 1 消融试验对比结果方案 1召回率/%平均准确率(mAP)/%193.2188.56296.2589.12395.3190.13495.4792.75由表 1 可看出，方案 1 保持原 YOLO v5s 算法模型不变；方案 2 在原 YOLO v5s 算法模型中加入自适应注意力模块（AAM）；方案 3 在原 YOLO v5s 算法模型中加入特征增强模块（FEM）；方案 4 在原 YOLO v5s 算法模型中同时加入自适应注意力模块（AAM）和特征增强模块（FEM）。结果如表 1 所示，仅添加自适应注意力模块（AAM）时，平均识别准确率提高 0.56%；仅添加特征增强模块（FEM）时，平均识别准确率提高 1.57%；当同时添加自适应注意力模块（AAM）和特征增强模块（FEM）时，识别准确率提高 4.19%，说明两个模块的联合应用对算法模型性能的提升效果最佳。3.3 不同模型性能比较为验证改进 YOLO v5s 模型的有效性，采用 YOLO v3、YOLO v4、YOLO v5s 对其进行验证，三种算法模型性能比较如表 2 所示。表 2 不同模型下沥青路面裂缝识别准确率比较模型准确率/%召回率/%储存空间/MB平均准确率/%运算时间/sYOLO v391.4690.25115.2681.170.016YOLO v492.1790.7923.5883.850.014YOLO v5s94.8593.2113.5890.770.013改进YOLO v5s95.4795.4716.392.750.11从表 2 可以看出，四种模型在 YOLO v5s 的平均准确率最高，相较于 YOLO v3、YOLO v4、YOLO v5s 分别提高了 11.58%、8.9%、1.98%。其中 YOLO v3 模型所占的储存空间远远高于其他三种模型，YOLO v4 算法模型储存空间与YOLO v5s、改进后 YOLO v5s 相差不大，但召回率和平均准确率均小于 YOLO v5s、改进后 YOLO v5s，在运算时间上，改进后的模型最快。因此，改进后的 YOLO v5s 算法模型具有较好的平均准确率和较快的运算速度。4 结论本文基于沥青路面病害检测方法提出了一种改进 YOLO v5s 算法模型，在一定程度上能够提升沥青路面裂缝的识别准确率。通过对采集的原始数据集进行切割和扩增，添加自适应注意力模块（AAM）和特征增强模块（FEM）达到对沥青路面裂缝的有效识别，并通过 YOLO v3、YOLO v4、YOLO v5s 进行验证。结果表明，改进后的模型对沥青路面裂缝识别平均准确度高达 92.75%，检测速度为 0.11 s，检测速度为 87 帧，其准确率分别高于 YOLO v3、YOLO v4、YOLO v5s 模型 11.58%、8.9%、1.98%。参考文献：1 LI J,LIU T,WANG X,et al.Automated asphalt pavement damage rate detection based on optimized GA-CNNJ.Auto-mation in construction,2022,136:104180.2 LIU H,YANG C,LI A,et al.Deep domain adaptation for pave-ment crack detectionJ.IEEE transactions on intelligent trans-portation systems,2022,24(2):1669-1681.3 TANG W,HUANG S,ZHAO Q,et al.An iteratively optimized patch label inference network for automatic pavement disease detectionJ.IEEE transactions on intelligent transportation systems,2022,23(7):8652-8661.4 邓砚学,张志华,张新秀.一种新的沥青路面灌封裂缝自动提取方法 J.科学技术与工程,2022,22(16):6687-6694.5 陈永强.基于矩阵神经网络的沥青路面裂缝图像自动检测算法研究 D.西安:长安大学,2022.6 赵自豪.基于卷积神经网络的沥青路面裂缝检测与分割方法研究 D.合肥:安徽建筑大学,2022.7 ZHU J,SONG J.Weakly supervised network based intelligent identification of cracks in asphalt concrete bridge deckJ.Al-exandria engineering journal,2020,59(3):1307-1317.8 林涛,李显培,盛文达,等.基于 GSO-Kmeans 的沥青路面裂缝分割算法研究 J.智能计算机与应用,2022,12(3):186-188+199.9 PEI L,SUN Z,XIAO L,et al.Virtual generation of pavement crack images based on improved deep convolutional genera-tive adversarial networkJ.Engineering applications of artifi-cial intelligence,2021(104):104-113.10 琚晓辉,徐凌.基于 SVM-Adaboost 裂缝图像分类方法研究 J.公路交通科技,2017,34(11):38-42.11 LU,LIANG K.Evaluation and comparison of deep learn-ing methods for pavement crack identification with visual imagesJ/OL.Frontiers in artificial intelligence and ap-plications,2021.2022-10-11.https:/doi.org/10.48550/arX-iv.2112.10390.【作者简介】陈俊豪（1996），男，江西丰城人，硕士研究生，研究方向：道路工程、数据挖掘。吐尔逊买买提（1975），通信作者，男，新疆阿克苏人，博士，副教授，研究方向：道路工程、交通环境、数据挖掘。张永辉（1971），男，新疆昌吉人，总经理，高级工程师，研究方向：道路工程。何润昌（1999），男，江西南昌人，硕士研究生，研究方向：智能交通、数据挖掘。（收稿日期：2023-05-12 修回日期：2023-05-26）