基于多尺度特征融合网络的路面裂缝分割方法研究.pdf

2097-3012(2023)03-0425-06 Journal of Spatio-temporal Information 时空信息学报 收稿日期:2023-02-16；修订日期:2023-09-30 作者简介:李朝勇，研究方向为核电工程项目建设、民用工程建设及维修治理等。E-mail: 基于多尺度特征融合网络的路面裂缝分割方法研究 李朝勇，张成，韦海丹 广西防城港核电有限公司，防城港 538001 摘 要：针对路面缺陷检测设备采集到的路面影像中裂缝像素数占比较小，而现有深度学习的语义分割网络难以分割图像中小目标的问题，本文提出了一种融合了多尺度特征信息的编解码结构语义分割网络模型。首先，在经典编解码结构分割网络 U-Net(u-shaped network)的基础上，将编码结构中不同层级的特征图分别与解码结构中的特征图越级融合；其次，在网络的误差反向传播过程中选择适用于小目标物体分割的损失函数 Focal Loss；最后，在 CrackForest 数据集上对本文方法和常用四种模型进行了对比分析。结果表明，改进的 U-Net 模型在交并比、F1 分数两种综合评价指标上的表现均要优于其他模型，且在细小裂缝的分割结果上提升更为明显。这说明本研究能够为路面影像中裂缝分割任务提供技术参考。关键词：路面裂缝分割；改进的 U-Net；多尺度特征融合；Focal Loss 引用格式：李朝勇,张成,韦海丹.2023.基于多尺度特征融合网络的路面裂缝分割方法研究.时空信息学报,30(3):425-430 Li C Y,Zhang C,Wei H D.2023.Research on road crack segmentation method based on multi-scale feature fusion network.Journal of Spatio-temporal Information,30(3):425-430,doi:10.20117/j.jsti.202303015 1 引 言 道路安全问题至关重要，路面裂缝是威胁道路安全的重要因素之一（翁飘等，2019）。传统的路面裂缝检测方法主要采用人工目视，这会耗费大量的人力物力，检测的精度也相对较低。近年来，随着影像技术的发展，使用路面裂缝采集设备采集路面影像，并使用计算机视觉算法从影像中提取裂缝的方法逐渐成为研究热点（Guan 等，2021；Chen等，2023）。在诸多计算机视觉算法中，主要有数字图像处理和深度学习两种方法（Cao 等，2020）。基于数字图像处理的方法主要为边缘检测、形态学等针对裂缝低级特征而设计的提取方法。如 Chanda等（1998）提出了基于多尺度结构元素的形态学边缘检测，具有较强的抗噪性。Abdel-Qader 等（2003）将快速傅里叶变换、快速哈尔变换、坎尼算子、Sobel算子应用于裂缝检测中，结果表明快速哈尔变换对裂缝的检测效果最好，但该类算法对噪声仍很敏感。Yamaguchi 和 Hashimoto（2007）提出了基于渗流模型的裂缝检测算法，该算法将各像素点在其对 应的局部窗口内进行区域生长，根据生长的结果判断该像素点是否为裂缝点。此类研究多针对某一特定数据集的方法，模型的泛化能力较弱。随着深度学习技术在图像处理领域的广泛应用，卷积神经网络在图像分类和目标检测领域取得了很大的进展。基于深度学习语义分割的裂缝分割方法因具有速度快、精度高、泛化能力强等特点，已成为路面裂缝分割任务中应用最为广泛的方法之一（Ali 等，2022）。语义分割是深度学习中广泛使用的目标检测技术之一，其中，广泛应用于裂缝分割的模型主要为编解码结构，该结构通过对图像中的每一个像素进行分类实现了目标的分割。基于此结构提出的模型有很多，如全卷积神经网络（fully convolutional network，FCN）、SegNet、U-Net（u-shaped network）等。FCN 由 Long 等（2015）提出，使用反卷积结构及特征图相加的融合方式，实现了对物体的像素级分割。Yang 等（2018）使用FCN 进行裂缝的检测，达到了像素级别的分割效果。SegNet 由 Badrinarayanan 等（2017）提出，该方法的特点在于不用保存整个解码部分的特征图，426 Journal of Spatio-temporal Information 时空信息学报 2023,30(3)只需保存池化索引，节省了内存空间。Nguyen 等（2022）将该方法应用在混凝土裂缝分割任务中，实现了自动化、快速的裂缝分割。U-Net 由Ronneberger 等（2015）提出并应用于细胞分割的模型，率先使用了 U 型结构的编解码结构的网络。Ju等（2020）在此基础上提出将 U-Net 中的卷积层中加入填充，使卷积后的特征图像保持与卷积前的分辨率一样，更适用于细小尺寸的裂缝分割。Zhang等（2021）设计了拥有不同下采样和上采样层数的U-Net，并进行对比实验，分析了模型深度对裂缝分割效果的影响。虽然基于深度学习的路面裂缝分割方法已经得到了广泛的应用，但现有的算法中仍存在一些问题。由于路面裂缝通常比较细小，所以在整幅路面影像中，裂缝的像素数相对全图像素数的占比通常较小，并且裂缝的形态通常为细长的，其宽度相对于全图宽度的占比也十分小。此外，编解码结构网络中频繁的下采样，导致其精度难以提升。鉴于此，本文提出了一种基于改进 U-Net的编解码结构语义分割网络模型，通过建立编码结构和解码结构中多尺度特征图之间的联系，以及选用能平衡正负样本数量的损失函数，来提高路面影像中裂缝的分割精度。2 研究方法 2.1 U-Net 模型 U-Net 最初是为了解决生物医学图像分割问题而提出的，但由于其出色的分割性能，后来也被广泛应用在其他物体的分割上，如卫星图像分割、工业缺陷检测等（吕书强等，2022）。U-Net 的编解码结构，如图 1 所示。编码结构负责特征提取，主要用到的是卷积神经网络中常用的卷积层和池化层；解码结构负责将特征图恢复至原始分辨率并对图像中的每个像素点进行分类，主要用到的是上采样和跳跃连接。上采样是将图像的分辨率提高，使经过下采样后的特征图恢复至原始分辨率；常用的上采样方式有反卷积和插值两种。跳跃连接是将编码结构和解码结构的特征图进行融合，融合采用将两个特征图沿着特征维度的方向进行拼接的方式，这种设计可以帮助网络更好地保留图像中的原始信息，从而提高分割精度。图 1 U-Net 模型结构（Ronneberger 等，2015）Fig.1 Structure of the U-Net model 2.2 改进的 U-Net 模型 基于编解码结构的 U-Net 网络在特征融合时仅考虑了同一尺度的特征，这导致随着编码结构下采样次数的逐渐增多，低级别的特征信息逐渐丢失，而只保留了高级别特征信息。这使得最终的分割结果中，由低级别信息组成的边界等特征被弱化，导致分割精度的下降。研究基于 U-Net 模型，将编码结构中的原始特征图按照不同的比例下采样，得到不同尺度的特征图；之后分别与解码结构中相对应的特征图进行融合，实现了融合多尺度特征图、保留多尺度特征信息，原理如图 2 所示。与 U-Net 模型最大的不同点在于增加了多尺度特征融合层：结构将原始分辨率的特征图 C1 分别按照 1/2、1/4、1/8 的下采样比例进行最大池化，分别得到 P1、P2、P3 三个特征图；将这些包含了裂缝边界等低级别特征信息的特征图分别与编码结构、解码结构的特征图进行融合，即 P1 与 C2、U3 融合，P2 与 C3、U2 融合，P3 与 C4、U1 融合。融合的方式与 U-Net模型的一致，采用沿特征维度拼接的方式：fusion1212FeatureFeature,Feature,CC W H（1）式中，fusionFeature为融合后的特征图；1Feature、2Feature为待融合的两个特征图，形状分别为1,C W H、2,C W H；Ci为特征图的维度；W、H 分别为特征图的长和高。由此可知，使用拼接的特征融合方式需保证特征图的长和高一致，这也是为何在多尺度特征融合层中采用三种不同下采样比例的原因。李朝勇 等：基于多尺度特征融合网络的路面裂缝分割方法研究 427 图 2 本文方法的结构 Fig.2 Structure of the proposed method 此外，为了使模型在误差反向传播时，更注重于对裂缝分类准确度的优化，本文使用了Focal Loss作为网络的损失函数。Focal Loss是一个专门为正负类别数量不均衡而设计、适用于小目标物体 分割的损失函数（Lin等，2017）：FL(1)log,1(1)()log(1),0yyyLyyy （2）式中，0时，可以使易分类样本的损失大幅减少，使模型更加关注不易分类的样本；为平衡因子，用于平衡正负样本的重要性。研究中，易分类的样本是占有大量像素的背景；不易分类的样本是仅占少量像素的裂缝。3 实验与分析 为了验证本文方法的有效性和泛化性，选用CrackForest数据集作为训练和测试的数据集（Shi等，2016）。CrackForest数据集是一个常用的道路裂缝图像数据库，包含155幅分辨率为480像素320 像素的道路裂缝图像，可以大致反映城市的路面状况。图3是该数据集的图像和标签示例。图 3 CrackForest 数据集的图像和标签示例 Fig.3 Examples of images and labels from the CrackForest dataset 为了量化评估模型的分割性能，本文利用交并比（intersection over union，IoU）、F1分数这两个常用的综合评价指标对最终的分割结果进行评价。TPPrecision=TP+FP （3）TPRecall=TP+FN （4）TPIoU=TP+FN+FP （5）PrecisionRecallF1=2Precision+Recall （6）式中，TP为将正类预测为正类的像素数量，即将裂缝像素分类为裂缝的个数；FP为将负类预测为正类的像素数量，即将背景像素分类为裂缝的个数；FN为将正类预测为负类的像素数量，即将裂缝像素分类为背景的个数；Precision为模型判定是正的所有样本中有多少是真正的正样本；Recall为所有正样本中有多少被模型判定为正。3.1 模型训练 为 了 使 模 型 的 泛 化 能 力 更 强，研 究 对CrackForest数据集进行了数据增强处理。对所有图像和标签分别进行了90、180、270的旋转，以及以竖边为轴线的左右翻转，从而将数据集扩充至原来的8倍，即1240幅图像。通过这种方式，使模型能够具有平移和旋转不变性，提升模型的分割精度。训练过程中，先将上述数据集里所有的图像和标签按照622的比例随机分为训练集、验证集428 Journal of Spatio-temporal Information 时空信息学报 2023,30(3)和测试集。其中，训练集用于训练模型与确定参数；验证集用于确定网络结构及调整模型的超参数；测试集用于检验模型的泛化能力，即分割能力。除此之外，其他超参数设置如下：优化器选用Adam，初始学习率设为0.001；一阶、二阶矩估计的指数衰减率设为0.9、0.99；模糊因子epsilon设为1108；批量大小设为32；epoch次数设为30；Focal Loss中的和分别设为0.25、2。3.2 结果与分析 为了验证本文方法对小裂缝分割的有效性，研究分别使用本文方法和经典模型FCN-8s、U-Net、Segnet，以及一种专门为路面裂缝分割设计的模型CrackU-net，对经过预处理后的CrackForest数据集进行训练和测试。其中，CrackU-net是在U-Net基础上改进的，通过分析路面裂缝的形态特点，将原始网络中的池化方式改为最大池化、卷积中的填充 方式改为不变，显著提升了路面裂缝的分割精度，是一种非常具有代表性的路面裂缝分割网络。首先将训练集和验证集放入模型中进行训练，其次统一保存验证集精度最高的模型参数，最后分别使用这些模型参数对测试集进行测试。图4是五种模型在测试集上的部分测试结果，测试图像按照简单到复杂的情况分为单条裂缝、多条裂缝和极细裂缝。其中，由红框标的位置可以看出，本文方法相比三种经典模型无论在单条裂缝还是多条裂缝的情况下，在边缘细节上的分割效果要更好，同时，噪点数即误识别的区域也更少；CrackU-net虽然分割情况稍好但仍与本文方法有差距。在对极细裂缝进行分割时，其他四种模型的分割效果明显不如本文方法，出现了不同程度的漏检情况。这证明本文方法中的多尺度特征融合层，以及Focal Loss的使用在分割路面裂缝这种小目标物体时，相比已有方法具有更好的性能，更能还原细小裂缝本身的细节。图 4 五种模型的分割结果示例 Fig.4 Examples of segmentation results from five models 为了进一步量化五种模型的分割性能，利用IoU、F1分数指标对五种模型在测试集上的分割结果进行统计，结果如表1所示。本文方法有效地提升了路面裂缝的分割精度，相对于其他四种方法，表 1 五种模型分割结果的 IoU、F1 分数指标 Tab.1 IoU and F1 metrics for segmentation results of five models%方法 IoU F1 分数 FCN-8s 61.7 76.3 U-Net 67.4 80.5 SegNet 67.9 80.9 CrackU-net 68.7 81.5 本文方法 71.6 83.5 IoU、F1分数指标的提升幅度分别为2.9%9.9%、2.0%7.2%。为了验证本文方法中多尺度特征融合层和Focal Loss损失函数对模型分割效果的影响，使用消融实验进行了分析，分别测试单独使用特征融合层和单独使用Focal Loss损失函数对模型分割效果的影响，以及两者都使用和都不使用对模型分割结果的影响。其中，两者均不使用为基本的U-Net模型，两者均使用为本文方法，结果如表2所示。可以看出，多尺度特征融合层和Focal Loss均起到了提升路面裂缝分割精度的作用，且多尺度特征层对分割效果的提升更为明显。这表明本文方法的两项改进均有效。李朝勇 等：基于多尺度特征融合网络的路面裂缝分割方法研究 429 表 2 消融实验测试结果 Tab.2 Results of the ablation experiments%方法 IoU F1 分数 U-Net 67.4 80.5 U-Net+Focal Loss 68.9 81.5 U-Net+多尺度特征融合层 70.4 82.6 本文方法 71.6 83.5 4 结 论 针对路面影像中裂缝像素数占比较小，分割精度有待提升的问题，本文提出了一种改进U-Net的编解码结构语义分割模型。通过将编码结构中不同层级的特征图分别与解码结构中的特征图越级融合，并在网络的反向传播过程中使用了适用于小目标物体分割的Focal Loss损失函数，提高路面裂缝的分割精度。本文方法在路面裂缝数据集CrackForest中进行了训练和测试，与四种常用的语义分割模型进行了对比分析，并通过消融实验分析了改进模型的有效性。从实验结果中发现，改进的U-Net模型在IoU、F1分数指标上的表现均要优于其他模型，且在细小裂缝的分割结果上提升更为明显。这表明本文方法可以有效提升影像中细小物体的分割精度，在路面裂缝分割任务中具有实用价值。参考文献 吕书强,王诗涵,侯妙乐,谷明岩,汪万福.2022.基于改进 U-Net的壁画颜料层脱落病害区域提取.地理信息世界,29(1):69-74 翁飘,陆彦辉,齐宪标,杨守义.2019.基于改进的全卷积神经网络的路面裂缝分割技术.计算机工程与应用,55(16):235-239,245 Abdel-Qader I,Abudayyeh O,Kelly M E.2003.Analysis of edge-detection techniques for crack identification in bridges.Journal of Computing in Civil Engineering,17(4):255-263 Ali R,Chuah J H,Abu Talip M S,Mokhtar N,Ali Shoaib M.2022.Structural crack detection using deep convolutional neural networks.Automation in Construction,133:103989 Badrinarayanan V,Kendall A,Cipolla R.2017.SegNet:A deep convolutional encoder-decoder architecture for image segmentation.IEEE Transactions on Pattern Analysis and Machine Intelligence,39(12):2481-2495 Cao W M,Liu Q F,He Z Q.2020.Review of pavement defect detection methods.IEEE Access,8:14531-14544 Chanda B,Kundu M K,Vani Padmaja Y.1998.A multi-scale morphologic edge detector.Pattern Recognition,31(10):1469-1478 Chen J Z,Zhao N,Zhang R H,Chen L,Huang K,Qiu Z J.2023.Refined crack detection via LECSFormer for autonomous road inspection vehicles.IEEE Transactions on Intelligent Vehicles,8(3):2049-2061 Guan J C,Yang X,Ding L,Cheng X Y,Lee V C S,Jin C.2021.Automated pixel-level pavement distress detection based on stereo vision and deep learning.Automation in Construction,129:103788 Ju H Y,Li W,Tighe S,Xu Z C,Zhai J Z.2020.CrackU-net:A novel deep convolutional neural network for pixelwise pavement crack detection.Structural Control and Health Monitoring,27(8):e2551 Lin T Y,Goyal P,Girshick R,He K M,Dollr P.2017.Focal loss for dense object detection.2017 IEEE International Conference on Computer Vision(ICCV).Venice,Italy.IEEE:2999-3007 Long J,Shelhamer E,Darrell T.2015.Fully convolutional networks for semantic segmentation.2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Boston,MA,USA.IEEE:3431-3440 Nguyen T N,Tran V T,Woo S W,Park S S.2022.Image segmentation of concrete cracks using SegNet.Intelligence of Things:Technologies and Applications.Cham:Springer International Publishing:348-355 Ronneberger O,Fischer P,Brox T.2015.U-net:Convolutional networks for biomedical image segmentation.Lecture Notes in Computer Science.Cham:Springer International Publishing:234-241 Shi Y,Cui L M,Qi Z Q,Meng F,Chen Z S.2016.Automatic Road crack detection using random structured forests.IEEE Transactions on Intelligent Transportation Systems,17(12):3434-3445 Yamaguchi T,Hashimoto S.2007.Automated crack detection for concrete surface image using percolation model and edge information.IECON 2006-32nd Annual Conference on IEEE Industrial Electronics.Paris,France.IEEE:3355-3360 Yang X C,Li H,Yu Y T,Luo X C,Huang T,Yang X.2018.Automatic pixel-level crack detection and measurement using fully convolutional network.Computer-Aided Civil and Infrastructure Engineering,33(12):1090-1109 Zhang L X,Shen J K,Zhu B J.2021.A research on an improved Unet-based concrete crack detection algorithm.Structural Health Monitoring,20(4):1864-1879 430 Journal of Spatio-temporal Information 时空信息学报 2023,30(3)Research on road crack segmentation method based on multi-scale feature fusion network LI Chaoyong,ZHANG Cheng,WEI Haidan Guangxi Fangchenggang Nuclear Power Co.,Ltd.,Fangchenggang 538001,China Abstract:A method to solve the low segmentation accuracy in identifying small cracks in pavement images is presented.First,the structure and composition of the classic encoder-decoder segmentation network,U-Net,and analyze the challenges this model faces when it comes to segmentatiing small objects.From a structural perspective,the decoding structure of the network lacks low-level features,such as boundary information,which results in lower segmentation accuracy when dealing with objects like cracks.Secondly,based on U-Net,a classical codec structure segmentation network,we merge feature maps from different levels in the encoding structure with those in the decoding structure.This approach allows us to recover multi-scale crack information within the decoding structure,reducing the loss of crack information during the training process.Then,we employ a specialized loss function called Focal Loss,which is suitable for small target segmentation,during the error backpropagation stage to further improve the segmentation accuracy of cracks.Then,the segmentation performance of the network is compared with that of FCN-8s,U-Net,SegNet,and CrackU-net using CrackForest dataset,a widely used dataset for testing road crack segmentation.Finally,we compare the performance of our method when removing the multi-scale feature fusion layer,removing Focal Loss,and removing both.The results show that our method exhibits higher segmentation accuracy compared to the traditional four methods and is more suitable for crack segmentation in road images.The proposed multi-scale feature fusion layer and Focal Loss both improve the segmentation performance.In summary,our method effectively improve the segmentation accuracy of small and medium targets in images,with significant improvements in the task of road crack segmentation.As a result,it holds practical value in road crack segmentation tasks.Key words:road crack segmentation;improved U-Net;multi-scale feature fusion;Focal Loss