基于深度学习的盾构隧道衬砌表观病害检测模型研究.pdf
《基于深度学习的盾构隧道衬砌表观病害检测模型研究.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的盾构隧道衬砌表观病害检测模型研究.pdf(9页珍藏版)》请在咨信网上搜索。
1、基于深度学习的盾构隧道衬砌表观病害检测模型研究现 代 隧 道 技 术MODERN TUNNELLING TECHNOLOGYVol.60,No.4(Total No.411),Aug.2023第60卷第4期(总第411期),2023年8月出版文章编号:1009-6582(2023)04-0067-09DOI:10.13807/ki.mtt.2023.04.008收稿日期:2023-03-22修回日期:2023-04-26基金项目:中国电力工程顾问集团有限公司科研项目(GSKJ2-G03-2021).作者简介:吴 刚(1979-),男,硕士,正高级工程师,主要从事隧道工程数字图像处理与识别方面的
2、研究工作,E-mail:.通讯作者:罗 炜(1998-),男,硕士研究生,主要从事深度学习、计算机视觉、隧道性能评估与预测方面的研究工作,E-mail:.基于深度学习的盾构隧道衬砌表观病害检测模型研究吴 刚1罗 炜2,3王小龙1朱晶晶1贾 非2,3薛亚东2,3(1.中国能源建设集团江苏省电力设计院有限公司,南京 211102;2.同济大学土木工程学院地下建筑与工程系,上海 200092;3.同济大学 岩土及地下工程教育部重点实验室,上海 200092)摘要:为了实现盾构隧道衬砌表面渗水、裂缝、掉块、漏泥砂等病害的快速准确识别,提出一种基于深度学习模块化设计的盾构隧道衬砌多类表观病害检测模型。该
3、模型分为数据加载、网络结构、损失函数与后处理、训练与评估4个模块,结合SSD(Single Shot MultiBox Detector)与YOLOv4(You Only Look Once)的检测原理和数据集特点,提出采用适应度和最大可能召回率两个指标来综合评估模型先验框与数据集的匹配度。根据数据集病害标注框分布,采用K-means方法聚类得到匹配度最高的一组先验框,并考虑YOLOv4模型结构特点对SSD模型结构进行优化。结果表明,优化后的模型检测准确度达到0.623,相较于原SSD模型的0.373提高了近70%,检测速度由40 FPS提升至50 FPS,充分证明了优化模型的合理性。关键词:
4、盾构隧道;表观病害;深度学习;目标检测;模型优化中图分类号:U451+.4文献标识码:A引文格式:吴 刚,罗 炜,王小龙,等.基于深度学习的盾构隧道衬砌表观病害检测模型研究J.现代隧道技术,2023,60(4):67-75.WU Gang,LUO Wei,WANG Xiaolong,et al.Study on a Deep Learning-based Model for Detecting Apparent Defects inShield Tunnel LiningJ.Modern Tunnelling Technology,2023,60(4):67-75.1引 言在盾构隧道运营期间,
5、受施工质量、周边环境、养护措施等因素的影响,隧道衬砌易出现渗水、漏泥砂、裂缝、掉块等表观病害,对隧道结构健康、列车运营安全和周边地层产生不利影响1。为确保地铁运营安全,需要对隧道衬砌病害进行检测与评估。传统的检测方法以人工巡检为主,检测效率低,易出现错检漏检,难以实现病害快速准确识别,亟需一种新型自动化检测方法代替人工巡检。在人工智能和大数据高速发展的时代背景下,基于深度学习的图像识别技术逐渐被应用于检测盾构隧道表观病害2,3。Huang等4基于采用两个平行的全卷积网络分别对裂缝和渗水进行分割,实现了优于传统图像处理技术的病害分割精度。Xue等5分别利用VGG与Faster R-CNN模型对图
6、像中渗水和裂缝病害进行分类与检测,在3 FPS的检测速度下达到了 85%左右的检测准确率。Zhao 等6应用Mask R-CNN模型对渗水病害进行分割,在9 FPS的分割速度下实现了94%的分割准确度。Zhou等7将隧道三维重建模型转换为保留了点云信息的四通道图像,并基于SIDNet进行掉块病害分割。已有研究结果表明,基于深度学习的病害识别方法的自适应性、鲁棒性、准确度均优于传统图像识别技术。然而,目前的深度学习模型主要聚焦于一类或两类病害的识别,并未全面涵盖隧道表观可能出现的病害类别。针对盾构隧道多类病害的同步检测任务,现有模型的检测表现距离“快速准确”这一目标仍有较大差距。因此,本研究结合
7、SSD(SingleShot MultiBox Detector)与 YOLOv4(You Only LookOnce)模型的检测原理,基于病害数据集特点,采用K-means方法进行优化,旨在改善检测病害的速度67基于深度学习的盾构隧道衬砌表观病害检测模型研究现 代 隧 道 技 术MODERN TUNNELLING TECHNOLOGY第60卷第4期(总第411期),2023年8月出版Vol.60,No.4(Total No.411),Aug.2023与准确度。2盾构隧道衬砌表观病害数据集在应用深度学习方法进行盾构隧道衬砌表观病害识别时,数据集的构建是实现隧道表观病害智能检测的关键一环。数据集
8、的构建主要步骤包括图像采集、病害分类、病害标注、数据集划分。为增加数据集规模及多样性,本研究基于人工采集和检测装置采集搭建病害样本库。由于部分病害(如管片错台、接缝张开等)难以通过视觉方式进行检测,主要选择渗水(leakage)、漏泥沙(mud)、裂缝(crack)及掉块(block)四类病害(图1)为识别检测对象,尽可能多地涵盖盾构隧道表观出现的病害。图1 数据集病害分类Fig.1 Classification of dataset defects根据病害类别,从样本库中抽取了包含四类病害的图像共3 106张,并采用Labelme软件对病害进行标注(图2)。最后,将数据集按照8 2的比例划分
9、为训练集与测试集两部分,最终划分后用于检测任务的各类病害数量如表1所示。3病害检测模型搭建3.1模型组成为实现复杂场景下目标的快速准确识别,深度学习模型网络结构复杂程度不断提高,但模型本质上是由大量不同类型网络层堆叠形成的神经网络,如卷积层、池化层、归一化层等。因此,模型的搭建基于模块化设计分为4个部分:数据加载模块、网络结构模块、损失函数与后处理模块以及训练与评估模块(图3)。图2 基于Labelme标注盾构隧道表观病害Fig.2 Apparent shield tunnel defects labeled based onLabelme表1 检测任务训练集与测试集的组成Table 1 Co
10、mposition of training and testing sets fordetection tasks病害类型数据集渗水裂缝掉块漏泥砂病害总计训练集/张1 4977041691192 489测试集/张3811703729617总计/张1 8788742061483 106图3 模块化设计Fig.3 Modular design(1)数据处理库(data)该模块主要任务是构建数据集,通过对采集到的原始图像数据进行图像预处理和标签格式转换,将其转换为可供模型训练和评估的格式,最终获得每张病害图片的COCO格式标签。68基于深度学习的盾构隧道衬砌表观病害检测模型研究现 代 隧 道 技 术
11、MODERN TUNNELLING TECHNOLOGYVol.60,No.4(Total No.411),Aug.2023第60卷第4期(总第411期),2023年8月出版(2)数据加载模块(datasets)该模块主要作用是根据batch size将对应数量的图像及标签信息进行处理与组合,作为模型的输入与输出。“transforms”用于对输入模型的图像进行处理,主要包括尺寸调整、tensor格式转换、图像标准化等。(3)骨干网络(backbone)与网络结构(modeling)深度学习模型由骨干网络和头部网络两部分组成8,如图4所示。骨干网络的主要作用是提取图像中病害特征,得到一张或数张
12、特征图,用于后续生成模型预测结果。头部网络由全卷积层组成,故输出结果仍为特征图。对于特征图上的每个点,沿维度方向的c个数值包含了预测框的位置坐标与类别概率。相对于头部网络,骨干网络是病害特征抽取的关键组成,本研究通过分析SSD和YOLOv4的检测原理,主要采用了ResNet作为搭建检测模型的骨干网络。在骨干网络的基础上可搭建对应的头部网络形成检测模型。图4 检测模型网络结构Fig.4 Network structure of detection model(4)损失函数与后处理模块(utils)由于本研究聚焦于多病害的检测识别,检测信息主要包括分类概率与位置坐标,对应的损失函数分别称作分类损失
13、函数与回归损失函数。对于分类任务,选定CELoss作为训练损失函数,其定义如式(1)9。CELoss=-1Ni=1N yiln(S(pi)(1)S(xi)=j=1Cexiexj(2)式中:N为一次输入图像的数量;C为目标类别数目(一般包含背景);yi为第i个目标对应的真实分类标签;pi为模型针对第i个目标的分类结果;S(x)为softmax激活函数。对于回归任务,选用坐标损失函数 SmoothL1Loss来计算模型预测框与真实框在四个“坐标”上的差值,其定义如式(3)9。smoothL1Loss=1bi=1b1nposij=1npositj()xi,yi,wi,hismoothL1()tGTj
14、-tj(3)smoothL1=0.5x2|x|1|x|-0.5|x|1(4)式中:b为一次输入图像的数量;nposi为第i张输入图像的检测框正样本的总数量;tGTj为第j个检测框的真实标签;tj为模型针对第j个检测框的预测结果。(5)训练评估模块(main&test)在模型主体结构完成后,可搭建最后的训练评估模块来开启模型训练并调用GPU进行加速。识别速度与准确度是评估深度学习模型识别表现的两个重要指标。对于检测与分割任务,采用每秒运算图像数量(Frames Per Second,FPS)衡量模型的识别速度。对于识别准确度,本研究对基于 COCO 格式10的评估矩阵进行改进,选取平均准确度(A
15、veragePrecision,AP)综合评估模型在测试集上的识别表现。对于病害类别,模型预测结果可分为四类TP、FP、FN、TN,如表2所示。根据每类对应数量占总数的比例可计算精准率(Precision),按式(5)计算,最后取不同类的平均值进行识别准确度评价。Precision=TPTP+FP(5)表2 模型预测结果分类Table 2 Classification of model prediction results预测值真实值正(Positive)负(Negative)正(Positive)TP(True Positive)FN(False Negative)负(Negative)FP
16、(False Positive)FN(False Negative)3.2SSD模型SSD是Liu等11提出的一种单阶段模型,采用预先定义的先验框确定图像中目标的位置,通过对先验框进行调整得到预测结果,将预测问题转换为回归问题,模型组成如图5所示。SSD算法通常采用卷积神经网络作为特征提取器,本研究所用的骨干网络为ResNet。ResNet本质上是由一系列残差块堆积形成的卷积神经网络,该网络保证了深度学习模型训练过程的稳定。对于深度卷积网络,ResNet设计了带有颈部结构的残差块,如图6所示。每个残差块的输出H(X)由两部分组成,第一部分F(X)由初始输入X经过正常卷积操作得到,第二部分X是由
17、初始输入X恒等69基于深度学习的盾构隧道衬砌表观病害检测模型研究现 代 隧 道 技 术MODERN TUNNELLING TECHNOLOGY第60卷第4期(总第411期),2023年8月出版Vol.60,No.4(Total No.411),Aug.2023图6 带有颈部结构的残差块Fig.6 Residual error block with neck structure映射得到。模型进行反向传播时,参数更新对象为模型输出与输入的差值。在模型训练达到最优时,浅层网络提取到的特征已趋于稳定,如果任何对于特征X的改变都会使损失函数至增大,那么深层网络中F(X)会自动趋向于0。由于骨干网络对输入
18、图像的多次下采样操作导致小尺寸目标特征损失严重,仅利用单张特征图进行预测难以保证模型的检测准确度。针对该问题,SSD模型删除ResNet的最后一个卷积块,在修改后ResNet的基础上添加数个卷积层生成额外的特征图,用于对不同尺寸的目标进行检测。SSD模型的头部网络通常由一个或多个卷积层和全连接层组成,用于生成目标检测框和预测目标类别和位置。3.3YOLOv4模型2016年,Redmon等12提出了YOLO模型,直接在特征图上每个点处预测矩形框位置坐标与类别概率。如图7所示,YOLO模型将原图下采样至77的大小,在特征图上每个点预测该点的类别概率与两个矩形框的位置坐标。相比于SSD,检测速度大幅
19、提升,但检测准确度劣化。为了提高YOLO模型的检测准确度,一系列优化方法被采用,并在ResNet模型的基础上,提出了DarkNet 模型作为 YOLOv2、YOLOv3、YOLOv4 的骨干网络。在YOLOv3模型中,DarkNet53被提出,在ImageNet数据集上表现出接近于ResNet的分类准确度。针对头部网络,YOLOv4模型还引入空间金字塔池化方法13。采用多个不同尺寸卷积核对同一张特征图进行池化操作,用于融合特征图中的局部特征与全局特征,进一步丰富了特征图包含的语义信息,使YOLOv4模型表现出优于已有模型的检测准确度。考虑到SSD模型与YOLOv4模型均采用先验框进行目标检测,
20、只是网络结构存在不同。本研究对两种模型的先验框与数据集中真实框的匹配度进行对比分析,选取其中匹配度较高的模型作为基准模型进行改进,评估优化前后模型在本数据集的检图5 SSD模型组成Fig.5 Composition of SSD model70基于深度学习的盾构隧道衬砌表观病害检测模型研究现 代 隧 道 技 术MODERN TUNNELLING TECHNOLOGYVol.60,No.4(Total No.411),Aug.2023第60卷第4期(总第411期),2023年8月出版图7 YOLO模型检测流程Fig.7 YOLO model inspection process测表现。4基于数据
21、集特点的模型优化4.1基于IoU的先验框匹配度分析SSD与YOLOv4模型均属于基于先验框的目标检测方法,模型训练时会预先在特征图上每个点生成先验框,按照一定匹配规则将真实框信息赋予先验框。对于匹配到真实框的先验框,模型预测结果并非矩形框坐标,而是先验框与真实框间的差值,利用该差值对先验框坐标进行调整,使预测结果与真实框的重合程度不断提高。先验框对模型训练效果和检测准确度具有直接的影响。目前常用的匹配规则是基于先验框与真实框间的重合程度进行,可用交并比(Intersection of Union,IoU)表示14,如式(6)所示。IoU=S/(D+G-S)(6)式中:D为检测框的面积;G为真实
22、框的面积;S为两个框的重叠面积。若先验框设计合理,模型在训练开始前便可得到与真实框极为接近的预测结果,在训练过程中可快速达到收敛,且实现较高的检测准确度。如图8所示,以训练图像尺寸512512为例,根据式(7)对数据集中真实框的宽高进行转换,以真实框的宽度为横坐标,高度为纵坐标绘制数据集病害形态分布图。从图8可以看出,小尺寸病害的真实框接近正方形,随着病害尺寸的增加,真实框的形态转变为长方形。从理论上分析,渗水在重力作用下向下流动,标注框形态应以竖向长方形为主。但由于专业人员手持拍照设备方式的不同,部分渗水病害在图像中表现出水平的形态,使得真实框呈现出水平长方形的形态。图8 盾构隧道表观病害的
23、真实框分布Fig.8 Distribution of real boxes for apparent defects in shieldtunnelw=w0 512/Smaxh=h0 512/Smax(7)式中:w,h为转换后真实框的宽与高;w0,h0为原图像中真实框的宽与高;Smax为图像宽度与高度中的较大值。进一步绘制得到YOLOv4模型(图9)与SSD模型(图10)中先验框的分布图。对于YOLOv4模型,其先验框分布与隧道表观病害真实框分布相差较大,无法较好地反映数据集病害形态分布。而SSD模型按照一定大小和比例生成数量较多的先验框,虽然部分先验框与真实框分布较为接近,但整体上相差仍较大
24、。综上分析,在两种模型训练过程中,匹配到真实框的先验框质量较差,两者重合程度低,易对模型训练效果产生不利影响,导致预测结果准确度较低。在定性地对SSD和YOLOv4模型先验框的匹配度进行分析后,本研究以先验框与真实框的平均最大IoU为依据,提出适应度f和最大可能召回率bpr两个评估指标进行定量分析,如式(8)所示。bpr=B.mean()C=ABf=C.mean()(8)式中,.mean()表示对矩阵中所有元素相加取均值的操作。如表3所示,根据IoU矩阵可得到每个真实框的最大IoU矩阵A(0.4,0.7,0.8)。通过设定IoU阈值(0.5)对其进行筛选,得到筛选矩阵B(0,1,1),计算该矩
25、阵的平均值可得到该组先验框的最大可能召回率,即有多少真实框可以匹配到先验框。基于筛选矩阵,可得到匹配到先验框的真实框的IoU矩阵C71基于深度学习的盾构隧道衬砌表观病害检测模型研究现 代 隧 道 技 术MODERN TUNNELLING TECHNOLOGY第60卷第4期(总第411期),2023年8月出版Vol.60,No.4(Total No.411),Aug.2023(0,0.7,0.8),计算该矩阵的平均值可得到该组先验框的适应度。适应度不仅反映了匹配到先验框的真实框的比例,还反映出匹配成功的先验框与真实框的重合程度。图9 YOLOv4模型先验框分布Fig.9 Distribution
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 盾构 隧道 衬砌 表观 病害 检测 模型 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。