基于计算机视觉的混凝土缺陷检测研究综述.pdf
《基于计算机视觉的混凝土缺陷检测研究综述.pdf》由会员分享,可在线阅读,更多相关《基于计算机视觉的混凝土缺陷检测研究综述.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 15 卷 第 4 期2023 年 8 月Vol.15 No.4Aug.20231 概述1.1 背景混凝土结构具有良好的整体性、可模性、耐久性和耐火性,因此在民用基础设施建设中的得到了广泛应用1。然而,由于混凝土抗拉强度低,在材料性能老化、外部温度变化及长期荷载等因素的耦合作用下,混凝土结构在使用过程中易产生裂缝、剥落、露筋、渗漏及孔洞等结构损伤,这些质量缺陷对混凝土结构的完整性和稳定性造成了严重威胁2。因此,有必要定期开展缺陷检测工作,有效识别混凝土表观质量问题以及判断结构损伤程度,及时采取有效的修复和预防措施,以确保混凝土结构的安全性和可靠性。传统的人工视觉检测存在主观性较强、检测效率较
2、低、检测精度较差等诸多弊端3,难以满足工程实践的需求。而计算机视觉(Computer Vision,CV)技术在自动化检测方面具有显著优势,可有效降低检测成本、提高检测效率和精度,成为混凝土缺陷检测领域的研究热点,在混凝土裂缝、剥落和其他缺陷检测任务中取得了出色的成果4-6,但同时也存在一定的技术瓶颈。对此,已有学者从定性7和定量8的不同角度对混凝土基础设施缺陷检测的研究进展进行了梳理,但这些研究或时效性不佳,未涵盖先进的深度学习算法;或局限于裂缝检测,对其他缺陷智能检测提供的参考价值有限。针对上述研究空白,本文旨在综合分析 CV 技术在混凝土缺陷检测领域的研究进展,尤其是深度学习算法在该领域
3、的应用现状,对混凝土缺陷检测涉及的CV 算法进行分类,总结现存的技术难点并分析未来研究方向。1.2 文献筛选与分析由于已有学者对混凝土缺陷检测领域早期使用的CV 算法进行了梳理,因此本文集中对 2017 年至 2022年的相关研究进展进行回顾与分析。针对国外相关研究,本文选择 Scopus 作为文献检索的主要数据库。考虑到 CV 技术在混凝土裂缝检测领域的应用较其他缺陷更为广泛,因此分别对裂缝检测和其他缺陷检测相关文献进行检索。为缩小文献检索范围,本文基于 SCImago 期刊排名对 Scopus 数据库中的期刊进行筛选,将学科类别限定为“Building and Construction”和
4、“Civil and Structural Engineering”,选择其中影响因子排名前 50%的期刊用于文献检索。裂缝检测的检索式由两部分构成,一部分是与内容相关的关键词组合,包含“concrete”、“crack”、“defect”、“damage”、“computer vision”、“deep learning”、“machine 基于计算机视觉的混凝土缺陷检测研究综述姜韶华 蒋希晗姜韶华 蒋希晗(大连理工大学 建设管理系,大连 116024)【摘 要】【摘 要】混凝土缺陷对混凝土结构的安全性和稳定性造成的威胁不容小觑,因此,定期的缺陷检测对混凝土结构的维护至关重要。相较于主观低效
5、的人工视觉检测,计算机视觉因在混凝土缺陷检测的自动化方面具有显著优势而成为近年来的研究热点,但目前缺乏该领域的全面综述。因此,本文旨在综合分析计算机视觉技术在混凝土缺陷检测领域的研究进展,对混凝土缺陷检测涉及的计算机视觉算法进行分类,总结现存的技术难点并分析未来研究方向,为该领域的后续研究提供一定的参考。【关键词】【关键词】缺陷检测;混凝土结构;计算机视觉;深度学习;机器学习【中图分类号】【中图分类号】TU17 【文献标识码】【文献标识码】A 【文章编号】【文章编号】1674-7461(2023)04-0014-08【DOI】【DOI】10.16670/11-5823/tu.2023.04.0
6、3【基金项目】国家自然科学基金面上项目“数据与知识双驱动的建筑工程施工质量智能合规性检查与问题防治研究”(编号:52078101)【第一作者】姜韶华(1971-),男,副教授,博士,主要研究方向:信息技术支持的工程管理。15基于计算机视觉的混凝土缺陷检测研究综述vision”等;另一部分是筛选得到的期刊 ISSN 号,初步检索得到 206 篇文献。而其他缺陷检测的检索式中则将“crack”替换为了“spall”、“delamination”、“rebar exposure”、“leakage”等关键词,且不限制期刊,共得到 345 篇文献。针对国内相关研究,本文选择中国科学引文数据库作为文献检
7、索的主要数据库。采用英文检索式对应的中文关键词组合进行模糊检索,共得到 56 篇文献。为尽可能避免遗漏该领域的重要研究,上述中英文检索式涵盖的内容较实际研究范围更为宽泛,因此需要通过人工筛选进一步剔除重复和无关文献,最终共得到172篇相关文献,其中英文文献137篇,中文文献 35 篇。上述 172 篇文献的年份分布如图 1 所示。从 2019年起,相关研究数量急剧增加,尽管在 2021 年出现短暂下降,但在 2022 年重回峰值,因此,该领域相关研究总体呈现波动增长趋势。表 1 列举了本文所选用文献的部分期刊分布情况,所列出的期刊均出版 3 篇及以上相关文献。其中,“Automation in
8、 Construction”和“Computer-Aided Civil and Infrastructure Engineering”两本期刊是相关研究的主要来源。图 1 相关文献在 2017-2022 年的数量分布表 1 所选文献的期刊分布期刊名称出版文献数量Automation in Construction34Computer-Aided Civil and Infrastructure Engineering24Structural Control&Health Monitoring11Construction and Building Materials9Advances in S
9、tructural Engineering5激光与光电子学进展4建筑结构3水利发电学报3Journal of Computing in Civil Engineering3Advanced Engineering Informatics3Structure and Infrastructure Engineering32 基于 CV 的混凝土缺陷检测方法通过对上述 172 篇文献进行全面分析,本文梳理了该领域的主要研究对象和研究方法,分别如图 2、图3所示。其中,混凝土裂缝检测相关研究占比60%以上,无疑是该领域的研究热点,而混凝土剥落检测和其他缺陷检测则平分秋色,相较而言还有很大的研究空间。
10、在方法层面,主要涉及图像分类、目标检测、语义分割和实例分割四类 CV 算法。本章首先介绍了基于 CV的混凝土缺陷检测的实现原理,其次对上述四类算法在混凝土缺陷检测领域的研究进展进行了全面总结,最后对各类算法的优缺点和适用范围进行了对比分析。图 2 相关文献的研究对象分类图 4 以混凝土剥落和露筋缺陷为例,展示了不同CV 算法的实现原理与检测效果。首先通过 CNN 主干网络对缺陷图像进行特征提取,再将获取的特征图输入到不同类型 CV 算法的差异性网络结构中,最终实现不同的检测效果。图 3 相关文献的研究方法分类图 4 基于 CV 的混凝土缺陷检测原理示意图162.1 图像分类图像分类算法旨在根据
11、图像中包含的特征自动将图像分类为预定义的类别。卷积神经网络(Convolutional Neural Network,CNN)作为CV技术的主流深度模型,主要由卷积层、池化层和全连接层组成,通过卷积操作实现高度抽象的特征提取,进而实现图像分类,目前已被广泛应用于混凝土缺陷检测9,10。大多数混凝土缺陷分类的相关研究都基于经典 CNN 模型展开,例如VGG-16 常被用作混凝土裂缝分类的特征提取器11,而 Inception V3 则被应用于混凝土剥落的识别12。在此基础上,相关研究从调整网络参数13和优化网络结构14两个方向对 CNN 模型性能的提高进行了有效探索。例如,Bhattachary
12、a 等15将多尺度注意力机制和细粒度特征诱导注意力模块引入 CNN 学习架构,以提高多目标多类别混凝土缺陷的分类精度。图像分类算法在混凝土缺陷分类任务中实现了较好的性能。然而,CNN 通常需使用滑动窗口技术对缺陷进行定位16,过小的滑动窗口可能导致缺陷信息不足,进而降低分类精度17。由于上述局限性,CNN 模型难以获取更精细的缺陷特征,如缺陷位置、轮廓等。2.2 目标检测与图像分类不同,目标检测算法可为目标对象同时输出边界框和类别标签。目前,目标检测算法大致可分为两阶段算法和单阶段算法。前者通过算法生成一系列候选边界框作为样本,再通过 CNN 对样本进行分类,模型精度较高,以基于区域的卷积神经
13、网络(R-CNN)18及其衍生网络为代表;而后者在不生成候选边界框的情况下将定位问题转换为回归问题,更为高效,典型算法包括 YOLO19和 SSD20等。R-CNN 将基于选择性搜索的区域提议与 CNN 相结合来提高目标检测性能,但计算成本较高。Fast R-CNN21 避免了重复卷积操作,并使用 softmax 层优化了 R-CNN 网络结构,运行速度得到了一定程度的提高。在此基础上,Faster R-CNN22以区域提议网络取代了选择性搜索算法,进一步提高了运行速度和模型精度。鉴于在目标检测精度和效率方面的优越性,Faster R-CNN 已被广泛应用于裂缝23、剥落24等混凝土缺陷的自动
14、检测及定位。此外,单阶段目标检测算法凭借其高效性同样获得了相关学者们的青睐。YOLO 使用单个神经网络直接完成从特征到分类、回归的预测,输出边界框和相关类别的概率,不断优化的 YOLO 系列网络不仅在多类别混凝土缺陷的分类和定位方面取得了优异成果25,26,而且在实时检测方面被寄予厚望。例如,Yu 等27提出了一种集成焦点损失、修剪算法和多尺度数据集的 YOLOv4-FPM 模型,以实现基于无人机的桥梁裂缝实时检测。基于类似的单阶段策略,SSD 从不同尺度的特征图中提取特征信息进行分类和回归预测,在混凝土缺陷检测中取得了较高的准确性和运行效率,并结合 BIM 实现了可视化管理与缺陷评估28。目
15、标检测算法可同步实现混凝土缺陷的分类和定位,相较于图像分类算法获取了更丰富的缺陷特征,尤其适用于多类别、多实例的缺陷检测,如露筋与剥落伴随出现、孔洞局部密集等场景。然而目标检测算法的精度依然停留在网格级别,无法实现像素级的缺陷检测。2.3 语义分割语义分割算法可对图像中的每个像素进行标记,划分具有相似特征的区域。混凝土缺陷检测涉及的语义分割算法大致可分为以下 3 种类型:(1)传统图像分割算法与 CNN 的结合方法;(2)基于全卷积网络(Fully Convolutional Networks,FCN)29的语义分割算法;(3)FCN 与 CNN 的结合方法。Otsu 阈值分割算法是一种常用的
16、传统图像分割方法,通过确定图像的全局阈值来实现二进制分割,通常与 CNN 相结合以实现混凝土裂缝的语义分割30。此外,主动轮廓模型通过求解最小能量泛函值为图像分割提供了一种新的思路,通过结合 VGG-16 算法,在混凝土裂缝分割任务上取得了一定成果31。深度学习技术的蓬勃发展进一步推动了语义分割算法的进化。其中,FCN 提出了端到端的网络体系,将 CNN 架构中的全连接层转换为卷积层,实现像素级语义分割。作为 FCN 的核心架构,编码器-解码器结构在混凝土缺陷的语义分割方面取得了显著成效32,33。在上述网络结构中,CNN 通常被用作编码器,而解码器则根据特定任务而有所不同,从而产生了SegN
17、et34、U-net35等一批出色的语义分割模型,通过一定的调整和优化36,37,进一步提高了混凝土缺陷分割的准确性。此外,针对混凝土缺陷检测的特定目标,涌现了一批改进的 FCN 模型,如 CrackSegNet38、IDSNet39和 CNN-ViT40等。此外,CNN 和 FCN 的结合为语义分割提供了另一种思路。一般来说,首先使用 CNN 进行特征提取和图像分类,随后使用 FCN 实现基于 CNN 分类结果的语义分割,以提高模型的准确性和效率。基于 CNN 和FCN 各自的优势,这种新方法已成功应用于混凝土裂17基于计算机视觉的混凝土缺陷检测研究综述缝的语义分割41。相较于非像素级方法,
18、语义分割算法实现了缺陷像素与背景像素的完全分割,根据分割结果可采取后处理方法来获取一系列缺陷特征,如长度、宽度、面积等42。但此类算法的局限性在于未对同类缺陷的不同实例加以区分,因而无法满足多实例缺陷检测的需求。2.4 实例分割实例分割算法结合了目标检测和语义分割算法的功能。Mask R-CNN43通过掩码预测分支对 Faster R-CNN 进行了像素级的扩展,在实例分割方面展现了出色的性能。Mask R-CNN 首先通过 RPN 生成候选边界框,然后通过 Faster R-CNN 和掩码分支分别预测每个候选框的类别并实现掩码分割。基于上述特点,Mask R-CNN 已被用于像素级的混凝土缺
19、陷自动检测。例如,Wei 等44使用 Mask R-CNN 识别混凝土结构表面孔洞,基于实例分割结果,通过确定像素面积与实际面积的比率关系来量化孔洞的面积和最大直径。实例分割算法将语义分割算法的像素级精度进一步提升至实例级,实现了不同缺陷实例的像素级分割,适用于更复杂的应用场景,如需实现不同类型的多个缺陷实例的分类、定位和分割。作为混凝土缺陷检测任务中常用的实例分割算法,Mask R-CNN 的掩膜边缘精度有待进一步提高45。3 技术难点与发展方向3.1 技术难点与解决方案尽管 CV 技术在混凝土缺陷检测领域已取得了一定的进展,但在自动检测过程中仍存在许多难点与挑战。基于深入的文献分析,现存的
20、技术难点可归纳为图像质量、图像数量、缺陷量化和实时检测四个方面,相应的解决方案如表 2 所示。表 2 现有技术难点及相关解决方案技术难点解决方案图像质量设备精度高精度相机;无人机、无人驾驶车辆、机器人等运动模糊生成对抗网络图像噪声中值滤波、小波分析、形态学算法等;支持向量机;多元分类图像数量小数据集数据增强;生成对抗网络;迁移学习不平衡分类随机过采样、随机欠采样;交叉熵损失函数、焦点损失函数缺陷量化欧式距离转换;深度相机实时检测YOLO、SSD;Faster R-CNN3.1.1 图像质量缺陷图像的质量在一定程度上决定 CV 算法的检测性能,其影响因素包括设备精度、运动模糊和图像噪声等。各种先
21、进的视觉相机、深度相机和红外相机等高精度图像采集设备已被用于收集高质量混凝土缺陷图像,配备此类传感器的无人机、无人驾驶车辆和机器人可以进入混凝土结构中难以接近的区域,进一步提高图像采集的精度和自动化程度。然而,上述设备在运动过程中的过度振动可能会导致运动模糊。目前,已有研究证明生成对抗网络可有效去除混凝土裂缝图像的运动模糊46,但该算法仅针对裂缝且高度依赖人工标记,在适用范围和工作效率上存在局限性。图像噪声的存在使得缺陷图像背景更为复杂,对缺陷检测过程造成一定的干扰。对于混凝土缺陷图像中的一般噪声,通常使用中值滤波、小波分析和形态学算法等进行去噪处理,同时不乏基于支持向量机47等机器学习算法的
22、去噪方法探索。此外,对于具有显著缺陷相似特征的噪声,例如混凝土结构表面的手写线迹48,通过二元分类很难将其与混凝土裂缝区分开来,此时可考虑将该类噪声标记为特定类别,再对模型进行训练,以提高缺陷检测的整体准确性。3.1.2 图像数量作为 CV 算法的输入数据,缺陷图像数据集在模型训练与验证过程中起着至关重要的作用。缺陷图像少和不平衡分类是目前构建混凝土缺陷数据集在数量层面面临的主要困难。相当数量级的训练数据是监督学习算法取得优异性能的基础和保障,完全依赖人工收集不切实际,因此在具体研究中通常采用数据增强和迁移学习来解决小数据集问题。常用的数据增强方法包括翻转、缩放、裁剪、平移、旋转和噪声注入等,
23、此外,生成对抗网络是数据集扩充的另一种方式。迁移学习则通常使用在其他领域大数据集上预训练得到的权重初始化网络,再利用混凝土缺陷数据集进行微调,以在一定程度上缓解小数据集问题。然而,模型性能很大程度上取决于预训练数据集和缺陷数据集的相似性,并在一定程度上取决于缺陷数据集的大小,因此,迁移学习在解决小数据集问题方面的作用相对有限。数据集的不平衡分类是指缺陷样本远少于非缺陷样本,此时模型训练倾向于关注非缺陷样本而忽略缺陷样本,从而导致模型性能不佳。针对该问题,已有学者从数据和算法两个层面提出了相应的解决方案。18数据层面上,通常使用随机过采样和随机欠采样重新平衡每类样本的比例。然而,由于样本重复,过
24、采样可能会带来过拟合问题;而欠采样则会舍弃部分数据,从而牺牲一定的精度。算法层面上,通常使用交叉熵损失函数和焦点损失函数来调整训练样本的权重,以减轻不平衡分类的影响。3.1.3 缺陷量化缺陷量化指标是进行混凝土结构状态评估的重要依据。目前,混凝土缺陷量化主要面临以下挑战:(1)视觉传感器需尽可能与待检测平面平行,以减少图像变形和扭曲;(2)需精确测量图像采集设备与待检测平面的距离,以确定像素尺寸与实际尺寸的比例关系;(3)需提高图像分割的准确性,从而提高缺陷量化精度。针对二维量化指标如长度、宽度和面积等,通常基于欧式距离转换进行计算。针对三维量化指标如深度、体积等,一般需使用深度相机捕获深度数
25、据,再结合二维图像计算缺陷体积。3.1.4 实时检测混凝土缺陷的实时检测对 CV 算法的运行效率提出了较高的要求。目前,YOLO 和 SSD 作为单阶段目标检测算法的代表,已被广泛应用于混凝土缺陷的实时检测,但在检测精度方面存在一定的瓶颈。而 Faster R-CNN 尽管尚未满足实时检测的需求,但在一定程度上兼顾了运行效率和检测精度,如何进一步实现二者之间的平衡以提高实时检测的精度是目前的研究难点。3.2 未来研究方向综上,通过对现存缺陷检测难点和相关解决方案的总结和分析,本文从三个方面提出未来研究方向。3.2.1 优化图像采集与处理过程为实现更好的检测性能,未来研究需对图像采集和处理过程进
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 计算机 视觉 混凝土 缺陷 检测 研究 综述
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。