基于YOLOv7的水下泄漏检测机器人研究.pdf

基于YOLOv7的水下泄漏检测机器人研究*曲宝家1，陈奕杭1，夏泽豪1，王家聪1，李红双2（1.沈阳航空航天大学 国际工程师学院，辽宁 沈阳110136；2.沈阳航空航天大学 机电工程学院，辽宁 沈阳110136）摘要：针对当前海底输油管道自主巡管检测和检测漏油点等问题，提出了一种基于深度学习的水下泄漏检测机器人，旨在实现海底输油管道的自主巡检和漏油点的检测。采用SolidWorks对机器人进行了三维设计，对动力系统进行了分析，采用Jeston Nano和STM32单片机进行控制，通过YOLOv7算法实现了泄漏目标检测，对其实现的路径进行详细分析。试验研究结果表明：YOLOv7算法可以实现对表面光滑和表面粗糙的水下管道的检测，模型能够非常好地识别并标记出裂缝结构。该研究为海洋环境保护和能源安全提供了一种可靠的解决方案。关键词：深度学习；水下泄漏检测；自主导航；海底输油管道中图分类号：TH122文献标识码：A文章编号：1001-2354（2023）S2-0088-06Research on underwater leakage detection robotbased on YOLOv7QU Baojia1，CHEN Yihang1，XIA Zehao1，WANG Jiacong1，LI Hongshuang2（1.School of International Engineers，Shenyang Aerospace University，Shenyang 110136；2.School of Mechatronics Engineering，Shenyang Aerospace University，Shenyang 110136）Abstract：Aiming at the problems of autonomous inspection and oil leak detection of submarine Oil pipeline,an underwaterleak detection robot based on deep learning is proposed to realize autonomous inspection and oil leak detection of submarine Oilpipeline.A three-dimensional design of the robot was carried out using SolidWorks,and the power system was analyzed.The JestonNano and STM32 microcontroller were used for control.The YOLOv7 algorithm was used to achieve leak target detection,and theimplemented path was analyzed in detail.The experimental research results show that the YOLOv7 algorithm can detect underwaterpipelines with smooth and rough surfaces,and the model can effectively identify and label crack structures.This study provides areliable solution for marine environmental protection and energy security.Key words：deep learning；underwater leak detection；autonomous navigation；submarine oil pipeline*收稿日期：2023-07-12；修订日期：2023-10-20海底油气管道是海洋油气生产系统的生命线，担负着海洋油气输送的使命，是重要的水下传输系统1。但是，海洋油气管道由于受到外界因素的影响，管道可能会出现各种各样的缺陷，例如变形、裂痕及泄漏等2。一旦发生管道泄漏或者被人为破坏，就会严重影响到周围海洋环境和附近人员，同时，还会造成巨大的经济损失3-4。管道泄漏检测技术受到国内外学者的广泛研究。Mashford等5提出了一种利用一组压力传感器进行数据挖掘的方法，其使用支持向量机作为模式识别器来处理管道压力数据，并成功地预测了管道泄漏的位置和大小。陈华立等6提出了一种管道泄漏检测方法，其核心是将管道内的压力数值转化为图像灰度值并通过计算检测管道内的负压波来实现。赵会军等7提出一种采用次声波原理与神经网络相结合的方法进行管道泄漏检测。王贵愚等8提出了一种结合微震信号自动监测的短/长时窗平均法和负压波检测法的方法，用于进行管道泄漏检测。文中结合水下泄漏检测机器人上的传感器，采用收集的水下环境图像和深度信息，通过采用YOLOv7模型进行漏油点的检测和识别。通过对实时图像和深度数据的分析，实现了水下泄漏的检测目标。第 40 卷 增刊 22023 年 12 月Vol.40S2Dec.2023机械设计JOURNAL OF MACHINE DESIGNDOI:10.13841/ki.jxsj.2023.s2.0112023年12月1泄漏检测机器人设计1.1机械设计部分1.1.1主体结构该水下机器人尺寸为400 mm450 mm700 mm，控制仓结构如图1所示，具备自动操舵装置控制系统，可实现避障功能，并能更好地适应狭小地区的工作环境。采用电力驱动方式使机器人工作时间更长，同时，也具有节能环保和无污染的特点。机器人采用了四涵道式的水下电推进器驱动引擎，并采用差速转弯技术，从而显著提高了稳定性和机动性，并减少了前进时阻力和流对机器人航向的影响，使得机器人在水下运动时更加灵活可控。此外，机器人还配备了自动操舵装置控制系统，能够避障，非常适合在狭小地区进行工作。为了防止水侵害问题，文中设计了一种主控外壳方案。泄漏检测机器人选用铝合金作为主要材料，经过车床和铣床加工制成一整块结构。这种铝合金外壳具有良好的密封性，有效防止水分进入主控核心。机器人采用盖子和主体严丝合缝的方式，确保整个外壳完全密闭。主控模块、传感器等原件被放置在密闭的控制仓内，并通过接头连接。控制仓有效隔离水分和其他外部物质，保护主控核心免受损害。这种密闭设计还可防止灰尘、异物等外部因素的侵害，提高使用寿命。文中主控外壳设计旨在防水，并保护主控核心免受其他外部因素影响。1.1.2动力系统泄漏检测机器人的动力系统由6个螺旋推进器和4个加大浮力的空气内核组成，泄漏检测机器人采用的螺旋推进器如图2所示，机器人动力系统结构图如图3所示。泄漏检测机器人具备动力强大、智能识别等多项功能。它能够自动巡航和避障，采用电力驱动方式，节能环保，并且具备独特的收集装置，具有出色的防水效果。系统拥有6个螺旋推进器，提供强大的推力，使其能够在水中自由移动。另外，有4个增加浮力的空气内核确保系统在水中保持平衡，使机器人具备快速、稳定的水下移动能力，这种设计赋予系统高度的机动性和适应性。机器人配备智能识别功能，能够自主巡航和实现避障。采用电力驱动方式，减少能源消耗，并降低环境污染。主控模块对采集的图像进行处理，并根据处理后的数据结果来控制机器人的6个电机，从而实现水下自主巡航和检测漏油点的功能。装置下端的两个推进器控制机器人的上浮和下沉，而侧方的4个防水舵机舱连接的推进器则改变机器人的前进方向。这个推进与浮力系统具备强大的推进力和浮力能力，配备智能识别功能，采用电力驱动方式，节能环保，同时，具有独特的收集装置和防水效果。1.2智能控制部分1.2.1硬件部分该机器人的控制模块由Jeston Nano和STM32单片机组成。Jeston Nano作为人工智能的图像处理核心，通过USB摄像头检测水下机器人的游动并获取环境图像。STM32单片机负责向Jeston Nano 发送指令，并接收来自 Jeston Nano 的图像处理数据。它还驱动360旋转舵机，用于控制机器人推进器的速度和方向，如图4所示。该机器人搭载的无线传感器采用NRF24L01，通过2.4 GHz的数传模块NRF24L01进行相关参数设置，并接收水下机器人传回的实时数据。水下机器人能够实时将姿态信息传输给上位机，同时，上位机可以发送命令来控制水下机器人的运动。传感器系统主要包括姿态角传感器和深度测量计。姿态角传感器采用MPU6050集成的三轴陀螺仪和三轴加速度计，通过感知载体的姿态角，获取机器人在水中的位姿信息。为了修复陀螺仪的飘移，还使用了霍尼韦尔的HMC5883L磁力计，通过感知地磁向量，获得载体与北方向的夹角，从而确定机器人的姿态信息。深度测量计采用MS5803-14BA微型压力传感器，用于测量水下的深度。传感器系统将采集到的数据反馈给主控模块，而后主控模块通过向电机驱动模块输出相应的驱动信号来控制机器人的运动，并获取机器人的定位信息。1.2.2软件部分摄像头采集到的水下视频数据需要进行分析，以便能够识别出可能存在的漏油点。采用了最新的目标检测算法之一YOLOv7来完成这一任务。本系统通过云服务器来实现远程数据交互，并且可实现手机APP远程监控。利用阿里云平台将视频流从Jeston Nano接入云端，并进行处理，对相关视频进行存储和分发。实现手机APP远程视频查看的过程如下：图1控制仓结构图图2螺旋推进器图3动力系统结构设计图图4Jeston Nano内部示意图曲宝家，等：基于YOLOv7的水下泄漏检测机器人研究-89机 械 设 计第40卷增刊2（1）Jeston Nano 将视频流发送至阿里云服务器。可使用OpenCV控制监控摄像头进行拍摄，并通过网络协议（如TCP或UDP）将数据发送给阿里云服务器。（2）阿里云服务器接收视频流。服务器需要使用Socket或HTTP协议接收数据，并进行解码和处理。（3）阿里云服务器将视频流解码成图片。将视频数据解码为连续的图片序列，可使用工具如FFmpeg进行解码。（4）阿里云服务器接收手机APP发送的HTTP请求。在接收到 Jeston Nano 发送的视频流后，服务器需要等待来自手机APP的HTTP请求。（5）阿里云服务器将解码后的图片组装成响应报文返回给手机APP。服务器接收到来自手机APP的HTTP请求后，将解码后的图片数据组装成响应报文，并通过HTTP协议将其发送给APP。（6）持续更新发送图片，实现视频效果。为了实现连续的视频效果，阿里云服务器需要持续从 Jeston Nano 接收视频数据，将其解码为图片，并以一定时间间隔发送给APP，以实现流畅的视频效果。（7）手机APP远程查看。一旦阿里云服务器开始向APP发送视频数据，用户就可以在APP上远程查看视频了。APP提供界面用于控制摄像头方向和焦距，以实现更自由和便捷的远程视频体验。2YOLOv7算法路径分析YOLO（You Only Look Once）是一种实时目标检测算法，相对于传统方法，其主要优势在于快速而准确的处理速度。该算法将图像分割成网格，并对每个网格单独进行目标预测。然后根据置信度和边界框的位置，对这些预测结果进行筛选和整合，从而得到最终的目标检测结果。YOLOv7通过采用深度学习模型和神经网络，能够高效准确地实现目标检测。在水下泄漏检测机器人中，石油泄漏的检测关键在于使用稳定而准确的YOLOv7算法。该算法能够对水下图像进行目标检测，实现对石油泄漏的快速识别和定位。通过对水下环境图像的分析和处理，配合有效的深度学习模型，机器人能够实时获取目标检测结果，并及时采取相应的措施。这对于快速应对泄漏事件、减少环境影响和保护水下生态系统非常重要。该算法的实现路径如图5所示。首先，YOLOv7输入的图片尺寸为640 mm640 mm，输入到backbone网络中，然后经head层网络输出3层不同size大小的feature map，经过Rep和conv输出预测结果，这里以coco数据集为例，输出为80个类别，然后每个输出为x，y，w，h，o，即坐标位置和前后背景，3是anchor数量，即每一层的输出为（80+5）3=255 mm再乘以feature map的大小。YOLOv7的 backbone如图 6所示，总共 50层，首先，经过 4层卷积层，CBS主要是由Conv层、BN层和SiLU层构成，如图7所示，图中用不同的颜色表示不同的size和stride，如（3，2）表示卷积核大小为3，步长为2。经过4个Convolutional Block Structures（CBS）后，特征图的尺寸会发生变化。接下来，特征图会经过ELAN（Encoder-LikeAttention Network）模块的处理。ELAN由多个CBS构成，输入和输出的特征大小保持不变，但开始的两个CBS会引起通道数的变化。在ELAN模块的后续部分，输入通道与输出通道保持一致。经过最后一个CBS后，输出将得到所需的通道数，具体的模块结构如图 8所示。MP层主要分为 MaxPool和 CBS，其中，MP1和MP2主要用于调整通道数的变化比例，MP层结构图如图9所示。图5YOLOv7技术路径图图6YOLOv7 backbone结构图图7CBS模块结构图图8ELAN模块结构图图9MP层结构图-902023年12月YOLOv7 head与YOLOv4和YOLOv5采用相同的PAFPN结构，如图10所示。首先，经过backbone，得到最后的32倍降采样特征图C5，然后通过SPPCSP操作，将通道数从1 024减少到512。接下来，按照top-down的方式将C4和C3与上层特征图融合，得到P3，P4和P5。然后，根据bottom-up的方式将P4和P5进行融合。与YOLOv5类似，不同之处在于将YOLOv5中的CSP模块替换为ELAN-H模块，并使用MP2层进行下采样。ELAN-H模块与backbone中的ELAN模块的差别在于cat操作的数量，如图11所示。对于PAFPN输出的P3，P4和P5特征图，经过RepConv进行通道数调整，并使用卷积层进行目标性、类别和边界框的预测。在训练和部署阶段，RepConv的处理方式略有不同。在训练过程中，有3个分支输出，并将它们相加。而在部署阶段，会将分支的参数重参数化到主分支上，从而减少模型的复杂度和计算量。这种过程的示意图如图12所示。3试验测试该试验使用华硕 ROG枪神6PLUS作为试验平台，其中CPU为 i9-12900H，主频率 2.50 GHz，具有 16核 20线程；GPU 采用GeForce RTX3070TI，显存为8 GB；系统内存为32 GB；操作系统为Windows 11。开发平台使用PyCharm，基于PyTorch深度学习框架，使用Python进行实现。在数据集方面，选取了500张管道裂缝的图片作为训练样本。采用Pascal VOC数据集进行训练，并使用 YOLOv7 模型进行训练。设置好训练参数后，进行了350 次训练迭代。为了满足测试需求，定义了数据集文件为crack.yaml，模型文件为 YOLOv7.yaml。初始权重文件为 YOLOv7.pt。在训练过程中，使用单个GPU进行加速。通过这样的试验配置和方案，能够有效训练并使用YOLOv7模型来检测管道图片中的裂缝情况，裂缝标注信息情况如表1所示。在目标检测中，mAP（mean Average Precision）是一种常用的精度指标，它代表了多个类别的平均准确率（AP）。在裂缝检测中，由于只有一种类别（管道裂缝），可以直接使用AP作为评价指标。AP反映了模型检测效果的好坏程度，数值越大，表示检测结果越好。为了计算AP，需要根据Recall（召回率）和Precision（精确率）绘制一条曲线，该曲线下的面积即为AP值。具体公式为：J=ZJZJ+FJH=JZJ+FNAP=01JHdH式中：J精确率；H召回率；ZJ被识别出来含裂缝的正类样本数量；FJ被识别出来的不含有裂缝的负样本数量；FN没有被识别的含有裂缝的正类样本数量。经过 350次训练，试验结果如表 2所示。Box值为 0.04左右，数值较小，说明训练结果较为准确；obj值在0.06左右，表明目标检测的准确率较高。由于只有一类目标（裂缝），所以class值为0。裂缝识别的精确率J约为91%，表示检测出的裂缝目标准确率相对较高。召回率H约为86%，表示找对正类目标的准确率相对较好。具体结果如表2和图13所示。其中，在该试验中，Box表示YOLOv7使用的GIOU Loss作为边界框的损失函数，Box值为GIoU损失函数的平均值，值越小，表示检测出的边界框越准确。Val Box为验证集上的边界框损失。Objectness表示目标检测的损失均值，值越小，表示目标检测越准确。Val Objectness 为验证集上的目标检测损失。图10YOLOv7 Head模块结构图图11ELAN-H模块结构图图12RepConv在训练和部署方面的区别类别代码00000坐标10.215 2780.202 5460.221 7260.260 0860.268 747坐标20.025 5460.092 2620.098 5260.060 7440.150 546坐标30.023 1480.014 8810.012 2350.022 8170.026 786坐标40.045 6350.074 4850.065 4760.075 8930.086 318表1裂缝标注信息情况表曲宝家，等：基于YOLOv7的水下泄漏检测机器人研究-91机 械 设 计第40卷增刊2Classification 表示分类损失均值，值越小，表示分类结果越准确。Val Classification 为验证集上的分类损失。Precision 为精确率，是指分类器分出来的正类的概率。Recall为召回率，是指分类器能够找出所有正类的能力。通过这些指标的评估，可以对模型的目标检测和分类能力进行准确性的衡量，并判断模型的性能如何。次数0/3491/3492/3493/3494/349345/349346/349347/349348/349349/349显存2.85G3.07G3.07G3.07G3.07G3.07G3.08G3.09G3.10G3.11G损失函数的平均值0.1250.1190.1150.1130.1090.0420.0410.0420.0410.042目标检测的损失均值0.0710.0750.0800.0850.0870.0630.0550.0600.059 90.063类别0000000000总和0.1970.1950.1960.1990.1950.1050.0960.1030.1010.105标记133214194170199224205179202175图像数量640640640640640640640640640640精确率0.003 70.006 40.012 20.019 50.046 20.924 40.916 90.916 20.917 80.919 3召回率0.027 80.027 00.028 30.040 50.044 60.856 10.860 90.852 90.860 80.863 5mAP 0.5从0.5开始取值两轴面积的平均值0.000 30.000 50.001 20.002 50.007 20.916 60.917 90.913 10.918 70.918 9mAP 0.5&mAP0.5：0.95从0.5开始取值，0.95结束，中间间隔为0.05，再取平均值的两轴面积的平均值4.73 10-58.68 10-519.89 10-543.43 10-53.12 10-50.559 20.551 60.544 80.565 30.566 9表2裂缝训练结果表mAP 0.5&mAP0.5：0.95 中 mAP 是用 Precision 和 Recall作为两轴作图后围成的面积，m表示平均值，后面的数表示判定Iou为正负样本的阈值，0.5：0.95表示阈值从0.5开始取值，0.95结束，中间间隔为0.05，然后再取平均值。由图13中可以观察到，在表面光滑和表面粗糙的水下管道上，模型能够准确地识别和标记裂缝结构。在表面光滑的水下管道上，即使是细小的裂缝也能够被正确识别。在表面粗糙的水下管道上，模型能够有效区分划痕和真实的裂缝，这表明模型在水下管道裂缝检测任务上表现出很好的性能。4结论文中提出的水下泄漏检测机器人由机械结构控制系统、智能控制系统和视频处理系统3部分组成。采用经过改良和训练的优秀YOLOv7算法，对水下摄像头拍摄的视频进行高效准确的处理和识别，提升了机器人的视觉感知能力和任务执行效1002003000350迭代/次0.140.120.100.080.060.040.021002003000350迭代/次0.110.100.090.080.070.060.05损失函数的平均值目标检测的损失均值1002003000350迭代/次1.00.80.60.40.21002003000迭代/次10080604020350精度值召回率%1002003000350迭代/次0.120.100.080.060.040.021002003000350迭代/次0.90.80.70.60.40.30.2验证集上的边界框损失验证集上的目标检测损失1002003000350迭代/次1.00.80.60.40.2两轴面积的平均值1002003000350迭代/次0.60.50.40.30.20.1两轴面积的平均值（a）损失函数的平均值（b）目标检测的损失均值（c）精度（d）召回率（e）验证集上的边界框损失（f）验证集上的目标检测损失（g）两轴面积的平均值(从0.5开始取值)（h）两轴面积的平均值(从0.5开始取值，0.95结束中间间隔为0.05)图13裂缝训练结果图-922023年12月率。该系统可以实时处理和传输摄像头拍摄的水下视频，使人们能够随时了解机器人的工作情况和任务进展，为水下管道巡检和数据采集提供了强大的支持。机器人采用一体轻量化防水设计和四涵道式水下电推进器，既提高了机器人的机动性和灵活性，又提升了美观性。这种设计为水下管道巡检和数据采集提供了更加便捷和高效的方式。参考文献1 刘慧勇.海底油气管道泄漏检测与定位技术研究进展 J.低碳世界，2023，13（5）：49-51.2 罗东浩.基于深度学习的海底管道泄漏检测方法 D.哈尔滨：哈尔滨工程大学，2019.3 王朝，袁晓林，于振华，等.海底管道铺设技术及发展 J.城市建设理论研究，2013（29）：11-14.4Davis P，Brockhurst J.Subsea pipeline infrastructure monitoring：aframework for technology review and selectionJ.Ocean Engineer-ing，2015，104：540-548.5 Mashford J，Silva D D，Marney D，et al.An approach to leak detec-tion in pipe networks using analysis of monitored pressure values bysupport vector machineC/International Conference on Network&System Security.IEEE，2009：534-539.6 陈华立，叶昊.基于图像处理的管道泄漏检测与定位 J.清华大学学报：自然科学版，2005（1）：119-122.7 赵会军，武伟强，王克华，等.基于次声波法的油气管道泄漏检测与定位 J.油气储运，2012，31（3）：215-218.8 王贵愚，方睿，孙凯，等.基于STA/LTA的输油管道泄漏检测方法J.北京理工大学学报，2020，40（7）：760-764.作者简介：曲宝家（2001），男，本科生，研究方向：机器人设计与控制。E-mail：曲宝家，等：基于YOLOv7的水下泄漏检测机器人研究-93