基于改进的YOLOv7和无人机航拍技术的风机叶片缺陷检测.pdf
《基于改进的YOLOv7和无人机航拍技术的风机叶片缺陷检测.pdf》由会员分享,可在线阅读,更多相关《基于改进的YOLOv7和无人机航拍技术的风机叶片缺陷检测.pdf(13页珍藏版)》请在咨信网上搜索。
1、Modeling and Simulation 建模与仿真建模与仿真,2023,12(5),4855-4867 Published Online September 2023 in Hans.https:/www.hanspub.org/journal/mos https:/doi.org/10.12677/mos.2023.125441 文章引用文章引用:范虹宇,胡兴柳,马尹琪.基于改进的 YOLOv7 和无人机航拍技术的风机叶片缺陷检测J.建模与仿真,2023,12(5):4855-4867.DOI:10.12677/mos.2023.125441 基于改进的基于改进的YOLOv7和无人机
2、航拍技术的和无人机航拍技术的 风机叶片缺陷检测风机叶片缺陷检测 范虹宇范虹宇1,胡兴柳,胡兴柳2,马尹琪马尹琪1 1盐城工学院电气学院,江苏 盐城 2金陵科技学院智能科学与控制工程学院,江苏 南京 收稿日期:2023年8月1日;录用日期:2023年9月19日;发布日期:2023年9月26日 摘摘 要要 提出一种基于改进提出一种基于改进YOLOv7算法的风电叶片表面缺陷检测方法。该方法通过改进算法的风电叶片表面缺陷检测方法。该方法通过改进YOLOv7模型,提高风机模型,提高风机叶片缺陷检测算法的准确性和效率,使用可切换空洞卷积代替原始模型中的叶片缺陷检测算法的准确性和效率,使用可切换空洞卷积代替
3、原始模型中的MPConv,强化模型对不同强化模型对不同尺度缺陷的敏感程度。引入尺度缺陷的敏感程度。引入CoordATT注意力模块,增强模型整体对模糊特征和小目标特征的关注程度。注意力模块,增强模型整体对模糊特征和小目标特征的关注程度。替换替换CIoU坐标损失函数为坐标损失函数为Wise-IoU,提高模型检测能力的精确度。在自建风电叶片数据集上进行实验验,提高模型检测能力的精确度。在自建风电叶片数据集上进行实验验证,结果表明改进证,结果表明改进YOLOv7模型的平均精度均值提高了模型的平均精度均值提高了1.8%,检测速度达到了,检测速度达到了57fps满足满足无人机巡检无人机巡检实实时检测需求。
4、通过对比实验,改进后的模型时检测需求。通过对比实验,改进后的模型在在mAP、FPS、Precision、Recall等性能指标等性能指标下优下优于于YOLOv5s,Faster R-CNN,SSD等模型。该方法提高了无人机自动化检测风机叶片缺陷的能力。等模型。该方法提高了无人机自动化检测风机叶片缺陷的能力。关键词关键词 YOLOv7,目标检测目标检测,风机叶片风机叶片,深度学习深度学习 Defect Detection of Fan Blades Based on Improved YOLOv7 and Drone Aerial Photography Technology Hongyu Fa
5、n1,Xingliu Hu2,Yinqi Ma1 1School of Electrical Engineering,Yancheng Institute of Technology,Yancheng Jiangsu 2School of Intelligent Science and Control Engineering,Jinling University of Science and Technology,Nanjing Jiangsu Received:Aug.1st,2023;accepted:Sep.19th,2023;published:Sep.26th,2023 范虹宇 等
6、DOI:10.12677/mos.2023.125441 4856 建模与仿真 Abstract A surface defect detection method for wind turbine blades based on the improved YOLOv7 algo-rithm is proposed.This method improves the YOLOv7 model and in order to improve the accuracy and efficiency of the fan blade defect detection algorithm,uses sw
7、itchable cavity convolution to replace MPConv in the original model,enhancing the sensitivity of the model to defects of different scales.The CoordATT attention module is introduced to enhance the overall models attention to fuzzy features and small target features.The CIoU coordinate Loss function
8、is replaced with Wise-IoU to improve the accuracy of model detection capability.Experimental verification was conducted on a self-built wind turbine blade dataset,and the results showed that the average accuracy of the improved YOLOv7 model increased by 1.8%,and the detection speed reached 57fps to
9、meet real-time detection requirements.Through comparative experiments,the improved model is su-perior to YOLOv5s,Faster R-CNN,SSD and other models under mAP,FPS,Precision,Recall and other performance indicators.This method improves the ability of unmanned aerial vehicles to automatically detect defe
10、cts in fan blades.Keywords YOLOv7,Target Detection,Fan Blades,Deep Learning Copyright 2023 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 风力发电作为一种清洁、可再生的能源形式,受到了全球范围内的广
11、泛关注和推动。全球风电装机容量持续增长,年平均增长率超过了 10%。越来越多的国家将风能发电作为主要的能源发展方向,加大了风电项目的建设和投资。风力发电场通常位于开放环境中,暴露在自然环境下,受到自然演变和生物活动的影响,如强风、大雨、冰雹、沙尘暴、雷暴对风机叶片造成损伤,导致缺陷的产生。风机叶片是风能发电系统的核心组成部分,其结构和状态直接影响发电系统的安全运行。不及时发现和处理缺陷可能导致叶片断裂,从而引发严重的事故。传统的叶片缺陷检测通常需要人工对大量图像进行观察和分析,而目标检测算法可以自动地标记和定位缺陷,提高了检测的效率和准确性1。目前,学者对叶片缺陷检测采用的算法可以分为两类2,
12、一类是两阶段(Two-Stage)目标检测算法,两阶段目标检测算法通常具有较高的检测精度,但相对较慢,如Zhang 3等人在 Mask R-CNN 的基础上,提出了一种新的检测方法,称为图像增强 Mask R-CNN(IE Mask R-CNN),包括用于预处理数据集的图像增强和增强技术的最佳组合,以及为 WTB 缺陷检测和分类任务调整的 Mask R-CNN 模型;Mao 4等人使用迁移学习、可变形卷积和可变形 RoI 对齐的改进策略以及上下文信息融合改进 Cascade R-CNN,改进后的算法对风机叶片表面缺陷检测最大 mAP 达 92.1%。蒋姗5等将 FPN 特征金字塔结构网络与 F
13、aster R-CNN 算法进行结合,并采用 Soft-NMS 算法规避不同目标检测框因重叠而被误删的情况,有效提高了缺陷检测的精度和效率;另一类是单阶段(One-Stage)目标检测算法,单阶段目标检测算法具有较快的检测速度,但相对于两阶段算法在检测精度上有一定的落后,王道累6等将 SSD 骨干神经网络更换为 ResNet101,并提出一种新型注意力网络,用于学习同一通道特征图Open AccessOpen Access范虹宇 等 DOI:10.12677/mos.2023.125441 4857 建模与仿真 区域间关系,改进后的模型平均精度和检测精度均有较大提升;Rui Zhang 7等在
14、原始 YOLOv5 的基础上增加了一个微尺度检测层,并使用 K-means 算法对锚框进行重新聚类,并在每个特征融合层中添加CBAM 注意机制,以减少小目标缺陷和其他缺陷的特征信息丢失。改进后的算法在 mAP 和 FPS 均有所提高;朱佳伟8等通过两种残差网络 ResNet,ResNext 替代传统 VGG 作为 SSD 算法的 Backbone 进行特征提取,在不增加网络结构复杂度的同时,大大提升了网络性能。2.YOLOv7 算法算法 YOLOv7 目标检测算法是由 Chien-Yao Wang 和 Alexey Bochkovskiy 的团队于 2022 年开发并开源,其准确率、速度和通用
15、性等方面相较于以往的单阶段目标检测算法都有很大提升9。YOLOv7 网络模型结构主要由输入端(Input)、骨干网络(Backbone)、颈部(Neck)、检测头(Head)4 部分组成,其网络模型架构如图 1 所示。Figure 1.YOLOv7 network architecture 图图 1.YOLOv7 结构图 范虹宇 等 DOI:10.12677/mos.2023.125441 4858 建模与仿真 最新的 YOLOv7 模型集成了高效层聚合网络 E-ELAN、基于 Concatenation 模型的缩放等策略,在检测效率与精度两个方面实现了提升10。在数据输入模块,YOLOv7
16、模型主要采用了 Mosaic 数据增强技术和传统 Mixup 方式。Mosaic 增强是一种基于空间的随机化方法,它将 4 张图像拼接组成一张图像。Mosaic 增强可以帮助模型扩大训练数据,提高模型的泛化能力和准确性。随后,利用自适应锚框计算方法,使得输入的图像数据都是640 640的尺寸,从而满足主干网络对图像的尺寸要求。主干网络:YOLOv7网络主要由 CBS、E-ELAN 和 MP 三部分组成。CBS 模块由一个 Conv 层,一个 Batch Normalization 层,还有一个激活函数 Silu 层组成。头部网络采用特征金字塔网络(FPN)架构,采用 PANet 设计解决尺度变
17、化问题。引入空间金字塔池和卷积空间金字塔池(Sppcspc)结构、扩展高效层聚合网络(E-ELAN)和 MP2。Sppcspc 结构通过在空间金字塔池化(SPP)结构中加入卷积空间金字塔(CSP)结构,增大感受视野,使得算法适应不同的分辨率图像,用来优化特征提取。预测网络采用 Rep 结构,Rep 结构能够帮助网络更好地控制梯度流,从而提高网络的训练效率和准确性。本文将对 YOLOv7 的部分模块和网络进行改进,以提高其对风电叶片的缺陷识别能力。3.YOLOv7 模型改进模型改进 3.1.SAConv 对于风机叶片缺陷检测任务来说,通常需要考虑不同尺度的缺陷区域,而原始的 YOLOv7 算法采
18、用了固定大小的视野感受机制,通过将输入图像划分为网格单元,并在每个单元上预测目标。这种设计限制了模型对不同尺度目标的感知能力。较小的缺陷可能会被较大的感受野忽略或模糊化,而较大的缺陷可能会被部分覆盖,导致检测不准确。文献11提出的可切换空洞卷积 SAConv(Switchable Atrous Con-volution),允许在一个卷积层中使用不同的空洞率,从而获得多尺度的感受野。通过将 Backbone 部分的MPConv 替换为可切换空洞卷积,能够帮助模型更好地捕捉不同尺度缺陷的特征和上下文信息,SAConv结构如图 2 所示。Figure 2.SAConv 图图 2.SAConv 结构图
19、 SAConv 的整体架构由三个主要的组件构成,中间是 SAC 组件,前后为附加的两个全局上下文模块,这两个模块是轻加权的,因为输入特征首先由全局平均池化层压缩。可切换空洞卷积是在空洞卷积的收集结果处添加了开关功能,开关功能依赖于空间性,每一个特征映射地区可以有不同的开关区控制SAConv 的输出。用(),yConv x w r=表示以 x 为输入,y 为输出,w 为输出的权重系数,空洞率为 r 的卷范虹宇 等 DOI:10.12677/mos.2023.125441 4859 建模与仿真 积操作。将普通卷积层转换为可切换空洞卷积的操作如公式 1 所示。()()()()()()Convert
20、to SAC ,1,11,Conv x wS xConv x wS xConv x ww r+(1)其中 r 为空洞卷积的扩张率,w是可训练的卷积权重增量,开关函数()S x通过一个 5 5 核的平均池化层和一个 1 1 卷积层实现,通过调整开关函数的值,自适应地选择和调整不同空洞率的卷积核,从而提升模型的灵活性和适应性。3.2.CoordAtt 风力发电机的运作环境通常处于风力资源丰富但是无人、少人的地区,长时间运行的风机叶片通常具有复杂的结构和纹理,包括叶片的褶皱、孔洞等。这些细节和纹理可能与某些缺陷相似,这种相似性增加了将背景错误地识别为缺陷或将缺陷错误地识别为背景,导致缺陷位置信息的混
21、淆,造成较高的误警率和漏警率。部分缺陷特征面积比较小,也增大了检测难度。针对这一问题,提出在 Neck 层中添加 CoordAtt 模块,通过引入坐标信息来增强网络对目标位置的感知能力,学习特征目标的坐标权重,使得网络能够更加关注缺陷部位与全局背景的关系,提高了对小目标缺陷和复杂纹理缺陷的感知和定位能力。CoordAtt(Coordinate Attention)是一种用于增强卷积神经网络对位置信息感知能力的注意力机制11。它主要通过学习特征图的坐标权重,使网络更加关注不同位置的特征,以提高对位置信息的敏感性。坐标注意力通过坐标信息嵌入和坐标注意力生成两个步骤来编码具有精确位置信息的通道关系和
22、长距离依赖关系12。CoordAtt 坐标注意力机制如图 3 所示。Figure 3.Coordinate attention 图图 3.坐标注意力机制 CoordAtt 的坐标信息嵌入是指将 2D 全局池化转化为一对 1D 特征编码进行操作。具体来说,给定输入 X,使用两个空间范围的池化核(H,1)或(1,W)分别沿水平坐标和垂直坐标对每个通道进行编码。因此,在第 c 通道高度 h 处的输出可以表示为 范虹宇 等 DOI:10.12677/mos.2023.125441 4860 建模与仿真 ()()01,hcci WZhxh iW=(2)类似地,第 c 个通道宽度为 w 的输出公式表达为(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 YOLOv7 无人机 航拍 技术 风机 叶片 缺陷 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。