![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于改进YOLOv7的网箱网衣破损识别方法.pdf
《基于改进YOLOv7的网箱网衣破损识别方法.pdf》由会员分享,可在线阅读,更多相关《基于改进YOLOv7的网箱网衣破损识别方法.pdf(11页珍藏版)》请在咨信网上搜索。
1、第 50 卷第 4 期渔 业 现 代 化Vol.50 No.42023 年 8 月FISHERY MODERNIZATIONAug.2023DOI:10.3969/j.issn.1007-9580.2023.04.015收稿日期:2023-02-27基金项目:广东省区域联合基金项目(2019B1515120017);广东省海洋经济发展(海洋六大产业)专项(GDNRC 2021 42);湛江市现代海洋渔业装备重点实验室(2021A05023)作者简介:俞国燕(1970),女,教授,研究方向:智能设计与制造,现代化渔业装备等。E-mail:yugy 通信作者:吴振陆(1983),男,讲师,研究方向
2、:人工智能与物联网工程技术及应用。E-mail:zlwu 基于改进 YOLOv7 的网箱网衣破损识别方法俞国燕1,3,苏锦萍1,3,陈泽佳1,陈帅兴1,陈其菠1,吴振陆2(1 广东海洋大学机械工程学院,广东 湛江 524088;2 广东海洋大学数学与计算机学院,广东 湛江 524088;3 广东省海洋装备及制造工程技术研究中心,广东 湛江 524088)摘要:网箱网衣极易破损,一旦破损未及时修补,会给养殖户造成巨大的经济损失。为实现智能化网箱网衣破损检测,本研究提出一种基于改进 YOLOv7 的网箱网衣破损识别方法。该方法通过在 Backbone 网络使用gnConv 结构、Neck 网络引入
3、 SimAM 模块来提升模型表达能力更好聚焦网衣破损处的特征,提高模型的检测精度。Backbone 网络使用深度可分离卷积,并减少激活函数和改变卷积步长,同时在 Neck 网络利用Bottleneck 模块使用 11 卷积核的特点和使用性能更佳的 Mish 激活函数重构模型,以减少参数量和运算成本,实现模型检测速度的提升及尺寸的压缩。通过消融试验和对比试验结果显示,YOLOv7-C3NeHX 比原YOLOv7 算法的平均精度提高了 3.1 个百分点,精确率、召回率与 F1值分别提升了 0.5、4.2 与 3 个百分点,检测速度达到了 232.56FPS,GFLOPs 和模型尺寸分别占原 YOL
4、Ov7 的 38.2%和 94.3%。研究表明,改进模型能有效提高识别效率和部署的灵活性,为智能网衣修补机器人的研发提供技术支持。关键词:网衣破损;精准实时识别;目标检测;视觉系统;智能网衣修补机器人 中图分类号:S957.9;TP391.4 文献标志码:A 文章编号:1007-9580(2023)04-0126-011 拓展海洋经济发展空间,推进海洋渔业向深远海养殖发展成为必然选择1-2,但大型深远海养殖设施会因网衣破损引起跑、漏鱼而造成巨大经济损失3-5,故实现网衣破损的精准实时识别具有重要的研究价值和现实意义。为突破利用专业人员下潜排查这一复杂、危险的传统网衣破损检测方式,国内外学者纷纷
5、开展研究。常用的方法有嵌入检测法6、声呐检测法7和图像分析法8。由于嵌入检测法会缩短网衣使用寿命,而声呐检测法会因鱼群游动影响而出现误检,故通过水下摄像头进行图像采集,并使用目标检测算法识别图像中损伤区域的图像分析法成为近年来的研究热点。Betancourt 等9提出的根据网格节点的分布来确定网衣是否损伤;Zhao 等10提出的根据网孔面积计算特征梯度直方图来确定损伤在网中的位置,但所提方法在网衣随浪流动发生变化的复杂环境下检测效果不佳;Liao 等11采用改进的多尺度融合算法和MobileNet-SSD 目标检测框架进行实时检测,但对小面积的损坏存在误检的现象;陈鑫等12使用Faster R
6、-CNN 网络模型对网箱网衣破损进行检测具备了一定的检测精度,但检测速度还需要进一步提高。随着深度学习的发展,目标检测算法主要分为只需一次提取特征即可实现目标检测的一阶段(One-stage)和基于候选区域进行目标检测的两阶段(Two-stage)检测算法。其中,一阶段目标检测因其简单高效、适合工业应用而被广泛使用,典型的有以速度著称的 SSD13和 YOLO 系列算法14-19。在不同版本的 YOLO 算法中,性能较好的有专门用于工业应用的 YOLOv6 网络、更快更强以 及 更 高 的 标 签 分 配 和 模 型 训 练 效 率 的YOLOv7 网络。本研究提出一种基于 YOLOv7 的改
7、进算法。通过评估指标对改进 Backbone 网络和 Neck 网络在提升破损网衣的检测精度、速度和缩小模型尺第 4 期俞国燕等:基于改进 YOLOv7 的网箱网衣破损识别方法寸实现部署的灵活性进行分析与探讨,并将其检测结果与其他目标检测模型的检测结果进行比较以评估该模型的性能。1 图像数据采集与预处理1.1 图像采集本研究所用的网衣破损数据集来源于广东省湛江市的开放海域中,通过手持摄像机对自制试验网箱装置进行拍摄。网箱装置长 105 cm、宽 97 cm、高 86 cm,由铝材搭建框架,上方加浮力块和不同破损状态、位置随机分布的大、小网目两种网衣组成,结构如图 1 所示。对一天不同时间段的网
8、衣破损图像进行采集,设备采用索尼机芯传感器的 360旋转水下摄像头,在 530 cm 的拍摄距离下分别选择多种角度、深度进行视频拍摄。采用视频截帧的方式获得网衣破损图像(见图 2)。通过人工清洗获得网衣破损图像 1 250 张,并将分辨率调整为 640640 像素,格式为 JPG。在数据集划分上,按照 9 1 将所得数据集随机分为训练集(1 125 张)和测试集(125 张)。图 1 自制的网箱图Fig.1 Self made cage diagram1.2 图像预处理使用 labelImg 工具对破损网衣进行人工标注,其标注界面如图 3 所示。在 labelImg 界面中,先设定好数据集样本
9、与目标样本文件目录,并给定对象唯一的 broken_net 标签。标注后目标信息保存为与图像同名的 XML 文件,其内容包含当前图像各目标的标签信息以及绘制框左上角与右下角坐标信息等。BCDE图 2 采集到的网衣破损图像Fig.2 Collected image of damaged mesh coat图 3 破损的网衣人工标注图Fig.3 Manual marking of damaged netwear721渔 业 现 代 化2023 年2 目标检测模型优化2.1 目标检测模型随着一阶段目标检测算法的发展,相较于SSD,YOLO 不仅在特征提取层使用了更高分辨率的特征图,可以更好地检测小目
10、标,而且使用来自不同维度的特征进行检测和定位,在检测精度上更有优势,因此其应用越来越广泛。YOLO 系列算法已成功用于水下生物的检测,如郑宗生等20通过改进 YOLO v4 模型可以快速准确地检测到鱼的位置和类别;Al 等21提出了 YOLO-Fish 不仅减少对小鱼的错误检测,还在动态环境中检测鱼类外观;Xu 等22针对复杂的水下环境和海洋底栖动物的特点,提出一种密集小规模海洋底栖动物的定量检测算法 MAD-YOLO。这些算法在不同程度上都提高了目标检测的性能,为网衣的破损检测奠定了基础。网衣破损通常是微小的单根网线断裂,如果没有及时发现并修补则会演变成狭长撕裂和大面积不规则破洞。针对这一特
11、性,目前 YOLO 系列较新算法 YOLOv7 对网络结构、特征提取等方面进行了优化,不仅通过采用 ELAN 网络架构(图4),控制最短最长的梯度路径,使得网络可以有效地学习微小的单根网线断裂的特征,还引入模型重参数化可提高对网衣破损的检测能力,防止没有及时发现并修补而演变为狭长撕裂和大面积不规则破洞,极大地促进了本试验采用 YOLOv7为基础网络对网衣破损进行研究。因为 640640 的图像大小可以在保证足够物体细节信息的同时加速模型的训练和推理,而12801280 的图像大小更耗费计算资源,可能会导致过拟合问题。所以分别对 640 规格图像的YOLOv7 和 YOLOv7-X 进行训练,从
12、表 1 可知,YOLOv7 模型的参数量、GFLOPs、层数分别占YOLOv7-X 模型的 51.4%、54.9%、86.4%,ap、推理时间和尺寸分别比 YOLOv7-X 模型降低 0.8 个百分点、4.1 ms 和 67.3MB。因此,在综合考虑网络的检测精度、速度和轻量化要求后,确定改进YOLOv7 网络模型,实现智能化网箱网衣破损检测。图 4 ELAN 结构图Fig.4 ELAN structure diagram表 1 YOLOv7 网络模型指标参数Tab.1 Index parameters of YOLOv7 network model模型参数GFLOPs层数ap推理时间/ms尺
13、寸/MBYOLOv73.64107103.330685.0%6.574.9YOLOv7-X7.08107188.235485.8%10.6142.2821第 4 期俞国燕等:基于改进 YOLOv7 的网箱网衣破损识别方法2.2 YOLOv7 网络架构YOLOv7 架构主要由 Input、Backbone、Neck和 Prediction 网络组成,分别用于网箱网衣的输入,网衣破损特征提取、图像特征融合和目标预测。本研究主要对 Backbone、Neck 网络进行改进(图 5)。图 5 YOLOv7-C3NeHX 网络结构图Fig.5 YOLOv7-C3NeHX network structur
14、e diagram2.3 模型构建及优化2.3.1 Backbone 网络的改进网衣网孔是由网线围成分布规律的多边形,而破损处围出的是不规则的多边形,分布不规律,其特征与网目的特征十分相似,且网衣会随浪流动,检测时存在较大的难度。虽然 YOLOv7 较 YOLO系列的其他版本在速度、准确率、扩展性和部署性等方面都有较大优势,但针对网衣破损图像特征的特殊性及位置的流动性,当存在多个目标还是会出现漏检的现象,故需要对基础的检测框架进行改进以增强对网衣破损的检测。本研究将 Backbone 网络的第 4 个 ELAN 替换为 C3_HB(图 6),其主要是使用了 HorBlock 模块中的 gnCo
15、nv(图 7)在执行空间交互期间通过逐渐增加通道宽度,实现有限复杂性的高阶交互,以提取出更多的网衣破损特征信息;将自注意力中的二阶交互扩展到任意阶,且完921渔 业 现 代 化2023 年全继承标准卷积的平移等效性,避免局部注意力带来的不对称性,使模型可以更好地处理不同方向和角度的特征,以解决网衣破损特征不明显且随浪流动难以识别的问题。图 6 C3_HB 结构图Fig.6 C3_ HB structure diagram图 7 gnConv 结构图Fig.7 gnConv structure diagramC3_HB 模块的主要功能是:首先将初始的输入分别送入 2 个分支进行卷积操作,其中分支
16、 1再与 HorBlock 模块相连;接着通过 Concat 操作进行分支 1、2 输出特征图的深度连接;最后经过CBS 层得到 C3_HB 的输出特征图。因网衣破损不及时发现导致的养殖鱼群大量逃逸会造成经济损失,亦可能影响生态平衡,故模型的检测速度也很关键。为提高破损网衣的检测速度,将 Backbone 网络的第一个 ELAN 替换为C3_NeB(图 8),使用了 ConvNeXtBlock 模块一方面采用深度可分离卷积以降低参数量和运算成本,以及通过减少激活函数以减少频繁做非线性投影对网络特征信息传递的影响;另一方面 stem部分用步长为 4 的 44 卷积使滑动窗口不再相交,每次只处理一
17、个 patch 的信息,以通过减小输入参数量来减少计算量。2.3.2 Neck 网络的改进实际应用中,检测模型不仅要满足一定的精度、速度需求,还需要满足模型封装移植时内存占用低的要求,本试验将 Neck 网络中 4 处使用031第 4 期俞国燕等:基于改进 YOLOv7 的网箱网衣破损识别方法ELAN_2C(图 9)的地方替换为 C3_X(图 10),采用 Bottleneck 模块使用 11 卷积核用于降低特征维度以减少参数量来缩小尺寸的特点,使模型达到轻量化。并在两个分支进行 Concat 操作后再进行卷积时,使用性能更佳的 Mish 激活函数,使训练效果更稳定、准确。因此改进后模型权重参
18、数量有效降低,尺寸缩小,实现网衣破损检测的轻量化设计,为后期更好地将模型部署到硬件设备中做准备。图 8 C3_NeB 结构图Fig.8 C3_ NeB structure diagram图 9 ELAN_2C 结构图Fig.9 ELAN_2C structure diagram 网衣通常是透明或半透明的,具有纹理和孔洞结构,使物体边缘和纹理信息比较模糊或不明显,和普通目标检测图像不同,以及长时间浸泡于海水中易附着贝类、藻类等生物,导致破损处不易被发现。针对这一难点,本试验将无参注意力SimAM(图 11)引入网络架构中,以更好地提取网131渔 业 现 代 化2023 年衣破损的特征。该模块采用
19、能量函数选择操作,避免了过多的结构调整,无需额外参数为特征图推导出 3D 注意力权值,有效发掘每个神经元的重要性,更好聚焦主体目标,进一步提升输出特征图中明显的特征,有效地解决了检测模型在网衣材质和附着物影响下,难以提取破损特征和实现有效的网衣检测的问题。图 10 C3_X 结构图Fig.10 C3_ X structure diagram图 11 SimAM 的 3D 注意力权重Fig.11 3D attention weight of SimAM3 模型训练与评价3.1 试验方案设计(1)对比 YOLOv7、YOLOv7-C3_HB、YOLOv7-C3_NeB、YOLOv7-C3_X、YO
20、LOv7-MP_SimAM、YOLOv7-C3NeHX 模型的试验结果,分析各改进模块的有效性,具体设计如下:1)对每个模型均训练 400 轮,设置相同的初始学习率、损失函数等超参数。2)从每个模型训练生成的权重集合中选取最优的权重文件,根据评估指标比较改进模型的提升程度。(2)SSD 算法是一种直接预测边界框的坐标和类别的目标检测算法,通过密集的位置预测来得出目标的位置和类别信息,不需要像两阶段目标检测器那样先生成候选区域,再对这些候选区域进行分类和回归,从而具有较快的检测速度。YOLOv6 在网络结构、训练策略等算法层面进行了多项改进,具有较简单的网络结构和训练流程,是一种硬件友好的目标检
21、测算法,便于在不同的工业应用场景中应用。YOLOv7 提供了更快更强的网络架构和更有效的特征集成方法、更准确的目标检测性能、更鲁棒的损失函数以及更高的标231第 4 期俞国燕等:基于改进 YOLOv7 的网箱网衣破损识别方法签分配和模型训练效率。在主流算法中,以上算法分别在检测速度、模型应用和检测精度方面是典型的代表。通过与速度快著称的 SSD 模型进行对比验证本模型在检测速度上具有的优势、与面向工业应用且部署友好的 YOLOv6 模型进行对比验证本模型在实际应用场景的可行性、与原YOLOv7 模型进行对比验证本模型改进的可行性。随后再进一步与 Zhao 等10、Liao 等11、陈鑫等12提
22、出的其他网衣破损检测模型进行对比以验证本模型在本领域对检测精度、速度和模型轻量化取得最佳的平衡。具体设计如下:1)根据相关指标对比每个模型训练生成的权重文件。2)以不同条件下的目标作为控制变量,对比 7 种算法的检测效果,验证了本研究提出的模型的合理性和有效性。3.2 模型评价指标使用不同的评价指标可以客观、准确地评估网络的检测性能23-26,综合网衣破损识别速度快、准确率高,抗水下环境能力强,部署模型灵活的要求,本研究从不同角度对模型识别效果进行评价,分别是以下 4 种关键指标和模型参数量(Params)、GFLOPs、推理时间、模型尺寸、检测帧率(Frames Per Second,FPS
23、)。(1)精确率(Precision)反映了分类器对正样本的准确程度,精确率越高表示网衣破损错检的数目越少,公式如(1)所示:p=tptp+fp 100%(1)式中:p 表示精确率;tp表示被模型正确识别的网衣破损数量的正样本;fp表示被模型识别干扰环境为网衣破损数目的负样本。(2)召回率(Recall)反映了分类器对正样本预测的效果,召回率越高表示网衣破损漏检的数目越少,公式如(2)所示:r=tptp+fn 100%(2)式中:r 表示召回率;fn表示网衣破损数目被模型识别为干扰环境的正样本。(3)平均精度(Average Precision,ap)表示精确率与召回率曲线所围成的面积,反映了
24、分类器对正样本的识别准确程度和检测到正样本能力之间的权衡,值越高代表分类器性能越好,对网衣破损的检测更趋近于理想效果,公式如(3)所示:ap=10p(r)d(r)100%(3)式中:ap表示平均精度。(4)F1值,即精确率与召回率的一个平衡点,能同时考虑到精确率和召回率。F1值越高,代表模型越优,对网衣破损的检测效果越好,公式如(4)所示:F1=2 p rp+r 100%(4)式中:F1表示精确率与召回率的一个平衡点。3.3 网络训练试验使用 64 位 Ubuntu 18.04.6 LTS 操作系统,GPU 采用 RTX3090 型显卡,基本频率为 3.90 GHz 的 Intel(R)Xeo
25、n(R)W-2245 CPU。通过Anaconda 环 境 管 理 器 安 装 相 关 工 具 包,在Pycharm 编译器实现 Python 代码编辑,同时在PyTorch1.10.2 架构上进行模型的训练和测试。4 结果与讨论4.1 训练结果YOLOv7-C3NeHX 模型的损失曲线如图 12所示,损失值在前 50 轮快速下降,训练到 270 轮之后,损失值曲线基本趋于拟合。结合图 13 可知,模型的平均精度随着训练轮数的增加不断上升,但在第 270 轮之后,模型的训练精度反而随迭代次数的增加而下降。综合考虑,本试验将训练第 270 轮结束后输出的模型作为网衣破损识别的识别模型。F!图 1
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 YOLOv7 网箱 破损 识别 方法
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。