![点击分享此内容可以赚币 分享](/master/images/share_but.png)
基于深度学习的鱼类跟踪技术研究进展.pdf
《基于深度学习的鱼类跟踪技术研究进展.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的鱼类跟踪技术研究进展.pdf(13页珍藏版)》请在咨信网上搜索。
1、第 51 卷第 2 期渔 业 现 代 化Vol.51 No.22024 年 4 月FISHERY MODERNIZATIONApr.2024DOI:10.3969/j.issn.1007-9580.2024.02.001收稿日期:2023-10-19基金项目:国家自然科学基金项目(61936014);崂山实验室专项经费(LSKJ202201804):中国水产科学研究院基本科研业务项目(2020TD82)作者简介:李鹏龙(2000),男,硕士研究生,研究方向:计算机图像处理、深度学习等领域。E-mail:15142892813 通信作者:张胜茂(1976 ),男,博士,研究员,研究方向:计算机视
2、觉、渔业遥感等领域。E-mail:ryshengmao ;沈烈(1981),女,博士,讲师,研究方向:渔船视觉识别。E-mail:shenlie 基于深度学习的鱼类跟踪技术研究进展李鹏龙1,张胜茂1,2,沈 烈1,吴祖立1,2,唐峰华2,张 衡2(1 大连海洋大学航海与船舶工程学院,辽宁 大连 116023;2 农业农村部渔业遥感重点实验室,中国水产科学研究院东海水产研究所,上海 200090)摘要:近年来,水产养殖和渔业资源保护的智能化发展迅速,对鱼类跟踪技术的需求也随之增加。传统的鱼类跟踪方法主要依赖于目视观察和标签追踪,存在效率低、应用范围有限、准确率不高等问题,限制了其推广应用。随着深
3、度学习技术在计算机视觉领域的快速发展,基于深度学习的鱼类跟踪技术能够提供准确、客观、可扩展和自动化的跟踪方法。首先,介绍了鱼类跟踪技术的跟踪对象和 4 种深度学习鱼类追踪方法,分别是语义分割、实例分割、目标检测和目标分类。其次,介绍了鱼类跟踪技术如何获取鱼类轨迹与姿态、鱼类数量以及鱼类体长等鱼类目标跟踪信息。接着,介绍了基于深度学习的鱼类跟踪技术在鱼类疾病、鱼类摄食行为以及鱼类健康状态方面的应用,并从低对比度和纹理模糊、图像颜色失真以及遮挡和变形等 3 个方面,探讨了目前基于深度学习的鱼类跟踪技术的主要问题和一些相应的解决方法。最后,对基于深度学习的鱼类跟踪技术的发展前景进行了总结和展望。研究
4、认为:基于深度学习的鱼类跟踪技术具有更高的准确度和客观性,为不同场景下的实际应用提供了更多解决方案,该技术有望在水产养殖管理、鱼类科学研究以及海洋环境保护等领域发挥更重要的作用,为相关领域提供更多的数据和支持。关键词:鱼类跟踪;深度学习;鱼体测量;鱼类行为中图分类号:S951.2 文献标志码:A 文章编号:1007-9580-(2024)02-0001-013 近年来,随着深度学习技术不断发展,深度学习逐渐成为各领域的研究热点。通过深度学习,计算机可以自动从图像、声音和文本中提取高级特征,实现图像分类、目标检测、语音识别、机器翻译等任务。深度学习也为鱼类行为检测提供了一种高效、便捷的方法 1。
5、深度学习在全局特征提取方面的优异表现,使得深度学习的鱼类跟踪方面成为生态学研究、渔业管理、环境监测和水产养殖等领域的研究热点2,实现对鱼类的精准追踪,有利于了解鱼类在不同环境条件下的适应性和生态功能。鱼类是人们获取优质蛋白的重要来源,深度学习的鱼类跟踪技术可以帮助水产养殖场监测鱼类的生长程度和行为方式。通过实时跟踪和分析鱼类的运动轨迹 3,可以及时调整养殖模式来提高养殖规模和保护生态环境。传统的鱼类跟踪方法主要采用手动标记、视觉观察和人工计数。传统跟踪方法不但效率低下且准确性不高,需要耗费大量人力和时间,已经难以满足目前鱼类跟踪的要求 4。随着深度学习技术领域的迅速发展,可以从数量众多的鱼类视
6、频和图像中学习鱼类行为和特征实现对鱼的实时高精度跟踪。深度学习技术在鱼类跟踪中的应用备受关注,由于水下环境恶劣、可见性差、拍摄图片品质差等因素导致传统方法的识别效果不佳。深度学习算法通过利用强大的学习能力,可以有效地解决这些问题。近年来,基于深度学习的鱼类识别算法不断涌现,如基于 R-CNN 深度学习的鱼类目标检测算法、YOLO 系列算法的水下模糊环境下鱼类识别模型被提出,可以自动提取图像中的特征,并实现对鱼类的准确识别。基于深度学习的鱼类跟踪技术通过语义分割、实例分割、目标检测渔 业 现 代 化2024 年和目标分类等方式为鱼类数量统计、行为分析、体长与体质量测量以及疾病监测等领域的决策制定
7、和管理提供科学依据。1 跟踪对象1.1 单目标跟踪基于深度学习的鱼类跟踪技术主要分为数据准备和预处理、模型选择和训练、目标检测和追踪、模型优化、结果可视化和评估 5 个步骤。单目标跟踪是指跟踪视频图像中的单个鱼体目标。单目标追踪可以通过提取目标特征数据,计算鱼类的鱼鳍和鱼体特征曲线得到鱼的轨迹参数,也可以通过计算鱼体质心坐标来推算鱼的速度和加速度。单目标追踪主要应用在鱼类异常行为和鱼类轨迹检测,鱼类对外界环境十分敏感,在水质恶劣、氧气浓度低、食物不足、盐度变化大5的环境容易产生异常行为,如果不能及时处理,会造成大量鱼类死亡,造成生态环境破坏。因此端到端的单目标追踪可以有效追踪出现异常的鱼类个体
8、从而避免损失,单目标追踪的主要难点在于鱼类游泳速度较快且鱼类往往以群体出现,在高密度鱼群中单个的鱼类图像往往很小且容易被遮挡。这些困难造成了单目标追踪的准确率很低和误检 率 较 高。Wang 等 6提 出 了 一 种 基 于YOLOV5s 对水下小目标检测和跟踪鱼的翻身行为的方法,通过这个方法可以诊断出鱼是否患有疾病或存在寄生虫。基于深度学习的鱼类跟踪流程如图 1 所示。图 1 基于深度学习的鱼类追踪流程图Fig.1 Flowchart of deep learning-based fish tracking 1.2 多目标跟踪多目标跟踪则是指在视频图像中同时跟踪多个鱼体目标。它需要处理在鱼类
9、高密度活动时的相互遮挡、目标过小的同时输出每个目标的位置、标识和运动信息。在鱼类多目标跟踪主要应用于鱼群游泳行为7,跟踪鱼群游泳行为有助于研究人员预测鱼类觅食和繁殖时间。Li 等8设计了一种名为 CMFTNet 的鱼类多目标视频跟踪模型,它通过无锚法实现了在鱼群互相遮挡、光斑、残饲的情况下持续准确的跟踪,准确度可以达到65.5%,缺点为鱼苗游向监测边缘时容易出现跟踪中断。Liu 等9设计了一种基于 FSTA 算法的水下多目标跟踪模型,该模型具备自主完成水下环境的检测功能,可以实现多目标、长时间、高精度 的 跟 踪。Sun 等10将 CNN(Convolutional Neural Networ
10、k)检测原理与 LSTM(Long Short Term Memory)算法相结合,构建斑马鱼轨迹检测系统,解决跟踪鱼类长时间情况下的数据依赖问题。2 基于深度学习的鱼类跟踪方法2.1 语义分割语义分割是一种为整张图像的所有像素分配对应的语义标签图像分析任务,因此在鱼类图像分割中语义分割可以利用鱼类的边缘特征对图像中对象实现像素级别的高精度分割。如图 2a 所示,对不同颜色的三湖慈鲷鱼群进行语义分割。Christensen 等11采集鱼类声呐图像并使用了卷积神经网络对跟踪的鱼类声呐图像进行语义分割,模型经过了 100 批次训练后收敛准确率达到97%,可以用很低的成本获得更好的效果。语义分割算法
11、依赖深度学习模型,可以达到对输入图像的像素级别的分类。应用较多的有全卷积网络(Fully Convolutional Networks,FCN)、语义分割网络(Semantic Segmentation Networks,SegNet)、U-Net、DeepLab 等。语义分割在鱼类视频与图像的应用多为对鱼类目标分类和鱼体语义分割任2第 2 期李鹏龙等:基于深度学习的鱼类跟踪技术研究进展务,通过对鱼体进行语义分割有助于研究人员了解鱼类行为。语义分割实例图像如图 2 所示12。CB#图 2 语义分割实例图像Fig.2 Semantic segmentation image2.2 实例分割相较于传
12、统的鱼类跟踪方法一般只能计算单 个鱼体目标位置的数据,实例分割能够完成高精度的定位和分割所有鱼类实例。如图 3a 所示,可以将每一个鱼类分割为不同的颜色,为研究人员提供更详细的跟踪目标数据。基于深度学习的实例分割方法依靠卷积神经网络来进行训练,模型经过大批量的数据集训练可以学习到目标鱼类的特征和形状,从而精准对跟踪的鱼类实例进行分割。Yu 等 13设计了一种基于实例分割的非接触鱼权分析系统,同时提出了一种基于注意力机制的全卷积实例分割网络(CAM-Decoupled-SOLO)来获得鱼类边缘特征。该模型研究将像素位置信息和通道注意力机制相结合,完成了目标位置信息和通道维度信息的汇总。经过计算,
13、相较于Decoupled-SOLO 模型,该模型的 mAP 提高了2.6%。同时建立了自动鱼类周长计算模型和质量预估系统。实例分割在鱼类目标检测和鱼体特征方面也有应用,何佳琦 14对红鳍东方鲀(图3b)进行实例分割提升了鱼类密度大且多遮挡情况下的检测准确率;尹术壮 15对鱼体(图 3c)进行实例分割研究,该研究成果为测量鱼体形态学特征提供技术支持。BCTD图 3 鱼类实例分割图像Fig.3 Fish instance segmentation image 此外,实例分割的结果还可用于其他方面,例如鱼类数量估计、鱼类大小测量和行为分析。Garcia 等 16介绍了使用了 Mask R-CNN 架
14、构进行鱼类的检测和分割的方法,可以完成鱼类体长和鱼类数量预测。该架构结合了 Faster R-CNN和全卷积网络用于目标检测和分割。结果显示,在单个鱼类检测方面,Mask R-CNN 模型的性能良好。2.3 目标检测目标检测可以从图像或视频中精准定位和识别出需要的目标鱼类,目标检测在找到目标所在的坐标位置的同时还需要对目标进行准确的边界框标定。目前的目标检测算法可以分为两类方法。一类是基于双阶段的方法,例如 R-CNN(Region-based Convolutional Neural Network)系 列 和DeepSORT(Deep Simple Online and Realtime
15、Tracking)(图 4a)17。另一类是基于单阶段的方法,例如 YOLO 系列(You Only Look Once)(图4b)和 SSD(Single Shot MultiBox Detector)等系列。3渔 业 现 代 化2024 年B%FFQ4035C:0-0W图 4 鱼类目标检测图像Fig.4 Fish target detection image 鱼类目标检测方法主要有帧间差分法、背景差分法和光流法。帧间差分法操作简单,在游速较慢的目标上效果好,但在游泳速度快的目标时会出现模糊导致识别精度降低。背景差分法对游速快的目标有很好的效果且对光照条件的阈值较高,但对目标静止的图像无法及
16、时反应图像背景的变化。例如 Sengar 等18采用帧间差分法的方式对运动目标进行检测,检测准确率可以达到93.99%。光流法对移速较快的目标效果且可以输出目标的移动方向和游速。目标检测主要应用在海洋生态监测和渔业资源等。任务多数为目标定位和目标大小数量等。例如,Salman 等19通过使用深度 R-CNN 网络来对不同程度场景下鱼类实例进行检测和定位,Ditria 等20通过 Mask R-CNN 对水下鱼类进行目标检测从而对鱼群丰度进行测算,相较于人工计算成本更低、准确率更高。Lopez-Marcano 等21同样利用 Mask R-CNN对黄鳍鲷目标进行检测和跟踪,帮助生物学研究人员监测
17、生态系统。Marini 等22设计了基于遗传编程内容的图像分析的新方法,可以获取到鱼类丰度的时间动态信息。Zang 等23使用 CNN 成像声呐数据对迁徙中的美洲鳗鲡进行目标识别和检测,有助于水电设备旁鳗鱼迁移通道的研究与设计。2.4 目标分类目标分类是一种利用计算机视觉技术来自动识别和分类水中鱼类目标的方法。图 5 展示了对三刀鱼、江鲽、黑鲷的图像进行目标分类。BCD图 5 鱼类目标分类Fig.5 Fish target classification 目标分类模型中最重要的是分类算法,目前主流有 AlexNet 算法、HCF 算法、ZFNet 算法、ResNet 算法等。其中 ResNet
18、是目前使用较广的分类算法,ResNet 算法可以有效减少梯度消失与梯度爆炸的情况,在鱼类分类领域表现出色。涂雪滢等 24通过 ResNet18、ResNet34、ResNet50 框架结构对鲈鱼、鲫鱼、鱼、锦鲤和罗非鱼等 5 种典型养殖鱼类进行识别分类,3 种模型的最后识别精度 均 达 到 了 99.8%。王 文 成 等 25通 过ResNet50 网络结构改进对大菱鲆、黄鳍鲷、金钱鱼和鲻鱼实现目标分类,检测准确率可以达到96%。并且使用 DSOD 框架实现了水下目标实时跟踪检测。万鹏等 26使用改进的 ResNet50 引入迁入学习训练模型,对鳙鱼、鳊鱼、鲤鱼、鲫鱼、草4第 2 期李鹏龙等:
19、基于深度学习的鱼类跟踪技术研究进展鱼和白鲢 6 种大宗淡水鱼进行跟踪分类,识别准确率达到了 96.94%。2.5 方法对比语义分割、实例分割、目标检测和目标分类4 种方法各有特点,使用场景互不相同,在鱼类跟踪和分析中都起到了十分重要的作用,促进了对鱼类行为的研究。表 1 对 4 种方法进行了比较。表 1 深度学习方法Tab.1 Deep learning methods名称概念应用比较语义分割语义分割是将图像中的每个像素按类分为不同的语义类别识别鱼类轮廓计算像素数量来推算鱼类体长,跟踪鱼类群体只提供像素级别的分类结果实例分割实例分割是将图像中的每个对象进行像素级别的分割,并为每个对象分配标志可
20、将不同种类的鱼类实例单独分割出来,通过计算实例的数量来统计鱼类数量,跟踪鱼类个体目标需要将不同的对象区分开来,计算量比语义分割大目标检测目标检测是在图像中找到鱼类的边界框,而不需要对每个像素进行分类或分割通过检测框可以确定图像中鱼类的位置,并依赖边界框数量来确定鱼类数量无法得到独立实例信息和像素级别的分类结果,但计算速度快且定位精度高目标分类目标分类是将整个图像分配给特定的类别鱼类分类识别,还可以将鱼类的不同行为进行分类计算效率很高,但无法提供实例信息和像素级别的分类结果3 目标跟踪信息3.1 鱼类轨迹和姿态图 6 展示了单一姿态和复杂姿态下的鱼类图像24。BC图 6 不同鱼类姿态Fig.6
21、Diffferent fish postures鱼类轨迹和姿态是指鱼类在水中移动的路径和游泳姿势,鱼类轨迹和姿态信息有助于了解鱼类的活动、生长和健康状况,这对优化鱼类养殖环境、提高鱼类的养殖效益和健康状况提供了帮助。例如,条纹斑竹鲨具有良好的医用价值,但由于养殖要求苛刻容易发生大规模生病及死亡。刘斌等 12在对条纹斑竹鲨的各个部位进行语义分割后使用 Segnet 网络模型来跟踪纹斑竹鲨的活动状态和运动轨迹。通过跟踪条纹斑竹鲨各部位的活动轨迹获得条纹斑鲨的行为数据并进行分析,实现了对其异常行为和疾病的提前预警,有效降低了条纹斑竹鲨的病死率。涂雪滢等 24在对鱼类分类之前也对鱼类姿态进行识别分析,
22、通过收集不同角度和姿态下的鱼类图像来提升数据集数量级同时增加模型的鲁棒性。Romero-Ferrero 等 27设计了一种鱼类轨迹跟踪方法,通过采取两个卷积神经网络避免了跟踪轨迹丢失的缺陷。一个对区分图像中鱼类个体有无遮挡或重叠进行判断,另一个对鱼类个体进行追踪生成轨迹图像,如图 7 所示27,完成了对斑马鱼群的轨迹跟踪。图 7 IdTracker.ai 实现斑马鱼运动轨迹跟踪Fig.7 IdTracker.ai implementation of zebrafish motion trajectory tracking李星辉 28 使用 MHK 水下鱼类视频数据集和 5渔 业 现 代 化20
23、24 年Fish4Knowledge 水下鱼类轨迹数据集训练 Faster RCNN 目标检测模型实现了对水下鱼类进行跟踪,并设计了一种关联检测结果获取游动轨迹图像如图 8 所示,以及针对时间序列型轨迹数据的异常 判 别 方 法。丁 剑 勇 29 提 出 了 一 种 基 于YOLO-DeepSORT 目标检测-数据关联的鱼群视频轨迹追踪方法,通过 DeepSORT 算法将 YOLOv5检测得到的目标位置信息在时间轴上关联起来得到鱼群轨迹。这种方法在保证了高准确度的同时大幅提升了单帧的处理速度,对鲫鱼及大黄鱼的检测准确度达到了 98%和 94%,单帧的处理速度达到了 0.014 s/帧。BCDE
24、图 8 不同时间点的鱼类轨迹提取Fig.8 Fish trajectory extraction at different time points3.2 鱼类计数鱼类计数是在水产养殖和鱼类研究中统计鱼类数量的方法。传统的鱼类计数方法包括人工计 数和水声计数等,传统计数的缺点在于工作量大、容易受到环境干扰、准确率低等。之后出现的基于深度学习的鱼类计数使用视频数据作为输入数据,训练计算机从每帧图像中学习所要跟踪的鱼类特征,在训练出可以精确识别的模型后通过构建神经网络结构进行计数。利用视频图像的人工神经网络进行鱼类计数研究最早可以追溯到 1995 年,Newbury 等 30使用人工神经网络中的反向
25、传播网络结构可以实现准确率 90%以上的鱼类计数。基于深度学习的鱼类计数方式可以分为实例分割计数、目标检测计数、密度图回归计数、目标跟 踪 计 数 4 种。如 图 9 是 使 用 YOLOv8-DeepSORT 对蓝鳍马面鲀追踪同时进行计数。图 9 YOLOv8-DeepSORT 目标跟踪计数Fig.9 YOLOv8 DeepSORT target tracking count卷积神经网络(CNN)是目前使用较多的神经网络结构,CNN 图像处理能力很强。经过大批量鱼类图像数据训练,即可实现深度学习的鱼类计数任务。深度学习方法在鱼类计数方面应用成熟。利用深度学习进行鱼类计数,可以实现高效、精准的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 鱼类 跟踪 技术研究 进展
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。