内河航运密集小目标船舶的图像检测方法.pdf
《内河航运密集小目标船舶的图像检测方法.pdf》由会员分享,可在线阅读,更多相关《内河航运密集小目标船舶的图像检测方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、第 32 卷 第 1 期厦门理工学院学报Journal of Xiamen University of TechnologyVol.32 No.12024 年 2 月Feb.2024内河航运密集小目标船舶的图像检测方法吴志华1,钟铭恩1*,邓智颖1,吴航星2,谭佳威1,周美华3(1.厦门理工学院机械与汽车工程学院,福建 厦门 361024;2.厦门理工学院光电与通信工程学院,福建 厦门 361024;3.皖南医学院医学信息学院,安徽 芜湖 241002)摘 要 针对小目标船舶在密集性场景中检测的漏检率和误检率较高的问题,基于深度卷积神经网络,提出一种船舶检测方法。该方法选用YOLOv7模型作为
2、算法参考框架进行改进,设计自适应锚框匹配算法,利用CIoU距离度量方式重构K-means聚类算法,以更好地适应船舶数据集中物体的尺寸和比例分布;增加一个针对小尺度目标的细粒度检测头,并使用分散注意力机制对网络模型结构进行重新设计;采用负片图像增强技术来扩充数据样本以获得更多训练样本。实验结果表明:与YOLOv7原模型相比,本文算法在内河航运船舶检测任务中的查准率和查全率分别达到92.8%和88.9%,分别提高10.9%和23.6%;mAP50达到92.6%,提高23.4%;FPS指标下降11.4;模型大小为47.1 MB,在PC端上单张图片耗时需要32.26 ms,实现了小目标船舶的高效检测。
3、关键词 内河航运;船舶检测;YOLOv7算法模型;图像增强中图分类号 TP399 文献标志码 A 文章编号 1673-4432(2024)01-0058-09Image Detection Method for Dense Small Target Ships in Inland Waterway NavigationWU Zhihua1,ZHONG Ming en1*,DENG Zhiying1,WU Hangxing2,TAN Jiawei1,ZHOU Meihua3(1.School of Mechanical and Automotive Engineering,Xiamen Univ
4、ersity of Technology,Xiamen 361024,China;2.School of Opto-Electronic and Communication Engineering,Xiamen University of Technology,Xiamen 361024,China;3.School of Medical Informatics,Wannan Medical College,Wuhu 241002,China)Abstract:A ship detection method based on deep convolutional neural network
5、is proposed to solve the problem of high miss rate and high false alarm rate of small target ships in dense scenes.The YOLOv7 model is selected as the reference frame of the algorithm to improve the method.Firstly,we design an adaptive anchor boxes matching algorithm that reconfigures the K-means cl
6、ustering algorithm using the CIoU distance metric to better match the size and scale distribution of objects in our ship dataset.Secondly,we add a fine-grained detection head for small-scale targets and redesign the network model structure using the shuffle attention(SA)doi:10.19697/ki.1673-4432.202
7、401008收稿日期:20221213 修回日期:20230301基金项目:福建省自然科学基金项目(2019J01859)通信作者:钟铭恩,男,教授,博士,研究方向为机器视觉与人工智能、智能汽车等,E-mail:。引文格式:吴志华,钟铭恩,邓智颖,等.内河航运密集小目标船舶的图像检测方法 J.厦门理工学院学报,2024,32(1):58-66.Citation:WU Z H,ZHONG M E,DENG Z Y,et al.Image detection method for dense small target ships in inland waterway navigationJ.Jou
8、rnal of Xiamen University of Technology,2024,32(1):58-66.(in Chinese)第 1 期吴志华,等:内河航运密集小目标船舶的图像检测方法mechanism.Lastly,we utilize a negative image enhancement technique to expand the data samples and obtain more training examples.Experimental results show that the algorithm achieves an accuracy and reca
9、ll of 92.8%and 88.9%,respectively,for the inland waterway shipping ship detection task,representing an improvement of 10.9%and 23.6%,respectively.The mAP50 value also improves by 23.4%,reaching 92.6%,while the FPS index decreases by 11.4.Our model size is 47.1 MB,and the time required for a single i
10、mage on the PC side is 32.26 ms,achieving efficient detection of small target ships.Key words:inland waterway navigation;ship detection;YOLOv7 algorithm model;image enhancement近年来,河道运输业呈现快速增长趋势,在枢纽河段采取必要的监管策略,有助于提前预防交通事故的发生。船舶出行具有不定时、不可预见的特点。人工值守查看视频工作量大、易视疲劳,容易引起漏检和误检。因此,需要研究出智能化的船舶检测方法。目前常用的检测方法主要
11、是在固定高度的地方安装智能监控摄像头,通过网联工控机实时地对视频进行检测并发出预警1。由于设备安装点较高,这会导致视频中出现的船舶个体都为小目标,检测任务易受到附近噪声的干扰。早期利用机器视觉的船舶检测方法主要分为区域选择、特征提取和分类3个步骤2。区域划分后,通过针对性场景设计的图像算子来提取船舶的边缘、纹理、颜色等特征,进一步实现船舶分类和定位,为后续的异常事件检测提供数据支撑。不足的是,这些特征对船舶的表征能力不强,例如,常用的方向梯度直方图算子(histogram of oriented gradient,HOG)3和尺度不变特征变换(scale-invariant feature t
12、ransform,SIFT)4。河段环境的不同,其提取特征的方法也不同,容易导致算法模型难以迁移使用,实时性较低。随着智能光电监控技术的发展,利用深度学习技术实现船舶的检测已经成为研究热点。例如,薛远亮等5对SSD模型引入了融合通道和空间注意力等策略,用于船舶的实时检测;陈从平等6设计了具有后处理算法的Faster RCNN算法模型,有效降低了船舶检测的漏检率;周薇娜等7提出了一种重新设计的YOLOv4多尺度船舶实时检测方法,通过构建的双向细粒度特征金字塔,在包含多种尺度的船舶图像上,验证了算法的超高性能;李佳东等8提出一种基于YOLOv5s的船舶检测算法,通过引入空间金字塔模块,解决了船舶检
13、测的精度问题。这些改进方案的检测精度虽然达到了较优水平,但主要是针对海面近距离拍摄的情况进行设计,对于内河航运中小目标的船舶检测不再适用。为了解决该问题,有研究者们提出了其他的检测方法。例如,周慧等9提出了一种基于特征金字塔网络(feature pyramid network,FPN)模型,解决了合成孔径雷达(synthetic-aperture radar,SAR)图像中小尺度船舶难检测的问题;邓睿哲等10设计了一种用于遥感影像船舶检测的FPN建模方法,克服了网络难以应对具有随机朝向、形态多变的小尺度船舶的情况。然而,这些方法主要是针对遥感影像数据进行算法开发,难以应用在监控图像上。实际上,
14、内河河道普遍存在早晚集中出航的实况,易面临其他目标物的遮挡和周围的尾流等噪声干扰,这都增加了检测难度。因此,增强上下文语义信息,突出船舶的显著特征,对于提高小尺度船舶的检测性能至关重要,合理选择一种高精度的检测模型作为参考并在此基础上重新设计是解决这些问题的有效路径。YOLOv7算法模型11具有高精度、低耗时的性能优势,但目前学者对其研究并不多。为此,本文以该模型为参考,提出了一种小目标船舶检测方法,该方法首先通过负片图像增强算法来扩充少样本船舶标签数量,然后增加一个1010大小的细粒度检测头,检测头的锚框参数进行CIoU度量自适应优化。同时,在模型Backbone上引入分散注意力(shuff
15、le attention,SA)机制结构,完成船舶的目标检测。1YOLOv7算法模型YOLOv7是基于锚框的检测模型,它的参数量较少,占用内存空间小,适合在边缘设备上部署。该网络模型主要分为3部分:1)骨干网络(Backbone)用来提取不同输出尺度的特征;2)特征融合网络(Neck)主要负责特征的融合;3)检测头(Head)负责结果的预测输出。59厦门理工学院学报2024 年图1是YOLOv7的多尺度检测结构图,可见,模型有3个检测头。该模型每个检测头层分配3个先验框,用来回归不同尺度大小的船舶。图片输入经骨干网络和特征融合网络部分后,在3个不同尺度的检测层上输出目标的位置信息和类别信息。每
16、一个检测层输出形状为(na,fw,fh,(nc+5)的张量,其中:na代表该层用于回归的锚框数量;fw、fh分别代表输出特征图的宽、高;nc+5代表类别和位置信息,nc为类别数量,数值5表示预测框的中心点坐标、宽高尺寸和置信度的信息。特征图的每一个位置都有na个锚框来回归目标。网络输出的位置信息是相对于预先设定的锚框偏移量,需要通过锚框将预测值输出解码成检测框。2算法改进2.1结合先验框和模型尺度的结构调整通过多尺度融合检测的思想,使用K-means聚类算法对船舶数据集进行聚类。在K-means算法中,在一个固定的簇数K下,通过最小化总体平方和来求解最佳质心,然后基于质心实现锚框聚类,计算公式
17、为Cscore=1-measurement。(1)式(1)中:Cscore是质心与所有目标框的平均得分;measurement是距离度量方法。本文采用CIoU距离度量方式,具体为CIoU=IoU(b,bgt)-(l2(b,bgt)d2+v)。(2)式(2)中:bgt是真实目标框;b是聚类的质心;v是衡量长宽比的相似性因子,v=42(arctanwGThGT-arctanwcentroidhcentroid)2;是权重系数,=v(1-IoU(b,bgt)+v+),为无穷小数;l2(b,bgt)是质心与目标框中心点的欧氏距离;d为锚框与目标框的最小闭包矩形对角线距离。因此,采用CIoU距离度量方式
18、的K-Means聚类计算公式为CscoreCIoU=1-CIoU=1-IoU(b,bgt)+l2(b,bgt)d2+v。(3)式(3)中:CscoreCIoU是质心与所有目标框的平均CIoU得分。由图2中 K与平均CIoU关系曲线变化可知,真实框的平均CIoU与质心数量K呈正相关,但同时模型复杂度也会随之增加,并带来更多的负训练样本。当K大于12时,平均CIoU的提升幅度逐渐平缓。因此,本文选择的先验框个数为12,其适应 Feature Map 2020 2倍上采样 Feature Map 4040 2倍上采样 Feature Map 8080 +4倍上采样 检测头 1 检测头 2 检测头 3
19、 640640 SPPCSPC 结构 4040 80802020 8倍下 采样 图1YOLOv7的多尺度检测结构图Fig.1Multi-scale detection structure of YOLOv760第 1 期吴志华,等:内河航运密集小目标船舶的图像检测方法于4个检测尺度,以在保证检测精度的情况下使算法的检测速度达到更快。本文对 YOLO 增加一个 1010 的细粒度检测头,以帮助模型融合更多小目标深层特征语义信息,实现更高的定位精度,提升检测效率。当输入为 640640的图像尺度训练时,改进的多尺度融合网络分别通过8倍、16倍、32倍、64倍下采样的特征融合层,对应选择 8080、
20、4040、2020、1010共4种特征图分辨率进行预测。8080对应的检测头为尺度1,在K-means聚类算法中采用CIoU距离度量方式对船舶数据集聚类出的先验框结果分别为(5,3)、(6,4)、(8,4);4040为尺度2,它不仅拥有自身的特征信息,还能融合尺度1的特征经过2倍上采样的信息,其聚类结果为(8,5)、(12,5)、(10,7);同理,2020为尺度3,在自身特征信息的基础上能融合尺度1和尺度2上采样后的特征信息,其聚类结果为(12,9)、(19,7)、(15,11);增加的尺度4包含的是1010特征图与尺度1、尺度2、尺度3上采样融合后的特征信息,其对应的先验框聚类结果为(21
21、,12)、(21,17)、(58,33)。2.2优化特征融合结构注意力机制有助于神经网络准确地关注局部重要特征区域,已经成为提高深层神经网络性能的一个研究方向。常用的注意力机制主要有空间注意力和通道注意力2种,分别旨在捕捉像素级的成对关系和通道依赖性12-13。通常,将两者融合的实现方式更佳的特征提取性能,但容易增加计算负担。本文引入一种更高效的且不带来额外计算开销的SA机制14。采用组卷积的思想,使通道和空间注意力协同作用。该注意力机制的原理如图3所示。1)分组操作。获得g组不同特征图,目的是降低模型的计算量,加快网络的运行速度。分组操作之后的特征层宽度和高度不变,通道数变为cg,每个组内部
22、使用SA单元进行处理。该单元内部包含通道注意力机制和空间注意力机制,前者具体实现类似挤压和激励操作(squeeze-and-excitation,SE),如A1A2,后者使用组规范化操作实现特征提取(group norm,GN),如B1B2。2)拼接操作。将第一步经SA单元处理后得到的特征图通过Concat的方式进行拼接,实现组内部的信息融合与交互。3)重排操作。使用分散操作对组进行重排,使不同组之间进行信息流通,以输出带有注意力机制的特征层。wch Shuffle 分组 汇总 /c g/2cg组规范化(GN)分解 融合 gpf(.)c f(.)c f(.)(.)输入特征图 输出特征图 cat
23、 A1 A2 B2 B1 挤压和激励操作图3分散注意力机制的原理图Fig.3Principle of SACIoU0.80.70.60.50.40.30.20.102.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0 22.5 K图2K与CIoU的关系曲线Fig.2Curve of relationship between K and CIoU61厦门理工学院学报2024 年为了验证以上方法,本文设计了一个实时船舶检测模型,它包括骨干网络、特征融合网络、检测头和注意力机制模块等,模型结构如图4所示。该模型以YOLOv7算法为参考,骨干网络在第十一层新引入一个分支,和负责输出
24、尺度为8080的检测头进行通道融合。特征融合网络主要思路为增加一层上采样的操作,为多引入1010大小的检测头提供基础条件。注意力机制模块引入的位置在MP2模块和Concat中间,本文一共添加3个该模块,实现4个检测头的特征传输。2.3船舶图像的数据增强方法本文通过固定角度的光电监控摄像头,在国内某个内河航道进行实时图像采集,得到731张不同的船舶出航场景图像,图像分辨率大小为1 920 px1 080 px。图像中船舶类别共包含私人小船、货艇和巡逻船3类,如图5所示。由图5可见,船舶目标小,且分布密集。因此,标注这种细小的目标耗费人力,容易造成标注错误。而深度学习模型的性能易受到训练标签的质量
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 内河 航运 密集 目标 船舶 图像 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。