水下声呐图像轻量级目标检测模型_范新南.pdf
《水下声呐图像轻量级目标检测模型_范新南.pdf》由会员分享,可在线阅读,更多相关《水下声呐图像轻量级目标检测模型_范新南.pdf(8页珍藏版)》请在咨信网上搜索。
1、计算机与现代化JISUANJI YU XIANDAIHUA2023年第3期总第331期文章编号:1006-2475(2023)03-0016-07收稿日期:2022-03-30;修回日期:2022-04-26基金项目:中央高校基本科研业务费项目(B220202020,B220203032)作者简介:范新南(1965),男,江苏宜兴人,教授,博士生导师,博士,研究方向:信息获取与处理,机器视觉,E-mail:;通信作者:史朋飞(1985),男,山东青岛人,副教授,硕士生导师,博士,研究方向:水下探测与成像,信息获取与处理,多源信息融合理论,E-mail:。0引言目前水下AUV搭载声呐进行探测成为
2、水下目标检测的主流方式。声呐是声波探测海洋的主要设备,其在低能见度条件下仍然可以稳定运行,具有远距离、高效率探测的特点。随着水下无人探测技术的发展,基于水下声呐图像的目标检测技术成为研究的热点。然而由于海底环境复杂且噪声干扰严重,传统的方法如光流法1、帧差法2和背景建模法3-4等直接应用到声呐图像目标检测时效果不理想。水下声呐图像轻量级目标检测模型范新南,陈馨洋,史朋飞,孙奂儒,鹿亮,周仲凯(河海大学物联网工程学院,江苏 常州 213022)摘要:水下AUV搭载声呐进行探测成为水下目标检测的主流方式,水下环境的复杂及声呐成像方式导致声呐图像分辨率较低,使用形态学目标检测等传统方法时检测精度与实
3、时性不高,深度学习如YOLO等算法直接用于水下声呐图像目标检测时仍然面临样本少、模型参数多等挑战,为此,本文提出一种声呐图像水下目标轻量化检测模型。针对低分辨率声呐图像数据特点以及水下AUV自动检测对实时性的要求,以YOLOv4模型为主要框架,进行模型裁剪、替换优化特征融合模块、目标预测框K均值聚类以及改进损失函数等,将构建的检测模型应用于声呐目标检测。所构建的声呐图像水下目标检测轻量化模型的 mAP 相对于 SSD、YOLOv3、YOLOv3-DFPIN、YOLOv4-tiny 分别提高了 0.0659、0.0214、.0402 和0.1701。在mAP相较于YOLOv4、CenterNet
4、、EfficientdetD0分别低0.0186、0.0093、0.0074的情况下,FPS分别相对于YOLOv4提升一倍多、相对于EfficientdetD0提升近5倍、相对于CenterNet提升近一倍。同时,本文提出的模型兼具高精度和实时性的优点。实验结果表明,本文提出的特征提取网络能够减小网络参数冗余,提高模型效率和检测速度,结合自适应空间特征融合模块增强了不同尺度之间特征的相互融合和重用,提高了低分辨率声呐图像目标检测的精度。关键词:目标检测;水下声呐图像;深度学习;YOLOv4;Kmeans+中图分类号:TP391文献标志码:ADOI:10.3969/j.issn.1006-247
5、5.2023.03.004Lightweight Object Detection Model for Underwater Sonar ImagesFAN Xin-nan,CHEN Xin-yang,SHI Peng-fei,SUN Huan-ru,LU Liang,ZHOU Zhong-kai(College of Internet of Things Engineering,Hohai University,Changzhou 213022,China)Abstract:With the development of unmanned underwater detection techn
6、ology,AUV with sonar detection has become the mainmethod of underwater object detection.However,due to the complexity of the underwater environment and the limitation of thesonar imaging mode,the sonar image resolution is low.Therefore,the traditional morphology based on object detection methodhas t
7、he problems of low detection accuracy and poor real-time performance.When deep learning algorithms such as YOLO are directly applied to underwater sonar image target detection,they still face challenges such as few underwater samples and manymodel parameters.This paper proposes a lightweight object
8、detection model for sonar image datasets.In view of the characteristics of low-resolution sonar image data and the real-time requirements of underwater AUV automatic detection,the YOLOv4model is used as the main framework to carry out model tailoring,replace the optimized feature fusion module,targe
9、t predictionK-means clustering and improve the loss function,etc.,and the constructed detection model is applied to sonar target detection.According to the experimental data,the mAP of the proposed model in this paper is 0.0659,0.0214,0.0402 and 0.1701 higherthan that of SSD,YOLOv3,YOLOV3-DFPIN and
10、YOLOV4-tiny respectively,Under the conditioms of the mAPs are only0.0186 lower than that of YOLOv4,only 0.0093 lower than CenterNet,only 0.0074 lower than EfficientdetD0,however,FPS ismore than twice as high as YOLOv4 and CenterNet,more than fifth as high as EfficientdetD0.At the same time,the propo
11、sedmodel in this paper has the advantages of both high precision and real time.The experimental results show that the proposed feature extraction network can greatly reduce the redundancy of network parameters and improve the model efficiency and detectionspeed.Combined with the adaptive spatial fea
12、ture fusion module,the mutual fusion and reuse of features in different scales areenhanced,and the accuracy of low resolution sonar image target detection is improved.Key words:object detection;underwater sonar image;deep learning;YOLOv4;Kmeans+2023年第3期近些年,基于深度学习的目标检测算法越来越受到研究者的青睐。现有的检测算法主要分为一阶段(One
13、-stage)和二阶段(Two-stage)算法5-7。Two-stage算法有区域建议的过程,而one-stage直接从图片中生成位置和类别,提高了目标检测的效率,但同时也损失了一些精度8。而YOLO9-12系列算法就是One-stage算法中的代表。YOLO算法步骤简单,且能在准确率较高的情况下快速进行目标检测与识别,而Dewi等人8提出的YOLOv4,刷新了YOLO系列算法的精度和速度。YOLOv4算法在原有YOLO目标检测框架的基础上,改进了特征提取网络,并引入了近些年卷积神经网络领域中一些优秀的模型优化方法,从数据处理、模型训练、激活函数、损失函数、特征增强等各个方面都有着不同程度的
14、优化13-17,在很多应用场景中针对目标检测都得到了较好的效果。本文针对传统YOLOv4算法,结合低分辨率声呐图像数据特点以及水下AUV自动检测对实时性的要求,进行以下4点的改进:1)对YOLOv4模型进行模型裁剪,通过混合评价来裁剪掉整体性能较差和内部差异性不明显的滤波器通道,压缩冗余参数。2)替换且优化YOLOv4特征融合模块,将原始的ASFF模块从3个特征层的融合增加到4个特征层,降低模型裁剪后造成的精度损失。3)优化预测框聚类算法,使用Kmeans+聚类算法,并以交并比得分作为评估的标准来对声呐数据集进行聚类分析。4)改进损失函数,采用聚焦损失修正正负样本类别不平衡问题。1声呐图像水下
15、目标轻量化检测模型目前水下目标检测受制于水下传输带宽的影响,无法将获取的数据实时传送。现有的做法是在前端水下机器人的嵌入式平台完成实时的目标检测,受嵌入式算力的限制,自动检测模型的规模只能轻量化设计。而 YOLOv4自带的 anchor参数主要是针对ImageNet和COCO这种大型公开数据集聚类得到18-19。原始YOLOv4模型对于声呐数据集来说存在大量冗余参数,不利于检测速度的提高。另外声呐图像的低分辨率特点要求模型能尽可能地获取多尺度特征信息,用来提升模型精度。为此,本文作出以下改进:1)通过对原始模型进行通道级别的模型裁剪和压缩,提高模型效率,减小参数冗余度,同时利用混合统计值评价参
16、数来对原始模型的滤波器进行参数对比,将作用小的滤波通道进行裁剪,然后对裁剪后的模型进行微调,修复模型损失的精度。2)为了更加充分地利用声呐图像高层特征的语义信息和底层特征的位置信息,本文选择 Liang 等人20提出的自适应空间特征融合模块ASFF替换原有的PANet模块,并将原先的3个尺度预测扩展到4个尺度,获取更多尺度的特征信息,提升模型精度。3)本文对声呐图像数据集进行Kmeans+维度聚类7,确定合适的anchor大小和数量,提高预测精度。为了降低正负样本不平衡给模型训练带来的负面影响,本文将交叉熵损失函数替换为基于聚焦损失函数的联合损失函数。1.1模型裁剪由于YOLOv4的深层网络存
17、在明显的冗余参数,因此对其现有的网络进行模型压缩。现有的模型压缩方法主要包括知识蒸馏21-23、模型裁剪24-26、模型量化和矢量分解等方法27-29。其中模型裁剪具有简单高效、应用性好和压缩比大等特点,是目前应用比较广泛的模型压缩方法。模型裁剪中最重要的一步是决定需要裁剪的滤波器,因此需要选择一个可靠且高效的滤波器评价算法来衡量滤波器。实验表明,单一的统计特性参数无法很好地完成对滤波器重要性的衡量。因此本文提出基于均值-方差的混合统计特征的滤波器裁剪方法。如图1所示,在预训练模型的第i层卷积网络中,用 xiRhi wi ci表示特征图,hi、wi、ci分别表示该特征图的高、宽和具有的通道数。
18、此外用于生成该层特征图的一组滤波器尺度为kikici-1ci,其中kiki是滤波器大小,ci-1是上一层中特征图的通道数。所以对经过滤波器 Wi计算和经过批归一化(Batch Normalization,BN)层以及中间激活层激活后映射得到的特征图Xi进行评价。首先计算特征图中每个通道的均值和方差,根据这2个统计参数,提出混合评价参数s:s=-1+(1)其中,趋近 0,对于均值较小的特征层包含的信息量较少,很难在前向传递中发挥作用。而方差 反映的是特征层的离散程度。对于离散程度高,方差大的特征通道,滤波器更加敏感,更有利于特征流的传递。当某个通道的特征映射足够弱时,s中的第一项可以有效地选择出
19、弱通道,此时 起主导作用。而当逐渐增大,的作用将逐渐减弱,直到特征映射不能通过整体均值来判断时,的作用将会逐渐超越项成为主导项,起到决定性作用。因此,本文裁剪策略是通过混合评价来裁剪掉整体性能较差和内部差异性不明显的滤波器通道。对特征图Xi的每个通道计算评价参数,可以得到一个关于特征图 Xi的评价向量:Si=|si(1)si(2)si(ci)(2)为更全面地评价每个通道的统计特性,将含有m张图片的测试子集输入到预训练模型中对第i层的特征层进行混合参数计算,可以得到一个mci的张量Sli。之后将平均向量右乘张量Sli得到m个样本的混合参数评价均值mean(Si)。对mean(Si)进行排序,并根
20、据压缩率确定裁剪阈范新南,等:水下声呐图像轻量级目标检测模型17计算机与现代化2023年第3期值裁剪掉排序靠后的滤波器通道。其中:Sli=S1i,S2i,Smi=|si1(1)si2(1)sim(1)si1(2)si2(2)sim(2)si1(ci)si2(ci)sim(ci)(3)mean(Si)=Sli|1 m1 m1 m(4)裁剪时需保证YOLOv4网络残差块中的跳跃连接通道数前后一致,因此很难直接对每个残差块的最后一个卷积层进行修剪。由于大部分参数位于最后2层,修剪中间层是更好的选择。修剪策略如图2所示。在确定特定层裁剪策略后,考虑对整个网络进行修剪。其中一种方法是对整个深层网络一次性
21、裁剪,再进行迭代训练,这种方法重构速度快但对模型的精度造成不可修复的损失。图2CSPDarknet中残差块的修剪策略本文为平衡模型的重构速度和性能,结合CSPDarknet的特殊结构,在每修剪完一层后对模型进行一个全数据量的小Epoch训练,对模型进行微调。最后层修剪完成后,再对模型进行多个Epoch的全数据量训练。1.2多层自适应空间特征融合由于裁剪压缩了模型,损失了原有模型精度,因此可以通过改进特征融合模块来保持原有计算量并且提高性能。YOLOv4使用的PANet网络基于自下向上的二次融合。PANet证明了双向融合路径的有效性,但这种方法过于简单且计算量少。为此,本文选择 Liu 等人15
22、提出的自适应空间特征融合模块ASFF来替换PANet,通过自适应方法学习各特征层之间的融合。相比PANet其具有以下3个优点:1)结构简单且推理开销小,检测速度高;2)使用差分方法搜索最优融合;3)主干模型不可知,适用于特征金字塔结构的单点检测器。上述方法通过在每个尺度上自适应地聚集各个层次的特征来对不同尺度的特征进行增强,且融合后的输出可用YOLOv4的同一head进行目标检测。为更好地检测出声呐图像中的小目标,本文将原始的ASFF模块从3个特征层的融合增加到4个特征层,使模型能够从浅层特征映射的细粒度信息中获取更多的位置信息。1.3Kmeans+预测框聚类原始YOLOv4使用Kmeans聚
23、类算法对数据集进行聚类。Kmeans 使用欧氏距离函数来计算聚类损失,会导致较大的anchor比小anchor结果偏差大。因此,本文使用Kmeans+聚类算法,并以交并比(Intersection OverUnion,IOU)得分作为评估的标准来对声呐数据集进行聚类分析,距离公式和交并比定义为:d(box,centroid)=1-IoU(box,centroid)(5)IoU=SoverlapSunion(6)其中,box为样本标签的目标框,centroid为聚类中心。1.4损失函数优化在进行目标检测时,一张输入图像可以生成大量的预测框,但其中只有少部分是包含目标物体的,这使得正负样本类别不平
24、衡,从而达不到期望优化方向。为降低影响,本文将原模型的交叉熵损失函数替换为基于聚焦损失函数的联合损失函数。聚焦损失(Focal Loss)30在原始交叉熵损失的基础上修改得到,交叉熵公式为:图1模型滤波器裁剪.第i层输入第i层卷积核第i层特征第i+1层卷积核第i+1层特征*原始模型模型剪枝模型微调112561283312812811128256裁剪50%256-dMishMishMish1125612833128641112864256-dMishMishMish182023年第3期范新南,等:水下声呐图像轻量级目标检测模型CE(p,y)=|-log(p),y=1-log(1-p),其他(7)
25、其中,p为预测样本属于1的概率,y表示样本类别。为方便使用pt来代替p,即:pt=p,y=11-p,其他(8)则标准交叉熵函数可简写为:CE(p,y)=CE(p)=-log(p)(9)在训练时正负样本的数量差异巨大,因此在使用交叉熵损失函数时一般给样本加上权重:CE(pt)=-tlog(pt)(10)其中,t为类别控制权重,较小的t可以降低负样本在总损失中占的权重。但是易分类样本和难分类样本的不平衡依然会影响模型的优化。聚焦损失为了解决这个问题,在式(10)的基础上加入了超参数,聚焦损失可表示为:FL(pt)=-t(1-pt)log(pt)(11)其中,(1-pt)为简单/困难样本调节因子,为
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 水下 声呐 图像 轻量级 目标 检测 模型 范新南
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。