基于改进YOLO v4和ICNet的番茄串检测模型.pdf
《基于改进YOLO v4和ICNet的番茄串检测模型.pdf》由会员分享,可在线阅读,更多相关《基于改进YOLO v4和ICNet的番茄串检测模型.pdf(10页珍藏版)》请在咨信网上搜索。
1、2023年10 月第54卷第10 期农报机械业doi:10.6041/j.issn.1000-1298.2023.10.021基于改进YOLOv4和ICNet的番茄串检测模型刘建航何鉴恒1陈海华2王晓政1翟海滨(1.中国石油大学(华东)海洋与空间信息学院,青岛2 6 6 555;2.中国科学院计算技术研究所,北京10 0 0 94;3.国家计算机网络应急技术处理协调中心,北京10 0 0 2 9)摘要:针对深层神经网络模型部署到番茄串采摘机器人,存在运行速度慢,对目标识别率低,定位不准确等问题,本文提出并验证了一种高效的番茄串检测模型。模型由目标检测与语义分割两部分组成。目标检测负责提取番茄串
2、所在的矩形区域,利用语义分割算法在感兴趣区域内获取番茄茎位置。在番茄检测模块,设计了一种基于深度卷积结构的主干网络,在实现模型参数稀疏性的同时提高目标的识别精度,采用K-means+聚类算法获得先验框,并改进了DIoU距离计算公式,进而获得更为紧凑的轻量级检测模型(DCYO L O v 4)。在番茄茎语义分割模块(ICNet)中以MobileNetv2为主干网络,减少参数计算量,提高模型运算速度。将采摘模型部署在番茄串采摘机器人上进行验证。采用自制番茄数据集进行测试,结果表明,DC-YOLOv4对番茄及番茄串的平均检测精度为99.31%,比YOLOv4提高2.0 4个百分点。语义分割模块的ml
3、oU为8 1.6 3%,mPA为91.8 7%,比传统ICNet的mloU提高2.19个百分点,mPA提高1.47 个百分点。对番茄串的准确采摘率为8 4.8%,完成一次采摘作业耗时约6 s。关键词:番茄串;采摘机器人;深度学习;YOLOv4;I CNe t;采摘模型中图分类号:TP391.4文献标识码:A文章编号:10 0 0-12 98(2 0 2 3)10-0 2 16-0 9OSID:Development of Detection Model for Tomato Clusters Based onImproved YOLO v4 and ICNetLIU JianhangHE Ji
4、anhengCHEN HaihuaWANG XiaozhengZHAI Haibin23(1.College of Oceanography and Space Information,China University of Petroleum(East China),Qingdao 266555,China2.Institute of Computing Technology,Chinese Academy of Sciences,Beijing 100094,China3.National Computer Network Emergency Response Technical Team
5、/Coordination Center of China,Beijing 100029,China)Abstract:For the deep neural network model deployed to embedded devices(such as tomato clusterspicking robots),there are some problems,such as slow running speed,low recognition rate of pickingtargets,inaccurate positioning and so on,an efficient mo
6、del for tomato clusters detection was proposedand verified.The model was composed of two modules:detection and semantic segmentation.Targetdetection was responsible for extracting the rectangular region where the tomato cluster was located,andthen using the semantic segmentation algorithm to obtain
7、the tomato stem position in the rectangularregion.In the tomato detection module,a backbone network based on deep convolution structure wasdesigned to improve the accuracy of crop recognition while realizing the sparsity of model parameters.K-means+clustering algorithm was used to obtain a priori fr
8、ame,and DIoU distance calculationformula was improved to obtain a more compact lightweight detection model(DC-YOLO v4).In thesemantic segmentation module(ICNet),MobileNetv2 was used as the backbone network to reduce theamount of parameter calculation and improve the operation speed of the model.The
9、model was deployedon the tomato clusters picking robot for verification.The self-made tomato data set was used for testing.The results showed that the average detection accuracy was 99.31%on tomato test set,outperformingYOLO v4 by 2.04 percentage points.The mloU and mPA achieved 81.63%and 91.87%on t
10、omatostem set,exceeding ICNet by 2.19 percentage points and 1.47 percentage points,respectively.Theaccurate picking rate of tomato clusters was 84.8%,it took 6s to complete a picking operation.Key words:tomato clusters;picking robot;deep learning;YOLO v4;ICNet;picking model收稿日期:2 0 2 2-0 9-0 1修回日期:2
11、 0 2 2-10-16基金项目:山东省自然科学基金项目(ZR2020MF005)作者简介:刘建航(197 8 一),男,副教授,博士,主要从事人工智能研究,E-mail:l i u j i a n h a n g u p c.e d u.c n通信作者:翟海滨(198 3一),男,高级工程师,博士,主要从事智能信息处理研究,E-mail:z h a i h a i b i n 16 3.c o m217刘建航等:基于改进YOLOv4和ICNet的番茄串检测模型第10 期0引言我国农作物采摘主要以手工为主,采摘工作季节性强、劳动强度大、成本高。随着人工智能和农业机械相互结合,使农作物采摘智能化
12、成为可能,采摘机器人在提高采摘率、推动现代化农业发展等方面具有重要意义2 番茄作为中国种植的主要经济作物,其采收方式分为粒收与串收,串收有着较高的采摘效率,并且串收番茄更容易保存和运输。快速且精确地采摘番茄串是目前串型番茄采摘机器人的重点研究内容。番茄串检测以及番茄茎定位主要通过计算机视觉实现。因此,视觉感知系统的性能直接影响番茄串的采摘率3。文献4 采用颜色分量运算和彩色空间转换实现图像阈值分割和目标特征提取,同时对末端执行器进行了设计,实现了串型番茄的采摘,但采摘时间较长,成熟番茄串果实识别成功率为90%。文献5 借鉴AdaBoost学习算法在人脸识别中的成功应用6-7 ,提出了基于Haa
13、r-like特征及其编码和AdaBoost学习算法的番茄识别方法。实验结果表明,单幅图像的处理时间为15s,正确识别率为93%。文献8 提出使用MaskR-CNN模型对果园中重叠绿色苹果进行识别和分割,将残差网络与密集连接卷积网络相结合作为骨干网络提取特征,对120幅苹果图像进行检测,结果表明,平均检测准确率为97.31%,但由于数据集太少,仍需增加样本集和丰富样本多样性以更具说服力。文献9 使用双目视觉技术对番茄进行识别,根据番茄颜色特征用拟合曲线对番茄分割,并通过双目视觉测量原理计算出番茄的三维坐标,测量误差低于4%,但仍有待进一步优化提升检测精度。文献10 提出一种番茄果实串采摘点识别方
14、法,该方法对垂直向下的番茄果实串采摘点识别效果较好,但不能对其他姿态的番茄果实进行识别。文献11 提出了一种基于改进型YOLO的复杂环境下番茄果实快速识别方法,能够提取多特征信息,模型对番茄检测精度为97.13%。综上,国内外研究人员针对番茄串的识别和定位问题提出的研究方法尚未达到理想的精度和工业级实时性的要求,对多样的特征变化鲁棒性不足。因此,难以满足实际需求。为进一步提高农作物的识别率和采摘率,本文以番茄为研究对象,提出一种视觉感知模型,模型包括检测和语义分割2 个模块,即番茄串检测和番茄茎分割。采用一种基于深度卷积结构的主干网络,取代残差块结构中的普通卷积运算,降低主干网络的计算量,从而
15、获得更为紧凑的主干特征提取网络,通过K-means+聚类算法获得先验框,并改进DIoU距离计算公式,获得更为紧凑的轻量级检测模型(DCYO L O v 4),在实现模型参数稀疏性的同时提高识别精度。将MobileNetv2作为ICNet分割模型的主干网络,以有效减少计算量,达到实时分割效果1材料与方法1.1图像采集番茄数据集、番茄茎数据集采集于黄河三角洲农业高新技术示范园区的设施农业测试验证平台(山东省广饶县)。通过IntelRealSenseD435型深度相机采集番茄样本,图像分辨率为40 32 像素3024像素,如图1a所示,相机安装在末端执行器上方5cm处,通过图1b所示的方式,在移动端
16、遥控机器人进行番茄样本采样,模拟番茄采摘机器人的实际工作场景。(a)深度相机安装位置(b)采摘机器人图1采摘机器人采集番茄样本Fig.1Picking robot collects tomato samples采摘机器人的主要结构如图2 所示,包括机械臂、可移动装置、机器人控制系统、深度相机和末端执行器5部分。默认状态下,末端执行器的安装位置距地面10 cm。3215图2采摘机器人主要结构Fig.2Main structureof picking robot1.末端执行器2.深度相机L3.机械臂4.机器人控制系统5.可移动装置番茄植株种植在桁架上,行距约0.4m,高约2m,为保证数据集样本的多
17、样性,分别采集不同光照强度、不同果实数量、不同拍摄角度的番茄串样本共2 0 0 0 幅,番茄茎样本图像10 0 0 幅。采集的部分番茄样本如图3所示。1.2番茄检测网络1.2.1YOLO目标检测网络番茄采摘机器人的视觉感知模型包括目标检测和语义分割两部分2 。针对番茄检测模型,本文借2023年农218机报学业械(a)混合遮挡的番茄(b)被叶遮挡的番茄(c)番茄间遮挡(d)背光角度(e)逆光角度(f)正常角度图3温室环境下采集的番茄样本Fig.3Tomato samples collected in greenhouse environment鉴YOLO系列的模型结构13,其突出特点是快速和精确
18、。与Two-Stage(如FasterR-CNN)使用Regionproposal区域建议特征提取方式不同,YOLO的工作原理14 如下:对输入图像的全局区域进行训练。利用主干特征提取网络完成番茄样本的特征初次提取。融合加强特征提取网络,增大感受野的同时反复提取特征信息。采用Boundingbox预测方式,预测目标类别、置信度和预测框。YOLO系列网络模型中,YOLOv1存在网络模型检测精度差、目标定位不准确等问题15;YOLOv2中加入了锚框和批量归一化,并通过更改网络模型结构等操作提升了训练模型性能,但不适用于检测目标重叠的情况16 ,YOLOv3中引人了多尺度融合训练、残差结构、改变网络
19、模型结构等操作,使得训练模型性能得到了极大提升,但其主干网络深度达53层且采取了多尺度融合,导致检测速度慢1,YOLOv4本质上继承了YOLOv3的结构,主干网络更改为CSPDarkNet53优化特征提取性能,采用Mish激活函数使梯度下降过程更为平滑,相较于ReLU、Sigmod等激活函数,Mish在处理负值时不会完全截断,保证了特征信息流动18 ,同时加入了更多目前流行的技巧(如Mosaic数据增强、标签平滑、CIOU等)。但实际上,在检测精度和速度方面并没有明显提升,未达到工业级番茄检测的要求,1.2.2改进的YOLOv4网络模型在剖析YOLOv4网络结构的基础上,设计了一个基于深度卷积
20、结构的主干网络,用于对番茄串图像的初步特征提取。深度卷积结构如图4所示。1258335128(a)逐通道卷积滤波器883388(b)逐点卷积滤波器图4深度卷积结构Fig.4Depth convolution structure番茄检测模块由DarkNetBN_Mish模块、主干网络、空间金字塔池化(Spatialpyramidpooling,SPP)、像素聚合网络(Pixel aggregation network,PANet)和YOLOHead构成。如图5所示,将深度卷积结构替换主干网络中Resblock_body的普通卷积,降低主干网络的计算量。1x1Conv3x3DepthwiseCon
21、v1x1 ConvBN3x3ConvReLU1x1 ConvIxlPointwiseConv(a)普通卷积(b)深度可分离卷积图5改进后的Resblock_bodyFig.5Improved Resblock_body基于深度卷积结构的主干网络提取输人图像的特征信息,并将特征信息通过卷积传递到DarkNetConv2D_BN_Mish模块中,对输人图像进行归一化和非线性操作,SPP和PANet负责对特征信息加强提取。深度卷积结构处理3个通道的特征信息,最后,通过卷积核尺寸为113的卷积核将3个通道的属性进行融合,传递给加强特征提取网络。相较于普通卷积,深度卷积结构产生的网络参数少,有效解决了深
22、度学习网络重复学习特征信息造成计算量大的问题,提高了运算速度。网络模型的参数如表1所示。可以看出DCYO L O v 4在参数量、处理速度、模型内存占用量等方面均优于一些主流模型的主干网络。YOLOv4使用K-means设计先验框尺寸,但是它存在预先人为确定k个初始聚类中心的缺点,导致生成的先验框不稳定,难以反映真实框尺寸情况。之后提出的K-means+针对这一问题,进行了一219刘建航等:基于改进YOLOv4和ICNet的番茄串检测模型第10 期表1不同网络模型的主干网络参数Tab.1Backbone network parameters of differentnetwork models
23、模型内存占处理速度/模型参数量用量/MB(fsl)YOLOv460040001244.2924.4MobileNetv3-YOLOv439989933149.0127.8YOLO v5-m21375 64581.5428.6CenterNet32665 432124.6122.4YOLOv61100851541.9930.0DC-YOLOv410.80114941.2032.0系列改进,不再预先人为确定初始聚类中心,具体实现流程如图6 所示。本文采用改进的交并比(GIoU)计算公式,通过引人检测框宽高的比例因子,避免GIoU在某些情况下退化成IoU的问题,改进的GIoU表达式为C-(AUB)G
24、loU=loU-U,(1)C其中WWbbgtmaxhhgt(2)WWgt66minhgtN计算任一样本与随机选取某一点用轮盘法选出下一已选出个开始当前已有聚类作为初始聚类中心个初始聚类中心初始聚类中心?中心点的最短距离LY根据分配好的点,输出最终的个N中心点较上次根据预定义距离公结束重新计算新的k个聚类中心点发生变化?式,分配所有点聚类中心图6K-means+算法流程图Fig.6K-means+aalgorithm flow chart式中WOgi/hgi真实框的宽、高Wbb/hbb预测框的宽、高C-两框最小外接矩形的面积AUB两框并集的面积并将式(1)作为K-means+的距离计算公式,提高
25、了网络预测精度。在网络训练前对数据集进行了聚类处理,共得到9种尺寸的Anchorbox,如图7 所示,其尺寸分别为(18,2 0),(2 8,34),(40,45),(59,50),(45,6 9),(7 5,7 9),(12 6,55),(55,138),(2 6 6,2 95)。相较于K-means聚类结果,采用K-means+得到的锚框拟合程度更好,便于模型的训练。40030022001000100200300400图79种尺寸的聚类中心分布图Fig.7Distribution of cluster centers of nine sizes1.3番茄茎分割网络1.3.1ICNet语义分
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于改进YOLO v4和ICNet的番茄串检测模型 基于 改进 YOLO v4 ICNet 番茄 检测 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。