基于改进YOLOv3的复杂环境下西红柿成熟果实快速识别.pdf
《基于改进YOLOv3的复杂环境下西红柿成熟果实快速识别.pdf》由会员分享,可在线阅读,更多相关《基于改进YOLOv3的复杂环境下西红柿成熟果实快速识别.pdf(10页珍藏版)》请在咨信网上搜索。
1、1 7 4 中国农机化学报2 0 2 3年D O I:1 0.1 3 7 3 3/j.j c a m.i s s n.2 0 9 55 5 5 3.2 0 2 3.0 8.0 2 4高芳征,汤文俊,陈光明,等.基于改进YO L O v 3的复杂环境下西红柿成熟果实快速识别J.中国农机化学报,2 0 2 3,4 4(8):1 7 4-1 8 3G a o F a n g z h e n g,T a n g W e n j u n,C h e n G u a n g m i n g,e t a l.F a s t r e c o g n i t i o n o f r i p e t o m a
2、t o f r u i t s i n c o m p l e x e n v i r o n m e n t b a s e d o n i m p r o v e d YO L O v 3 J.J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o n,2 0 2 3,4 4(8):1 7 4-1 8 3基于改进Y O L O v 3的复杂环境下西红柿成熟果实快速识别*高芳征1,汤文俊1,陈光明2,3,黄家才1(1.南京工程学院自动化学院,南京市,2 1 1 1 6 7;2.南京农业大学
3、,南京市,2 1 0 0 3 1;3.江苏省智能化农业装备重点实验室,南京市,2 1 0 0 3 1)摘要:针对西红柿成熟果实快速识别问题,采集并标注西红柿成熟果实的图像数据集,用于深度神经网络模型的训练,并基于实际应用对经典的Y O L O v 3目标检测算法进行模型轻量化改进,使其方便地部署到采摘机器人的嵌入式控制器上,同时对激活函数、锚框的聚类、非极大值抑制和损失函数等进行优化,提高算法运行的效率和稳定性。经测试集的验证,所提出的改进型Y O L O v 3目标检测算法在包括不同密集程度、不同光照条件和不同遮挡程度情况的复杂环境下最终检测精度为9 2.1 1%,召回率为8 6.2 1%,
4、F1得分为8 9%,m A P为8 4.5 8%,即试验结果证明所提方法的可行性、准确性和鲁棒性。关键词:西红柿;复杂环境;深度神经网络;YO L O v 3目标检测;果实识别中图分类号:S 2 4:T P 3 9 1.4 文献标识码:A 文章编号:2 0 9 55 5 5 3(2 0 2 3)0 8 0 1 7 41 0收稿日期:2 0 2 2年4月9日 修回日期:2 0 2 2年5月2 5日*基金项目:国家自然科学基金面上项目(6 1 8 7 3 1 2 0);江苏省重点研发计划课题(B E 2 0 2 1 0 1 65);江苏省自然科学基金面上项目(B K 2 0 2 0 1 4 6 9
5、);江苏省高等学校自然科学研究重大项目(2 0 K J A 5 1 0 0 0 7 0)第一作者:高芳征,男,1 9 8 0年生,江苏南京人,博士,副教授;研究方向为机器人、智能微电网等系统的非线性/抗干扰控制等。E-m a i l:g a o f z 1 2 6.c o mF a s t r e c o g n i t i o n o f r i p e t o m a t o f r u i t s i n c o m p l e x e n v i r o n m e n t b a s e d o n i m p r o v e d Y O L O v 3G a o F a n g z
6、 h e n g1,T a n g W e n j u n1,C h e n G u a n g m i n g2,3,H u a n g J i a c a i1(1.S c h o o l o f A u t o m a t i o n,N a n j i n g I n s t i t u t e o f T e c h n o l o g y,N a n j i n g,2 1 1 1 6 7,C h i n a;2.N a n j i n g A g r i c u l t u r a l U n i v e r s i t y,N a n j i n g,2 1 0 0 3 1,C
7、 h i n a;3.J i a n g s u K e y L a b o r a t o r y o f I n t e l l i g e n t A g r i c u l t u r a l E q u i pm e n t,N a n j i n g,2 1 0 0 3 1,C h i n a)A b s t r a c t:A i m i n g a t t h e p r o b l e m o f f a s t r e c o g n i t i o n o f r i p e t o m a t o f r u i t s,a n i m a g e d a t a s
8、e t o f r i p e t o m a t o f r u i t i s c o l l e c t e d a n d l a b e l e d f o r d e e p n e u r a l n e t w o r k m o d e l t r a i n i n g.I n a d d i t i o n,t h e t a r g e t d e t e c t i o n a l g o r i t h m o f t h e c l a s s i c a l g o r i t h m Y O L O v 3 i s i m p r o v e d i n l
9、i g h t w e i g h t b a s e d o n p r a c t i c a l a p p l i c a t i o n s,s o t h a t i t c a n b e e a s i l y d e p l o y e d o n t h e e m b e d d e d c o n t r o l l e r o f t o m a t o-p i c k i n g r o b o t.T h e a c t i v a t i o n f u n c t i o n,c l u s t e r i n g o f a n c h o r f r a
10、m e,n o n-m a x i m u m s u p p r e s s i o n a n d l o s s f u n c t i o n a r e a l s o o p t i m i z e d,t h e e f f i c i e n c y a n d t h e s t a b i l i t y o f t h e a l g o r i t h m i s a l s o i m p r o v e d.T h r o u g h v e r i f i c a t i o n o f t h e t e s t s e t,t h e p r o p o s
11、e d i m p r o v e d Y O L O v 3 t a r g e t d e t e c t i o n a l g o r i t h m c a n e f f e c t i v e l y r e c o g n i z e t o m a t o r i p e f r u i t i n c o m p l e x e n v i r o n m e n t,i n c l u d i n g d i f f e r e n t d e n s i t y,d i f f e r e n t l i g h t i n g c o n d i t i o n s
12、a n d e v e n d i f f e r e n t o c c l u s i o n d e g r e e.T h e f i n a l d e t e c t i o n a c c u r a c y w a s 9 2.1 1%,r e c a l l r a t e w a s 8 6.2 1%,F1 s c o r e w a s 8 9%,m A P w a s 8 4.5 8%.T h u s t h e e x p e r i m e n t a l r e s u l t s d e m o n s t r a t e t h e f e a s i b i
13、 l i t y,a c c u r a c y a n d r o b u s t n e s s o f t h e p r o p o s e d m e t h o d.K e y w o r d s:t o m a t o;c o m p l e x e n v i r o n m e n t;d e e p n e u r a l n e t w o r k;YO L O v 3 t a r g e t d e t e c t i o n;r e c o g n i t i o n o f f r u i t s0 引言随着科技发展的不断进步,机器人具备了高级认知水平,并在农产品生
14、产的不同阶段发挥重要作用,如在农作物生长阶段的病虫害识别与农药喷洒、在成熟阶段的果实识别与采摘等1。作为农业采摘机器人的重要组成部分,机器视觉系统的自主识别是实现采摘自动化的关键步骤,其检测速度、准确率以及鲁棒性是第4 4卷 第8期2 0 2 3年8月中国农机化学报J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o nV o l.4 4 N o.8A u g.2 0 2 3第8期高芳征 等:基于改进YO L O v 3的复杂环境下西红柿成熟果实快速识别1 7 5 制约采摘机器人工作稳定性
15、和效率的重要因素23。因此,开展农业采摘机器人在复杂环境下的快速识别算法研究,实现采摘目标的稳定、快速、准确检测满足农业生产需求,对农业现代化和自动化发展具有重要应用价值和现实意义4。目前国内外在农产品检测方面的研究已经取得一定的进展。H a m u d a等5通过添加由卡尔曼滤波和匈牙利算法组成的目标跟踪算法,扩展了基于颜色、空间和形状分析的组合检测算法,提高识别农作物的准确度。但其研究主要是面向无套种作物情况,图像背景为相对简单的土壤环境,使得该方法不适用于存在遮挡密集分布的农产品检测。L i n k e r等6提出了一种自然光照下的苹果检测方法,它利用颜色和平滑度检测出一组概率较高的苹果
16、像素,形成一个“种子区域”,然后根据“种子面积”和苹果模型之间的符合比来确定该区域是否包含一个苹果。该方法虽然可以有效地检测出包含苹果的区域,但在苹果分布密集、重叠较大的情况下会产生较大的误差。特别需要指出的是,这些算法都是针对特定场景的基于传统图像处理的目标检测方法研究,存在环境依赖性强、鲁棒性差的缺点,无法满足复杂场景下的农业采摘机器人工作需求。另一方面,随着深度学习算法的发展与成熟,基于深度学习的目标检测方法已成为当下研究的热点7。目前主流的深度学习目标检测算法主要有两种:一种是基于R e g i o n a l p r o p o s a l(区域建议)的T w o-s t a g e
17、(双阶段)方法,它需要先产生目标候选框(即目标位置),然后对候选框做分类与回归,其代表算法为包括F a s t-R C NN8和F a s t e r-R C NN9等 的R C NN(R e g i o n-C NN,区域卷积神经网络)系列算法。另一种是无区域建议的O n e-s t a g e(单阶段)方法,它主要通过使用一个C NN直接预测不同目标的类别与位置,其代表算法有YO L O系列算法1 0和S S D算法1 1。与T w o-s t a g e方法相比,O n e-s t a g e在检测速度优势明显。研究表明,画面达到2 4帧每秒的速度,人眼可认为是连续的,而YO L O算法
18、可实现每秒4 5帧以上的运算速度,满足农业采摘机器人工作的实时性要求1 2。因此研究基于YO L O的农产品识别算法对农业采摘机器人快速高效作业具有重要意义。近年,针对光照波动、复杂背景、果实和枝叶重叠等不同环境下的苹果检测需求,T i a n等1 3提出一种改进的Y O L O v 3模型并应用于实际环境的果园检测。赵德安等1 4为提高苹果采摘机器人的工作效率和环境适应性,使其能全天候不同光线环境下对遮挡、粘连和套袋等多 种 情 况 下 的 果 实 进 行 识 别 定 位,提 出 了 基 于Y O L O v 3深度卷积神经网络的苹果定位方法,在保证效率与准确率的情况下实现复杂环境下苹果的检
19、测。刘芳等1 5为实现温室环境下农业采摘机器人对番茄果实的快速、精确识别,提出一种改进型多尺度Y O L O算法(I M S-Y O L O),对Y O L O网络模型进行筛选和改进,设计一种含有残差模块的d a r k n e t-2 0主干网络,同时融合多尺度检测模块,构建一种复杂环境下番茄果实快速识别网络模型,提升番茄果实检测速度和精度。薛月菊等1 6针对果园场景下,由于光照的多样性、背景的复杂性及芒果与树叶颜色的高度相似性,特别是树叶和枝干对果实遮挡及果实重叠等问题,提出果园场景下未成熟芒果的改进Y O L O v 2检测方法,通过设计新的带密集连接的T i n y-y o l o网络
20、结构,实现网络多层特征的复用和融合,提高检测精度。受上述文献启发,针对应用于西红柿采摘机器人上的成熟果实识别算法需要满足高准确性和强鲁棒性这一实际需求,本文基于经典的YO L O v 3目标检测算法模型进行轻量化改进,并对激活函数、锚框的聚类、非极大值抑制和损失函数进行优化,在不影响检测准确度的情况下,使神经网络模型能够更方便地部署到西红柿采摘机器人的嵌入式控制器上。1 算法原理1.1 特征提取网络在使用卷积神经网络提取图像特征时,增加网络深度虽然在一定程度上会提高目标检测准确度,但参数的增多也意味着检测时间的增加。主流特征提取网络有A l e x N e t1 7、V G G N e t1
21、81 9和R e s N e t2 0等。在A l e x N e t网络中,增加了R e l u非线性激活函数,增强了模型的非线性表达能力,提出了通过数据增强来提高模型的泛化能力,还增加了D r o p o u t层防止过拟合,证明了使用很小的卷积核(3 3)并增加网络的深度可以有效提升模型的效果。3个3 3卷积层堆叠可以拥有与7 7卷积核同样大小的感受野,但参数量却小得多,大大缩短了计算时间,并且小的卷积层比大的有更多的非线性变换,使得卷积神经网络对特征的学习能力更强。这些贡献都为后来的V G G N e t等特征提取网络研究提供了借鉴。随着网络越深,获取的信息越多,特征也越丰富,但实验表
22、明优化效果反而越差,这是由于网络的加深会造成梯度爆炸和梯度消失的问题2 1。为了让更深的网络也能训练出很好的效果,H e等2 2提出一种新的网络结构R e s N e t,采用残差学习的思想,在普通的卷积过程中加入了一个恒等映射,将输入直接连接到后面的层,这种结构也被称为s h o r t c u t(短接)或者s k i p c o n n e c t i o n s(跳跃连接)。与V G G相比,其参数量少得多,因为R e s N e t采用平均池化层来代替V G G中的全连接层,其通过学1 7 6 中国农机化学报2 0 2 3年习残差映射,缓解了梯度消失的问题,且训练效率更高。此后的图像
23、分类、检测与分割等任务也大规模使用R e s N e t网络作为特征提取网络2 3。YO L O v 3的主干特征提取网络D a r k n e t 5 3正是借鉴了R e s N e t网络结构的思想,并且去掉了最后的平均池 化 层(A v e r a g e p o o l i n g l a y e r)、全 连 接 层(F u l l c o n n e c t i o n l a y e r)以及S o f t m a x,仅使用一个11的卷积核来检测目标特征。本文鉴于提取西红柿成熟果实特征较为单一,为了简化网络结构,减少计算资源的占用,在D a r k n e t-5 3 b a
24、c k b o n e(主干网络)基础上进行轻量化改进,在不影响特征提取准确性的前提下,提高检测识别算法运行的效率。改进前与改进后的主干网络对比如图1所示。基于轻量化改进后的特征提取主干网络,通过上采样构建特征金字塔,实现多尺度特征融合,得到三种不同尺度的特征图,如图2所示。输入图像尺寸为4 1 64 1 6,多尺度特征融合网络的特征图尺寸分别为5 25 2、2 62 6和1 31 3。轻量化网络在模型大小和检测速度上具有优势,适合应用在计算性能有限的嵌入式设备上。(a)改进前网络结构 (b)改进后网络结构图1 基于Y O L O v 3的轻量化改进的网络结构与改进前的对比F i g.1 C
25、o m p a r i s o n o f YO L O v 3 n e t w o r k s t r u c t u r e b e t w e e n l i g h t w e i g h t i m p r o v e d v e r s i o n a n d o r i g i n a l v e r s i o n s图2 多尺度特征图网络结构F i g.2 N e t w o r k s t r u c t u r e o f m u l t i-s c a l e f e a t u r e g r a p h第8期高芳征 等:基于改进YO L O v 3的复杂环境下西红柿
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 YOLOv3 复杂 环境 西红柿 成熟 果实 快速 识别
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。