基于显著性特征的蝴蝶兰组培苗夹取点检测方法.pdf
《基于显著性特征的蝴蝶兰组培苗夹取点检测方法.pdf》由会员分享,可在线阅读,更多相关《基于显著性特征的蝴蝶兰组培苗夹取点检测方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、第39 卷第13期2023年7月农业信息与电气技术基于显著性特征的蝴蝶兰组培苗夹取点检测方法苑朝,张鑫,王家豪,赵明雪,徐大伟(华北电力大学自动化系,保定0 7 10 0 0)摘要:为了提高蝴蝶兰自动化快速繁育过程中组培苗夹取点视觉检测的适应性和效率,该研究提出了一种基于改进U-Net显著性检测网络(MBU-Net)的组培苗夹取点定位方法。首先,通过显著性检测网络得到蝴蝶兰组培苗的显著性图像;然后,对显著性图像进行骨架提取,并经过形态学分析计算定位组培苗夹取点;最后,将夹取点位置数据发送给机械臂进行夹取。在图像显著性检测试验中,MBU-Net*的平均绝对误差为0.0 0 2,最大F,分数为0.
2、9 9 3,FPS(f r a m e s p e r s e c o n d,每秒顿率)为33.9 9 顿/s,模型权重大小为2.37 MB;在组培苗夹取试验中,4组共112 颗苗的夹取点提取成功率为8 5.7 1%。为验证该研究的适应性,将其应用于各阶段组培苗以及部分虚拟两叶苗共11株种苗的夹取点提取,成功率为8 1.8 2%,使用该方法对不同时期的蝴蝶兰组培苗进行夹取点检测,具有较高的成功率。研究结果可为发展组培苗自动化快速繁育技术提供参考。关键词:图像识别;自动化;显著性特征;改进的U-Net;蝴蝶兰组培苗;夹取点检测doi:10.11975/j.issn.1002-6819.2023
3、04132中图分类号:S24文献标志码:A苑朝,张鑫,王家豪,等.基于显著性特征的蝴蝶兰组培苗夹取点检测方法.农业工程学报,2 0 2 3,39(13):151-159.doi:10.11975/j.issn.1002-6819.202304132YUAN Chao,ZHANG Xin,WANG Jiahao,et al.Pinch point extraction method for phalaenopsis tissue-cultured seedlings basedon salient featuresJ.Transactions of the Chinese Society of
4、Agricultural Engineering(Transactions of the CSAE),2023,39(13):151-159.(in Chinese with English abstract)0引 言蝴蝶兰为兰科蝴蝶兰属植物,其花型奇特,姿态优雅,素有“兰花皇后”之美誉,市场需求量越来越大。蝴蝶兰的传统繁殖方式为分株繁殖,但繁殖系数低、速度慢1-2 ,不能满足日益增长的市场需求,组织培养作为植物无性繁殖的一种有效方法,其能够有效提高植物个体成活率并减少病毒传播范围,提高产量。因此,组培苗快速繁育技术开始广泛应用于蝴蝶兰培育。蝴蝶兰组培苗的扩繁流程较为复杂,主要分为4个阶段,3
5、次移植。第1次移植是将第1个阶段母瓶中的蝴蝶兰幼苗从基部将芽团分开并切掉大主芽的顶端及叶片,移植到新的母瓶中进行第2 个阶段培养;第2 次移植是将第2 个阶段母瓶中的多个芽团分开成单芽,并将合格单芽移植入中母瓶中进行第3阶段培养;第3次移植是将中母瓶中的幼苗大于1cm的根全部切除,并切掉多余老叶片,留下新叶片,将切割好的蝴蝶兰幼苗移植进入子母瓶中;最后进行第4个阶段室外培养。每次移植都需要将组培苗从培养瓶中取出,并进行剪切处理后再种入新的培养瓶。收稿日期:2 0 2 3-0 4-17 修订日期:2 0 2 3-0 6-13基金项目:国家自然科学基金联合基金项目重点支持项目(U21A20486)
6、;中央高校基本科研业务费专项资金资助(2 0 2 2 MS100)作者简介:苑朝,博士,讲师,研究方向为机械臂控制、机器视觉,机器人结构设计及优化。Email:c h a o y u a n n c e p u.e d u.c n通信作者:徐大伟,博士,讲师,研究方向为机械臂控制及路径规划。Email:农业工程学报Transactions of the Chinese Society of Agricultural Engineering文章编号:10 0 2-6 8 19(2 0 2 3)-13-0 151-0 9http:/www.tcsae.orgdoi:10.11975/j.issn.
7、1002-6819.202304132题,促进农业发展。蝴蝶兰种苗组织培养过程中自动化移植操作关键在于能够准确快速的定位,以便机器人进行自动移植。蝴蝶兰组织快速繁育过程的每个阶段组培苗具有不同图像特征7 ,因此给组培苗夹取点定位带来了困难。由于深度学习神经网络具有强大的特征提取与学习能力,常用于农作物目标检测,如YOLO系列、MaskR-CNN等算法被应用于红花丝8 、苹果9-12 、香蕉13、芒果14、荔枝15、番茄16-18 的检测。XIAO等19 使用轻量级MobileNets网络对蝴蝶兰组培苗的各阶段图像进行了分类,成功率达9 8.1%;李威等2 0 采用YOLOv4识别网络对中耕期幼
8、苗进行了识别和定位;马翠花等2 1 通过基于显著性检测与改进Hough变换对番茄进行了检测,具有较好的普适性。然而,将显著性检测算法应用到组培苗夹取中的相关研究较少。针对快速繁育过程各阶段蝴蝶兰种苗形态不同导致的夹取点识别困难问题,本文旨在分析夹取蝴蝶兰组培苗时需要满足的要求,并提出一种基于显著性检测的方法以定位夹取点,完成蝴蝶兰种苗移植。该方法首先通过显著性检测网络得到蝴蝶兰组培苗的显著性图像,然后对图像进行形态学分析,自动计算出各阶段组培苗的夹取点,最后使用机器人完成种苗培育各阶段移植任务。Vol.39No.13July 20232 http:/www.tcsae.org然而,目前大部分的
9、组培苗快速繁育工作主要由人工完成,存在工作强度大、重复性高、效率低下等问题4-6 。在中国城镇化加快、农业领域从业人员大大减少、人工成本急剧上升的背景下,函需发展组培苗自动化快速繁育技术,以解决人工不足、效率低下、生产成本高等问151152在组培苗图像显著性检测过程中,该方法仅需对图像中组培苗与背景做二分类,因此模型对语义信息不敏感,不需要种类丰富的样本进行训练,从而能够更快速高效完成组培苗的检测,有效完成蝴蝶兰组织培养中各个阶段的组培苗移植任务。1种苗移植方法1.1整体流程组培苗移植系统由视觉检测模块、夹取点定位模块和机械臂控制模块构成,如图1所示。该系统通过工业相机拍摄组培苗图像,并通过深
10、度学习算法对其进行处理,得到组培苗与背景分割的显著性图像。然后,通过图像处理获取组培苗的待夹取点像素坐标,通过手眼标定算法将像素坐标转化为机械臂基坐标系下的世界坐标后再将其传输给机械臂,机械臂控制末端夹取装置完成组培苗移植。视觉检测模块工业相机拍摄显著性检测夹取点定位模块图像处理夹取点定位机械臂控制模块机械臂移植图1蝴蝶兰组培苗移植整体流程Fig.1 Overall flow of phalaenopsis tissue-cultured seedlingstransplantation1.2视觉检测算法由于本文的目标是针对蝴蝶兰组培苗进行夹取移植工SE(压缩激励模块)HxWxC1x1xC工压
11、缩激励SqueezeExcitationCBNSW农业工程学报(http:/www.tcsae.org)CBNSWConvDSCBNSW1x1xCCBNScale乘DSCBNSWSE2023年作,在培育过程中,蝴蝶兰组培苗与背景区别明显。因此,通过将蝴蝶兰组培苗与背景图像分离完成二分类显著性检测,再处理显著性检测的结果以获得最终的夹取目标点。U-Net22 是一种高效的应用于图像显著性检测的深度网络。由于该网络参数量较大,所以本文在U-Net的编码解码阶段均加入了MBConv模块对U-Net进行改进,降低了模型的权重大小,提高了检测速度;本文在处理U-Net的基模块RSU模块时,加入了深度可分
12、离卷积(d e p t h-w i s e s e p a r a b l e c o n v o l u t i o n s),以进一步减少模型的参数量,增强了模型的可移植性,使其易于部署。1.2.1MBConv模块MBConv(mobile inverted bottleneck convolution)23是一种包含深度可分离卷积的倒置线性瓶颈层,其中加入了SENet 注意力机制模块2 4,能够加强图像不同通道中的前景信息,并压缩背景信息。MBConv模块的结构如图2 所示。从左至右,MBConv模块包含以下部分:第1部分是一个11普通卷积模块,起到将特征图升维的作用,卷积核个数是输入特
13、征图通道数的n(n E(1,6)倍,n=1时,该卷积不参与运算。第2 部分是一个kxk的深度可分离卷积模块,k通常取3或5。第3部分是一个SE注意力模块,SE由一个全局平均池化(压缩),两个全连接层(激励)构成;全局平均池化将HxWxC(高宽通道数)的特征图压缩至11C;第1个全连接层的节点个数为MBConv模块的输入特征图的通道数的1/4,且使用Swish激活函数,Swish激活函数是一个平滑的、非单调的函数,常被用于深度网络,能够使网络稀疏化,减少参数间的耦合关系,能够一定程度缓解过拟合问题;第2 个全连接层的节点个数等于逐通道卷积的输出特征图的通道数,且使用Sigmoid激活函数,得到输
14、入特征图的各个通道的权重系数,后一个1x1卷积将压缩后的特征图进行升维操作,并通过残差结构与输入特征图进行融合。第3部分是一个11普通卷积模块,起到将特征图降维的作用。最后一个部分是Dropout层,起到减小模型参数量的作用。HxWxCDSConv+BN+SwishConv+BNAddition加CBNConv+BN+SwishDropoutHxWxC注:HxWxC表示高度为H、宽度为W、通道数为C的特征图;Conv表示卷积;BN为批量归一化层;DSConv表示深度可分离卷积。Note:HxWxC represents a feature map with a height of H,widt
15、h of W,and C channels.Conv denotes convolution.BN represents batch normalization layer.DSConvrepresents depth-wise separable convolution.1.2.2改进型U2-Net 算法大多数显著性检测算法使用了图像分类网络的骨干HxWxC图2 MBConv模块结构图Fig.2MBConv module structure diagram网络。这些带有骨干网络的算法的准确率很高,但往往过于复杂,因为其包含很多复杂的额外特征模块。此外,第13期这些骨干网络最初是为图像分类任务
16、而设计,主要用于提取图像中的语义信息。然而显著性检测任务的重点是提取图像的局部信息和全局对比信息。U-Net采用了一种两级嵌套的U形结构2 5,不需要使用任何预训练的骨干网络。该结构中的基本模块RSU模块能够在不降低图像分辨率的情况下提取图像的多尺度特征,并获得良好的效果。但是,使用大量的U形块以及残差的堆叠会增大计算量,并导致模型参数量增加。为实现组培苗夹取点提取的高效准确,需要对模型进行轻量化。本文提出了一种MBU-Net*网络结构,将深度可分离卷积应用到UCUS-USHxWxC苑朝等:基于显著性特征的蝴蝶兰组培苗夹取点检测方法UC.153每一个RSU模块中,该模块称为DSCRSU-n,为
17、了增加模型的感受野,在DSCRSU-n模块中使用扩张卷积(d i l a t e d c o n v o l u t i o n),该模块称为DSCRSU-nF,D SCRSU结构减少了计算量和参数量,使网络更加轻量化、更容易部署,结构如图3所示。为了增加网络在处理各种尺度和复杂度特征时的表达能力,提高泛化性,在U?-Net的输入输出阶段加入了MBConv模块,MBU-Net*网络结构由多个DSCRSU-n或DSCRSU-nF模块组成,如图4所示。在本文中,en4、d e 4层的扩张卷积参数为2,en5、de5的扩张参数为4,en6的扩张参数为8。UCUSORHxWxCDC,DSConv+BN
18、+ReLuConv+BN+ReLuDLConv+BN+ReLuAddition加注:Concat为通道数相加的特征融合方式;DCn、U C,分别表示第n个下采样卷积层、第n个上采样卷积层;ReLu为激活函数,DLConv为扩张卷积;当实线框内取DSConv+BN+ReLu时为DSCRSU-n模块;当实线框内取DLConv+BN+ReLu时为DSCRSU-nF模块。Note:Concat denotes the feature fusion method where channels are concatenated.DC,and UC,represent the nth downsamplin
19、g convolutional layer and upsamplingconvolutional layer,ReLU is a activation function,DLConv Represents Dilated Convolution.When DSConv+BN+ReLu is selected within the solid line box,the modulecorresponds to DSCRSU-n.When DLConv+BN+ReLu is selected within the solid line box,the module corresponds to
20、DSCRSU-nF.1.3夹点定位算法为了移植蝴蝶兰组织培养苗,需要对进入视觉传感器视野的蝴蝶兰组培苗进行准确的待夹取点计算。常用的目标检测算法计算待夹取点的坐标是使用目标检测框的中点作为待夹取点2 6 ,或者对目标的各个部分进行检测,如根、茎、叶,再对检测图像进行处理得到夹取点坐标。然而,在蝴蝶兰组织培养过程中母瓶到子母瓶的移植阶段,理想夹取点范围如图5所示。使用上述算法得到的夹取点坐标易不满足所在区域要求,并且上述算法在数据集种类不够(仅中母瓶到子母瓶移植阶段)时,夹取点提取的准确度较低,导致种夹取过程对组培苗造成损伤或因为夹取点提取错误导致移植失败。由于实际组培苗培育过程中,蝴蝶兰组培苗
21、各阶段的背景信息简单且相对单一,所以可以通过显著检测网络将组培苗和背景分割,再对蝴蝶兰组培苗的显著性图进行分析得到夹取点。本文对显著性检测的二值化图进行处理,并得到组培苗图像处理过后的骨架图。通过对组培苗的结构DC,-1图3DSCRSU-n与DSCRSU-nF模块结构图Fig.3 DSCRSU-n and DSCRSU-nF module structure diagramDC,Concat堆叠DSDownsample下采样USUpsample上采样进行分析,发现各阶段组培苗的夹取点常位于根茎的交又处,而在骨架图上,该处是两个交叉点位置的中心。本文利用多种图像处理算法提取根茎的交叉位置中心作为
22、待夹取点,使机械臂能够在不伤害蝴蝶兰组培苗的情况下,成功完成对各个阶段蝴蝶兰组培苗的移植。对蝴蝶兰组培苗结构进行分析得知,在根茎叶的连接处,所检测到的骨架图交又点最多,而夹取点常位于根茎、茎叶连接点之间的茎处。通过这种分析,可确定骨架线交点的集合C(x,y)中的点为备选夹取点。为解决集合C中的点分布过于分散的问题,使用K近邻(K-nearest neighbor,K NN)算法对集合的每个点p(x;y)进行聚类,当以p(x;y)为圆心,m个像素为半径的圆内的备选点个数小于j时,则将该点从备选点集合C(x,y)中删除。遍历结束后,通过随机抽样一致(randomsampleconsensus,RA
23、 NSA C)算法剔除掉噪声点并拟合夹具中心线投影,然后求取所有备选点的中点,即为待夹取点C。(x。y o),并得到拟合中心线投影直线的斜率k,对斜率154求反三角函数得到镊子中心线投影与水平方向夹角。一。卷积+激活+上采样MBConvConv+sigmoid+upsampleDownsamplex上采样x2堆叠ConcatUpsamplex2MBConvenlDSCRSU-7DSCRSU-76406403en2DSCRSU-6 DSCRSU-6de3en3DSCRSU-SDSCRSU-Sde4en4DSCRSU-4 DSCRSU-4de5en5DSCRSU-4FDSCRSU-4FDSCRSU
24、-4Fen6注:输入图像尺寸为6 40 6 40 x3,输出图像尺寸为6 40 6 40 1;enle n 6为编码层,deld e 6 为解码层;编码层解码层均为基本单元DSCRSU-n或DSCRSU-nF模块:Concat为通道数相加的特征融合方式。Note:The input image has dimensions of 640 x640 x3,while the output imagehas dimensions of 640 x640 x1.enl to en6 represent the encoding layers,and de1to de6 represent the d
25、ecoding layers.Both the encoding and decoding layersconsist of basic units,either DSCRSU-n or DSCRSU-nF module.Concatdenotes the feature fusion method where channels are concatenated.Fig.4MBU-Net network structure diagram夹取点提取的流程如下:相机拍摄组培苗图像,首先对移植条件进行判断,在满足移植条件的情况下,将组培苗图像骨架图-K农业工程学报(http:/www.tcsae.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 显著 特征 蝴蝶兰 组培苗夹取点 检测 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。