深度学习在大豆叶片图像数据管理中的识别与分类研究_陆丽娜.pdf
《深度学习在大豆叶片图像数据管理中的识别与分类研究_陆丽娜.pdf》由会员分享,可在线阅读,更多相关《深度学习在大豆叶片图像数据管理中的识别与分类研究_陆丽娜.pdf(8页珍藏版)》请在咨信网上搜索。
1、2023年第35卷第2期1引言虽然大量文献表明中国农业数据的整理、发布和共享都还处于初级阶段1,但随着数据科学和计算机技术的深入发展,技术在数据管理上的应用更加广泛和深入。深度学习在文本数据识别和图像数据识别与分类方面都起到了重要作用,替代传统的机器学习方法,在大规模样本分析、识别与分类中,采用了无监督学习方法,本文结合大豆的图像数据识别与分类进行分析,通过案例分析,站在实验数据的图像数据采集视角,总结了大规模样本数据的农业科学数据采集与分类,从科学实验数据采集与分类的应用场景出发,展示了深度学习技术的应用进展。在过去的10年中,图像处理和计算机视觉方法已广泛用于植物病害的检测和分类。在国内方
2、面,学者们已经在植物表型数据处理方面发现了深度学习的成功应用,如翁杨等的基于深度学习的农业植物表型研究综述2,岑海燕等的深度学习在植物表型研究中的应用现状与展望3;同时,基于卷积神经网络的植物分类和品种识别也取得了一些研究成果,袁培森等基于卷积神经网络的菊花花型和品种识别4,吴剑涛等基于深深度学习在大豆叶片图像数据管理中的识别与分类研究陆丽娜1,2,于啸1,2*(1.山东理工大学 管理学院,淄博255000;2.山东理工大学 计算机科学与技术学院,淄博255049)摘要:目的/意义为了提高大豆叶片图像的分类精度与效率,进一步对大豆叶片图像进行存储与管理。方法/过程本文利用深度学习方法,针对肉眼
3、观察准确率较低且不同人群分类结果差异较大的大豆叶片图像数据提出了一种自动分类方法。本研究首先对大豆叶片进行 ROI 感兴趣区域划分,进而利用分水岭分割方法对大豆叶片进行提取,最后通过深度学习高效精确的实现了大豆叶片的分类识别。结果/结论通过分析大豆叶片形态图像特点后,基于深度学习开展了对大豆叶片形态的分类识别的研究,达到了较高的识别准确率。关键词:深度学习;农业科学数据;数据分类;图象识别中图分类号:G250.7文献标识码:A文章编号:1002-1248(2023)02-0087-08引用本文:陆丽娜,于啸.深度学习在大豆叶片图像数据管理中的识别与分类研究J.农业图书情报学报,2023,35(
4、2):87-94.收稿日期:2021-03-15基金项目:国家社会科学基金项目“大数据环境下农业科学数据监管机制构建研究”(18BTQ062);山东省自然科学基金资助项目“植物表型数据管理的多学科交叉理论、方法与应用研究”(ZR2022MG047)作者简介:陆丽娜(1977-),女,博士,副教授,研究方向为科学数据管理、管理科学与工程、信息系统与信息管理*通信作者:于啸(1976-),男,博士,副教授,研究方向为农业信息化、数据库管理、数据科学。Email:DOI:10.13998/ki.issn1002-1248.21-0188研究论文872023年第35卷第2期图1大豆叶片的4种形态Fig
5、.1 Four forms of soybean leaves (a)披针形(b)卵圆形(c)椭圆形(d)圆形度学习的遥感图像苹果树冠信息提取,避免了实地测量,而且允许种植者动态监测果园树木的生长情况5。国外方面,已经建立了很多类似的植物病害的检测的数据集,比如柑橘类水果,叶子和茎的图像数据集6、PlantVillage数据集、kaggle数据集等。同时,还有很多基于深度学习植物图像的分类研究:MAYRA等使用3D-CNN生成了整个研究区域的墙到墙树种地图,改进的树种分类可以有益于可持续林业和生物多样性保护7,MADS等以杂草分类为例,利用深度卷积神经网络对植物物种分类8。总之,深度学习在农业
6、科学数据管理的应用主要集中在大规模数据的植物及植物表型的图像识别与分类,农业的病虫害检测、农作物及杂草检测与分类、农作物的产量预测等研究中9。粮食作物中的病虫害和各种疾病严重影响主产,并给全球经济造成重大损失。粮食作物健康的监测和疾病的早期诊断是可持续农业的关键任务,现有的谷物植物病害自动检测和分类方法仍处于起步阶段。因此,新颖的全自动工具对于谷物植物中疾病的检测和分类过程必不可少10,11。本文以大豆的图像数据的识别为例,探讨深度学习方法是如何在大豆叶片图像数据管理实践中进行应用的。2基于深度学习的农业科学图像数据识别与分类2.1数据准备大豆叶片形态是大豆最重要的形态特征和生物学特征之一。正
7、确地采集大豆叶片图像数据,可以提高深度学习分类识别的准确率,提高大豆叶片形态识别模型的泛化能力。2.1.1大豆叶片数据特点大豆叶片形态以植株三出复叶中的顶小叶形状为准,分为披针、卵圆、椭圆和圆4种形态,如图1所示。数据主要具有以下特点。(1)不同形态差异小:大豆叶片形态的分类与特征差异较为明显的多种植物叶片之间的分类不同,不同大豆叶片形态之间差异较小,人为区分难度较高。(2)同种形态特征变化大:同一种类型的大豆叶片之间,形态特征变化较大,不具有典型性。(3)叶片弯曲不平整:大豆叶片大多蜷缩不平整,容易影响人们对叶片形态的判断。基于大豆叶片数据的特点,对于大豆叶片图像数据的分类识别,主要面临以下
8、困难。(1)数据图像易失真:目前,针对不同植物叶片的分类,大多是利用网上直接下载的数据集,虽然方便易用,但可能由于拍摄不能完全地垂直于叶片,导致大豆叶片形态产生非线性失真等问题。(2)目标容易被遮挡:由于很多大豆叶片生长于同一位置,所以在田间采集的大豆叶片经常会被不同的叶片所遮挡。(3)背景噪声影响大:直接将卷积神经网络用于不同植物叶片分类识别的处理方法虽然被广泛应用,但由于背景复杂,可能分类结果受背景噪声影响较大,只对单一数据集有效,不具备泛化能力。针对这些困难,本文利用图像处理技术对采集的DOI:10.13998/ki.issn1002-1248.21-0188研究论文882023年第35
9、卷第2期图2技术流程图Fig.2 Technical flow chart大豆叶片进行感兴趣区域划分,叶片提取和标准化等处理,从而避免图像非线性失真,目标被遮挡和背景噪声等问题的影响,使训练的卷积神经网络具有更强的泛化能力。2.1.2图像采集本文所使用的数据来自黑龙江省农业科学院大豆试验田中的大豆植株,在大豆盛花期,随机对来自不同大豆品种的植株中上部发育成熟的三出复叶进行采摘,以减少识别过程中不同品种之间大豆叶片形态的潜在差异,增加对不同种类大豆叶片形态识别的准确性。将采摘好的3 200组大豆叶片依次放置在封闭的暗箱中进行图像采集。然后利用基于标记的分水岭分割方法对采集好的大豆叶片图像进行分割
10、,每张分割好的大豆叶片图像包括三出复叶,利用基于标记的分水岭分割中创建的叶片掩模,使其只显示三出复叶中的顶小叶,将背景与其余叶片利用掩模覆盖变为黑色,最终得到3 200张单个大豆叶片图像。共分为4种类型:披针形,卵圆形,椭圆形和圆形。其中训练集与测试集按73的比例划分,即2 240张作为训练图片,960张作为测试图片。另外单独对训练集做数据增强,将训练集中的图像进行翻转和随机旋转,最终得到的训练集为15 680张大豆叶片图像。2.2实验方法本文利用制作的暗箱采集装置对大豆叶片进行集中采集,再利用图像处理技术对大豆叶片图像进行感兴趣区域划分,叶片提取等处理,最后利用深度学习对大豆叶片进行分类识别
11、。技术流程图如图2所示。2.2.1图像感兴趣区域划分OpenCV是由英特尔公司开发的,目前最常用的跨平台的计算机视觉库,可用于开发实时的图像处理、计算机视觉以及模式识别程序。因此本文利用OpenCV开源计算机视觉库对图像进行批量提取处理,对采集好的大豆叶片图像,进行灰度化处理以及高斯滤波处理,用以去除图像的噪声。然后进行二值化处理,得到二值图。最后利用轮廓检测,找到图像的最小外界四边形。根据最小外接四边形的4个顶点划分ROI感兴趣区域,去除暗箱中的背景对叶片分割的影响,得到提取好的叶片(图3)。2.2.2叶片提取利用基于标记的分水岭分割算法对大豆叶片图像进行提取,基于标记的分水岭分割算法是在传
12、统的分水岭分割算法的基础上,利用形态学变换确定要处理图3叶片图像提取过程Fig.3 Leaf image extraction process(a)原图(b)灰度化经过高斯滤波(c)二值化图像(d)轮廓最小外接四边形(e)裁切后图像陆丽娜,于啸深度学习在大豆叶片图像数据管理中的识别与分类研究892023年第35卷第2期的图像的前景和背景区域。首先将已经划分好感兴趣区域的大豆叶片图像看成拓扑平面,图像中每一点像素的灰度值表示该点的海拔高度,灰度值高的区域可以被看成是山峰,灰度值低的区域可以被看成是盆地。利用形态学变换中的开运算去除掉大豆叶片的根茎部分,通过腐蚀确定要处理的图像的前景区域,膨胀确定
13、图像背景区域,进而对各个前景和背景区域依次进行标记,并在每个标记下灌入不同颜色的水,随着水位的升高,水通过流动将逐渐填充满所有空盆地,而来自不同的标记下的不同颜色的水将被水坝隔开。使其已经确定的各个前景和背景区域分别成为一个整体,从而根据被水坝隔离的各个盆地的不同标记,将完整的大豆叶片分成3个单个的大豆叶片,并将大豆叶片三出复叶中的顶小叶单独显示出来,其他叶片同背景一起使用掩模覆盖掉。从而避免因传统分水岭分割算法对图像灰度值的细微变化而产生的过度分割(图4)。最后,利用OpenCV对分割好的大豆叶片图像进行轮廓检测,将检测到的轮廓边缘进行循环遍历,根据坐标筛选出轮廓边缘中最上,最下,最左,最右
14、点的坐标,分别向四周增加200像素值,最后以上下长度和左右长度中的最大值作为标准化后的图像长度和宽度,裁剪成正方形,并统一改为224224大小像素的图像,将其作为标准化后的图像输入深度学习进行训练,使其不受图像中前景位置的影响,提高训练的准确率和泛化能力。2.3特征提取与识别本文采用Densenet网络模型进行大豆叶片的深层特征提取与形态识别,DenseNet网络模型的特点是在保证网络中层与层之间最大程度的信息传输的前提下,直接将所有层连接起来,使网络的每一层都可以直接利用损失函数的梯度和最开始的输入信息,从而解决梯度消失现象,训练更深层的网络。简单讲,就是为了保证能够获得网络层之间的最大信息
15、,将所有层进行互相连接,每一层的输入来自前面所有层的输出,如图5所示。尽可能地对特征进行极致利用,从而达到更少的参数,就可以训练更深、更准确、更有效的卷积网络的效果。2.3.1网络模型结构DenseNet网络模型结构主要由4个Dense Block组成,每个Dense Block中,分别包含6个、12个、64个、48个Bottleneck层,其中每个Bottleneck层都具有相同的层结构,即BN-ReLU-Conv(1x1)-BN-ReLU-Conv(3x3),它可以使各个Dense Block内的特征的尺寸统一,避免连接中出现尺寸的问题。并且为了使其网络更窄,参数更少,每个Bottlene
16、ck层最后的输出特征都为48个,这也保证了特征更有效的传递和网络更容易训练。每个Dense Block之间的层,称为Transition层,主要完成卷积和池化的操作。其中,Transition层由 图4图像分割Fig.4 Image segmentation(a)分割好的完整大豆叶片(b)分割好的大豆三出复叶顶小叶图5 DenseNet网络特征传递连接图Fig.5 DenseNet network feature transfer connection diagramDOI:10.13998/ki.issn1002-1248.21-0188研究论文902023年第35卷第2期BN层、1x1卷积
17、层和2x2平均池化层组成,目的是,每个Dense Block结束后的输出信道个数很多,为了简化模型,需要用11的卷积核来降维,减小特征图的信道数量(图6)。2.3.2网络训练流程训练DenseNet对大豆叶片形态进行分类识别,首先要将处理好的224224大小的不同形态大豆叶片输入到DenseNet网络中,网络初始的卷积层有96个卷积,卷积核大小为7x7,步长为2,填充为3,然后进入BN层和卷积核大小为33,步长为2的最大池化层。输出的特征将会依次进入4个Dense Block中,每个Dense Block之间的由Transition层相连接。经过4个Dense Block后,最 后 进 入BN
18、层,然 后 展 开 成2 208维的全连接层,利用softmax将其分为披针,卵圆,椭圆和圆4类(图7)。2.4实验结果与分析2.4.1实验环境本文使用的计算机为Windows7的64位操作系统,处 理 器 为Intel Core i5-8400,显 卡 为GeForce GTX1070Ti,内存为8G。使用Visual Studio 2015作为开发环境和OpenCV开源计算机视觉库对采集的大豆叶片图像进行预处理。使用Pytorch框架,Jupyter Notebook开发环境和Python语言用于在计算机上训练DenseNet网络模型以及测试预测结果。其中,DenseNet采用ReLU激活
19、函数,ReLU激活函数具有收敛速度快和稀疏激活性的优点5。损失函数采用了Cross Entropy Loss函数。即交叉熵损失函数,交叉熵越小,证明计算出的非真实分布越接近真实分布。该函数可以为CNN网络训练提供更图6 DenseNet网络模型参数图Fig.6 DenseNet network model parameter diagram图7 DenseNet网络模型结构图Fig.7 DenseNet network model structure diagram陆丽娜,于啸深度学习在大豆叶片图像数据管理中的识别与分类研究912023年第35卷第2期为有效的惩罚目标函数,使得训练模型具有更好
20、的泛化能力。对DenseNet网络用Momentum优化函数进行训练。Momentum优化函数是依据物理学的势能与动能之间能量转换原理提出来的,当Momentum动量越大时,其转换为势能的能量也就越大,就越有可能摆脱局部凹域的束缚,进入全局凹域。Momentum动量主要用在权重更新的时候,可以让那些因学习率太大而来回摆动的参数,梯度能前后抵消,从而阻止发散。一般,神经网络在更新权值时,采用如下公式:w=w-dw,引入Momentum后,采用如下公式:v=muv-dww=w+v其中,v初始化为0,为学习率,mu是设定的一个超变量,本文设定为0.9。2.4.2评价标准针对大豆叶片形态的分类识别,本
21、文先选用传统机器学习方法中的最常用的支持向量机(SVM)和随机森林(RF)对大豆叶片形态进行识别,又在深度学习 中 选 用 经 典 的AlexNet网 络 和 目 前 最 为 流 行 的ResNet网络对大豆叶片形态进行识别。最后并将不同方法的识别准确率与本文采用的DenseNet网络进行对比分析。每种大豆叶片形态的准确率计算如公式所示。其中,式中pi为1表示准确识别出图像形态种类,否则记为0,M表示测试数据的数量。2.4.3不同算法识别结果对比与分析SVM与RF作为传统的机器学习算法,需要利用图像处理技术对大豆叶片进行特征提取,所以本文提取大豆叶片图像的形态特征,纹理特征和颜色特征共14种特
22、征作为SVM与RF的输入,其结果表明SVM与RF对大豆叶片形态的识别准确率低于本文使用的DenseNet网络。而后本文又利用AlexNet网络和ResNet网络对经过图像处理的分割好的大豆叶片顶小叶图像作为卷积神经网络的输入,其结果表明AlexNet网络和ResNet网络对大豆叶片形态的识别准确率依然低于本文使用的DenseNet网络。其中,本文使用的DenseNet网络识别精度结果如表1所示。表1结果表明,网络在4种不同大豆叶片的形态上,平均识别精度为0.94。试验表明网络能够满足实际使用要求。不同算法对大豆叶片形态的识别准确率如表2所示,其结果表明DenseNet网络模型对于大豆叶片形态的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 学习 大豆 叶片 图像 数据管理 中的 识别 分类 研究 陆丽娜
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。