基于改进YOLOv4的夏玉米主要害虫检测方法研究.pdf

山 东 农 业 科 学():./.收稿日期:基金项目:河南省农业科学院自主创新项目()河南省重点研发与推广专项(科技攻关)项目()河南省农业科学院科技创新团队项目()作者简介:段新涛()男河南南阳人博士副教授主要从事图像信息隐藏、图像盲取证、深度学习、盲源分离等研究:.通信作者:李国强()男河南林州人博士研究员主要从事农业信息技术研究:.基于改进 的夏玉米主要害虫检测方法研究段新涛王伸赵晴张杰郑国清李国强(.河南师范大学计算机与信息工程学院河南 新乡.河南省农业科学院农业经济与信息研究所/河南省智慧农业工程技术研究中心河南 郑州.农业农村部黄淮海智慧农业技术重点实验室河南 郑州)摘要:为提高夏玉米主要害虫的检测精度实现害虫的自动化测报本研究基于性诱测报原理设计玉米主要害虫诱集装置并利用该装置自动采集黏虫、棉铃虫、玉米螟、甜菜夜蛾等玉米害虫图像制作 数据集 以 模型为基础引入 模块和 算法构建 模型解决玉米害虫体积小、虫体易重叠等造成的不易识别问题 结果表明 模型对黏虫、棉铃虫、玉米螟和甜菜夜蛾的平均检测精度分别为.、.、.和.与 、等模型相比 的 值、召回率、精确率、平均精度均最优 可见 对黏虫、棉铃虫、玉米螟和甜菜夜蛾具有较高的识别准确率可用于田间夏玉米害虫种群监测预警关键词:玉米害虫诱集装置目标检测中图分类号:文献标识号:文章编号:()(./.).玉米是世界上种植最广泛和产量最高的粮食作物也是我国重要的粮食、饲料和工业原料作物 国家统计局 年数据显示我国玉米种植面积为.总产量为.虫害一直是影响玉米生产的重要因素虫害的暴发会使玉米产量大幅度降低造成巨大的经济损失 我国玉米害虫有 多种其中黏虫、棉铃虫、玉米螟和甜菜夜蛾是夏玉米常见害虫 如果虫害监测防控不到位一旦暴发成灾将直接影响农业生产危及国家粮食安全 因此准确监测与诊断玉米常见虫害并采取有效的防治措施是保证玉米高产稳产的重要途径在常规的玉米虫害监测中农技人员多采用人工现场调查或利用虫情测报灯诱集然后人工调查 这种方式效率低费用高时效性差 为提高效率许多学者研制了基于智能设备的害虫虫情田间采集系统记录虫情数据实现了害虫虫情数据采集电子化提高了害虫信息采集效率同时减轻了农技人员的工作强度避免数据输入错误 随后又有学者将机器视觉算法应用于害虫计数实现害虫的自动统计进一步提高了监测精度 但是由于虫体重叠、杂质等背景干扰这种方式往往会出现计数错误无法满足野外应用场景监测需求近几年随着人工智能技术的快速发展部分学者将基于深度学习()的目标检测算法应用于作物病虫害检测 相比于传统的害虫检测方法基于深度学习的目标检测算法更加精确具有很强的自适应性和鲁棒性()是一种单阶段目标检测算法具有检测速度快、实时性强等特点 李静等提出一种基于改进的 卷积神经网络模型用于识别玉米螟虫害 牛学德等提出一种轻量级 模型用于识别玉米、番茄、马铃薯 类作物 种叶部病害 陈峰等利用机器视觉和卷积神经网络构建东北寒地玉米害虫识别方法用于检测玉米螟、草地贪夜蛾、玉米黏虫、玉米双斑萤叶甲等害虫 综上 系列算法适用于田间害虫检测具有高准确率、高检测速度等特点但当检测对象较小且对象之间相互遮挡时检测效果不理想为此本研究首先改进诱捕装置以提高诱捕效率然后以 模型为基础构建 模型 该模型引入 模块增强模型对关键信息的筛选能力以解决小目标特征信息提取不充分等问题采用柔性非极大值抑制()算法改善模型对目标密集区域的检测能力以解决因堆叠导致的漏检率高等问题 本研究将集成性诱捕装置与目标检测算法相结合为夏玉米田间害虫监测预警提供技术支撑提高作物害虫监测预警的信息化水平 材料与方法.图像采集于 年夏玉米生长季在河南省农业科学院(原阳)试验示范基地开展图像采集 在试验地安装玉米害虫诱集与拍摄装置以采集黏虫、棉铃虫、玉米螟和甜菜夜蛾等夏玉米主要害虫 害虫诱集与拍摄装置(图)由太阳能供电组件、测报诱集单元、害虫清理单元、拍摄单元等组成 这个装置是在前期硬件基础上进行改进的增加了害虫清理单元 测报诱集单元选用黏虫、棉铃虫、玉米螟和甜菜夜蛾性诱芯(北京中捷四方生物科技股份有限公司生产)拍摄单元的摄像头选用 万像素微型网络摄像头图像分辨率为 像素 图像采集时在测报诱集单元放置 种诱芯以诱集目标害虫 每 采集一次害虫图像 图像采集后害虫清理单元自动清理害虫虫体 整个夏玉米生长季共采集有效图像 张从中筛选出清晰度高的照片 张太阳能电池板微型摄像头防雨罩防鸟罩诱虫板害虫清理单元性诱剂容器防水箱内置电池、电源控制、路由等立杆地埋基座图 玉米害虫诱集与拍摄装置示意图 山 东 农 业 科 学 第 卷.数据集构建使用图像标注工具 标注采集到的玉米害虫图像生成 数据集 图像标注时将黏虫、棉铃虫、玉米螟、甜菜夜蛾分别标注为、为尽可能避免背景的干扰以害虫虫体的最小外接矩形作为标注框尽量减少标注框内的无用像素 图像标注后采用(马赛克)数据增强方法将数据集扩充至 张然后将增强后的数据集按照 的比例随机划分为(训练集验证集)和测试集(训练集验证集)中训练集和验证集的划分比例仍为.玉米主要害虫检测模型设计 算法是一种单阶段目标检测算法是在 目标检测架构的基础上添加最优秀的优化策略 网络结构由主干网络()、颈部网络()和检测头()部分组成 主干网络为 颈部网络也称加强特征提取网络由 组件、模块和 组成 检测头为 玉米害虫图像()进入 主干网络进行 次下采样不断提取目标的特征信息从浅层 层到达深层 层分别获得 个不同尺度的特征层()在输出最后一个特征层后加入 空间金字塔池化层分别利用、(无处理)四个不同尺度的最大池化进行处理 经过 模块处理后分离出更显著的图像特征由于 对大中型显著性目标有较好的检测效果但对分辨率低、体积小的小目标很难检测到 为此本研究从两方面改进 模型提出了 模型 改进后的模型网络结构见图 黄色部分为改进模块 表示卷积()表示 加批量正则化 加 激活函数的合成模块 表示跨阶段部分()的结构 表示 加 加 激活函数的合成模块 表示通道数相加的特征融合方法图 改进后的 网络结构.引入通道注意力机制 模块 算法提取图像特征时对于图像各个通道以相同的权重进行信息提取导致对不明显特征的检测精度较低可能造成小目标特征丢失而 采用重新标定的方法通过获取输入特征层的每一个通道的权值根据权值大小对通道信息进行筛选以增强网络对有用信息的提取解决小目标特征信息提取不充分等问题 引入 模块可给害虫虫体分配更大的权重使 网络更多的注意力用于图片中玉米害虫虫体特征信息的提取 工作过程分为 部分:先对输入特征图进行全局平均池化使单个通道的特征层被池化成一个具体的数据得到大小为 的特征图(为特征图通道数)获得全局特征通过赋值操作赋予两层全连接层各自一个权重值来构建不同通道互相之间的依赖性通过 函数激活归一化权重获得大小为 的权重值在对应位置与原输入特征图相乘促使权重值加权到原先特征图上使得模型对关键信息有更强的提取能力本研究在 模型主干网络输出的 个特征层(、)和第一次上采样后的特征层()后 第 期 段新涛等:基于改进 的夏玉米主要害虫检测方法研究分别增加 模块 以 主干网络输出的第一个特征层()为例将其作为 的输入首先对输入的 特征图进行平均池化得到 的特征图将特征图的宽和高压缩成一维这个一维参数可以获得 的全局视野感受区域更广 压缩成 后经过 个全连接层来减少参数量最后经 激活函数得到 的权重值再与初始的 特征层进行矩阵相乘得到每个通道都带有权重值的特征层 至此在 模型中引入 模块工作完成.柔性非极大值抑制()算法采用非极大值抑制()去除重复框是 算法必备的后处理步骤可降低误检 原理是将检测框按得分排序然后保留得分最高的框同时删除与该框重叠面积大于一定比例的其他框 从田间采集到的玉米害虫图像常出现虫体堆叠等情况在采用 算法去除重复框时由于检测目标紧密靠近且相互遮挡检测结果中会出现多个不同置信度的检测框如果按照原来的方法进行处理首先选中置信度最高的预测框那么其余检测框在后续的交并比较中将由于与置信度最高的预测框重叠面积过大而被删除造成漏检率增大柔性非极大值抑制()算法则是将某一类别的预测框按置信度排序把最高分值的框设定为基准框然后将剩余的框分别与其做交并比()计算删除大于设定阈值的保留小于阈值的并依次循环从而消除冗余重复的预测框找到物体最佳位置本研究即采用 算法首先按照置信度排序选择得分最高的检测框为基准然后使用惩罚函数对其余检测框进行处理和重新排序再次计算置信度得分保留置信度最高的检测框依此类推最终实现虫体目标的很好筛选有效解决了由于玉米害虫重叠面积过大而导致被检测网络误删从而造成漏检的问题.评价指标本研究利用精确率()、召回率()、值、平均精度()来评估模型的综合性能见公式()()检测精度各指标的优先级由高到低为、值、()()()式中()代表被正确检出的目标害虫()代表被正确检出的非目标害虫()代表被误检的目标害虫()代表被漏检的目标害虫其中 值是精确率与召回率的调和平均数可以兼顾到精确度和召回率 表示模型在各个召回率下的精确率平均值 结果与分析.实验平台和参数设置所有模型在 为()().、为 、显存为 的台式计算机上训练和测试 操作系统为 .库版本为.深度学习框架为 .、.训练参数设置:将训练设置为冻结和解冻两个阶段冻结阶段模型主干被冻结特征提取网络不发生改变仅对网络进行微调共设置 个迭代周期()样本批量大小()设置为学习率()设置为.解冻阶段模型主干网络不被冻结网络所有参数都会发生改变共设置 个迭代周期样本批量大小设置为 学习率设置为.消融试验结果分析为验证改进部分对虫害检测模型的影响采用消融试验方法验证各改进策略的有效性结果见表 其中模型 为原 网络模型 为引入 模块的 网络模型 为引入 算法的 网络模型 为 网络 从结果可知本研究所采用的改进措施均能明显提高 模型对 种害虫的检测性能 相较于模型 模型 的平均精度提高.个百分点 值提高.召回率提高.个百分点准确率提高.个百分点模型 的平均精度提高.个百分点 值提高.召回率提 山 东 农 业 科 学 第 卷高.个百分点准确率提高.个百分点模型 的平均精度提高.个百分点 值提高.召回率提高.个百分点准确率提高.个百分点 表 消融试验结果害虫网络模型 值召回率/准确率/平均精度/黏虫模型.模型.模型.模型.棉铃虫模型.模型.模型.模型.玉米螟模型.模型.模型.模型.甜菜夜蛾模型.模型.模型.模型.注:“”表示在 模型中添加该模块.不同模型性能比较为验证改进后模型的检测性能在相同软硬件环境下比较本研究构建的 模型与 、对 种玉米害虫的检测效果 由表 可见与 、和 模型相比 对 种害虫的检测性能均较高其中 值分别提高.、.和.召回率分别提高.、.个百分点和.表 四种网络模型性能指标比较害虫网络模型 值召回率/精确率/平均精度/黏虫.棉铃虫.玉米螟.甜菜夜蛾 .个百分点准确率分别提高.、.个百分点和.个百分点平均精度分别提高.、.个百分点和.个百分点从 对 种害虫的检测性能来看 对甜菜夜蛾的检测性能最优 值和平均精度分别为.和.其次为棉铃虫 值和平均精度分别为.和.对玉米螟的检测性能最差 值和平均精度分别为.和.检测效果分析为直观展示模型检测性能分别用 与 对同一诱集图像进行检测结果如图 所示 经目视解译、人工计数该检测图像中有 头黏虫、头棉铃虫、头玉米螟和 头甜菜夜蛾利用 模型能检测出 种害虫除漏检 头黏虫外 其余均准 确 检 出 利 用 模型则完全准确地检测出 种害虫没有出现漏检、误检的情况 可见针对玉米害虫较稀疏的图像 和 均能表现出良好的检测性能但针对玉米害虫较密集的图像 的检测性能更优 表明改进模型对检测目标的识别能力有一定加强作用检测效果更好检测能力更强能够满足实际应用场景下玉米害虫的检测精度要求 第 期 段新涛等:基于改进 的夏玉米主要害虫检测方法研究标号(红色检测框)、(绿色检测框)、(青色检测框)、(紫色检测框)分别代表黏虫、棉铃虫、玉米螟、甜菜夜蛾标号后的数字表示置信度图 不同模型的玉米害虫检测效果 讨论与结论准确监测害虫虫情动态提前采取绿色防治措施既有利于合理使用农药减少环境污染又可以保证作物产量 本研究基于性诱测报原理针对玉米主要害虫特性设计了玉米害虫诱集与拍摄 装 置 并 提 出 一 种 适 合 小 目 标 检 测 的 模 型 模 型 在 模型的基础上做了两方面的改进:引入 模块 通过学习每个特征通道的权重依据权重增强有用特征的表达提升模型对关键信息的筛选能力解决了小目标害虫难以被检测的问题引入 算法 通过在非极大值抑制过程中加入惩罚函数改善模型对目标密集区域的检测能力解决了玉米害虫堆叠导致的漏检问题 并通过消融试验验证了改进策略的有效性 表明该模型适用于黄淮海夏玉米种植区黏虫、棉铃虫、玉米螟、甜菜夜蛾的检测 这与李静、陈峰等的研究结果基本一致与 、模型相比 模型对 种玉米害虫都有较好的检测效果其中对黏虫的检测平均精度为.值为.对棉铃虫的检测平均精度为.值为.对玉米螟的平均检测精度为.值为.对甜菜夜蛾的平均检测精度为.值为.表明 模型可以满足田间玉米害虫检测任务的需求能很好地解决害虫目标过小以及相互遮挡问题从而高效、准确地检测出目标害虫为夏玉米田间害虫监测预警提供技术支撑本研究构建的 模型仅适用于黏虫、棉铃虫、玉米螟、甜菜夜蛾 种玉米害虫对于其他玉米害虫的检测能力还有待进一步试验验证 今后将进一步优化 模型的网络结构以满足更多种玉米害虫的检测任务参 考 文 献:李国平 吴孔明.中国转基因抗虫玉米的商业化策略.植物保护学报 ():.中华人民共和国国家统计局.中国统计年鉴.北京:中国统计出版社.杨久涛 李敏敏 徐兆春 等.新时期山东省农业生物灾害防控战略思考.山东农业科学 ():.陈琦 闫柳狄 王秋岭 等.漯河市夏玉米花粒期鳞翅目害虫的监测与分析.山东农业科学 ():.邵泽中 姚青 唐健 等.面向移动终端的农业害虫图像智能识别系统的研究与开发.中国农业科学 ():.曾伟辉 张文凤 陈鹏 等.基于 的低分辨率水稻害虫图像识别方法.农业机械学报 ():.彭红星 徐慧明 刘华鼐.基于改进 的轻量化农作物害虫识别模型.农业工程学报 ():.于辉辉 屠星月 孙敏.基于 手机客户端的棉花病虫害诊断专家系统研究.山东农业科学 ():.王茂林 荣二花 张利军 等.基于图像处理的蓟马计数方法研究.山西农业科学 ():.():.余小东 杨孟辑 张海清 等.基于迁移学习的农作物病虫害检测方法研究与应用.农业机械学报 ():.张航 程清 武英洁 等.一种基于卷积神经网络的小麦病 山 东 农 业 科 学 第 卷害识别方法.山东农业科学 ():.:/.:.:/././.:.:.:/:.:/././.:.何颖 陈丁号 彭琳.基于改进 模型的经济林木虫害目标检测算法研究.中国农机化学报 ():.李静 陈桂芬 安宇.基于优化卷积神经网络的玉米螟虫害图像识别.华南农业大学学报 ():.牛学德 高丙朋 任荣荣 等.基于轻量级 的作物病虫害识别及安卓端应用.广西师范大学学报(自然科学版)():.陈峰 谷俊涛 李玉磊 等.基于机器视觉和卷积神经网络的东北寒地玉米害虫识别方法.江苏农业科学():.赵晴 臧贺藏 张杰 等.基于物联网技术的作物虫情采集监测预警系统构建.河南农业科学 ():.:/.:.:/./././().:.第 期 段新涛等:基于改进 的夏玉米主要害虫检测方法研究