基于混合注意力机制和云数据平台的蝗虫识别系统研究.pdf

山 东 农 业 科 学():./.收稿日期:基金项目:宁夏回族自治区重点研发计划项目()宁夏自然科学基金项目()宁夏回族自治区科技创新领军人才培养工程项目()宁夏回族自治区银川市科技创新项目()作者简介:李军()男河南信阳人硕士研究生研究方向为机器视觉与图像处理:.通信作者:马行()女宁夏银川人博士教授主要从事机器视觉研究:.基于混合注意力机制和云数据平台的蝗虫识别系统研究李军马行穆春阳王梦雪刘宝成李亚东(.北方民族大学电气信息工程学院宁夏 银川.北方民族大学宁夏智能信息与大数据处理重点实验室宁夏 银川.北方民族大学机电工程学院宁夏 银川)摘要:为帮助农林业解决自然条件下蝗虫目标小、识别精度低、虫情数据掌握不及时的问题减少农林业生产损失现以深度学习为基础提出一种改进的 蝗虫目标识别模型 首先针对蝗虫目标小的特点为提升模型在复杂背景下的细节特征提取能力和小目标识别能力分别在加强特征提取网络的输入位置和第一次卷积结果输出位置添加混合注意力机制()然后针对以往虫情识别无实时数据传输的问题通过对模型的 预测模块修改嵌入云数据平台实现模型对蝗虫虫情即时云端数据存储与解析功能最后将改进后的模型移植到 嵌入式设备使用 加速神经网络的推理设计了一套便携式蝗虫识别系统 试验结果表明在自制数据集下改进后的模型平均精度达到.在嵌入式设备上的实时检测速度达到 模型大小仅为.该系统的研发可为农林业蝗虫虫情识别提供新思路关键词:蝗虫识别云数据平台 中图分类号:.文献标识号:文章编号:()(.).蝗灾、旱灾、涝灾曾并称为三大自然灾害一直是中国农业防治的重点对象 但在自然环境下蝗虫目标小同时受光照、遮挡等因素干扰识别难度大 因此在现代农林业领域做到及时且准确的蝗虫监测意义重大近年来随着深度学习的发展神经网络已经被广泛应用在害虫识别领域 例如张博等将空间金字塔池化和 卷积神经网络相结合实现了实际场景下 类害虫的识别且识别精度达到.许德刚等提出了一种改进的 粮虫目标检测方法在自制数据集下实现了.的精确度为粮食存储安全提供了虫害监测新思路 杨红云等提出的基于迁移学习和卷积神经网络相结合的水稻害虫识别方法使用 模型实现了稻飞虱等 种水稻害虫的识别 甘雨等通过改进 模型实现作物害虫识别在公开的大规模作物害虫数据集 上实现了.的识别率 上述研究成果表明利用神经网络能够为害虫识别提供解决方法在蝗虫识别方面近些年也取得了一些研究进展 年刘欣提出了基于无人机遥感平台的蝗虫灾害监测方法该方法采用无人机遥感技术进行图像拍摄然后将图像回传处理对于大面积虫害识别具有较强的图像分析能力但是对于小区域以及林地深处虫情无法兼顾而且采用远端服务器进行图像处理延迟高 年张文霞利用基于二值图像的区域性识别算法和快速卷积神经网络 对蝗虫图像进行检测与识别结果表明在自制数据集下模型的平均识别精度达到 但是在光线环境较弱和背景复杂的情况下模型的特征提取能力会明显下降 年李林等以 模型为基础提出了一种 蝗虫视频目标检测算法通过采用 算法提取蝗虫视频前后帧的时空特征来分析目标平均精度达到.但该模型只针对东亚飞蝗对于国内出现范围较广的中华稻蝗等蝗虫类未做研究同时该方法未解决蝗虫识别过程中的实时虫情数据留存问题针对以上问题本研究以飞蝗、稻蝗、竹蝗、沙蝗等农林业蝗虫为研究对象结合当下嵌入式设备的发展情况以轻量化的一阶段卷积神经网络 为基础提出了一种基于混合注意力机制、七牛云数据平台的蝗虫目标识别模型然后利用 开发板的推理加速能力将改进后的模型移植到开发板中设计了一套小型蝗虫识别系统 材料与方法.数据来源数据集获取时充分考虑国内蝗虫虫情选取对农林业危害较大、出现频率高、繁殖率高的飞蝗、稻蝗、竹蝗、沙蝗等其中飞蝗主要是东亚飞蝗和亚洲飞蝗稻蝗为中华稻蝗 图像获取途径一是通过多时期、多角度、自然环境下的周边果园、农田实地相机采集二是通过网络搜索获取相关蝗虫图片 数据集像素从 到 不等共 张图片 数据集示例图片如图 所示.图像标注与增强对获取到的蝗虫数据集采用 软件手动标签的方式进行图像标注 同时为了增强模型的泛化能力通过对原蝗虫图片进行亮度调整、镜像翻转、平面旋转、添加高斯噪声等一些常规预处理来扩充数据集最终得到 张蝗虫图像 数据集图像增强处理如图 所示 第 期 李军等:基于混合注意力机制和云数据平台的蝗虫识别系统研究图 数据集部分图片示例图 数据集图像增强处理示例.模型选择在深度学习领域目标检测算法有单阶段和双阶段之分双阶段算法模型大、精度高但速度慢例如、而一阶段算法巧妙地将目标检测问题转化为了回归问题可以直接完成端到端的预测精度高、速度快、便是一阶段算法的优秀代表随着嵌入式设备的发展越来越多的场景开始将神经网络部署到移动端以此来提升工作效率 在这种情况下兼顾精度与速度的轻量级神经网络不断被提出 年 月 日 在发布 两个月后正式推出 作为 的轻量化版本在尽可能保障模型精度的前提下做了参数删减 网络主要由 部分构成分别是主干特征提取网络、加强特征提取网络()和检测头 主要用于前期特征提取包括卷积层()、批量标准化层()、激活函数层()和 个 模块 网络首先对输入进来的图像(像素)进行两次步长为 的卷积操作经过 主干特征提取网络后一共可以获得 和 的两个有效特征层 结构将主干网络得到的有效特征层进行卷积加上采样操作来进行特征融合获得两个具有更高语义信息的有效特征层之后 对这两个具有更高级语义信息的特征层进行结果预测形成 和 的两个目标预测尺度最终得到蝗虫目标的置信度及位置信息.模型改进.增加注意力机制 在自然环境下蝗虫目标大小不一出现的背景也较复杂并有大量物体遮挡在这种情况下神经网络对每张图片的关注点就会分散 为了提升模型的细节特征提取能力加强神经网络在不同背景下对检测目标的重视程度使神经网络将更多注意力放到所给信息 山 东 农 业 科 学 第 卷的重点区域同时兼顾模型的速度本研究分别在 的加强特征提取网络输入位置和第一次卷积结果输出位置添加混合注意力机制让神经网络在通道和空间上分别获取更多的特征信息有效提升模型在复杂背景下的识别精度 改进方式如图 所示图 改进的 网络结构 是一种混合注意力机制包括通道注意力机制和空间注意力机制 首先通道注意力机制利用平均池化和最大池化对输入进来的有效特征层进行特征信息聚合操作并送到共享网络之后再压缩输入特征图的空间维数逐元素求和并合并最后经过 激活函数后生成通道注意力特征图然后空间注意力模块利用平均池化和最大池化对通道特征图进行高和宽的压缩再进行 操作之后经过 的卷积操作将特征图维度降为 最后经过 激活函数后生成空间注意力特征图 通过 模块神经网络不仅提升了在复杂背景下对重点区域的关注也加强了对有效色素点的关注 注意力机制模块结构如图 所示 注意力机制的公式如下:()()()()()()()()()式中:()代表通道注意力机制操作()代表空间注意力机制操作 表示 激活函数 表示输入特征图表示经过通道注意力机制后的输出特征图表示 的卷积操作.嵌入云数据平台蝗虫害的治理需要前期就掌握虫情数据但已有的大多研究只是对模型进行各种改进以提升模型精度并未对模型实际应用过程中的数据问题进行引申研究或者提出解决方案 针对该问题本研究以七牛云数据平台为基础通过对 预测模块进行修改在模型的 部分嵌入七牛云数据平台软件包使模型能够在实时目标检测中实现虫情数据的即时云端上传并通过个人注册的合法域名实现蝗虫虫情的实时数据留存与下载解析这可为农林业及时监测或治理虫害提供数据支撑 基于七牛云数据平台改进的蝗虫识别模型结构如图 所示七牛云服务器用户界面如图 所示 第 期 李军等:基于混合注意力机制和云数据平台的蝗虫识别系统研究图 注意力机制结构图 七牛云服务器平台界面.模型训练将 张蝗虫图像按照 的比例划分为训练集与测试集使用 框架搭建模型利用实验室戴尔服务器进行模型训练 服务器主要配置为:()().核 线程(双处理器)内存 软件操作系统为.版本为.版本.版本.版本.模型训练输入图像尺寸为 训练过程使用 优化和更新权重参数 具体训练参数如表 所示 表 模型训练参数参数批大小权重学习率迭代次数数值.模型评估模型训练完成后在自制数据集下采用精确率()、平均精度均值()、召回率()、值()、每秒帧率()、模型大小()个指标来评估模型性能 其中 越高代表模型的检测速度越快 值是精确率与召回率的调和平均()是一个同时考虑精确率与召回率的评价指标 值越大且越接近 代表模型的综合性能越好 精确率、召回率、值的计算公式如下:()()山 东 农 业 科 学 第 卷()式中 为正样本中检测正确的样本数目 为负样本中错检为正样本的数目 为正样本中漏检或错检为负样本的样本数目 结果与分析.消融试验结果分析为了验证改进后的模型性能首先在自制数据集下设计了消融试验结果如表 所示 其中()表示使用了()通道注意力机制()表示使用了 混合注意力机制可知在使用注意力机制的情况下模型的综合性能得到了提升 在只使用 通道注意力机制的情况下模型的精确率达到了.达到了.在使用 混合注意力机制的情况下模型的精确率、召回率、值与原网络相比均有明显提升分别提升.、.、.、个 百 分 点 同 时 相 较 于 ()性能也有一定提升模型大小维持不变说明使用注意力机制能够有效提升模型的性能且使用混合注意力机制的效果要优于单一的通道注意力机制 表 消融试验结果模型精确率/召回率/值/模型大小/.().().对比试验结果分析为了更加客观地评价模型的性能再次在自制数据集下进行对比试验结果如表 所示 其中 表示 的轻量级网络 表示 的轻量级网络 可知 和 作为两种较新的轻量级网络模型的 分别达到了.和.性能优良但检测速度分别只有 和 相较于()的 差距明显 同 时 通 过 与 网 络 对 比 发 现 作为简化版的 其模型的精度和速度更均衡考虑到模型后期需要部署到嵌入式设备所以选择()是更好的方案 表 对比试验结果模型精确率/召回率/值/模型大小/().模型识别效果可视化最后为了更加全面地评价改进模型的性能使用不同环境下、不同数量的蝗虫目标进行识别试验识别效果如图 所示 可知在复杂环境下的单目标识别试验中各个模型均能顺利识别出目标说明模型在自制数据集下提取了丰富的特征信息 在自然环境下的双目标识别试验中所有模型也均能正确识别出目标但()模型预测框更小更接近蝗虫目标的真实体态 在自然环境下多目标识别试验中 模型出现了漏检情况而其他模型均能实现 个目标的识别 综上可得()模型的综合性能更加均衡更适合后续的部署应用.模型应用与测试将改进并训练好的蝗虫识别模型移植到 的 开发板中利用 开发板作为模型的应用载体借助 加速模型搭建设计了一种便携式蝗虫识别装置如图 所示 考虑加入的云数据平台采用华为 随身 装置作为数据提供模块实现野外环境的数据服务功能 相机部分采用索尼 模块(有效像素)和海康 便携式 镜头(有效像素)系统工作流程如图 所示 通过 或 摄像头获取图像信息利用 内嵌改进并训练好的模型进行蝗虫识别使用云数据平台进行蝗虫目标实时数据云端上传与存储最后通过七牛云账号在线查看识别结果数据格式中包括识别时间等信息方便用户及时掌握虫情数据进行有效防治 第 期 李军等:基于混合注意力机制和云数据平台的蝗虫识别系统研究图 模型识别效果可视化.海康 摄像头(有效像素).索尼 模块(有效像素).显示屏.无线接收器.处理器.无线数据提供模块图 便携式蝗虫识别装置实物图 为了测试设计的蝗虫识别系统的识别效果进行相关自然环境下的检测试验 首先采用多角度、多体态、不同背景下的静态蝗虫目标数据进行识别测试结果(图)显示搭建设计的蝗虫识别系统能够实现不同状态下的虫情识别具有一定图 便携式蝗虫识别装置系统工作流程的针对性 其次为了验证模型及识别系统的实时动态识别效果进行自然环境下模型的目标视频实时识别测试实时识别效果及云平台实时数据分别如图 和图 所示 可见在不同的自然背景下针对蝗虫目标数量不一、角度和光线不 山 东 农 业 科 学 第 卷同等情况系统均能够有效识别出目标且实时检测速度达到 综上可见本研究设计的小型蝗虫识别系统在自然环境下具有较强的蝗虫识别能力而嵌入在模型预测模块中的七牛云数据平台实现了即时虫情识别数据的云端存储功能大大提升了模型的可利用性解决了以往虫情数据掌握不及时的问题能够为现代农林业蝗虫识别提供新思路图 静态目标识别效果图 视频实时识别效果 第 期 李军等:基于混合注意力机制和云数据平台的蝗虫识别系统研究图 蝗虫虫情识别云数据后台示例图 讨论与结论通过对前人在蝗虫识别领域研究的分析本研究提出了一种基于 网络改进的蝗虫目标识别模型大小为.首先该模型使用轻量型的混合注意力机制 提升模型性能弥补了过去蝗虫识别算法精度低、实时性差的缺点提升了模型在复杂环境下的小目标特征提取能力模型的平均精度可达到.召回率达到.值达到 单张图片识别速度达到 在嵌入式开发板上的实时检测速度达到 模型性能优良 其次针对实际应用场景在模型的预测模块引入了七牛云数据平台借助个人域名实现了模型对蝗虫虫情实时识别的云端数据存储与解析提升了模型的应用价值方便研究者实时掌握虫情数据 最后针对现代农林业蝗虫监测装置较大且多是采用气味或灯光诱捕害虫的思路本研究借助高性能的嵌入式设备 搭载改进的模型设计了一种小型的蝗虫识别装置 通过试验验证该系统在不同自然背景及光线强度下均取得了非常好的识别效果具有较强的蝗虫目标识别能力 本研究提出的方法可为农林业蝗虫识别提供新的技术参考另外本研究用提取到的蝗虫共同特征信息作为研究基础自建了一套有 张图像的蝗虫数据集 但本研究未进行分类目标预测将在今后的研究中继续完善模型的分类识别功能以实现蝗虫目标精细化识别参 考 文 献:陈道怀汪杭军.基于改进 的林业害虫检测.浙江农业学报():.张博张苗辉陈运忠.基于空间金字塔池化和深度卷积神经网络的作物害虫识别.农业工程学报():.许德刚王露李凡等.改进 在粮虫目标检测中的应用研究.中国粮油学报():.杨红云肖小梅黄琼等.基于卷积神经网络和迁移学习的水稻害虫识别.激光与光电子学进展():.甘雨郭庆文王春桃等.基于改进 模型的作物害虫识别.农业工程学报():.刘欣.基于无人机遥感平台的蝗虫灾害检测技术研究.长春:吉林农业大学.张文霞.基于图像处理技术的蝗虫识别算法研究.呼和浩特:内蒙古大学.李林柏召刁磊等.基于 的东亚飞蝗视频检测与计数方法.农业机械学报():.:/.:.:/./././.:.:/./././().:.:/././.山 东 农 业 科 学 第 卷 .:.():.:/.:.:/./././():.臧贺藏赵晴周萌等.基于 模型的小麦品种(系)穗数检测/.山东农业科学:.:/./.:/.:.张善文邵彧齐国红等.基于多尺度注意力卷积网络的作物害虫检测.江苏农业学报():.张宁吴华瑞韩笑等.基于多尺度和注意力机制的番茄病害识别方法.浙江农业学报():.胡嘉沛李震黄河清等.采用改进 模型的柑橘木虱识别.农业工程学报():.毛腾跃宋阳郑禄.基于多尺度与混合注意力机制的苹果目标检测.中南民族大学学报(自然科学版)():.:/().:.王林惠兰玉彬刘志壮等.便携式柑橘虫害实时检测系统的研制与试验.农业工程学报():.第 期 李军等:基于混合注意力机制和云数据平台的蝗虫识别系统研究