基于改进YOLOv7-tiny的垃圾检测分类方法.pdf

计 算 机 与 网 络技术论坛基于改进YOLOv7-tiny的垃圾检测分类方法刘文艳1，丁学文1，2，张子怡1，陈 静2（1.天津职业技术师范大学 电子工程学院，天津300222；2.天津云智通科技有限公司，天津300350）摘要：目前垃圾分类的解决办法主要是靠人工分拣，传统的人工垃圾分拣存在环境差、成本高、效率低等问题，对垃圾的分类也不够精准。为了有效提高垃圾分类的识别率，提出了一种基于改进YOLO目标检测算法的垃圾检测分类方法。以YOLOv7-tiny网络作为基础，通过在检测头部的高效聚合网络结构中嵌入CBAM注意力机制使其重点关注有效特征，增强原始特征图像的辨识度和鲁棒性，从而提升垃圾检测的精度。实验结果表明，相较于原YOLOv7-tiny，经优化的模型在垃圾数据集上的准确率达到了86.5%，较原模型平均精度提升了1.5%。关键词：垃圾分类；YOLOv7-tiny；CBAM注意力；平均精度中图分类号：TP183文献标志码：A文章编号：1008-1739（2023）15-62-5LIU Wenyan1,DING Xuewen1,2,ZHANG Ziyi1,CHEN Jing2(1.School of Electronic Engineering,Tianjin University of Technology and Education,Tianjin 300222,China;2.Tianjin Yunzhitong Technology Co.,Ltd.,Tianjin 300350,China)The current solution to garbage classification mainly relies on manual sorting.In traditional manual garbage sorting,thereexist problems of poor environment,high cost and low efficiency,and the garbage classification is not accurate enough.In order toeffectively improve the identification rate of garbage classification,a garbage detection classification method is proposed based on animproved YOLO target detection algorithm.On the basis of the YOLOv7-tiny network,the CBAM attention mechanism is embedded inthe efficient aggregation network structure of the detection head to focus on the effective features,enhancing the recognition androbustness of the original feature image and improving the accuracy of garbage detection.The experimental results show that theaccuracy of the optimized model on the garbage dataset reaches 86.5%,and its average accuracy increases by 1.5%compared with theoriginal model.garbage classification;YOLOv7-tiny;CBAM attention;average accuracy收稿日期：2023-04-10基金项目：天津市科委科技特派员项目：基于无人机的铁路巡检监测技术研究（20YDTPJC01110）0引言随着我国综合国力的日益增强，人们的物质需求越来越高，对环境的破坏程度也越来越严重，不恰当的垃圾处理方式导致我国的垃圾产量持续攀升。根据相关数据统计显示，全国每年产生将近2亿吨城市生活垃圾，并且还在以每年8%10%的速度不断增长，再加之目前仍然是通过人工分拣的方式进行垃圾分类回收，由于垃圾种类繁多和分类准则的细化，在分拣过程中很容易造成误判和漏检。因此，如何高效地对垃圾进行检测分类就显得至关重要。近年来，随着基于深度学习的视觉算法迅速发展，其凭借可以自动从图像提取特征的优势被广泛应用于人脸识别、智能监控等诸多领域。基于深度学习的目标检测算法主要分为两阶段 目 标 检 测 算 法（two-stage）和 单 阶 段 目 标 检 测 算 法（one-stage）。两阶段检测算法包括Fast R-CNN1、Faster R-CNN2、Mask R-CNN3等模型，它们将检测问题划分为两个阶段，首先62计 算 机 与 网 络技术论坛产生候选区域，然后对候选区域进行分类并细化目标位置；单阶段目标检测算法主要以SSD4和YOLO5（You Only LookOnce）为代表，不需要产生候选区域，直接产生物体的类别概率和位置坐标值，单次检测后即可直接得到最终的检测结果，所以检测速度更快。在垃圾检测分类领域，马雯等6将FasterR-CNN检测模型与ResNet50及VGG16卷积神经网络架构相结合，然后使用Soft-NMS算法改进传统的非极大值抑制（NonMaximum Suppression,NMS）算法，最后综合检测精度达到了81.77%。张睿萍等7对传统的Mask R-CNN算法改进，使用改进后的RexNet101替换传统的ResNet主干网络，对生活垃圾进行特征提取，平均检测精度提升了2.35%。彭昕昀等8提出基于SSD的垃圾识别算法，由于数据集不够丰富，使用离线数据增强技术来扩充数据集，提高模型的泛化性，最终在自建数据集取得较高的识别率。王铭杰9基于YOLOv3的垃圾检测算法采用K-mean+确定先验框大小，并使用迁移学习的方法来提升训练效率，有效完成了垃圾的定位及分类，平均精度值（mean Average Precision，mAP)达到82.87%。同样，吴子沛10在对瓶罐垃圾进行分类识别时，在YOLOv3算法中使用K-means聚类算法来优化锚框尺寸，用损失函数GIOU替代传统的IOU，其精度相比原算法提高了4%。以上算法都能很好地检测出垃圾目标，但YOLO模型相较于单阶段SSD算法和-CNN等两阶段算法拥有一定的速度优势，综合考虑精度和速度方面对最新的YOLOv7-tiny算法进行改进来提升垃圾的识别能力，通过在网络的检测头部引入CBAM（Convolutional Block Attention Module）注意力模块，使其更突显主要信息，抑制次要信息，从而提高算法精度，实现垃圾的准确检测分类。1 YOLOv7算法原理YOLO算法作为one-stage目标检测算法最典型的代表，有着精度高、推理速度快等优势，被广泛应用于目标检测任务中。YOLO算法一直在更新迭代，至今已到YOLOv7版本，是目前YOLO系列最先进的算法，在准确率和速度上都超越了以往的YOLO系列。YOLOv7网络结构主要由输入端（input）、主干网络（backbone）和头部（head）三部分组成。输入端输入要检测的图片。该网络的输入图像尺寸要求为640 pixel640 pixel，该阶段通常包含一个图像预处理，将输入图像缩放到网络的输入大小，并进行归一化等操作。再将其输入到backbone网络。主干网络主要用来提取图像数据的特征，采用的是扩展高效层聚合网络（E-ELAN），E-ELAN是基于ELAN模块设计的，但本文模型使用的版本是ELAN模块,它是一个高效的聚合网络结构，通过控制最短和最长的梯度路径，使网络能够学习到更多的特征，并且具有更强的鲁棒性。头部采用YOLOv7 head，与YOLOv5不同，由颈部层和头部层组成，进行特征的信息融合，输出预测的目标结果。YOLOv7按照网络深度和网络宽度的大小可以分为YOLOv7-tiny、YOLOv7、YOLOv7x、YOLOv7-w6、YOLOv7-d6、YOLOv7-e6、YOLOv7-e6e。其中YOLOv7-tiny网络结构最为小巧且推理速度快。故本文选用轻量化版本的YOLOv7-tiny的网络作为实验训练模型，YOLOv7-tiny网络结构如图1所示。2 YOLOv7-tiny网络的改进在目标识别的过程中，由于其背景复杂，同时存在多个图像可能会使模型的识别率下降。为提高垃圾分类准确度，本文通过引入注意力机制使其更关注主要特征，增强特征提取能力。注意力机制的本质是定位到感兴趣的信息，抑制无用的信息。与此同时，CBAM注意力模块有着轻量化程度高和通用性强的优点，比较适用于目标检测和分类任务，因此，将CBAM注意力模块嵌入到YOLOv7-tiny网络检测头中的每个ELAN-tiny模块，用ELAN-tiny-CBAM模块替换ELAN-tiny模块，ELAN-tiny-CBAM模块示意如图2所示。利用此注意力机制可以提高模型的表征能力，有效减少无效目标的干扰，进而提高模型的整体检测效率。CBAM注意力模块于2018年提出，是一种简单、高效的前馈卷积神经网络注意力模块。CBAM基本结构如图3所示，包含了通道（channel）和空间（spatial）两个维度的轻量级通用模块。利用通道注意力来分析特征图通道的分布关系，利用空间注意力使神经网络把注意力集中到影响分类的像素区域上，而忽略不相关的区域。CBAM从空间注意力和通道注意力2个作用域出发，实现从通道到空间的顺序注意力结构，可有效达到对模型性能提升的效果。63计 算 机 与 网 络技术论坛图1 YOLOv7-tiny网络结构图2 ELAN-tiny-CBAM模块示意图3 CBAM基本结构64计 算 机 与 网 络技术论坛3数据集的制作本文数据集来自华为云人工智能图像分类垃圾比赛，选择其中23种垃圾共1 580张图片，由于垃圾样本量不均衡，为了使模型泛化能力更强，通过随机裁剪、亮度调整、翻转变化等数据增强方法将图片扩充至2 650张作为分类任务算法的数据集，使用LabelImg软件工具进行标注生成txt格式文件，用python脚本编写相应的代码将整个数据集按721的比例分成训练集、验证集和测试集。目标检测数据集包含可回收垃圾（recyclable waste）、有害垃圾（hazardous waste）、厨余垃圾（kitchen waste）、其他垃圾（other waste）被标注的4个类别，其中4类所含种类如表1所示。表1 4类垃圾所含种类4实验与结果4.1实验环境与参数设置本实验使用的操作系统是64位的Windows 11操作系统，中央处理器（CPU）为Intel Corei5-10400F，图形处理器（GPU）为NVIDIA Geforce RTX3060，使用Python 3.7进行编译和测试，开发工具为PyCharm 2019.3.4。训练时将批尺寸（batch size）设置为4，训练轮数为350，初始学习率设置为0.000 1，交并比（IOU）训练阈值为0.5。4.2模型评价指标为了评估改进的YOLOv7-tiny对垃圾检测分类的有效性，本研究采用准确率（Precision）、召回率（Recall）、平均精度均值（mAP）作为评价指标。准确率用来衡量预测的准确程度，通常情况下，准确率越高模型性能越好，计算如下：。（1）召回率是衡量所有正样本的检测情况，计算如下：。（2）平均精度均值是指4类垃圾计算的AP的平均值，AP为某一类垃圾的平均精度。mAP值可以用Precision-Recall（P-R）曲线表示，曲线下方与坐标轴围成的面积即为AP，计算如下：，（3）式中：表示将正类样本预测为正类，表示将负类样本预测为正类，表示将正类样本预测为负类，表示总类别数目，表示第 类的值。4.3结果与分析把召回率（Recall）作为横坐标，准确率（Precision）作为纵坐标，即可得到常用的P-R曲线，改进前后模型的P-R曲线的结果对比如图4和图5所示。一般，精确率越高、召回率越高，模型就越高效。可以看出，只有可回收垃圾的精确率略微下降，改进后的模型总体上垃圾识别率在提升。图4改进模型前的P-R曲线图5改进模型后的P-R曲线65计 算 机 与 网 络技术论坛“八五”普法 公务员法律知识必读出版社：人民日报出版社定价：49.00元电话：[phone]本书根据公务员学习法律知识的要求，精选出最为相关的 30 多个法律法规，进行简要介绍；同时还收录了相关典型案例以案释法。全书结构科学严谨，内容权威丰富，语言通俗易懂，从理论和实践两方面对公务员应知应会法律知识进行了准确解读，重点突出，实用性、指导性强。广告本实验还对比了未经优化的YOLOv7-tiny以及引入本文注意力机制的YOLOv7-tiny模型在本文数据集上进行训练后的精确率、召回率、mAP，具体对比结果如表2所示。表2不同模型的性能指标评估由表2可以看出，改进后的YOLOv7-tiny模型比原模型整体性能高,在模型训练350轮后，召回率达到79.8%,提高了2.3%。当IOU阈值为0.5时的mAP达到了86.5%,提高了1.5%。可见，在检测头部引入CBAM注意力机制可以在一定程度上提升垃圾识别的精确率。为了验证改进之后网络模型的准确率，对测试集的垃圾图像进行检测分类训练，改进的YOLO模型对垃圾的部分识别效果如图6所示。（a）可回收垃圾（b）有害垃圾（c）厨余垃圾（d）其他垃圾图6改进模型后的部分垃圾识别效果由图6可以看出，改进后的模型对可回收垃圾、有害垃圾、厨余垃圾、其他垃圾能够准确地进行分类，且能达到较好的识别率。5结束语本文在YOLO模型中加入CBAM注意力模块，系统地分析了注意力模块对垃圾检测算法性能的影响，然后利用改进的网络结构实现了垃圾检测分类任务。经过注意力模块积极有效地提取特征，该方法能够在一定程度上提高垃圾检测分类的精准率，下一步将对模型进行特征融合，尝试构建更好的网络结构并将其用于模型训练，从而提升网络模型的性能。参考文献1 GIRSHICK R.Fast R-CNNC/2015 IEEE InternationalConference on Computer Vision.Santiago:IEEE,2015:1440-1448.2 REN S Q,HE K M,GIRSHICK R,et al.Faster R-CNN:TowardsReal-time Object Detection with Region Proposal NetworksJ.IEEE Transactions on Pattern Analysis MachineIntelligence,2017,39(6):1137-1149.3 HE K M,GKIOXARI G,DOLLA RP,et al.Mask R-CNNC/2017 IEEE International Conference on Computer Vision.Venice:IEEE,2017:2980-2988.4 LIU W,ANGUELOV D,ERHAN D,et al.SSD:Single ShotMultibox DetectorJ/OL.(2016-12-29)2023-03-10.https:/arxiv.org/abs/1512.02325.5 REDMON J,DIVVALA S,GIRSHICK R,et al.You OnlyLook Once:Unified,Real-time Object DetectionC/IEEEConference on Computer Vision and Pattern Recognition.Las Vegas:IEEE,2016:779-788.6马雯,于炯,王潇,等.基于改进Faster R-CNN的垃圾检测与分类方法J.计算机工程,2021,47(8):294-300.7张睿萍,宁芊,雷印杰,等.基于Mask R-CNN的生活垃圾检测J.计算机工程与科学,2022,44(11):2003-2009.8彭昕昀,李嘉乐,李婉,等.基于SSD算法的垃圾识别分类研究J.韶关学院学报,2019,40(6):15-20.9王铭杰.基于YOLO V3的垃圾自动定位及分类方法J.无线互联科技,2019,16(20):110-112.10吴子沛.面向垃圾分类的瓶罐识别分类系统D.邯郸:河北工程大学,2020.66