基于改进YOLOv7的口罩佩戴检测算法.pdf

第 卷第 期 年 月北京信息科技大学学报（自然科学版）（）文 章 编 号：（）：基于改进 的口罩佩戴检测算法张文铠，刘佳（北京信息科技大学 自动化学院，北京 ）摘要：针对 模型在口罩佩戴检测任务中特征提取能力不足、模型感受野相对较小等问题，提出一种改进 的口罩佩戴检测算法。首先，在 模型的主干网络引入感受野模块（，），增大模型的感受野；其次，在 模型的头部网络引入卷积块注意力模块（，），提取关键信息，忽略无关信息，增强特征图的信息表达能力，提高模型的检测能力。实验结果表明：改进后的 口罩佩戴检测算法精确率达到 ，较原 算法提高了 百分点；平均精度均值达到 ，提高了 百分点。相比于目前主流的口罩佩戴检测算法，改进后的 口罩佩戴检测算法可以更加准确地检测出口罩佩戴情况。关键词：；口罩佩戴检测；注意力机制；感受野模块；平均精度中图分类号：文献标志码：，（，）：，（），（），：；收稿日期：基金项目：国家自然科学基金项目（）；北京信息科技大学“勤信人才”培育计划（）作者简介：第一作者：张文铠，男，硕士研究生；通信作者：刘佳，女，副教授。引言许多病毒和细菌可通过空气中的飞沫和气溶胶进行传播，佩戴口罩是防止呼吸道传染病传播最有效的手段之一 。在特殊时期，公共场所一般都会有工作人员提醒大家佩戴口罩，但在人流量较大的情况下，很容易出现漏检的现象，这会增加呼吸道传染病传播的风险。如果增加检查的工作人员，则会耗费大量人力。因此，研发出一种口罩佩戴检测算法具有极为重要的现实意义。自从 年 教授团队 利用卷积神经网络（，）研 发 出 之后，目标检测算法开始快速发展，逐渐从传统的目标检测转向为基于深度学习的目标检测。目北京信息科技大学学报（自然科学版）第 卷标检测算法大体可以分为 大类别：两阶段检测和一阶段检测。两阶段检测算法的代表主要是基于区域的卷积神经网络（，）系列算法，比如 和 。一阶段检测算法的代表主要是单步多框检测器（，）和 （）系列算法。两阶段检测算法检测精度高，但检测的速度较慢。而一阶段检测算法正好与之相反，检测速度快，但精度相对略低。对于口罩佩戴检测这种实时性要求较高的任务来说，应用一阶段检测算法更为合适。目前已经有许多研究将目标检测算法应用在口罩检测领域，如薄景文等 基于 的轻量化口罩佩戴检测算法，金鑫等 基于改进 的口罩佩戴检测算法，李小波等 融合注意力机制的 口罩检测算法。上述方法虽然在一定程度上提高了算法的性能，但在精度上还是存在不足。年 月，团队正式发布 ，它采用了扩展高效层聚合网络、复合模型缩放、计划的重参数化卷积以及更有效的标签匹配策略，在速度和准确度方面都超过了所有已知的目标检测器 。为进一步提升口罩佩戴检测算法的精度，本文在 算法的基础上做了相关的改进。首先，在 模型的主干网络引入感受野模块，增大模型的感受野，提高算法的检测精度。其次，在头部网络引入基于卷积块的注意力机制，使得特征图上的特征信息更容易被突显出来。算法 网络模型结构主要分为输入层、主干网络、头部网络 个部分。的输入层主要是对输入的图片进行预处理，主要包括 数据增强、自适应锚框计算、自适应图片缩放等操作。的主干网络主要功能是特征提取，主要包括 模块、模块和 模块。模块是由 个卷积层、个批归一化层和个 激活函数层构成。模块由多个 模块构成，它通过控制最短和最长的梯度路径，使一个更深的网络同样可以有效地进行学习和收敛。模块的主要作用是进行下采样。的头部网络主要包括 模块、模块、模块和 模块。模块的作用是通过最大池化来增大感受野，提升模型精度。模块的主要作用是减小计算量。它将特征分为两部分，其中一部分进行常规处理，另一部分进行 结构处理，最后再将两部分合并在一起。这样做可以减少计算量，而且还可以提升模型的精度。模块的主要作用是通过最近邻插值的方式进行上采样。模块与 模块非常相似，不同的是 模块选取的输出数量比 模块多。模块在训练时将 个用于特征提取的 卷积、个用于平滑特征的 卷积和 个无卷积操作融合在 个卷积层中，在推理时则重参数化 个 的卷积。改进的 算法 改进后的模型结构为进一步提升口罩佩戴检测算法的精度，本文在 算法的基础上做了相关的改进。首先，为了增大模型的感受野，提高算法的检测精度，在主干网络第 层引入 模块；其次，为了使得特征图上的特征信息更容易被突显出来，在模型的头部网络第 层引入卷积块注意力模块（，），改进后的算法模型结构如图 所示。图 中的 表示拼接操作。图 改进的 模型结构 第 期张文铠等：基于改进 的口罩佩戴检测算法 注意力机制检测精度与模型的特征提取能力紧密相关，原 算法在特征提取能力上还有一定进步的空间。本文为进一步增强模型的特征提取能力，在原 算法的基础上引入了 ，使模型更加关注重要信息，进一步提升精度。是由通道注意力机制（，）和空间注意力机制（，）串行连接组成，在输入特征 的基础上依次融合了通道和空间两种维度上的注意力权重 ，最终与输入特征不断相乘输出一个新的特征。这样不仅节约了计算力，而且与单一使用通道和空间注意力机制相比，特征图上的特征信息更容易被突显出来，从而提高模型的准确率 。基本结构如图 所示。图 基本结构 通道注意力机制处理过程如图 所示。输入特征 分别经过全局最大池化和全局平均池化，然后送入共享多层感知机 ，将得到的特征进行对位相乘并进行加和操作，最终经过 激活函数得到通道注意力特征。图 通道注意力机制处理过程 空间注意力机制处理过程如图 所示。输入特征 是原始输入特征 与通道注意力机制生成的通道注意力特征 进行乘法操作所得到的，输入特征 经过基于通道的全局最大池化和全局平均池化，得到 个特征图并将其进行通道拼接和非线性运算，再经过一层卷积进行降维之后得到空间注意力特征。最后，再将输入特征 与空间注意力特征 进行乘法操作得到最终的输出特征。图 空间注意力机制处理过程 模块 主干网络的主要作用是对输入图像进行特征提取，但原 主干网络感受野相对较小，导致获得的局部信息过多，全局信息过少，进而影响检测的准确率。所以为进一步增大模型的感受野，提高算法的准确率，在原 的主干网络引入 模块。模块模仿了人类视觉的特点，将感受野和偏心率联系在一起，其结构与 结构相似，主要由不同尺度的常规卷积组成的多分支卷积层和不同尺度的空洞卷积层组成。多分支卷积层主要用来模拟群体感受野中不同的感受野，空洞卷积层主要用来模拟群体感受野尺度与偏心率之间的关联度 。这种结构不仅不会增加参数量，而且还扩大了感受野，提高了算法的检测精度。图 为 网络结构，输入特征图首先通过 个分支来完成特征融合，个分支分别通过 卷积（）降低特征图的通道数，然后其中 个分支分别通过 和 的卷积核构成多分支结构来获取多尺度特征，并在对应的每个分支上分别引入扩张率（）为 、的 空洞卷积来增大网络的感受野 。当扩张率为 时，空洞卷积就是常图 网络结构 北京信息科技大学学报（自然科学版）第 卷规的卷积。空洞率不同时，获得感受野的大小也不同。模块将扩张率设置为 、这种组合，使得采样点交错，尽可能多的学习局部信息，减少了网格效应带来的信息丢失。最后将 个分支的输出通过 卷积和拼接操作（）连接在一起完成特征融合。将特征融合后的特征图与输入特征图通过捷径连接（）层进行张量相加，并通过 激活函数完成最后的输出。实验及结果分析 数据集与实验环境本文实验所用的口罩数据集主要来自于 数据集中的部分图片、网络上收集的图片和生活中收集的图片。数据集总共有 张，划分为训练集 张，测试集 张，验证集 张，图 为部分数据集示例。图 （）为单人脸数据集示例，其中包含单人正面未遮挡佩戴口罩情况、单人正面遮挡未佩戴口罩情况、单人正面未遮挡未佩戴口罩情况、单人侧面未遮挡佩戴口罩情况等。图 （）为多人脸数据集示例，其中包含多人侧面佩戴口罩以及未佩戴口罩混合情况、多人正面佩戴口罩以及未佩戴口罩混合情况、多人正面佩戴口罩情况、多人侧面佩戴口罩情况等。图 部分数据集示例 在建立数据集的时候通过 软件对图片进行标记，佩戴口罩的标记为 ，未佩戴口罩的标记为 。为确保改进算法的准确性和有效性，本文所有实验统一在表 实验环境及配置下进行。表 实验环境配置 实验环境配置操作系统 处理器 机带 系统类型 位操作系统编程语言 编辑器 深度学习框架 实验参数和评价指标实验的具体参数如表 所示。为确保改进算法的准确性和有效性，本文所有实验均在同一参数下进行。表 实验的参数设置 实验参数参数值迭代次数 每次处理张数图像尺寸 实验主要的评价指标有：精确率（）、平均精度均值（，）和召回率（）。实验结果与分析为验 证 本 文 所 提 方 法 的 有 效 性，在 原 始 算法的基础上依次加入 模块、注意力机制、模块和 注意力机制，同时与目前几种主流的目标检测算法进行对比，消融实验的结果如表 所示。表 消融实验结果 算法精确率平均精度均值召回率参数量训练时间 权重文件大小 从表 可以看出，在原 算法的基础上引入 模块后，精确率提高 百分点，平均精度均值提高 百分点；在原 算法的基础上引入 注意力机制后，精确率提高 百分点，平均精度均值提高 百分点；在原 算法的基础上同时引入 模块和 注意力机第 期张文铠等：基于改进 的口罩佩戴检测算法制后，精确率提高 百分点，平均精度均值提高 百分点。在原 算法的基础上同时引入 模块和 注意力机制的精确率和平均精度均高于在原 算法的基础上单独引入 模块和 注意力机制，进而验证了本文所提改进算法的有效性。同时，本文提出的改进 算法与 算法相比，精确率提高 百分点，平均精度均值提高 百分点；与最新提出的 算法相比，精确率提高 百分点，平均精度均值提高 百分点，召回率提高 百分点。本文提出的改进 算法在满足实时检测的基础上，检测精确率及平均精度均值均大幅优于其他算法。图 所示为算法改进前后的精确率 召回率曲线对比。精确率 召回率曲线与坐标轴围成的面积即为该类别的平均精度值，围成的面积越大表示平均精度值越高。平均精度均值是指交并比阈值为 时所有类别的平均精度均值。图 算法改进前后精确率 召回率曲线对比 由图 可知，改进后的 算法平均精度均值由 提升至 ，提高 百分点。其中佩戴口罩类平均精度由 提升至 ，提高 百分点；未佩戴口罩类平均精度由 提升至 ，提高 百分点。综上所述，本文改进的 算法平均精度和平均精度均值均优于原 算法。图 为算法改进前后的检测效果对比，其中图（）为输入图片，图（）为原 算法的检测效果，图（）为本文改进 算法的检测效果，其中检测框上方标示着检测类别以及该类别的置信度。图 算法改进前后检测效果对比 由图 可知，原 算法和本文改进的 算法都可以准确地检测出口罩佩戴情况，但本文改进的 算法检测效果置信度高于原 算法，可以证明本文改进的 算法检测效果优于原 算法。北京信息科技大学学报（自然科学版）第 卷 结束语为提升口罩佩戴检测算法的精度，本文提出了基于 改 进 的 口 罩 佩 戴 检 测 算 法。在 的基础上，在头部网络引入 注意力机制，在主干网络引入 模块。实验结果表明，改进后的 口罩佩戴检测算法精确率达到 ，较原网络提高 百分点，平均精度均值达到 ，提高了 百分点，模型精度在原有的基础上得到大幅提升。但在引入注意力机制和各种模块之后，会增加原有模型的参数量，所以后续的工作将着重于模型轻量化的研究。参考文献：郭雄，高伟，冯崇斌，等 佩戴口罩对冬季内科疾病的预防作用 空军军医大学学报，（）：，（）：（），：，：张静，农昌瑞，杨智勇 基于卷积神经网络的目标检测算法综述 兵器装备工程学报，（）：，（）：（）卢俊俏，颜思璇 基于 行人检测识别的研究与改进 网络安全技术与应用，（）：，（）：（）任钰，刘全金，黄忠，等 基于 与迁移学习的口罩佩戴检测算法 安庆师范大学学报（自然科学版），（）：，（），（）：（）卢云聪 基于 算法的口罩佩戴检测模型 科技与创新，（）：，（）：（）王婉婷，姜国龙，褚云飞，等 从 到 系列的物体检测系统综述 齐鲁工业大学学报，（）：，（）：（）薄景文，张春堂 基于 的轻量化口罩佩戴检测算法 电子测量技术，（）：，（）：（）金鑫，曾思轲，刘阳，等 基于改进 的口罩佩戴检测算法 计算机与现代化，（）：，（）：（）李小波，李阳贵，郭宁，等 融合注意力机制的 口罩检测算法 图学学报，（）：，（）：（），：（）：于雪莹，高继勇，王首程，等 基于生成对抗网络和混合注意力机制残差网络的苹果病害识别 中国农机化学报，（）：，（）：（）姬广凯，王蓉，彭舒凡 基于注意力机制与条件卷积的行人重识别方法 北京航空航天大学学报：，：（）袁红春，臧天祺 基于注意力机制及 的水下垃圾目标检测 环境工程，（）：，（）：（）陈梦涛，余粟 基于改进 模型的交通标志识别研究 微电子学与计算机，（）：，（）：（）郑伟，赵金芳，张奕婧，等 基于感受野扩增和注意力机制的 脑肿瘤 图像分割 河北大学学报（自然科学版），（）：，（），（）：（）