基于YOLOv5的火灾场景检测算法.pdf

2023 年第 8 期168智能技术信息技术与信息化基于 YOLOv5 的火灾场景检测算法何宗锋1 陈达贵1,2 刘恒瑞1HE Zongfeng CHEN Dagui LIU Hengrui 摘要 火灾是经常危害公众安全，影响社会发展的灾害之一。及时地发现火灾，预警火灾，对于保卫人民生命财产安全，维护社会治安稳定有着重大意义。针对上述问题，设计了一种基于 YOLOv5 目标检测网络的火灾场景检测算法。算法首先在数据增强方面使用 Mosaic-9 方法来对训练集进行数据增强，使得网络具有更好的泛化能力，从而更好适用于应用场景。而后，为了更进一步提升检测精度，在 backbone中嵌入了 CBAM 注意力机制模块，通过对特征通道和空间的学习，使得网络能够更好地提取到有用特征并抑制不重要特征。实验结果表明，改进后的网络在 fi re-images 数据集上取得了良好的性能，相对于YOLOv5n 原网络，在推理时间几乎等同的情况下，精度提升了 5.7%，mAP0.5 提升了 2.4%。关键词 火灾检测；深度学习；CBAM；数据增强doi：10.3969/j.issn.1672-9528.2023.08.0371.福州大学物理与信息工程学院、微电子学院 福建福州 350108 2.福建江夏学院 福建福州 3501080 引言火灾检测是一项具有重要意义的任务，它能够保护人类的生命和财产安全。火灾可能随时发生，并且一旦发生就极有可能具有破坏性和危险性，因此需要及时发现并采取措施来防止火灾扩大。传统的火灾检测是通过各类传感器来实现，火灾发生时产生的烟雾、光照和高温触发传感器内部提前设好的阈值，从而达到报警效果1。但是传统火灾检测有各种各样的缺点：（1）火灾发生时烟雾必须达到一定浓度才能触发，若传感器离烟雾过远时，此时可能已经错过最佳扑救时间。（2）传感器长时间使用后，由于灰尘等的影响，必须清洗并重新标定，花费巨大的人力财力。（3）部分传感器成本高，铺设范围广，开销巨大2-3。近年来计算机视觉技术发展极为迅速，这使基于图像的火灾检测算法变得越来越可行。其中，基于深度学习的目标检测算法是其中最有前景的一类4。这些算法具有高精度和高速度的优点，可以在实时环境中进行火灾检测5。通过使用目标检测算法，我们可以更快地发现火灾并采取措施，从而最大限度地保护人类的生命和财产。梅建军等人6通过对ViBe 算法改进，实现了图像运动区域的选择性更新，并提出两种新的早期火焰特征从而实现火灾检测。张杰等人7将火灾检测过程整合为一个单深度卷积神经网络，使预处理环节复杂度减小，便于优化和训练。皮骏8等提出了一种轻量化的 YOLOv5s 火灾检测算法并添加了位置注意力模块，使检测正确率提高并且能部署在嵌入式设备上。YOLO（you only look once）是一种流行的实时目标检测算法，在车载无人驾驶、机器人和监控等各种领域中广泛使用。该算法最初由 Joseph Redmon 和 Ali Farhadi 在 2016 年提出，此后经过了多次更新和改进。原始的 YOLO 算法使用单一卷积神经网络(convolution neural network,CNN)来检测图像中的对象9。它将图像划分为网格，并将每个网格单元分配给检测其中的对象的任务。这使得 YOLO 可以在一次遍历中处理图像，比其他需要多次遍历的目标检测算法快得多。在 YOLO 的后续版本（如 YOLOv2 和 YOLOv3）中，算法通过对 CNN 的架构进行更改以及采用锚框来提高不同形状物体的检测精度。此外，这些版本的 YOLO 使用了特征金字塔网络结构(feature pyramid networks,FPN)来处理不同尺度的物体，使其更能适应不同物体大小。最新版本的 YOLOv5 引入了与先前版本相比的许多新功能和改进。它使用了一种新的 Cross Stage Partial Net（CSPNet）架构10，提高了模型检测小物体的能力。此外，YOLOv5 采用了可动态重配置网络结构宽度和深度的设计，在此基础上通过对这两种参数进行设置，可以得到不同大小的网络模型，从而可以对不同的场景使用不同的结构模型。1 YOLOv5 算法改进基于深度学的目标检测方法有一阶段(one-stage)和二阶段(two-stage)两种，常见的二阶段目标检测算法有 R-CNN、SPP-Net、fast R-CNN 和 faster R-CNN 等，它们都是先生成一 2023 年第 8 期169智能技术信息技术与信息化个可能含有待检测物体的预选框，然后通过卷积层进行目标预测11。一阶段目标检测算法有YOLO、SSD和RetianNet等，一阶段算法直接通过网络提取特征并进行目标预测和位置标定，其中 YOLO 是应用最广泛的一种，和二阶段相比 YOLO最大的优点就是检测速度快12。1.1 YOLOv5 的网络结构YOLOv5 目 前 有 5 个 版 本，分 别 为 YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l 和 YOLOv5x。其中YOLOv5n 是 YOLOv5 的轻量化版本，它的检测速度快，网络规模小。YOLOv5 网络主干结构由 Backbone、Neck 和 Head 三部分组成。YOLOv5 模型的 Backbone 主要由 Focus、Conv 卷积、C3 和空间金字塔池化(spatial pyramid pooling network,SPP)模块组成。输入的 6406403 图片通过 Focus 层切片，将输入图片相邻像素的值取出组成新图，这样不但没有数据丢失还使数据输入通道扩充，减小图片长宽，YOLOv5 的后续版本中，将 Focus 替换为卷积核大小为 6*6 的卷积层，实现了相同效果的同时，也提高了效率。Conv 卷积层和 C3 层对图像进行特征提取，得到有用信息。SPP 模块对图像进行池化操作以提升模型精度并获得更多特征。YOLOv5 模型的 Neck 采用 FPN 结构和路径聚合网络结构(path aggregation network,PAN)相结合，对不同层的特征图拼接。由于高层次特征有丰富的语义，但是分辨率低、目标位置不准确甚至部分目标消失；而低层特征的目标位置是准确的，分辨率高，但是语义信息少。FPN 结构将高层特征向下传播，弥补了低层特征的语义，这样就能在低层网络获得分辨率高、语义强的特征信息。而采用 FPN 与 PAN 相结合的结构，则保留了更多低层的位置特征，缩短了信息传播路径并且获得更丰富的特征信息。YOLOv5 模 型 的 Head 根 据 从 Neck 输 出 2020，4040，8080 三种不同尺寸的特征图，通过损失函数和非极大值抑制(non maximum suppression,NMS)对目标进行预测。1.2 CBAM 注意力机制模块卷 积 块 注 意 力 模 块(convolutional block attention module,CBAM)是一种简单有效的前馈卷积神经网络注意力模块13。CBAM 注意力机制模块得到特征图后先将特征图沿通道维度进行处理，再沿空间维度处理，最后将得到的注意力图与原始特征图相乘进行特征细化。CBAM 注意力机制模块资源消耗少，并且是一种通用模块，所以它能轻松地集成到其他 CNN 中。图 1 为 CBAM 注意力机制模块的示意图，绿框内为通道注意力模块，蓝框为空间注意力模块，其中通道注意力在前空间注意力在后。在通道注意力模块中，将输入特征图进行全局最大池化(global maximum pooling,GMP)和 全 局 平 均 池 化(global average pooling,GAP)操作，使用两种不同的池化可以得到更多高层次信息，聚合特征图信息后得到两个 11C 的特征图，再将这两个特征图送往多层感知器(multi-layer perceptron,MLP)中。这 个MLP 有两层并且是共享的，第一层神经元个数为 C/r（r 为减少比率），第二层神经元个数为 C，MLP 将输入特征图进行加和操作并通过 sigmoid 激活函数获得归一化通道注意力权重，最后将得到的权重和原始特征图相乘，获得空间注意力模块的输入。公式如下所示。c010M()()()()()P AvgPoolP MaxPool=+=+cc1avgmaxFFFW W FW W F （1）式中：表示 sigmoid 激活函数；P 表示感知器；cavgF表示平均池化特征；cmaxF表示最大池化特征；W0和 W1为多层感知器的两个权重，其中/r CC0WR，/C C r1WR，C 是特征通道维度的大小。空间注意力模块中，通过特征图的空间关系产生空间注意力图14。类似的，空间注意力模块将输入做全局最大池化和全局平均池化，这样操作能使信息区域更明显。在此模块中输入为 HWC，经池化操作后变为 HW2 的特征图，然后经过一个 77 卷积核，得到新的 HW1 的特征图。最后与通道注意力一样，经过 sigmoid 激活函数得到空间注意力图，再将空间注意力图与空间注意力模块的输入做乘法，得到最终特征。公式如下所示。7 7s7 7M()();()(;)fAvgPoolMaxPoolf=ssavgmaxFFFFF （2）式中：表示 sigmoid 激活函数；7 7f表示卷积核大小为 7*7的卷积运算；();()AvgPoolMaxPoolFF表示池化后的特征图。1.3 Mosaic-9 数据增强在一个神经网络的训练过程中，往往需要巨量的数据作为支撑，而获取数据需要花费很大的人工成本和时间，使用数据增强技术，通过计算机将图片旋转、裁剪、缩放平移等可以很好地避免这一问题。YOLOv5 中默认使用的是Mosaic-4 数据增强方法，在数据集里随机抽取四张图片，随图 1 CBAM 注意力机制模块2023 年第 8 期170智能技术信息技术与信息化机裁剪缩放后再拼接成一张图片，这种方法提升了训练速度但是与 Mosaic-9 相比训练量还是较多，使用 Mosaic-9 数据增强，一次随机抽取 9 张图片进行拼接，不但减少了训练量，还使小样本目标检测效果更好，同时也丰富了数据集。图 2 改进后的 YOLOv5n 模型该算法将 CBAM 注意力机制模块嵌入到 YOLOv5n 的Backbone 主干网络中，具体的添加位置为 C3 层后，共嵌入了 4 个 CBAM 模块。改进后的网络架构如图 2 所示。2 实验结果与实验分析2.1 实验平台与数据集实验平台采用 E5-2680V4 处理器，GPU 为 RTX3090，在 ubuntu20.04LTS 系统上进行算法的实验，开发环境为python3.8，CUDA 11.3，深度学习框架采用 PyTorch。实验采用的数据集为 kaggle 论坛中开源的 fi re-images 火灾数据集，共 2400 张图像，将其按照训练集，验证集，测试集 8 1 1的比例进行划分，采用人工 Label 的方式进行标注。图 3 Lable 坐标及大小Label的坐标位置和宽高大小如图3所示。可以由图得知，坐标位置较为平均，而宽高大小中，小目标的比重较大，而大目标的比重比较小。这种配置有利于更好地学习到火灾小目标的正确识别，对实际应用而言更加有利。2.2 评价指标采用精确率 P(precision)，mAP作为评价指标。精确率 P、召回率 R(recall)和平均精度 AP(average precision)是评估目标检测算法性能的三种常用指标。精确率是对正预测的准确性的度量，它是模型中所有正预测中真正预测的比例。换句话说，它是模型中所有预测中正确预测的比例。召回率是模型正确识别的实际正预测的数量的度量。它是所有实际正预测中真正预测的比例。换句话说，它是所有实际预测中正确预测的比例。平均精度是精确率-召回率曲线的平均值。它是目标检测算法整体性能的度量。AP 是目标检测研究和竞赛(如PASCAL VOC 和 COCO 挑战赛)中常用的指标。AP 是衡量目标检测算法整体性能的好指标，因为它考虑了精确率和召回率，并且能够处理多类目标和不同大小的目标。然而值得注意的是，高 AP 并不一定意味着算法在精确率和召回率之间有良好的平衡，因此需要看精确率-召回率曲线来了解算法在精确率和召回率方面的表现。另外，精确率和召回率之间常常存在权衡关系，即一个指标的提高可能会导致另一个指标的降低。例如，做出大量检测的模型可能具有高召回率但低精确率，而做出较少检测的模型可能具有高精确率但低召回率。因此，在评估目标检测算法的性能时，需要同时考虑精确率和召回率以及它们之间的权衡关系。2.3 结果分析表 1 为 YOLOv5n 网络添加 CBAM 注意力机制模块前后的效果对比。表 1 原网络与添加 CBAM 注意力机制后的结果对比5n5n_CBAM4ClassallallImages110110Instances141141P0.7380.795R0.7170.596mAP500.6770.701mAP50-950.3040.35训练时初始学习率 lr0 为 0.01，lrf 为 0.01，训练批次batch-size 为 32，训练轮次 epochs 为 300。对训练后的模型进行验证，得到上表结果。从表中可得，相对于5n原网络结构，添加了 CBAM 注意力机制模块后的网络参数增加了 0.01M，2023 年第 8 期171智能技术信息技术与信息化对网络的大小影响几乎可以忽略，在此基础上精确度 P 值提升了 5.7%，mAP值提升了 2.7%，结果表明，在使用 Mosaic-9数据增强模块对训练集进行数据增强，并采用 CBAM 注意力机制模块后，得到的新网络精度相对于原 5n 结构而言有较大提升。图 4 为 YOLOv5n 网络添加了 CBAM 注意力机制模块的火灾预测实验结果。图 5 为 YOLOv5n 原网络的预测结果。从两张图的对比中可以看出，两种网络均能很好对火灾进行识别，但是添加了 CBAM 注意力机制的网络对于检测框的置信度高于 5n 原网络，因此能更精确地对火灾进行识别。图 4 YOLOv5n_CBAM4图 5 YOLOv5n3 结语本文提出了一种基于 YOLOv5n 的改进型火灾场景检测算法，通过在 YOLOv5n 的 backbone 网络的 C3 层后面添加了 4 个 CBAM 注意力机制模块，使网络模型能更好地学习火灾场景，提高了网络模型对火焰的灵敏度和辨别能力。使用 Mosaic-9 数据增强，减少了训练量，丰富了数据集。对比YOLOv5n 原网络，对火焰检测更精准，对保护人民财产和人身安全具有重要启示，因此具有重要的研究意义。参考文献：1 祁瑞阳.基于图像处理的楼宇智能火灾检测算法 J.软件,2022,43(3):37-39.2 韦 海 成,王 生 营,许 亚 杰,等.样 本 熵 融 合 聚 类 算法的森林火灾图像识别研究 J.电子测量与仪器学报,2020,34(1):171-177.3 张为,魏晶晶.嵌入 DenseNet 结构和空洞卷积模块的改进YOLO v3 火灾检测算法 J.天津大学学报(自然科学与工程技术版),2020,53(9):976-983.4 邵延华,张铎,楚红雨,等.基于深度学习的 YOLO 目标检测综述 J.电子与信息学报,2022,44(10):3697-3708.5 李赞.基于深度学习的火灾检测研究与实现 D.宁夏大学,2021.6 梅建军,张为.基于 ViBe 与机器学习的早期火灾检测算法J.光学学报,2018,38(7):60-67.7 张杰,隋阳,李强,等.基于卷积神经网络的火灾视频图像检测 J.电子技术应用,2019,45(4):34-38+44.8 皮骏,刘宇恒,李久昊.基于 YOLOv5s 的轻量化森林火灾检测算法研究 J/OL.图学学报:1-92023-02-10.http:/ 耿创,宋品德,曹立佳.YOLO 算法在目标检测中的研究进展 J.兵器装备工程学报,2022,43(9):162-173.10 李维刚,杨潮,蒋林,等.基于改进 YOLOv4 算法的室内场景目标检测 J.激光与光电子学进展,2022,59(18):251-260.11 向伟,祝来李,王莉.基于注意力机制和尺度均衡金字塔网络的目标检测 J.西南民族大学学报(自然科学版),2023,49(1):74-82.12 李 丹 阳,冯 海 兵,聂 孝 亮,等.基 于 YOLO V5 的 噪声 条 件 下 SAR 图 像 舰 船 目 标 检 测 J.舰 船 电 子 对抗,2022,45(6):68-72+99.13WOO S,PARK J,LEE J Y,et al.CBAM:convolutional block attention moduleC/Proceedings of the European Conference on Computer Vision(ECCV).Berlin,German:Springer Press,2018:3-19.14 袁嘉杰,张灵,陈云华.基于注意力卷积模块的深度神经网络图像识别 J.计算机工程与应用,2019,55(8):9-16.【作者简介】何宗锋（1998），男，陕西西安人，福州大学物理与信息工程学院、微电子学院硕士研究生，研究方向：图像处理、深度学习，邮箱：。陈达贵（1975），男，福建福州人，博士，教授，研究方向：图像处理，深度学习，邮箱：。（收稿日期：2023-02-17 修回日期：2023-04-23）