基于YOLOX的森林火灾早期预警研究.pdf

第 61 卷 第 11 期Vol.61 No.112023 年 11 月November 2023农业装备与车辆工程AGRICULTURAL EQUIPMENT&VEHICLE ENGINEERINGdoi:10.3969/j.issn.1673-3142.2023.11.021基于 YOLOX 的森林火灾早期预警研究邱思远1，王孝兰1，张伟伟1，徐杰杰1，陈彦召2，王战乐2（1.201620 上海市 上海工程技术大学 机械与汽车工程学院；2.200540 上海市 上海虹润建筑防水工程有限公司）摘要 在森林火灾早期，烟雾形态多变、火焰较小、背景噪声干扰等使现有目标检测算法在应对复杂森林火灾环境时，表现出精度低、误检漏检和速度慢。针对这些问题，提出基于改进的 YOLOX 森林火灾检测模型。在YOLOX 的 Neck 网络中添加了 SimAM 注意力模块，增强算法对烟雾和火焰的特征提取能力，抑制背景噪声，并对Backbone 进行优化，加快网络的推理速度；考虑到烟雾与火焰在空间上的相关性，改进了 YOLOX 的后处理算法，进一步提高了目标检测的精度。实验结果表明，与原 YOLOX 算法相比，改进算法在自制森林火灾数据集上 mAP提高了 2.4%，对烟雾和火焰的识别率明显提升。关键词 YOLOX；森林火灾；检测精度；注意力机制 中图分类号 TP391.4 文献标志码 A 文章编号 1673-3142(2023)11-0106-05引用格式：邱思远，王孝兰，张伟伟,等.基于 YOLOX 的森林火灾早期预警研究 J.农业装备与车辆工程,2023,61(11):106-110.Research on early warning of forest fire based on YOLOXQIU Siyuan1,WANG Xiaolan1,ZHANG Weiwei1,XU Jiejie1,CHEN Yanzhao2,WANG Zhanle2(1.School of Mechanical and Automotive Engineering,Shanghai University of Engineering Science,Shanghai 201620,China;2.Shanghai Hongrun Building Waterproof Engineering Co.,Ltd.,Shanghai 200540,China)Abstract In the early stage of forest fires,the variable form of smoke,the small size of the flame and the background noise interference made the existing object detection algorithms exhibit low accuracy,false detection and slow speed when dealing with this complex environment.An improved YOLOX forest fire detection model was proposed based on these problems.The SimAM Attention Module was added to YOLOXs Neck network to enhance the algorithms feature extraction capabilities for smoke and flames,suppress background noise,and optimize Backbone to speed up the inference of the network.The spatial correlation between smoke and flame was considered,the post-processing algorithm of YOLOX was improved,and the accuracy of object detection was further improved.Experimental results showed that,compared with the original YOLOX algorithm,the improved algorithm had an increase of 2.4%in mAP on the self-made forest fire dataset,the recognition rate of smoke and flame was significantly improved.Key words YOLOX;forest fires;detection accuracy;attention mechanism0 引言全球气候变暖引发的极端高温天气导致森林火灾频繁发生。我国森林覆盖面积巨大，每年森林火灾都会造成巨大的经济损失。森林防火作为我国林业生态体系的重要组成部分，是维护林业资源安全、巩固林业建设的重要保障。森林火灾预警一直都是保障人民生命财产安全的关键课题，其中烟火产生初期是火灾预警的最重要阶段1，因此，森林火灾早期预警成为一种迫切的需求。早期的森林火灾检测借助热成像相机对火焰和烟雾发出的红外辐射进行捕捉，进而形成热力图，再使用传统的图像算法定位火点的位置，实现森林火灾早期预警。王文豪等2通过对火灾图片进行阈值分割，提取火焰候选区进行识别。这种方法在特定场景下具有较高的检测精度和速度，但受环境的影响大，且热成像相机价格昂贵、分辨率较低，检测范围受限。随着近些年深度学习和计算机视觉技术的发展，森林火灾预防能力也得到相应提高。但森林场景存在距离远、光照条件多变、易受天气干扰等复杂因素，现有火灾检测算法的误报率和漏报率仍存在较大的优化空间。吴凡3将 YOLOv3 的Backbone 替换为 Densenet，并在损失函数中引入Focal Loss，以此提高对火焰和烟雾的检测精度；收稿日期：2022-10-11107第 61 卷第 11 期谢书翰等4在 YOLOv45网络结构中添加了通道注意力模块，增强网络对烟雾的特征提取能力，进而提高网络的检测精度。但是这些森林火灾检测算法大部分是基于锚框的目标检测算法，性能受锚框尺寸和高宽比限制，很多网络一般将锚框的尺寸和高宽比固定，很难处理形状变化大的目标，尤其是对于烟雾和火焰这些形态变化极大的目标往往检测效果不佳。在森林火灾检测的任务中，希望检测网络可以有很高的召回率，尽可能不发生漏检的情况。为了较高的召回率，基于锚框的目标检测网络需要在检测图片上生成非常密集的锚框。森林火灾检测中目标锚框的数量很少，导致有许多锚框会被划分为负样本，使正负样本极度不均衡，影响网络检测精度，锚框的引入使得网络在训练过程中更加繁琐。针对现有算法对早期森林火灾检测精度低、误检漏检和推理速度慢等问题，本文使用无锚框的YOLOX6作为森林火灾的检测算法，并在 YOLOX的 neck 网络中添加 SimAM7注意力模块，增强算法对烟雾和火焰的特征提取能力，抑制背景噪声，并对 Backbone 进行优化，加快网络推理速度。同时，考虑烟雾与火焰在空间上的相关性，改进了YOLOX的后处理算法，进一步提高算法检测精度。1 改进的 YOLOX 森林火灾检测模型1.1 优化 YOLOX 的 Backbone 模块为了加快网络模型的推理速度，如图 1 中的Backbone，YOLOX 网络 Backbone 中的 Focus 模块是在输入图片特征层上每隔一个元素取一个值，将一个通道的特征变为 4 个通道特征，将原有的 3 通道变为 12 通道。Focus 模块可以被看作是一种下采样方式，其功能与卷积核大小为 66的普通卷积等效，但是其运算效率比66 的普通卷积更低。所以本文将原有的 Focus 模块用一 个 66 的 普 通卷积替换，以提高模型的推理速度。受 SPP-net8启发，YOLOv3-SPP 网络中引入了SPP 模块用以实现不同尺度的特征融合，显著提高了网络的检测精度。如图 1 所示，SPP 结构是将输入特征并行的通过不同大小的最大池化层后，再将不同输出的特征进行拼接，实现不同尺度的特征融合。SPPF 是对于 SPP 结构的一个改进，SPPF 与 SPP 的不同点在于，SPPF 是将输出的特征依次串行输入到 3 个大小为 55 的最大池化层，再将每一层的输出结果进行拼接，因此 SPPF 相比 SPP 计算量更少，速度更快。本文将 SPP 结构替换为更高效的 SPPF 结构。1.2 YOLOX 引入 SimAM 注意力机制针对森林火灾检测中烟雾和火焰形状多变、检测目标较小的问题，烟雾检测易受天气、光照、背景噪声等因素干扰，为了提高模型的抗干扰和特征提取能力，本文将无参数的 SimAM 注意力模块引入 Neck 特征融合网络中。与 BAM、CBAM 从特征的通道和空间维度去关注信息的重要性不同，SimAM 注意力直接计算各个神经元相对于整体的重要性，并且不需要引入额外定位参数，通过借鉴人类神经科学的理论，携带更多信息的神经元与其周边神经元放电更为强烈，并对周边的神经元产生空域抑制，这与在检测任务中带有目标物信息的神经元应赋予更高的权重是类似的，在森林火灾检测任务中对携带烟雾和火焰特征的神经元赋予更高的权重，增强对烟雾和火焰特征提取能力与抑制背景噪声信息。如图 1 所示，本文在 YOLOX 网络的 Neck 结构中引入了 SimAM 注意力机制对主干网络提取出的特征进行融合优化，进而减少云朵噪声对烟雾检测的影响，提高了森林火灾检测模型的健壮性。图 1 改进后的 YOLOX 网络结构Fig.1 Improved YOLOX network structure邱思远 等：基于 YOLOX 的森林火灾早期预警研究108农业装备与车辆工程 2023 年SimAM 首先定义了一个线性可分能量函数，能量越低神经元的重要程度也越高，用能源函数评估特征网络中每个神经元的重要性。如式（3）所示，et*能量值越小，表明目标神经元与相邻神经元区分度越大，重要程度越高。通过式（3）计算每个神经元的能量，得到能量矩阵。如式（4）所示，将能量矩阵 E 与输入特征 X 运算得到最终该层网络的输出，具体公式为Mx1iiM1n=t/(1)Mx1iiM212vn=-=tth/(2)et224t22nvmvm=-+)ttthh (3)sigmoidXXE19=ubl (4)式中：t 目标神经元；x 相邻神经元；超参数。2 YOLOX 后处理算法的优化现有的后处理算法一般先设置置信度阈值，过滤掉低于阈值的目标框，然后再通过非极大值抑制方法过滤掉相似的目标框。但是在森林火灾检测任务中，烟雾和火焰一般是同时出现的，在空间位置上具有较强的相关性，本文对这一特性建模，并将其融入后处理算法，以提高森林火灾的检测精度。本文参考 DIoU9损失对 2 个目标框在空间位置上的相似关系建模。如图 2（a）所示，通过计算 2 个目标框中心点的距离 p 和 2 个不同类别的目标框对角线长 d1和 d2，构建如式（5）的相关性函数。2 个不同类别的目标框在空间上越相关，计算出的系数越大。当相关系数 k0.1 时，认为 2 个目标框在空间上是强相关，构建如式（6）的优化函数用来优化 2 个强相关的目标框。算法流程同非极大值抑制，通过迭代遍历优化所有目标框。(5)(6)式中：cbase图片中候选目标框中最大置信度；ci 其他目标框置信度；cinew 优化后的置信度。如果 2 个不同类别的目标框是强相关，则根据 2 个目标框的相关性系数，优化其中置信度较低的目标框的置信度，如图2所示。首先，通过式（5）对图 2（b）中所有不同类别的目标框做相关分析，然后基于分析结果借助优化公式（6）对目标框的置信度进行优化，结果如图 2（c）所示，显著提高了烟雾的置信度。将这部分后处理算法加入到原有后处理算法后面，以提高两个相关目标的置信度。3 实验结果与分析3.1 数据集本文使用的实验数据集为自定义数据集，检测目标为火焰、烟雾 2 类。在网络上搜集各种场景的火灾图片、视频，挑选尽可能贴合森林火灾检测场景的图片。本文实验的数据集包括 5 000 张森林火灾图片和 3 000 张城市火灾图片，如图 3（a）、图3（b）所示；考虑到烟雾与云雾的相似性，添加了1 000张包含云雾的正常图片作为负样本，如图3（c）所示；为了扩充森林场景下的烟雾标签数量，还添加了 1 000 张人造森林烟雾数据集，如图 3（d）所示，数据集共计 10 000 张图片。3.2 实验环境实验在 Python3.8、CUDA 11.3、PyTorch1.10.1、NVIDIA Geforce RTX 3070 GPU 环境进行，实验数据集按照 8 1 1 划分为训练集、验证集和测试集。实验中使用 Mosaic、HSV 和随机水平翻转等数据增强技术提高模型的泛化能力。训练迭代次数设置为 300 个 epoch，批量大小设置为 32，初始的学习率被设置为 0.001，优化器使用Adam，动量为 0.937。b1d1b2d2p （a）（b）（c）图 2 后处理优化原理图Fig.2 Postprocessing optimization schematic（a）2 个目标框模型 （b）目标框相关性分析 （c）目标框置信度优化结果109第 61 卷第 11 期邱思远 等：基于 YOLOX 的森林火灾早期预警研究3.3 评价标准实验用精确度Precision（P）、召回率Recall（R）、平均精度 Average Precision（AP）和平均精度均值mean Average Precision（mAP）等作为模型评价指标，计算公式为PTPFPTP=+(7)RTPFNTP=+(8)dAPP RR01=g#(9)mAPnAP1iin1=/(10)式中：TP（True Positives）在一定 IoU 阈值下，预测框与目标框的 IoU 大于阈值的数量；FP（False Positives）预测框与目标框的 IoU 小于阈值的数量；FN（False Negatives）目标框中没有被预测出来的数量；n 数据集中的类别数。3.4 实验结果分析为了分析 Backbone 改进、SimAM 网络模块和改进后处理算法对模型性能的影响，本文通过控制变量的方式设计不同实验组对不同的改进进行实验分析。模型测试结果如表 1 所示。分析表 1 发现，改进 1 将 YOLOX 网络中的 Focus 和 SPP 分别替换运算更高效的 66 的普通卷积和 SPPF 后，模型推理速度有明显提升；改进 2 在 YOLOX 网络的Neck 结构中添加 SimAM 注意力模块可以增量网络的特征提取能力，同时抑制了噪声在网络中的传递，mAP 提升了 1.12%；改进 3 使用改进的后处理算法强调烟雾和火焰的空间联系，mAP 提升了 1.03%；表 1 不同改进方法的实验结果Tab.1 Experimental results of different improvement methods改进名称 Backbone改进 Neck改进 后处理优化 mAP/%FPSYOLOX72.3269.56改进 172.5770.66改进 273.6963.47改进 374.7262.133.5 应用部署本文将训练好的 YOLOX 模型应用于课题组的复合图像火灾早期预警探测装备研发项目，预警探测装备结构如图 4 所示。为了加快 YOLOX 模型的推理速度，使用TensorRT 高性能推理库将 YOLOX 模型部署到项目（c）（a）（b）（d）图 3 森林火灾数据集中的部分图像Fig.3 Some images from a forest fire dataset（a）森林火灾 （b）城市火灾（c）正常云雾 （d）人造森林烟雾图 4 复合图像火灾早期预警探测装备图Fig.4 Composite image fire early warning detection equipment diagram110农业装备与车辆工程 2023 年的工控机上，与系统中基于热成像相机的火灾检测模块相配合。2 个模块配合过程流程：首先将项目中高清相机抓取到的实时视频流输入 YOLOX 模型进行推理，当 YOLOX 模型检测到火灾时，根据图片中的火点检测框和相机参数，计算实际的火点方位角；根据方位角通过云台调整将热成像相机视野方向对准火灾位置，对火点进行二次检测，最终实现对早期森林火灾的预警。4 结语针对现有森林火灾检测算法在应对森林火灾早期复杂场景时存在精度低、误检漏检和速度慢等问题，本文提出基于改进的 YOLOX 森林火灾检测模型，改进后的 YOLOX 算法检测效果如图 5 所示。首先，为了增强算法对烟雾和火焰的特征提取能力和抑制背景噪声，在 YOLOX 的 Neck 网络中添加了 SimAM 注意力模块；为了加快网络的推理速度，对 YOLOX 的 Backbone 进行优化，将 Focus 和SPP 模块用更高效的卷积和 SPPF 模块进行替换；考虑到烟雾与火焰在空间上的相关性，并对这种相关性进行建模，将模型应用于 YOLOX 后处理算法，进一步提出算法的检测精度；在数据集方面，充分考虑到了森林火灾检测的中云雾噪声对烟雾检测的影响，通过加入云雾数据集作为负样本，进一步提高模型的鲁棒性和泛化能力；最后，将改进的YOLOX 模型应用于实际的森林火灾检测设备中，与热成像相机相配合实现对森林火灾的早期预警。结果表明，本文提出的森林火灾检测方法对森林火灾早期的烟雾和火焰检测具有很好的性能表现。参考文献1 BU F,GHARAJEH M S.Intelligent and vision-based fire detection systems:A surveyJ.Image and Vision Computing,2019,91(Nov.):103803.1-103803.15.2 王文豪,刘尚勤,叶庆生.视频火灾检测的设计与实现 J.计算机工程与设计,2008,29(3):4.3 吴凡.基于深度学习的火灾检测算法研究与实现 D.杭州:杭州电子科技大学,2021.4 谢书翰,张文柱,程鹏,等.嵌入通道注意力的 YOLOv4 火灾烟雾检测模型 J.液晶与显示,2021,36(10):9.5 BOCHKOVSKIY A,WANG C Y,LIAO H Y.YOLOv4:optimal speed and accuracy of object detectionJ.arXiv:Computer Vision and Pattern Recognition,2020.6 ZHANG G,LIU S T,WANG F,et al.YOLOX:exceeding YOLO series in 2021J.arXiv:Computer Vision and Pattern Recognition,2021.7 Yang L,Zhang R Y,Li L,et al.SimAM:a simple,parameter-free attention module for convolutional neural networksC/International Conference on Machine Learning.PMLR,2021.8 HE K M,ZHANG X Y,REN S Q,et al.Spatial pyramid pooling in deepconvolutional networks for visual recognitionJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.9 ZHENG Z H,WANG P,LIU W,et al.Distance-IoU loss:faster and better learning for bounding box regressionJ.arXiv,2019.作者简介 邱思远，男，硕士研究生，研究方向：计 算 机 视 觉。E-mail：王孝兰，女，讲师，研究方向：智能车辆导航控制。E-mail：张伟伟，男，副教授，研究方向：图像处理与机器学习。E-mail：图 5 改进后的 YOLOX 检测效果图Fig.5 Detection results of improved YOLOX