基于YOLOv7的复杂场景行人检测.pdf

计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛基于YOLOv7的复杂场景行人检测张子怡1，丁学文1，2，刘文艳1，蔡鑫楠1（1.天津职业技术师范大学 电子工程学院，天津300222；2.天津云智通科技有限公司，天津300350）摘要：YOLOv7是目前所有目标检测模型中速度最快和准确度最高的模型，但是应用在复杂场景下的行人目标时，由于提取的特征包含大量冗余背景信息，不能聚焦在行人目标区域，仍存在错检、漏检的情况。为解决这一问题，提出了一种基于YOLOv7的改进模型，在卷积层加入金字塔特征融合策略（Adaptively Spatial Feature Fusion，ASFF），通过在空域过滤冲突信息以抑制不一致的特征，使网络对不同尺度目标的特征融合能力有所提高。在Human Crowd数据集进行训练和测试改进后的模型效果检测。实验结果表明，改进的YOLOv7算法平均精度为73.5%，与原来的YOLOv7相比，平均精度提升了10.6%,且速度提升为原来的26.14%。关键词：YOLOv7；行人检测；特征融合网络；平均精度值中图分类号：TP391.4文献标志码：A文章编号：1008-1739（2023）18-68-5ZHANG Ziyi1,DING Xuewen1,2,LIU Wenyan1,CAI Xinnan1渊1.School of Electronic Engineering,Tianjin University of Technology and Education,Tianjin 300222,China;2.Tianjin Yunzhitong Technology Co.,Ltd.,Tianjin 300350,China)YOLOv7 is currently the fastest and most accurate model among all target detection models.However,when it is appliedto pedestrian targets in complex scenarios,a lot of redundant background information is contained in the extracted features,making itdifficult to focus on the pedestrian target area,and there are still errors and omissions in detection.In order to solve this problem,animproved model based on YOLOv7 is proposed,in which the Adaptively Spatial Feature Fusion(ASFF)strategy is added to theconvolution layer.By filtering conflict information in the spatial domain to suppress inconsistent features,the networks feature fusionability for targets of different scales is improved.The improved model detection effect is trained and tested in the Human Crowd dataset.The experimental results show that the average accuracy of the improved YOLOv7 algorithm is 73.5%.Compared with the originalYOLOv7 algorithm,the average accuracy is increased by 10.6%,and the speed is increased by 26.14%.YOLOv7;pedestrian detection;feature fusion network;average accuracy value收稿日期：2023-06-11基金项目：天津市科委科技特派员项目（20YDTPJC01110）；天津市高等学校科技发展基金计划项目（20110710）0引言目标检测是机器视觉1研究的热点问题，行人检测2作为目标检测的重要组成部分，其任务是对图像或视频中的行人进行精准识别和定位，是行人分割、行人重识别任务的前提，具有很高的研究价值和商业价值。然而在日常生活中，每个人都有不同的外表3，衣着服饰也不尽相同，而且行人呈现出的姿势也是各种各样的4。文献5-7阐述了在复杂场景下，有时难以将图像的背景和行人辨别出来，人群的清晰度也会受到距离、灯光和阴晴雨雪等8各种环境9的影响；同样会存在行人与背景相互遮挡、互相影响的情况10，并且在现实环境中，还存在着光照强度变化和行人轮廓差别等外界因素的制约，这些都会让检测任务变得更加艰难。针对实际场景下遮挡行人目标和小行人目标检测精度较低的问题，邹梓吟等11提出了一系列的解决方案，进一步提升了模型的检测精度、优化了模型的性能。但是对于遮挡严重的行人目标12，模型提取的特征包含大量冗余背景信息，不能聚焦行人目标区域，检测精度仍然不佳。针对上述问题，本文提出了一种改进的YOLOv7算法应用于复杂场景，该算法提升了网络对不同尺度目标的特征融合能力，从而提高了召回率和平均精确率。68计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛1 YOLOv7算法及改进1.1 YOLOv7网络结构YOLOv7算法共有7种网络模型，依次为v7、v7-d6、v7-e6、v7-e6e、v7-tiny-SiLU、v7-w6、v7x，这7种版本可以满足不同量级的设备使用。YOLOv7网络模型由input、backbone和head三个部分组成，与YOLOv5不同的是，YOLOv7将neck层与head层合称为head层，而实际上的功能是一样的。其各个部分的功能和YOLOv5相同：backbone由若干BConv层、E-ELAN层以及MPConv层组成，其中BConv层由卷积层+BN层+ReakyReLU激活函数组成，用于减半长宽、增倍通道和提取特征；head由SPPCSPC层、E-ELAN结构、MP结构（与backbone中参数不同）、若干BConv层、若干Catconv层以及后续输出3个head的重参数化结构RepVGG block层共同构成，其作用主要是预测不同大小的目标。其模型结构如图1所示。YOLOv7网络流程为：先对输入的图片预处理，对齐成640 pixel640 pixel大小的RGB图片，输入到backbone网络中，根据backbone网络中的3层输出，在head层通过backbone网络继续输出3层不同size的feature map，经过RepVGG block和conv，对图像检测的3类任务（分类、前后背景分割和候选框）预测，输出最后的结果。其区别于YOLOv5的点是基于ELAN的扩展ELAN（E-ELAN），其主要架构如图2所示。图1 YOLOv7模型结构69计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛图2（b）中CSPVoVNet的设计是VoVNet的变体，CSPVoVNet的体系结构分析了梯度路径，使不同层的权重能学习更多不同的特征。图2（c）中的ELAN通过控制最短最长梯度路径，更深的网络可以有效地学习和收敛。YOLOv7提出了基于ELAN的扩展ELAN（E-ELAN），其主要架构如图2（d）所示。E-ELAN没有改变原有体系结构的梯度传输路径，而是使用组卷积来增加所添加特征的基数，并以洗牌和合并基数的方式组合不同组的特征。这种操作方式可以增强不同特征的图所学习的特征，并改进参数和计算的使用。E-ELAN使用扩展、洗牌和合并基数来实现在不破坏原有梯度路径的情况下不断增强网络学习能力的能力。在体系结构方面，E-ELAN只改变了计算块中的体系结构，并根据集合组参数将每个计算块计算出的特征映射重新组合成组，然后将它们连接在一起添加特征映射以执行合并基数，保持了原来的ELAN设计架构，还可以指导不同组的计算块学习更多不同的功能。1.2 YOLOv7效果展示YOLOv7是现有的一些目标检测模型中速度最快和准确度最高的模型，不同版本的YOLO检测算法在没有使用任何其他数据集或预先训练的权重的前提下，在MS COCO数据集上的检测效果如图3所示。图3与其他实时目标探测器的比较1.3 YOLOv7算法的改进原YOLOv7模型特征融合网络为PANet，虽然相较于FPN能更好地融合不同尺度目标的特征、提升训练的效果，但是还存在改进的空间。本文加入了一种更加先进的特征融合网络金字塔特征融合策略(Adaptively Spatial FeatureFusion，ASFF)13，它是由恒等缩放和自适应融合两部分组成的，能够在空域过滤冲突信息以抑制不一致的特征，从而提升网络对不同尺度目标的特征融合能力。ASFF解决了单阶段检测的一个共有问题：特征金字塔的内部结构不一致。因此，它能让网络自主学习怎么在不同级别的层面完成特征的空间滤波，并且能够去除冗余信息，只留存有用信息完成组合。就某个层的特征而言，它会先将所有特征统一分辨率，然后进行简单的组合，之后通过训练找寻最优的融合形式，最后在特定的空间位置，把不同级别的特征自适应的融合起来。ASFF不同于现有的基于元素或级联的多层次特征融合方法，它的关键是自适应地学习不同尺度特征的空间权重。相应ASFF机制如图4所示。图4 ASFF-3以ASFF-3为例，图4中的绿色边框展示了如何进行特征融合：其中，前3层的特征1、2、3，分别乘上不同层的权重参数3、3和3后相加，就得到了一个全新的融合特征ASFF-3。即：，（1）图2扩展的高效层聚合网络（E-ELAN）（a）VoVNet（b）CSPVoVNet（c）ELAN（d）E-ELAN70计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛式中：，其经过1l、2l、3l的11卷积后得到。（2）经此计算后由式（1）得到的1、2、3对应图4中的ASFF-1、ASFF-2、ASFF-3。2实验及结果分析2.1数据集的相关说明本文采用公开的行人检测数据集Human Crowd，其数据量较大，训练集、测试集、验证集之比约为311，对应的图片数量分别为1 500、5 000、4 370张。其中，除测试集共有47万个实例，平均每张图片约有23人，并且有各式各样的遮挡问题。2.2模型评价指标YOLO将图像缩放到640 pixel640 pixel3大小，然后将图像解包成大小的网格。每个网格区域负责检测最多一个目标。将图像馈入主干特征提取网络。当要检测对象的中心点落入网格时，网格将为其预测个预测框。如果有类对象需要测量，则边界输出向量的维数为+5，其中5表示=（,），（,）表示预测框的中心点坐标，（,）表示其宽度和高度，表示其置信度，范围01。当预测框中存在对象时，()=1否则，()=0，(1)表示预测边界框和地面真相边界框的IoU，()表示当对象存在时，该对象属于类中的第个对象的概率。其计算如下：=()()(1)。（3）采用平均精度均值（mean Average Precision,mAP)验证改进后模型的有效性。mAP在计算时涉及到了精度(Precision)、召回率（Recall）、AP，其计算公式为：，（4），（5），（6）式中：（True Positives）为正样本被预测为正类的数量，（False Positives）为负样本被预测为正类的数量（FalseNegatives）为正样本被预测为负类的数量。2.3不同模型检测精度对比本实验按比例随机选用Human Crowd的5 000张图片作为训练集，1 457张图片作为验证集训练300次，YOLOv7和改进的YOLOv7的数据集评估效果如图5、图6所示：(a)(b)(c)0.5(d)0.5:0.95图5 YOLOv7训练结果(a)(b)(c)0.5(d)0.5:0.95图6改进YOLOv7训练结果YOLOv7和改进的YOLOv7数据集评估的具体数值如表1所示。表1 Human Crowd数据集结果评估71计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛计 算 机 与 网 络技术论坛从实验结果可以看出，改进YOLOv7的召回率提高了10.3%，mAP值提高了约10%，并且在同等的训练条件下，其训练速度较原来提升了26.14%。由此可见改进的YOLOv7确实对多尺度检测问题有了很好的改善。训练结束后，按比例从Human Crowd的测试集中随机选取1 667张图片进行测试。具体的测试结果对比如图6所示。其中图6(a)、图6(c)为YOLOv7模型的测试效果，图6(b)、图6(d)为改进YOLOv7模型的测试效果。（a）（b）（c）（d）图7测试结果图7（a）中做空中翻转动作的person没有被检测到；图7（b）中做翻转动作的person被正确检出，且准确率为84%；图7（c）中中间被遮挡的以及做跳跃动作的person都没有被检测到；图7（d）中被遮挡的以及做跳跃动作的person均被正确检出，且改进后的YOLOv7测试结果中左右两侧person的 置 信 率 分 别 提 升 为92%、94%。因 此 改 进 的YOLOv7改善了漏检、误检以及检测效果不佳的问题，但还可以扩充数据集并且进行更多次的训练来优化模型。总之，改进的YOLOv7算法提升了网络对不同尺度目标的特征融合能力，能够较为准确地检测出不同角度、不同尺度的行人。3结束语针对复杂场景使用YOLOv7检测行人出现的漏检、误检以及检测效果不佳等问题，提出了一种基于YOLOv7模型改进的复杂场景行人检测模型。在卷积层添加一个ASFF模块，提升网络对不同尺度目标的特征融合能力。改进后的YOLOv7与原网络模型相比，得到了比较好的检测结果，平均精度提升了10.6%,速度较原来提升了26.14%。参考文献1 CHOLLET F.Xception:Deep Learning with DepthwiseSeparable ConvolutionsC/2017 IEEE Conference onComputer Vision and Pattern Recognition.Honolulu:IEEE,2017:1251-1258.2 ANIDES E,GARCIA L,SANCHEZ G,et al.A BiologicallyInspired Spiking Neural P System in Selective VisualAttention for Efficient Feature Extraction from HumanMotionJ.Frontiers in Robotics and AI,2022,9:1028271.3孙家慧,葛华勇,张哲浩.结合注意机制和多尺度卷积的YOLO行人检测J.计算机系统应用,2022,31(4):171-179.4 LI J Y,YANG J,KONG B,et al.Multi-scale Vehicle andPedestrian Detection Algorithm Based on AttentionMechanism J.Optics and Precision Engineering,2021,29(6):1448-1458.5康帅,章坚武,朱尊杰,等.改进YOLOv4算法的复杂视觉场景行人检测方法J.电信科学,2021,37(8):46-56.6向南,王璐,贾崇柳,等.改进YOLO的遮挡行人检测仿真J.系统仿真学报,2023,35(2):286-299.7张秀再,邱野,张晨.改进YOLOv5s算法的地铁场景行人目标检测J.激光与光电子学进展,2023,60(6):144-153.8 ZHANG H,PATEL V M.Densely Connected PyramidDehazing NetworkC/2018 IEEE/CVF Conference onComputer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:3194-3203.9 ZHANG H,PATEL V M.Density-aware Single ImageDe-raining Using a Multi-stream Dense NetworkC/Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.Salt Lake City:IEEE,2018:695-704.10杭晶晶.基于深度学习的行人自遮挡检测及应用D.南京:南京邮电大学,2021.11邹梓吟,盖绍彦,达飞鹏,等.基于注意力机制的遮挡行人检测算法J.光学学报,2021,41(15):157-165.12李昕昕,杨林.面向复杂道路场景小尺度行人的实时检测算法J.计算机工程与应用,2020,56(22):124-131.13 LIU S T,HUANG D,WANG Y H.Learning Spatial Fusionfor Single-Shot Object DetectionJ/OL.(2019-11-21)2023-03-15.https:/arxiv.org/abs/1911.09516.72