基于改进YOLOX的道路车辆检测.pdf

叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期摘要院车辆目标检测是自动驾驶感知领域的研究重点遥 为了提高道路车辆目标的检测精度袁提出了一种改进的 YOLOX车辆检测方法遥首先袁在 YOLOX 的主干特征提取网络的顶层新增一个有效特征提取层袁以获取更高层的语义信息遥其次袁提出了 YOLOXBiFPN 网络袁以实现更高效的特征融合遥 最后袁在网络中添加简单的注意力机制袁使其自适应地注意重要的特征遥 实验表明袁提出的改进 YOLOX_s 与原 YOLOX_s 相比袁mAP 提升了 1.32%袁实现了对道路车辆检测精度的显著提升遥并且更好地实现了小目标车辆和严重遮挡车辆的检测遥关键词院特征提取曰特征融合曰注意力机制Abstract:Vehicle object detection is a research focus in the field of autonomous driving perception.In order to im鄄prove the detection accuracy of road vehicle targets,this paper proposes an improved YOLOX vehicle detection method.Firstly,add an effective feature extraction layer on top of YOLOX爷s backbone feature extraction network to obtain higher-level semantic information.Secondly,this paper proposes a YOLOXBiFPN network for more efficient feature fusion.Finally,asimple attention mechanism is added to the network to make it adaptively pay attention to important features.The experi鄄ments show that compared with the original YOLOX_s,the improved YOLOX_s proposed in this paper has mAP increase of1.32%,which has achieved a significant improvement in the detection accuracy of road vehicles.And the detection ofsmall target vehicles and severely occluded vehicles is better realized.Keywords:feature extraction,feature fusion,attention mechanism为了减少交通事故的发生袁 车辆对于周围环境感知并做出相应反应就显得极为重要遥对于周围环境的感知袁主要可分为视觉方案和雷达方案咱1暂遥 如今袁以激光雷达为主导雷达方案相对比较成熟袁但高精的车载雷达都比较昂贵遥而视觉方案的摄像头比较便宜袁只需要搭载优秀目标检测的算法方案袁即可达到激光雷达一样尧甚至更好的效果遥 可见袁视觉方案是新一代智能汽车实现自动驾驶的重要一环咱2暂遥基于视觉的目标检测主要可分为传统的目标检测和基于深度学习目标检测咱3暂遥 其中袁传统的目标检测操作复杂尧误检率高尧实际应用难度较大遥 而基于深度学习的目标检测的检测精度更高袁具有良好的泛化性和鲁棒性遥 但是袁当前基于深度学习的目标检测方法对于车辆的检测还存在诸多问题遥例如袁对于复杂交通场景中的小目标车辆或严重遮挡车辆检测比较困难遥因此袁对于复杂交通场景车辆的检测问题袁 需要针对特定场景对算法进行改进袁以实现更精确的检测效果遥本文考虑到实时性和准确性袁 选择以 YOLOX 算法为基础进行研究袁提出了一种基于改进 YOLOX 的车辆检测方法遥1相关工作1.1 目标检测算法基于深度学习的目标检测主要可分为二阶段目标检测算法和一阶段目标检测算法咱4暂遥 其中袁二阶段目标检测算法由产生候选区域和对候选区域进行分类两个阶段组成袁 如 Faster R-CNN 等咱5暂遥 而一阶段检测算法只需一次检测就可获得最终的目标类别概率和位置结果咱6暂遥 因此它的检测速度更快尧更能够满足实时检测的要求袁如 YOLO 系列等遥1.2 YOLOX 目标检测算法YOLOX 是由解耦头尧数据增强尧无锚点以及标签分类等目标检测领域的优秀技术与 YOLO 进行巧妙地集成组合而形成的咱7暂遥YOLOX 与之前版本的 YOLO 相比袁 它的检测精度与检测速度都获得了提升遥1.3 多尺度特征融合在 CNN 网络中袁 低层特征层中的图像有更高的分辨率袁同时具有更丰富的位置和细节信息等遥 但是低特征层的卷积处理次数少袁所以具有更少的语义信息尧更多的噪声遥相反袁高层特征层中则包含更丰富的语义信息袁 同时对于图像中的细节信息的感知能力则更差遥综合考虑袁可以使用多尺度特征融合的方式将底层特征与高层特征进行特征融合袁以获得更丰富的语义信息遥1.4 注意力机制注意力机制使得神经网络将注意力集中到某一部分输入咱8暂遥通过引入注意力机制袁一方面袁可以有效地减少信息量的处理袁从而减小不必要的计算资源曰另一方面袁可以使系统去注意重要的信息袁如图 1 所示遥 通常将注意力机制分为软性注意力机制咱9暂和硬性注意力机制咱10暂遥图 1注意力机制圆改进 YOLOX 算法本章我们将详细阐明本文对 YOLOX 改进的地方袁 改进后的 YOLOX 总体架构如图 2 所示遥圆.1 新增主干特征提取层为了获取到更高层的语义信息袁 本文在原 YOLOX 的主干基于改进 YOLOX 的道路车辆检测王志中渊上海电力大学自动化工程学院袁上海 200090冤Road Vehicle Detection Based on Improved YOLOX113基于改进 YOLOX 的道路车辆检测特征特征提取网络 CSPDarknet 上新增了一个有效特征提取层dark6遥 dark6 层的具体构成如图 3 所示遥 首先袁进行 3伊3 卷积尧标准化和 SiLU 的操作袁有效特征层由 C5的 渊20袁20袁1024冤 变成(10袁10袁2048)曰接着袁进行 SPP鄄Bottleneck 操作袁 通过不同池化核大小的最大池化进行特征提取袁 从而提高网络的感受野曰最后袁进行 CSPLayer 操作袁有效提升神经网络的学习能力袁 减少计算瓶颈袁 降低计算成本遥 经过dark6 层的特征提取后袁可获得高有效特征层 C6:渊10袁10袁2048冤遥圆.2 YOLO载BiFPNYOLOPAFPN 采用的是自顶而下的方法对高层语义信息进行融合袁这种融合方法虽然可以获取高层的语义信息袁但是也存在不同程度的语义信息的丢失遥为了减少语义信息的丢失袁从而获得更多的语义信息袁 实现更高效的特征融合袁 本文对YOLOPAFPN 网络结构进行改进袁 提出了一种 YOLOX 加权双向特征金字塔网络 YOLO载BiFPN袁如图 4 所示院图 4YOLO载BiFPN首先袁 在 YOLOPAFPN 的基础上添加同特征层的跳跃连接袁 以便在不增加成本的情况下融合更多特征信息遥 接着袁将dark6 提取得到的有效特征层 C6送入特征金字塔网络袁经通道数调整和上采样后与低特征层进行特征融合袁 以便获得更丰富的高层语义信息袁从而提高对小目标的检测性能遥具体融合过程为院首先袁对 C6进行通道数调整可得到 P6_in袁接着对 P6_in 进行上采样袁上采样后的结果与 C5进行特征融合袁通过这种跨尺度跳跃特征融合的方式袁可以获得更丰富的高层语义信息遥经上述特征融合后袁 对特征融合的结果进行通道数调整可获得 P5曰接着袁对 P5进行通道数调整和上采样袁上采样后与 C4进行特征融合袁经特征融合后的结果再进行通道数调整获得 P4曰之后对 P4进行上采样袁上采样后的结果与 C3进行特征融合袁再进行通道数调整获得 P3_out曰 之后对 P3_out 进行通道数调整和下采样袁下采样后与 P4和 P4_in 进行特征融合袁 再通道数调整获得P4_out曰之后对 P4_out 进行通道数调整和下采样袁下采样后与 P5和 P5_in 进行特征融合袁再通道数调整获得 P5_out遥由此的跨尺度跳跃特征融合的操作袁就得到了本文提出的 YOLO载BiFPN 网络遥圆.3 注意力机制为了使 YOLO载BiFPN 网络中的特征融合过程能够自适应地关注重要的特征层袁 从而减少一些不必要的特征层的结点连接遥本文在不同的特征层进行特征融合时袁添加了简单的注意力机制袁使网络能够按照快速归一化融合方式进行特征融合袁同时自适应地注意重要的地方遥具体来说袁就是给将要进行特征融合的各层赋予不同权重袁让它们以加权特征融合的方式进行特征融合遥 通过添加这种简单的注意力机制袁使得 YOLO载BiFPN 网络实现了简单且快速的跨尺度跳跃特征融合遥猿实验猿.1 数据集本文采用的是用于自动驾驶中物体检测的新型大规模 2D数据集院SODA10M 数据集袁该数据集具有 6 个代表性的对象类别袁分别为 Pedestrian尧Cyclist尧Car尧Truck尧Tram 和 Tricycle遥由于本文主要研究是道路机动车辆的检测袁 因此实验前对该数据集中的对象类别进行了简单调整遥 调整后的数据集具有 3 个代表性的对象类别袁 分别为院Car尧Truck 和 Tram遥 本文使用了SODA10M 数据集中的 6000 张图片进行实验袁其中的 5000 张图片作为目标检测网络的训练数据袁1000 张图片作为目标检测网络的测试数据遥 如图 缘 所示院图 5SODA10M 数据集猿.2 评估指标本文的实验部分都是采用 SODA10M 数据集进行训练袁并使用 VOC-2007 进行实验评估的遥 我们将预测框与目标真实框的 IOU 阈值设置为 0.5袁 当 IOU 值大于 0.5 时为正确预测到目标所在的位置遥为了评估算法的优势袁本文利用每个类别目标的平均检测精度 AP 和平均精度均值 mAP袁 来衡量不同模型在所有类别上的检测精度袁 利用每秒传输帧数 fps 来衡量模型的检测速度遥 各种指标的计算方法如下院AP=砸ecall0乙渊Precision袁Recall冤渊1冤mAP=1N移i=1NAP渊2冤FPS=FrameNumFrameNum渊3冤其中袁Precision院检测精度袁Recall院召回率袁N院检测目标类别数目袁FrameNum院所处理图象的数量袁ElapsedTime院处理图象所用的时间遥猿.3 实验环境本文的实验都是在 Ubuntu18.04 的环境中袁 使用 NVIDIAGeForce RTX 2080Ti 的 GPU 以及 Pytorch 的深度学习框架图 2改进后 YOLOX 的总体架构图 3dark6 的网络结构114叶工业控制计算机曳圆园圆3 年第 猿6 卷第 8 期渊上接第 112 页冤时袁会将情绪状态显示在屏幕中曰当病人在一定时间内持续呈现一种痛苦表情时袁此时会同时产生文字尧灯光尧音频提示袁确保医护人员能及时对患者进行施救遥5结束语本文基于 NVIDIA TX2 智能开发套件开发出一套基于表情识别的隔离患者在线监测系统遥在患者隔离期间可以通过此系统对病人进行不间断的异常情绪监控袁避免了医护人员和患者的直接接触袁节省了人力资源袁保障了病人及医护人员的健康安全遥参考文献咱1暂陈佳豪袁付晓峰袁张佳明.基于轻量级 Xception 网络的人脸痛苦表情识别咱J暂.工业控制计算机袁2022袁35渊11冤院员园怨原员员园咱2暂李鹏飞袁王云飞袁卢荣胜.基于 NVIDIA TX2 模块的双目视觉信号采集系统设计咱J暂.仪表技术与传感器袁2021渊2冤院75-79咱3暂李一凡袁袁龙健袁李燕苹袁等.基于 Nvidia TX2 的车载智能预警系统咱J暂.工业控制计算机袁2022袁35渊4冤院猿缘原猿远咱4暂葛金田袁陈娟袁刘凯袁等.基于物联网的矿用制氮机远程监控系统设计咱J暂.工业控制计算机袁2022袁35渊4冤院苑原怨咱5暂刘兆丰.Dlib 在人脸识别技术中的运用咱J暂.电子制作袁2020渊21冤院猿怨原源员袁苑咱收稿日期院圆园圆猿原园员原圆员暂进行的遥猿.4 实验结果与分析为了验证改进后的 YOLOX 算法的性能袁 本文的所有实验都统一训练 100epochs遥并统一使用 VOC-2007 评估标准对模型进行评价袁结果如表 1 所示遥 从评估结果可以得出袁本文改进的 YOLOX_s 模型和 YOLOX_m 模型的 mAP 分别为 71.71%和76.14%袁 相较 于 原 YOLOX_s 和 YOLOX_m 的 mAP 提升1.32%和 1.83%遥 同时袁改进的 YOLOX 每个类别的 AP 都高于原 YOLOX袁仅仅牺牲了一点推理速度袁就获得更高的检测精度遥同时袁改进的 YOLOX_s 模型的检测精度与推理速度都明显优于YOLOv3尧YOLOv4尧SSD尧EfficientDet_D0 和 Faster R-CNN遥表 1不同目标检测算法的性能比较为了验证改进的 YOLOX 的实际检测效果袁 我们将YOLOX_s 与改进的 YOLOX_s 的实际检测结果进行对比袁如图6 所示遥 其中袁a1耀a3 是原 YOLOX_s 的检测结果袁b1耀b3 是改进 YOLOX_s 的检测结果遥 根据图 6 中的实际检测结果对比可看出袁本文改进的 YOLOX 车辆检测模型与 YOLOX 相比袁道路车辆的整体检测精度得到明显提高袁 车辆目标类别的误检率也得到了大幅度下降袁 并且更好地实现了对小目标车辆和严重遮挡车辆的检测遥源结束语针对道路交通场景中的小目标车辆和严重遮挡车辆难以检测的问题袁本文提出了一种改进的 YOLOX 车辆检测算法遥为了获取更丰富的高特征层的语义信息袁 我们在主干特征提取网络中新增了主干特征提取层遥为了实现更高效的特征融合袁我们提出了一种YOLOXBiFPN 网络遥 实验表明袁本文提出的改进 YOLOX 模型在交通场景中对车辆目标的检测精度要明显优于原 YOLOX袁 并且可以有效地实现小目标车辆和严重遮挡车辆的检测遥 仅仅通过牺牲少量的计算袁便实现了算法检测性能的显著提升遥参考文献咱员暂王洪琳袁郑睿.激光雷达在轨道列车自动驾驶系统中的应用研究咱J暂.江苏科技信息袁2021袁38渊31冤院42-44袁55咱圆暂WANG Z,ZHAN J,DUAN C,et al.A review of vehicle de鄄tection techniques for intelligent vehiclesJ.IEEE Transactionson Neural Networks and Learning Systems,2022咱猿暂ZHU Y,YAN W Q.Traffic sign recognition based on deeplearningJ.Multimedia Tools and Applications,2022,81(13):17779-17791咱源暂杨茹锦袁 商新娜袁 李文法.基于深度学习的小目标检测方法综述咱C暂/中国计算机用户协会网络应用分会 2022 年第二十六届网络新技术与应用年会论文集袁2022院68-72咱缘暂GIRSHICK R.Fast 砸-悦晕晕C/Proceedings of the IEEE 陨n鄄ternational 悦onference on 悦omputer 灾ision,2015:1440-1448咱远暂HUANG R,PEDOEEM J,CHEN C.YOLO-LITE:a real-timeobject detection algorithm optimized for non-GPU computersC/2018 IEEE International Conference on Big Data IEEE,2018:2503-2510咱苑暂GE Z,LIU S,WANG F,et al.YOLOX:Exceeding yolo seriesin 2021J.arXiv preprint arXiv:2107.08430,2021咱愿暂NIU Z,ZHONG G,YU H.A review on the attention mecha鄄nism of deep learningJ.Neurocomputing,2021,452:48-62咱怨暂YANG H,KIM J Y,KIM H,et al.Guided soft attention net鄄work for classification of breast cancer histopathology imagesJ.IEEEtransactionsonmedicalimaging,2019,39(5):1306-1315咱员园暂WANG D,HAYTHAM A,POTTENBURGH J,et al.Hard at鄄tention net for automatic retinal vessel segmentationJ.IEEEJournal of Biomedical and Health Informatics,2020,24(12):3384-3396咱收稿日期院圆园圆猿原园员原员苑暂图 6实际道路检测对比图115