基于多方向特征融合的室外三维目标检测方法.pdf

第 49卷 第 11期2023年 11月Computer Engineering 计算机工程基于多方向特征融合的室外三维目标检测方法雷嘉铭1，2，俞辉2，3，夏羽4，郭杰龙2，3，魏宪2，3（1.福州大学 先进制造学院，福建 泉州 362000；2.中国科学院海西研究院 泉州装备制造研究中心，福建 泉州 362000；3.中国科学院福建物质结构研究所，福州 350108；4.上海宇航系统工程研究所，上海 200000）摘要：三维目标检测方法是自动驾驶环境感知系统的重要技术之一，但是现有三维目标检测方法大多存在目标位置识别精度不足、目标朝向预测偏差较大的问题。为此，提出一种基于多方向特征融合的三维目标检测方法。对场景点云进行数据编码，建模距离、夹角等信息并转换成伪图像。利用所提多方向特征融合骨干网络进行特征提取和融合，基于多方向融合特征，利用以中心为基准的检测器进行潜在目标的回归和预测。该方法通过点间距离、夹角建模提供点间的相互关系，丰富特征信息，利用多方向特征融合增强骨干网络的特征提取能力，从而提高位置及朝向的预测精度。实验结果表明，该方法在 KITTI和 nuScenes数据集上的平均精度均值分别为 64.28%和50.17%，相比次优方法分别提升了 0.36和 1.30个百分点，且在朝向预测准确率对比实验中均取得了最好的平均朝向相似度和平均朝向误差。此外，泛化性实验结果验证了所提多方向特征融合骨干网络能提高网络检测能力并大幅减少参数量，从而提升检测方法的应用表现。关键词：机器视觉；激光雷达；三维目标检测；自动驾驶；点云开放科学（资源服务）标志码（OSID）：源代码链接：https：/ J.计算机工程，2023，49（11）：238-246.英文引用格式：LEI J M，YU H，XIA Y，et al.Outdoor 3D object detection method based on multi-direction features fusion J.Computer Engineering，2023，49（11）：238-246.Outdoor 3D Object Detection Method Based on Multi-Direction Features FusionLEI Jiaming1，2，YU Hui2，3，XIA Yu4，GUO Jielong2，3，WEI Xian2，3（1.School of Advanced Manufacturing，Fuzhou University，Quanzhou 362000，Fujian，China；2.Quanzhou Institute of Equipment Manufacturing Haixi Institutes，Chinese Academy of Sciences，Quanzhou 362000，Fujian，China；3.Fujian Institute of Research on the Structure of Matter，Chinese Academy of Sciences，Fuzhou 350108，China；4.Shanghai Institute of Aerospace System Engineering，Shanghai 200000，China）【Abstract】The 3D object detection method is one of the significant technologies in the environmental perception of autonomous driving.However，most existing 3D object detection methods have the problem of inaccurate position recognition and large orientation deviation.To address these issues，a 3D object detection method based on multi-direction features fusion is proposed.First，to perform data encoding for a point cloud scenario，modeling distance and angle and transforming into pseudo image.Second，a multi-direction feature-fusion backbone is proposed for features extraction and fusion.Finally，based on the fused features，a center-based detector regresses and predicts potential objects.Distance-angle modeling can supply the relationship between points and enrich features.The multi-direction feature-fusion backbone enhances the ability of features extraction and improves the accuracy of position and orientation estimation.The experimental results show that the mean Average Precision（mAP）of this method on the KITTI and nuScenes datasets was 64.28%and 50.17%，respectively，which is an improvement of 0.36 and 1.30 percentage points，respectively，compared to those of the suboptimal method.In addition，the best Average Orientation Similarity（AOS）and mean Average Orientation Error（mAOE）were achieved in the orientation prediction accuracy comparison experiments.The generalization experimental results verified that the proposed multi-direction feature-fusion backbone network can improve network detection ability and significantly reduce the number of parameters，thereby improving the application performance of the detection method.基金项目：福建省科技计划项目（2021T3003）；泉州市科技项目（2021C065L）。作者简介：雷嘉铭（1995），男，硕士研究生，主研方向为三维目标检测、机器视觉；俞 辉（通信作者），副研究员、博士；夏 羽、郭杰龙，工程师、硕士；魏 宪，研究员、博士。收稿日期：2022-11-09 修回日期：2022-12-21 Email：图形图像处理文章编号：1000-3428（2023）11-0238-09 文献标志码：A 中图分类号：TP391.4第 49卷 第 11期雷嘉铭，俞辉，夏羽，等：基于多方向特征融合的室外三维目标检测方法【Key words】machine vision；lidar；3D object detection；autonomous driving；point cloudDOI：10.19678/j.issn.1000-3428.00662140概述 三维目标检测作为环境感知的重要手段，在自动驾驶系统中具有重要意义1-3。激光雷达由于具有精度高、分辨率高、抗干扰能力强以及测距范围广等特点4-5，因此在目前大部分的室外三维目标检测方法中作为主要传感器使用6。在自动驾驶应用中，为了满足实时性的要求，大部分方法首先将点云划 分 为 规 则 的 网 格，如 体 素（voxel）7-8或 点 云 柱（pillar）9，这一过程不仅对庞大的点云数据进行了降采样，而且还将不规则的数据转变成规则的数据，从而节省了更多的内存和时间10。文献 11-12 提出了 PointNet方法，通过神经网络直接处理点云，增强了对点云的特征表示能力，为将离散稀疏点云转换为规则张量形式奠定了基础。VoxelNet7首先将点云划分为固定大小的体素，并通过体素特征编码（Voxel Feature Encoding，VFE）将多个点的信息聚合成一个体素的特征，从而将数据从不规则的形式转变成规则的张量形式，最后利用三维卷积进行特征提取。SECOND8同样将点云变成体素，针对点云体素化后的稀疏问题提出了稀疏卷积，有效改善了三维卷积代价高昂的问题，并在KITTI 数据集13-14上取得了良好的实时性。不同于上述工作，PointPillars9选择将点云表示成点云柱，并通过映射将点云柱转变为伪图像（pseudo image），回避了耗时的三维卷积而采用速度更快的二维卷积进行特征提取，极大地缩短了网络检测时间。基于上述两种体素化方法，有很多学者提出了改进方案来提升检测性能。如文献 15 提出了 CenterPoint，与以往基于框的检测器不同，CenterPoint 中设计了一个基于中心点的检测器，同时使用基于点特征的细化模块作为网络的第二阶段，在 nuScenes16和Waymo17数据集上取得了良好的结果。为了探索点云的形状信息，文献 18 提出了一种新颖的形状签名（shape signature）用于显式捕捉点云的三维形状信息，并基于此构建了SSN（Shape Signature Network）。在真实复杂的驾驶场景中，目标的朝向复杂多样。例如，将 nuScenes 数据集的标注目标按朝向角-均匀分成 10 个小区间进行数量统计，每个区间均有大量的目标，而且现有的三维目标检测方法在位置估计及朝向预测上的表现仍有不足。为了提升智能驾驶系统的可靠性和安全性，作为系统环境感知的重要方式，三维目标检测方法不仅需要准确识别目标位置，还需要具有良好的朝向预测能力。为了提高目标位置识别和朝向预测的准确率，较常用的方法是数据增强，即在训练时对场景点云进行随机缩放、旋转等，从而丰富样本，在一定程度上增强了检测网络的泛化性并提高了其检测准确率。然而，数据增强的本质是增加训练样本的丰富度以增强网络的泛化性能19，并没有真正提高检测网络的特征表达能力及对潜在目标的检测能力。针对现有三维目标检测方法目标位置识别精度不足、朝向预测偏差较大的问题，本文提出一种基于多方向特征融合的三维目标检测方法。在网络初期，该方法建模了点与点之间的距离、夹角等信息，为后续特征提取与回归预测提供丰富的信息。其次，利用新颖的多方向特征融合骨干网络进行多方向特征提取，融合潜在目标多个方向上的特征。最后，在 KITTI 和 nuScenes 数据集上进行实验以验证本文所提方法的有效性。1基于多方向特征融合的三维目标检测方法本文所提三维目标检测方法整体框架如图 1 所示。该方法以多帧聚合后的激光雷达点云作为输入，最终输出若干个三维预测框20，包含物体的位置、尺寸、朝向、速度、类别等信息。其主要结构包括：点间距离、夹角建模的点云数据编码；多方向特征融合骨干网络，用于对编码后的点云伪图像进行多方向特征提取；检测器，基于提取到的特征进行回归与预测，输出预测框。1.1点间距离、夹角建模的点云数据编码本文方法的第一部分是对大规模场景点云进行点 间 距 离 及 夹 角 建 模 的 点 云 数 据 编 码，如 图 2所示。图 1三维目标检测方法整体框架Fig.1Overall framework of 3D object detection method2392023年 11月 15日Computer Engineering 计算机工程该数据编码基于 PointPillars 所提的点云柱编码9进行修改，并考虑对点与点之间的距离以及夹角信息进行建模。激光雷达能够提供较精确的全局位置信息(xjyjzj)，但是缺乏点云规则化后点间的局部关系。为了隐式表示点云物体的几何形状，对点间距离进行建模，将点与点集中心的距离作为补充特征，即dajcaa=xyz，其中ca=1Nij=1Niajaj=xjyjzj表示点云柱内点集的平均坐标。此外，为了提高网络对目标朝向的表征能力，对点间夹角进行建模，如式（1）所示：j=arctanzj-zidx2+dy2（1）其中：-zi=cz表示点云柱内点集中心的z坐标；dx和dy分别表示点与点集中心x和y坐标的距离。经过距离及夹角建模后，mini-PointNet 接收的每个点的输入如式（2）所示：pi=xiyiziIxpiypiidxicxdyicydzicz（2）其 中：xiyiziI为 点pi的 原 始 坐 标 和 反 射 强 度；xpiypi为点pi到点云柱中心的距离；idxicxdyicydzicz的 含 义 如 上 所 述。经 过 mini-PointNet，输 入 由NM10变成N64，其中，N表示点云柱的最大数量，M表示每个点云柱内点的最大数量。最后经过坐标映射得到伪图像D=CHW，其中，HW表示伪图像的长宽，与输入点云范围以及点云柱的预设尺寸有关。1.2多方向特征融合骨干网络在数据编码后，稀疏不规则的点云数据转变成规则的伪图像。现有方法大部分利用卷积神经网络（Convolutional Neural Network，CNN）对伪图像进行特征提取。然而普通的 CNN 在特征提取过程中卷积核保持不变，只能提取到一个方向上的特征，这在面对复杂的驾驶场景时难以提取丰富的特征信息。因此，为了增强网络的特征提取能力，改善三维目标检测方法目标位置识别精度不足、朝向预测偏差较大的问题，本文提出一种多方向特征融合的骨干网络，该网络主要包括 2个结构，分别是空间提升层以及多方向卷积层。1）空间提升层。空间提升层作为多方向特征融合骨干网络的第一部分，对输入进行维度扩展，将伪图像D X转换到高维空间Y中。定义卷积核 X，空间提升卷积 D定义为：D(tr)：=p Z2(tr)-1p)D(p)=p Z2(r-1(p-t)D(p)（3）其中：D(p)表示伪图像D中的某一个像素点p的值；(tr)表示P4群的元素，即对点p Z2先进行r C4的旋转然后进行t平移。空间提升层如图 3所示，该层只有一组卷积核，但是在卷积过程中会对卷积核进行 4 次 90的旋转，从而得到 4 组特征图。连接在该层后面的是修改的归一化层以及 ReLU层，对输出进行归一化21以及 ReLU 操作。4 组特征图构成了额外的维度，即伪图像输入D RCin H W，经过空间提升层后所得输出为y R4 Cout H W。为了简洁表示，令g=(tr)C4，可以证明空间提升层满足旋转等变性22-23，如式（4）所示：(RD)(g)=y Z2kDk(R-1y)k(g-1y)=y=Ry y Z2kDk(y)k(g-1Ry)=y Z2kDk(y)k(R-1g)-1y)=R(D)(g)（4）其中：R表示旋转变换。2）多方向卷积层。经过空间提升层后，特征图y处于高维空间Y中。在空间Y中，P4群中的自然操作满足式（5）：(tr)y(ps)=y(tr)-1(ps)=y(r-1(p-t)r-1s)（5）其中：(ps)为P4群的元素索引；s=0123表示逆时针旋转s次90；(tr)表示对特征图的平移t和旋转r操作。根据群理论并结合上述方程构建空间Y上的多方向卷积，如式（6）所示：图 3空间提升层Fig.3Space lifting layer图 2点间距离、夹角建模的点云数据编码Fig.2Point cloud data encoding for modeling distance and angle between points240第 49卷 第 11期雷嘉铭，俞辉，夏羽，等：基于多方向特征融合的室外三维目标检测方法 y(tr)：=s C4p Z2(tr)-1(ps)y(ps)=s C4p Z2(r-1(p-t)r-1s)y(ps)=s C4p Z2(r-1(p-ts)y(ps)=s C4p Z2r (p-ts)y(ps)（6）其中：p Z2r (p-ts)y(ps)表示在固定s的情况下（即卷积核r(s)：Z2 R）对图像y(s)：Z2 R进行卷积操作。多方向卷积层如图4所示，该层具有4组卷积核，4组卷积核先对同一特征图xi RCin H W进行卷积操作，然后堆叠输出yi RCout H W，随后 4组卷积核将严格按照群的操作进行旋转和平移，对下一个特征图进行操作，以此类推。最终输入和输出的维度保持一致，即输入x R4 Cin H W，输出y R4 Cout H W。相比于普通卷积，多方向卷积层的卷积核权值能够在 4个群元素之间共享，提取 4个方向上的特征信息，并且在最后进行拼接融合。相比于传统的卷积操作，其具备更强的特征捕获和表达能力。同时，其输入与输出维度一致，因此，可以叠加该层获得深度网络，以更好地提取特征。空间提升层和多方向卷积层与普通卷积层的对比如表 1所示。基于上述 2 个结构，构建一个多方向特征融合骨干网络，结构如图 5 所示（彩色效果见 计算机工程 官网 HTML版）。该骨干网络首先通过空间提升层将输入特征图变换到空间Y中，然后通过叠加多方向卷积层（或多方向反卷积层）进行多方向特征提取与融合。为了更好地检测多尺度目标，本文的骨干网络采用了特征金字塔网络（Feature Pyramid Network，FPN）24的结构，接收x RC H W的伪图像输入，经过空间提升模块扩展维度x R4 C H W，然后经过连续多方向卷积模块分别得到维度（4，C/4，H/2，W/2）、（4，C/2，H/4，W/4）和（4，C，H/8，W/8），各自经过上（或下）采样得到 3 个维度为（4，C/2，H/4，W/4）的特征，最终拼接融合得到（6C，H/4，W/4）的特征。后续实验结果证明了该骨干网络能够明显提高检测网络对目标朝向的预测准确率，同时改善位置预测精度不足的问题。1.3Center-based检测器由于三维场景中目标的朝向多种多样，而且存在较多目标朝向与坐标轴不是对齐平行的情况，因此，为了更好地表示场景中的目标以及配合本文设计的点云数据编码和多方向特征融合骨干网络，更准确地预测目标的朝向，本文算法采用 Center-based的检测头，即以关键点来表示物体的中心，并预测朝向、尺寸、速度等属性。2实验及分析 2.1数据集以及评价指标本文在 KITTI 和 nuScenes 这 2 个公开数据集上对所提方法进行实验。1）KITTI数据集包括 7 481个训练样本和 7 518个测试样本。本文主要关注各方法在 KITTI 3D 和俯瞰视角（Bird-Eye s View，BEV）检测基准上的平均表 1空间提升层和多方向卷积层与普通卷积层的对比 Table 1Comparison of spatial enhancement layer and multi-direction convolutional layer with ordinary convolutional layer对比项输入尺寸输出尺寸参数量（没有偏置值）普通卷积层RCin H WRCout H Wk k Cin Cout空间提升层RCin H WR4 Cout4 H WkkCin Cout 4多方向卷积层R4 Cin H WR4 Cout H W4kkCin Cout 4图 4多方向卷积层Fig.4Multi-direction convolution layer图 5多方向特征融合骨干网络Fig.5Backbone network for multi-direction features fusion2412023年 11月 15日Computer Engineering 计算机工程精度均值（mean Average Precision，mAP）以及平均朝向相似度（Average Orientation Similarity，AOS）。在KITTI数据集中，待检测的目标一共分为汽车、行人和骑行者这 3个类别。2）nuScenes 数据集相比于 KITTI数据集在数据量以及样本多样性上都具有更大的提升，该数据集在波士顿和新加坡一共采集了 40 000 个关键帧，包含 28 130个训练样本和 6 019个测试样本，标注的目标共有 23 类，包括汽车、行人、骑行者、公交车等。在三维目标检测任务中需要检测的目标为 10类。对于三维目标检测任务，最常用的评价指标是mAP，该指标主要考察在 BEV 下预测框与真实框的中心距离。除了评估准确率外，nuScenes还会评估检测网络的一系列真阳性指标（Ture Positive metrics，TP metrics），包括平均偏移误差（mATE）、平均尺度误差（mASE）、平均朝向误差（mAOE）、平均速度误差（mAVE）和平均属性误差（mAAE），分别评估预测目标与真实目标的距离偏差、尺寸偏差、朝向偏差、速度偏差以及分类偏差。上述的 TP 指标都是在距离阈值d=2 m下计算得到的。此外，为了综合考虑平均精度均值和真阳性指标，nuScenes 提出了 NDS（nuScenes Detection Score）指标，综合考量网络的性能，其计算公式如式（7）所示：NNDS=110 5mmAP+mmTP TP(1-min(1mmTP)（7）2.2实验配置本文在 KITTI 和 nuScenes 这 2 个数据集上训练本文所提检测方法，实验配置如表 2所示。2.3实验结果2.3.1位置准确率分析对 比 现 有 先 进 方 法 与 本 文 方 法 在 KITTI 和nuScenes数据集中三维目标检测任务的性能表现。首先，表 3 和表 4 分别显示了 3D 视角和 BEV 下在 KITTI测试集中对比方法的检测精度，包括 3类目标在中等难度下的 AP 以及 mAP，最优结果加粗标注。从中可以看出，本文方法在 3D 视角和俯瞰视角下均取得了最好的精度表现，方法整体 mAP 分别为64.28%和 70.05%。在 3D 视角下，Car 类的 mAP 为81.35%，比次优的 Point-GNN 高出 1.25 个百分点。更进一步，表 5 显示了各方法在 KITTI 验证集中 3D视角和 BEV 下的 Car 类检测结果。从中可以看出，本文方法在 3DR11和 BEVR11下分别取得了 81.40%和88.55%的 mAP。在困难难度下，本文方法精度均稍低于 Point-GNN，这是因为在困难难度下，目标的遮挡和截断水平较高，Point-GNN 能够通过 Graph更好地蕴含物体的几何形状从而弥补缺失部分形状，而本文方法依赖于 CNN，缺乏一定的几何特征捕获能力。而在简单和中等难度下，由于目标相对完整，利用多方向特征融合骨干网络能够更好地提取目标位置特征，因此本文方法能够获得最好的 AP。表 2实验配置 Table 2Experimental configuration实验环境CPUGPU系统CUDAEpoch优化器配置Intel Xeon Gold 5220GeForce RTX 3090CentOS 7CUDA 11.124AdamW表 3KITTI测试集 3D视角下各方法的 AP对比 Table 3Comparison of AP for various methods from the 3D perspective in the KITTI test set%方法VoxelNet7SECOND8PointPillars9TANet25Point-GNN26本文方法3D R40 APCar(IoU为 0.70)Moderate65.1173.6674.9975.9479.4780.42mAP66.7774.3374.1176.3880.1081.35Pedestrian(IoU为 0.50)Moderate33.6942.5643.5344.3443.7745.69mAP34.8943.6445.7046.1845.2846.50Cyclist(IoU为 0.50)Moderate48.3653.8559.0759.4463.4858.21mAP51.3251.5362.5962.5666.3965.00平均Moderate49.0556.6959.2059.9162.2461.44mAP50.9965.4660.8061.7163.9264.28表 4KITTI测试集 BEV下各方法的 AP对比 Table 4Comparison of AP for various methods from the BEV in the KITTI test set%方法VoxelNetSECONDPointPillarsTANetPoint-GNN本文方法BEV R40 APCar(IoU为 0.70)Moderate79.2679.3786.1086.5489.1788.96mAP82.0081.8084.7686.4488.7388.98Pedestrian(IoU为 0.50)Moderate40.7446.2750.2351.3847.0751.88mAP41.6648.7152.0353.2649.0152.62Cyclist(IoU为 0.50)Moderate54.7656.0462.2563.7767.2863.96mAP57.3457.1765.8056.2169.3768.54平均Moderate58.2557.1666.1967.2367.8468.27mAP60.3362.5667.5368.6969.0470.05242第 49卷 第 11期雷嘉铭，俞辉，夏羽，等：基于多方向特征融合的室外三维目标检测方法其次，在 nuScenes数据集上进行实验，在表 6 中对 mAP 和 NDS 这 2 个衡量方法性能的重要指标进行分析。表 6 共对比了 10 类目标的 AP，依次为汽车、行人、栅栏、交通锥、卡车、公交车、拖车、工程车、摩托车以及骑行者。通过与现有 5种较先进的三维目标检测方法对比可以发现，本文所提方法在汽车、行人等 8个类别中均取得了最好的 AP 表现，这得益于多方向特征融合骨干网络能够提取并融合 4个方向上的特征，比以往的骨干网络更具有特征捕获和表达能力，从而提高了对潜在目标的识别精度。此外，本文方法取得了 50.2%的 mAP以及 60.3的 NDS，均比现有方法更高。结果充分表明了本文方法的有效性，该方法不仅能更精确地预测目标位置，而且在各项 TP指标中都有明显提升。2.3.2朝向准确率分析为了验证本文所提方法在目标朝向预测方面的性能，同样在KITTI验证集和nuScenes验证集上进行实验。KITTI 验证集上 3 类目标的平均朝向相似度（AOS）如表7所示。从表7可以看出，本文方法在Car和 Pedestrian类中取得了最好的结果，其中 Pedestrian类的平均 AOS比 SECOND高出 3.05个百分点。良好的 AOS结果得益于本文方法中的数据编码以及多方向特征融合骨干网络，点间距离、夹角建模的数据编码能够提取局部区域点云的几何信息，为朝向预测提供有效信息，而多方向特征融合骨干网络利用多方向卷积能够充分提取相对大区域的综合特征。表8进一步在nuScenes验证集中对比具有朝向属性的 9 个类别目标的 AOE 以及整体指标 mAOE。由表8可知，与现有方法相比，在大部分类别目标中本文方法都取得了最好的AOE结果，其中汽车、卡车及工程车类中下降较为明显，由于这些类别目标的尺寸较大，本文方法通过多方向特征融合骨干网络能够从4个方向上对潜在目标的特征进行提取，丰富位置、朝向等信息，从而获得更低的朝向误差。此外，本文方法的mAOE指标相比次优的 CenterPoint降低了 7%，该结果表明本文方法在目标朝向预测方面具有明显优势，多方向特征融合骨干网络能够充分捕获目标朝向信息，增强网络对朝向的预测性能，进而提升方法的应用表现。表 5KITTI验证集 3D视角和 BEV下各方法对 Car类的 AP（IoU为 0.70）Table 5The AP of each method on the Car class under the 3D perspective and BEV in the KITTI validation set（IoU is 0.70）%方法VoxelNetPointPillarsSECONDTANetPoint-GNN本文方法3D R11 APEasy81.9786.5187.7288.2188.1688.04Moderate65.4676.1777.4777.8578.4079.12Hard62.8568.6374.2175.6277.4977.04mAP70.0977.1179.8080.5681.3581.40BEV R11 APEasy89.6089.7890.2090.1790.0390.85Moderate84.8186.9887.3887.5588.2788.37Hard78.5779.4785.2887.1487.1586.43mAP84.3385.4187.6288.2988.4888.55表 6nuScenes验证集中各类别的 AP以及各方法的 mAP和 NDS Table 6The AP of each category and mAP and NDS of each method in the nuScenes validation set方法PointPillarsSSN183DSSD27Free-anchor3d28CenterPoint15本文方法AP/%Car78.781.081.281.283.984.0Ped.61.266.270.274.477.378.3Bar.41.449.647.952.760.161.3Tra.18.918.731.141.450.554.9Tru.37.245.047.239.350.252.3Bus49.753.061.448.062.064.7Trai.26.226.130.530.932.733.6Con.6.5610.6012.6010.2010.5014.50Mot.20.241.036.043.545.444.5Bic.0.8520.508.6318.0016.4013.60mAP/%34.141.242.744.048.950.2NDS49.954.856.455.059.660.3表 7KITTI验证集中各类别的 AOS Table 7AOS of each category in the KITTI validation set%方法PointPillarsSECONDPart-A2 net29本文方法AOS()Car(IoU为 0.70)Easy90.5190.7194.8794.86Mod.88.6589.0889.0989.50Hard85.3087.6688.6988.71Mean88.1589.1590.8891.02Pedestrian(IoU为 0.50)Easy48.8266.3864.0067.57Mod.45.2463.2761.0265.99Hard42.9657.7157.0562.94Mean45.6762.4560.6965.50Cyclist(IoU为 0.50)Easy84.4486.3292.2692.30Mod.69.4279.0081.1876.38Hard66.2775.0177.7173.12Mean73.3880.1183.7280.602432023年 11月 15日Computer Engineering 计算机工程2.3.3消融实验为 了 探 究 点 间 距 离、夹 角 建 模 的 数 据 编 码（DAM-Encoding）与 多 方 向 特 征 融 合 骨 干 网 络（MFF-Backbone）对本文所提检测方法性能的影响，在 nuScenes 验证集上进行相关的消融实验，结果如表 9所示。由表 9 可以看出，不论是距离、夹角建模的数据编 码 还 是 多 方 向 特 征 融 合 骨 干 网 络，对 于 NDS、mAP 以及 mAOE 指标均有帮助。对比实验组 2 和 3可 以 看 出，相 比 于 DAM-Encoding，MFF-Backbone能更明显地降低平均朝向误差（mAOE 由 0.403 3 下降到 0.369 5），这证明了多方向卷积在预测物体朝向上的有效性。此外，由实验组 4 的结果可以看到，基于 DAM-Encoding 和 MFF-Backbone 的本文方法 取 得 了 最 好 的 性 能 表 现，原 因 主 要 有：DAM-Encoding 不仅建模了点间的距离信息，而且提供了角度信息，为潜在目标的位置和朝向预测提供了丰富信息；MFF-Backbone 能够提取并融合多方向特征信息，更加丰富了潜在目标的信息。这 2 个模块都不同程度地增强了网络的特征表达能力，从而提升了整体性能。2.3.4泛化性分析为 了 探 究 DAM-Encoding 和 MFF-Backbone 这2个模块的泛化性，在 nuScenes验证集上进一步进行泛化性对比实验。实验基于目前比较常见的三维目标检测方法，在保持骨干网络输入和输出尺寸、通道数一致的条件下，比较原方法与替换 DAM-Encoding和 MFF-Backbone 后的方法的性能，对比 NDS、mAP以及 mAOE 指标，实验结果如表 10所示。泛化性实验 对 比 了 PointPillars、SSN、Free-anchor3d 以 及CenterPoint 这 4 种 方 法。由 表 10 可 以 看 出，替 换DAM-Encoding 和 MFF-Backbone后各方法的 3 项指标均得到了明显优化，这充分表明了所提模块的泛化性，能够提升检测方法的性能。2.3.5实时性和参数量分析如 表 11 所 示，在 nuScenes 验 证 集 上 对PointPillars、SSN、Free-anchor3d 和 CenterPoint 方 法替换 MFF-Backbone 前后的推理速度和参数量进行对比分析（保持骨干网络的输入和输出尺寸、通道数相同）。可以看到，替换后推理速度均有稍微下降（平均降低 0.9 sample/s），但是参数量明显降低，平均减少 64%。结合表 10 可知，尽管网络的参数量大幅表 8nuScenes验证集中各类别的 AOE以及各方法的 mAOE Table 8The AOE of each category and mAOE of each method in the nuScenes validation set方法Free-anchor3dPointPillarsSSNCenterPoint本文方法AOECar0.1620.1570.1530.1640.149Ped.0.3630.4270.4100.4110.410Bar.0.0550.0560.0520.0800.083Tru.0.2690.2120.1650.1530.138Bus0.2810.3300.2020.0790.052Trai.0.5440.3750.3750.5