基于Transformer的道路场景点云分类与分割方法.pdf

第 卷 第 期 激 光 与 红 外 ，年 月 ，文章编号：（）激光应用技术基于 的道路场景点云分类与分割方法马庆禄，孙枭，黄筱潇，王江华（重庆交通大学交通运输学院，重庆 ；重庆奉建高速公路有限公司，重庆 ）摘要：针对多目标识别过程中点云分类和分割精度不高的问题，提出了一种基于改进 模型的点云分类与分割方法 （），该方法在 模型卷积投影层创建新的点嵌入，利用局部邻域的动态处理在数据特征向量中持续增加全局特征属性，从而提高多目标识别中点云分类和分割的精度。实验中采用了标准基准数据集（、部分分割和 场景语义分割数据集）以验证模型的性能，实验结果表明：模型的 值为 ，比其他模型平均高出 ，有效提高了多目标识别检测时点云分类与分割精度，是对智能网联技术发展的有效支撑。关键词：点云识别；道路场景；点云分割；点集嵌入；中图分类号：；文献标识码：基金项目：国家重点研发计划项目（）；重庆市教育委员会教委科学技术研究计划重点项目（）资助。作者简介：马庆禄（），男，教授，研究方向为智能交通与安全、大数据与智慧城市、智慧公路感知与安全等。：通讯作者：孙枭，男，硕士研究生，研究方向为智能交通技术等。：收稿日期：；修订日期：，（，；，）：，（），（，），：；引言三维道路场景点云数据的精准分类与分割技术，是智能网联汽车进行实时控制决策的前提。然而，与传统 图像相比，点云图像具有更复杂的结构以及更多的检测信息，在三维空间中以不规则和无序的方式分布 。因此，为了更好地分类与分割，国内外学者围绕优化深度学习网络以实现高效的全局特征提取方面做了大量的研究。康自祥等 提出一种基于 的体素化激光点云目标检测算法，提高了运算效率，目标检测的准确率达到 。梁志强等 利用图卷积提取点云基于位置信息的低维局部特征，并通过注意力机制提取点云基于语义高维局部特征，同时使用多层感知机提权全局特征，通过多个特征融合来提高精度。等 提出了 方法，以点的方式实现点云特征学习。由几个核心模块组成：刚性变换（）、共享多层感知器（）和最大池（），这些模块保证了网络对点排列和形状旋转的不变性 ，之后通过引入局部特征提取，提出了几个变体来提高 的性能。等提出的 ，类似于图片的卷积操作，充分考虑了局部信息。等提出将 扩展到反卷积，以获得更好的分割结果。等 提出了 设计了 ，可以很好地集成到多个已经存在的点云处理的 中。谷歌公司所提出的 具有显著的全局特征学习能力，来代替网络中的所有卷积运算，以便更好地表达全局特征。尽管 架构目前在机器视觉研究的各个领域都得到了应用，但它们在 点云处理中的应用仍然非常有限。在目前基于 结构的点云研究中留下了一个空白。首先 已被证明对输入数据中的排列具有本质上的不变性，这使其成为集处理任务的理想选择；其次，现有大多数深度学习方法处理的 点利用局部特征来提高性能。这些技术在局部尺度上处理点，以保持它们对于输入排列不变，导致忽略点表示之间的几何关系，并且所述模型不能很好地捕捉全局概念 。为解决上述问题，提出了一种基于双随机 的点云分类与分割模型，并将其命名为 ，利用 模型获取全局变量，并将双随机代替 的行随机以获取更多点特征。在多个 点云数据集上评估 ，用于分类、部分分割和语义场景分割任务。通过实验结果表明，可以作为各种点云处理任务的准确有效的主干。点云注意机制研究 网络函数定义 网络依赖于多头注意力与使用单一注意函数不同，多头注意首先使用单独的前馈网络从不同的子空间学习关系，多头注意首先将、分别投影 次到，维。然后，注意力平行应用于每个投影。使用前馈网络将输出连接起来并再次投影。因此，多头注意力可以定义如公式（）所示：（，）（）（）（）式中，为对应维数的矩阵，?，?，?，其中 ，；?运算表示矩阵串联并且?是一个可学习的参数矩阵。为了实现与传统注意力类似的计算复杂度，每个头部、的尺寸被减小，使得 。对于 架构定义了相同层的编码器和解码器堆栈，这些层由多个头部注意力和一个逐点完全连接的层组成，每个都有一个剩余连接，然后是层标准化。将这一层称为“多头注意力”，并将其定义如公式（）、（）：（，）（）（）（，）（）公式（）中 表示多头注意力机制的输出，取决于查询矩阵 的顺序。是层归一化，为向前反馈层因此其不具备置换不变性。表示多头注意力的中间结果，公式（）是 的具体计算过程。公式（）中，是查询矩阵、是键矩阵、是值矩阵，是多头注意力函数，它将查询、键和值作为输入，并输出它们的加权和。无论输出顺序，每个点相对应的输出值始终相同，因为 仅由矩阵乘法和求和组成。点云中的应用 通过 来提高学习全局特征的能力，所以当前的点云处理倾向于使用变换器来替换激 光 与 红 外 第 卷网络中的所有卷积运算，以获得更好的特征表达。基于 的点云分类方法，是为通过 获取点 云 的 全 局 特 性。（）采用了 架构，其中共享的 层被替换为标准 块。通过利用偏移注意机制和邻域信息嵌入，在点云分类中实现了最先进的性能。等人提出了另一种逐点学习全局特征的方法并将其命名为 （）。具体来说，他们设计了一个多级 来提取具有不同分辨率的目标点云的全局特征，然后将这些特征串联起来，并将它们输入到一个多尺度 中，以获得最终的全局特征。不是以逐点方式提取全局特征，而是将 层应用于点云的局部邻域，并通过向下转换模块分层提取局部特征。最后，通过全局平均池操作可以获得全局特征。然而，由于 块应用于每层的所有输入点，此方法可能会产生信息冗余。此外，纯 体系结构（无 ），由于变压器中存在大量线性层，可能会导致较高的计算和内存成本。现有的模型包括 和 ，在点上使用单个头部的自我注意，以创建通过 和最远点采样获得的局部补片的排列不变表示，将偏移注意块应用于 点云。两种模型创建了一种新颖的 模块，该模块对输入执行特征方式以及点积关注，以实现精确有效的处理。网络构建将 维的 个点嵌入网络第 层卷积层，表示为 ，瓗。邻域内的点 ，将邻域内点的集合定义为 ，。的整体架构如图 所示。的总体架构如图 所示。本文主要改进为在点云 中加入点嵌入模块和具有卷积注意投影的点间注意模块并将其应用于 点云识别与分割。具体表现为当一个 为 的输入点云通过该体系结构时，通过基于欧几里德距离寻找其 来计算点近邻图。然后，将计算结果将通过点嵌入层传递，该层将输入数据映射到隐式包含点的最近邻域表示中。这其通过 卷积运算完成的，注意力机制选取的每个点的重叠程度可以通过步幅的长度来控制。将点积注意力操作应用于该嵌入表示，然后插入式注意模块。点积注意力可以看作是学习嵌入点的相关特征，作为其 近邻的函数。这种注意机制学习关注点的特征，而不是点本身，也就是说，对于批次中的一组点，它学习加权单个特征变换。图 模型结构 另一方面，插入点注意可以解释为在一个批次内学习不同点之间的关系（按点嵌入而不是按点的单个特征操作的行矩阵注意）。这形成了 的一层。我们在 操作之后更新近邻图，然后将其传递到下一个 层使用特征空间嵌入维数较高的第三层也是最后一层 层来学习点云的表示，无需插入注意。深层的插入注意并不能提供很多继续你，因为 最终可以学习超越其点集嵌入维度的位置的关系。这也意味着，与共享加权 相 比，能够在更深的层中可视化超出其有限感受野的输入，使其成为特征空间嵌入的更好选择。将此注意模块添加到更深的层只会略微提高性能，但会显著增加计算量。然后将每个变压器层的输出串联起来，并通过最终的共享加权 。激 光 与 红 外 马庆禄等基于 的道路场景点云分类与分割方法然后将其合并为全局最大值，以获得形成点云表示的全局特征向量。然后通过一系列 进一步处理该表示，以对点云进行分类，或为点云中的每个点获取语义点标签。点积及双随机点间注意力机制嵌入具有点嵌入的 是提取全局特征的有效网络。然而，它忽略了在点云学习中同样重要的局部邻域信息。点积注意力操作被应用于嵌入后，点积注意力可以被看作是学习作为其 个最近邻函数点嵌入的相关特征。这种注意机制学习关注点的特征不是点本身，即对于一批中的一组点，它学习的式加权各个特征变换。之后是点间注意模块。点间注意力可以被解释为在邻域中学习不同点本身之间的关系，点间注意力采用逐行矩阵注意力针对每个点嵌入操作，本文将行随机矩阵注意力改为双随机矩阵注意力，其能够增加点之间的交互，增强特征提取。将 被 的输出所代替，然后将它传递给下一个 层。使深层的点间注意力能够提供信息，最终可以学习跨越其嵌入维度的局部性的关系。这也意味着 能够在更深的层中可视化超出其有限感受野的输入，与共享加权的 相比，这使它们成为特征空间嵌入的更好选择。将这种关注块添加到更深的层仅略微提高了性能，但是显著增加了计算如图 所示。每个 层的输出然后被连接并通过最终的共享加权 。然后对其进行全局最大汇集，以获得形成点云表示的全局特征向量。然后，通过一系列 进一步处理该表示，以对点云进行分类，或者获得点云中每个点的语义点标签。如在传统的 模型结构中一样，在关注层之后使用剩余连接层标准化以及 层。图 邻域嵌入架构 此模块输入的一般结构由（，）瓗（）表示，其中 和 分别是批量大小和输入特征。这一层本质上是一个映射函数，它将输入映射到，表达示为（，），瓗（）。映射函数 使用具有固定大小填充和步幅的卷积运算。这能够在端到端设置中训练该模块以及网络的其余部分，因为它是完全不同的可以插入到架构中的任何位置。卷积层构建使用点积注意力和自注意力的组合，通过网络传播输入中最重要的特征。通过使用卷积层对注意力矩阵进行采样。利用卷积的能力来学习 点的相关特征集。因此用形成卷积投影的深度方向卷积层替换关注块中的原始全连接层，以获得注意矩阵，如图 所示。图 点积注意力和点间注意力的 块 卷积块的其余部分的功能类似于 的每个注意力块之后添加归一化和前馈层，并且使用残差映射来增强特征学习。形式上，层的投影操作由 （，）表示，其中，是第 层的 注意力矩阵的输入，而 是第 层的卷积块的输入。在点间注意模块中的 替换为能够实现更多点之间交互的 算法，为将 的行随机矩阵变化激 光 与 红 外 第 卷内双随机矩阵。直观地说，这种规范化依赖于投票原则，即所有点都以不同的强度相互匹配，因此比 规范化考虑更多的交互如式：（），（，）（）卷积运算是一种深度可分离的卷积运算，其元组为内核大小和步长。现在，将通过整个 模块的数据流形式化为批量大小 的，可得点积注意力块输出如式：（槡）（）其中，是点积注意力块的输出；用于缩放注意力权重以避免梯度不稳定性；是卷积层归一化操作。加法表示剩余连接。对输出采用以如下式在 中被进一步处理，如公式：（）（）（）（）这里 表示前馈层，表示对于输出的进一步处理，表示点间注意力输出，然后由归一化层和前馈层以类似的方式进行处理输出 ，在此步骤之后，重新计算图形，并对第 层重新开始该过程。按照官方的提出的采用 （）作为评价方法效率进行实验。是一种常用的用于评估语义分割算法性能的指标，是对 （）的平均值进行计算。其中，是指预测结果和真实标签之间的交集与并集之比，即：（），其中，表示真实标签和预测结果都为正例的像素数，表示预测结果为正例，但真实标签为负例的像素数，表示预测结果为负例，但真实标签为正例的像素数。而 则是对所有类别的 求平均，即：（）其中，表示类别数。越高，则代表模型的性能越好。实验和结果点云分类、零件分割和语义场景分割三个不同的数据集上对模型进行了评估。对于分类，使用基准 数据集，对于对象部分分割，使用 部分数据集。数据集进行语义场景分割。使用基于余弦退火的学习率调度器，不使用批量标准化衰减。在初始实验之后，定制的学习率计划被用于分段任务。数据集包含 模型的网格。共有 个模型可用于 个类别，分成 个训练测试集。使用所有的实验和数据集提供的官方分割，以保持公平的比较。在数据预处理方面，遵循与相同的步骤。从网格表面均匀采样 个点，并重新调整点云以适应单位球，在训练过程中使用数据扩充。在增强过程中，用随机抖动和缩放来扰动这些点最终的检测结果如表。其中将 ，作为两项评价指标进行模型对比，将 与其他先进算法进行对比。表 精度对比 从表 中可以看出，优于现有的分类方法，甚至略好于 。当模型中采用图形计算方法时，与处理静态图形以及动态图形的其他方法进行比较，以进行点云分类。在这里，即使没有在每一层重新计算图形，也优于动态边缘条件滤波器（），并且与 性能相当。每层之前的动态图 形 计 算 有 助 于 超越现有的基于图形和非图形的方法的准确性其中包括略微超过现有的基于 的方法。分割结果 数据集包含来自 个对象类别，个 形状。总共有 个对象部分可用于分割。仅选 取 部 分 在 数 据 集 上 的 结 果 总 结 在 表中。激 光 与 红 外 马庆禄等基于 的道路场景点云分类与分割方法表 分割对比 表 显示了按类别划分的结果，所使用的评估度量是部分精度和平均交集 并集，并针对整体和每个对象类别给出。结果表明，本文的 比 和 分别提高 和 。以 的 取得了最好的结果。在测试过程中，使用了多尺度测试策略，对于所有三个模型，批量大小，训练时期和学习率被设置为与正常估计任务的训练相同，最终通过对模型在 数据集的可视化如图 所示。图 上的 分割结果 实验在完整形状和部分扫描上训练模型。结果显示，能够有最高 的 。在图 中，给出了完整和部分数据的定性结果。可以看到，尽管部分数据区分复杂，但模型展示出的的预测是合理的。点云分割 基于 ，为所有序列提供语义注释，涵盖了所用汽车 完整的 度视野。数据集包含 个类，包括区分非移动和移动对象。类别涵盖所有交通参与者，也包括地面功能类别，如停车场、人行道。用不同的类别注释了移动和非移动的交通参与者，包括汽车、卡车、摩托车、行人和骑自行车的人如图 所示，这可以推理场景中的动态对象。图 分割图 由图 可以看出 模型在道路场景中对于道路、车辆、植物等检测效果明显，能够有效将这些物体在点云图中进行有效分割。另外，从图 中 算法处理后的深度图与原始深度图的对比能够看出，算法能进行高精度的分割，并且从点云图的效果能够看出在点云分割中对于道路以及道路周围环境和参与者的分割具有良好的效果，在分割完成后能够使得检测目标更为简单。按照官方提出的采用 （）作为评价指标进行实验。是点云语义分割任务中常用的评价指标，含义是所有真实标签和预测标签的交集与并集的比值，包括完全匹配和部分匹配的样本，其值越高代表模型处理点云能力越强。实验通过与基于雷达数据的基准网络 ，等经典网络进行对比，使用数据集对比结果如表 所示。激 光 与 红 外 第 卷表 精度对比 从表 中可以看出，的 值为 ，明显优于现有的分类方法，甚至略好于 。加强了网络对于全局特征的提取，提高了模型对于整体检测精度，但对于小目标类的检测能力并未有明显提升。当模型中采用图形计算方法时，与处理静态图形以及动态图形的其他方法进行比较，以进行点云分类，并在距离检测方面展示优越性。结论本文提出了 ，一种使用 处理 点云的方法。通过在每个中间网络层进行动态图形计算来优化点云处理。它使用点嵌入并将其转换为转换器友好的数据表示，然后使用双随机点间注意模块来促进点之间的串扰。优于现有的卷积方法，并在各种基准任务上与现有的基于 的方法相比具有更好的性能。未来研究方向是学习沿着三维点云的流形均匀采样点以提高模型准确性。虽然 可以作为点云处理任务的有效骨干，并扩展到各种应用，但是由于 框架的计算量较大，处理速度较慢，需要进一步提高处理速度。参考文献：，：，（）：（）康自祥，王升哲，崔雨勇，等 基于 的体素化激光点云目标检测算法 激光与红外，（）：，（）：（）梁志强，陈春梅，陈妍洁，等 高低维双局部特征融合的点云分类分割网络 激光与红外，（）：，：，：，（）：，（），（）：，：，（）：，：，：，（）：，：，：，：激 光 与 红 外 马庆禄等基于 的道路场景点云分类与分割方法