一种深度学习生成稠密3D点云数据的简捷方法.pdf

第 44 卷第 3 期 温 州 大 学 学 报（自 然 科 学 版）2023 年 8 月 Vol.44 No.3 Journal of Wenzhou University(Natural Science Edition)Aug.2023 一种深度学习生成稠密 3D 点云数据的 简捷方法 孔春锐1,2，陈添丁3,，周小方3(1闽南师范大学计算机学院，福建漳州 363000；2闽南师范大学数据科学与智能应用 福建省高校重点实验室，福建漳州 363000；3闽南师范大学物理与 信息工程学院，福建漳州 363000)摘 要：LiDAR 是一种高感知精度的三维传感器，但其存在低成本 LiDAR 所采集的原始三维点云过于稀疏的问题针对该问题，提出一种深度学习的稠密 3D 点云数据生成方法该方法通过将原始稀疏三维点云投影到二维距离图像，使用深度学习网络对二维距离图像进行分辨率提升，提升分辨率后的二维距离图像变换为三维点云的形式，形成增强的点云数据实验结果表明，该方法与非深度学习算法类相比精度平均提升 30%以上，与深度学习算法 SR-ResNet 对比精度平均提升 8.14%该方法有效解决 LiDAR 原始三维点云稀疏的问题并可获得媲美高分辨率 LiDAR 产生的点云 关键词：LiDAR；深度学习；点云数据增强 中图分类号：TP391.41 文献标志码：A 文章编号：1674-3563(2023)03-0048-08 DOI：10.20108/j.wzun.2022.02.15.0001 本文的 PDF 文件可以从 https:/ 获得 激光雷达（Light Detection and Ranging,LiDAR）是激光探测和测距系统的简称，是一种重要的环境感知设备LiDAR 通过主动发射脉冲激光，反射后的激光束会被回波探测设备接收，记录射出激光遇到目标物后返回的时间（Time of Flight,ToF），计算得到距离目标物的相对距离，反映其空间坐标、形状等信息，建立三维点云图该技术测量精度可以达到厘米级别，因此在一些精度要求高的应用场景中，例如自动驾驶和同步定位与建图，LiDAR 都是不可或缺的传感器尽管 LiDAR 的感知精度高，但是一些低成本 LiDAR 采集的原始三维点云数据通常存在点云密度稀疏、均匀性差、噪声多等问题1同时点云数据不同于二维图像数据间存在邻接关系，点云数据间是离散的非连续关系，点与点间不存在空间上的连续性，从而无法直接利用现有二维深度学习网络进行点云增强，需将点云数据转化成二维的表现形式，再利用二维深度学习网络进行处理 如何快速获得稠密的高质量点云数据是一个具有挑战性的问题 目前获得稠密高质量 LiDAR 点云数据的方法有两种，即基于硬件的方法和基于软件的方法从硬件角度，稠密点云可以通过使用更高分辨率的 LiDAR、增加 LiDAR 的数量等方法获得，但这会带来巨大的成本从软件角度，稠密点云的获得有早期基于先验经验的插值算法2-5，近些收稿日期：2022-02-15 作者简介：孔春锐(1994)，甘肃酒泉人，硕士研究生，研究方向：深度学习，LiDAR 成像 通讯作者， 孔春锐等：一种深度学习生成稠密 3D 点云数据的简捷方法 49 年也有尝试利用深度学习算法的方法6,点云的数据增强是指将稀疏点云作为输入，通过算法提取特征，根据其特征扩充后得到稠密精确的点云1基于数据驱动的深度学习算法能够通过学习的方法挖掘和提取点云数据中的特征从而完成对点云数据的增强处理，这也是目前更优的点云数据增强方式 点云数据增强算法研究，主要分为非深度学习算法类和深度学习算法类两种非深度学习算法中插值算法是主要的一类文献2提出的 Cubic 插值法，可以较快地进行点云数据的插值计算，产生增强后的点云数据，但该方法会发生过拟合现象对于曲率变化较大的区域，并不总能获得高质量的插值效果，进而使得点云曲面、曲线的连续性受到影响文献3提出一种插值方法，对于局部切线空间中 Voronoi 图，通过计算曲面上 Voronoi 图的最小二乘，选择半径最大的 Voronoi 图加入新的插值点，对一个点集进行插值文献4提出一种局部最佳投影（Locally Optimal Projection,LOP）用于原始三维点云的重建工作，同时也将该方法应用于局部点云数据的增强文献5提出一种边缘感知的点云增强方法，用于解决边缘点云数据稀疏的问题，通过从点云密集区域计算出可靠的法向量，逐步向边缘延伸，以此来增强边缘点云上述方法一般存在较强的假设或者需要人工挑选合适的参数才能达到比较理想的效果，例如，要求点云形状不存在尖锐的特征 随着算力和深度学习的发展，深度学习在处理这类预测问题上显现出优势三维数据无法直接利用现有二维深度学习网络，为充分利用现有二维深度学习网络构架，大部分研究工作都将点云转换为二维的表示形式，训练数据以二维图像的形式输入6,文献提出了一种将三维点云转换为几何图像的方法，通过球面参数化构造几何图像，利用 SR-ResNet 深度学习网络对几何图像进行超分辨率处理，将得到的高分辨率几何图像转换为三维点云，最后获得增强后的三维点云数据文献 通过不同视点下的投影图，对不同视角特征进行汇聚，送入二维深度学习网络提取特征，进行特征增强，最后投影回三维点云的表现形式，得到稠密的点云上述方法通过变换保留三维点云的形状信息进行特征增强，但在变换过程中不可避免地丢失了三维点云的局部形状，这使得想要获得高精度的增强结果就需要更大型的网络模型 本文结合考虑以上方法的优缺点和适用性，利用改进的二维深度学习网络对转换后的点云数据进行增强，将 LiDAR 扫描产生的稀疏三维点云，转换为低分辨率二维距离图像，将其作为二维深度学习网络的输入，通过深度学习网络对低分辨率二维距离图像进行分辨率提升，将提升分辨率后的二维距离图像转换为稠密三维点云从而更高效、更精确地解决了低成本 LiDAR 生成原始点云稀疏的问题 Ma F,Cavalheiro G V,Karaman S.Self-Supervised Sparse-to-Dense:Self-supervised Depth Completion from Lidar and Monocular Camera C/Montreal,Canada:International Conference on Robotics and Automation(ICRA).IEEE Press,2019:3288-3295.Dinesh C,Cheung G,Bajic I V.3D Point Cloud Super-Resolution via Graph Total Variation on Surface Normals C/Taipei,Chinese Taiwan:International Conference on Image Processing(ICIP).IEEE Press,2019:4390-4394.Sinha A,Bai J,Ramani K.Deep Learning 3D Shape Surfaces Using Geometry Images C/Amsterdam,Netherlands:European Conference on Computer Vision(ECCV).Springer,Cham,2016:223-240.Su H,Maji S,Kalogerakis E,Kalogerakis E,et al.Multi-View Convolutional Neural Networks for 3D Shape Recognition C/Santiago,Chile:Proceedings of the IEEE International Conference on Computer Vision(ICCV).IEEE Press,2015:945-953.温州大学学报（自然科学版）(2023)第 44 卷第 3 期 50 1 算法设计 1.1 三维点云数据与二维距离图像的转换 三维点云数据与二维距离图像数据的投影转换，本质是一个坐标转换的过程：将三维点云数据的世界坐标系与为图像坐标系相互转换由文献1知，设世界坐标系三维坐标点(,)wwwM xyz，图像坐标点(,)m u v，内外参矩阵变换公式，如公式（1）：000d0d10011wwcwfuxxuyfzvvRTzy =，（1）其中，00(,)u v为图像的中心坐标；cz表示相机坐标轴的z轴值，即目标到相机的距离；,R T分别是外参矩阵的3 3旋转矩阵和3 1平移矩阵 由于本文中世界坐标原点和相机原点是重合的，即没有旋转和平移，故：100010001R=，（2）000T =（3）因在相机坐标和世界坐标下的同一个物体具有相同的深度，即cwzz=，故可得：000d100000100d100100011wwcwfuxxuyfzvvzy =（4）由以上变换矩阵公式，得点云坐标系与图像坐标两者之间的变换公式为：0d()wcxxzuuf=，（5）0d()wcyyzvvf=，（6）wczz=（7）1.2 二维深度学习网络框架 研究所使用的深度学习网络基于编码器-解码器结构，具有网络层数小、运算速度快等优点如图 1 所示，基于 16 通道 LiDAR 生成的低分辨二维距离图像作为输入，被两个转换卷积处理，孔春锐等：一种深度学习生成稠密 3D 点云数据的简捷方法 51 将分辨率提升至目标分辨率（4 倍向上放大）编码器由一系列卷积块和平均池化层组成，对特征图进行降采样，经过每个降采样步骤，通道数量都会加倍假设中间特征iT，通过编码器处理后得到一个大小为A A的特征图解码器是具有转换卷积层和丢弃层的反向结构，用于对特征图的升采样，每个升采样步骤，通道数都会减半所有卷积块中包含卷积层、批归一化（Batch Normalization,BN）和激活函数 ReLU输出层使用没有 BN 的单个卷积层输出高分辨率的二维距离图像 图 1 深度学习网络结构示意图 对于第 m 个卷积块输出，如公式（8）：1(,)mmmXF XW=，（8）其中，mX和1mX表示卷积块的输出和输入，F表示卷积函数，mW表示可卷积块中的可学习参数第 m 层的输入不仅包含上一层的输出，同时汇聚了之前每层的信息，从而加速不同层次网络间的信息汇集每个卷积函数都包含两个卷积层，如公式（9）：211(,)()mmmmmF XWW O W O X=，（9）其中，O表示激活函数 ReLU 与 BN，imW表示第 m 个卷积块中第 i 个卷积层的权重，卷积块会使用固定步幅以实现特征图的降采样效果 损失函数的选择上，本文选择平均绝对值偏差（Mean Absolute Error,MAE）对网络参数进行优化，如公式（10）：011Loss()niiixxn=，（10）其中，n 表示训练集中的训练样本数量，0ix表示对输入ix的预测值，ix表示真实值，表示网络中可学习的参数，并对网络参数进行正则化处理减少过拟合 2 实验及分析 2.1 实验设置 本实验选取 2 种数据集，分别为自采 16 线点云数据集和 KITTI 自动驾驶数据集自采 16 KITTI 数据集是由德国卡尔斯鲁厄理工学院和丰田工业大学芝加哥分校联合赞助的用于自动驾驶领域研究的数据集,参见:https:/ 44 卷第 3 期 52 线点云数据集为实验室利用 16 线和 64 线 LiDAR 设备自主采集，共采集 5 000 个样本，其中 2 000个样本作为训练集，3 000 个样本作为测试集KITTI 自动驾驶数据集作为自动驾驶领域研究的主要数据集，选取其中的 4 000 个样本作为训练集，6 000 个样本作为测试集在 KITTI 自动驾驶数据集中，本实验所需的 16 线 LiDAR 点云数据由 64 线 LiDAR 获取的点云均匀提取所得 本实验全程在 Linux Ubuntu 系统下，采用 TensorFlow 深度学习框架，使用一块 NVIDA Tesla GPU 进行训练和测试，所有实验均进行 4 倍的点云数据增强（从 16 线增强至 64 线）深度学习网络中的学习率设定为 0.000 1，衰减因子设定为 0.000 012 种数据集详情如表 1 所示 表 1 数据集描述 数据集 样本数 训练样本数 测试样本数 自采 16 线点云 5 000 2 000 3 000 KITTI 自动驾驶数据集 10 000 4 000 6 000 选取非深度学习算法、深度学习算法与本文所使用的算法进行比较，其中 Linear 插值算法和Cubic 插值算法属于非深度学习算法，SR-ResNet 算法和本文算法属于深度学习算法对于两种深度学习算法，均输入由原始稀疏点云转换的相同低分辨率二维图像进行分辨率提升，提升后的二维距离图像转换为三维点云数据2 类不同的算法分别在自采点云数据集和 KITTI 自动驾驶数据集上进行测试以平均绝对值偏差（Mean Absolute Error,MAE）作为评价指标，比较不同算法生成的点云增强数据与真实高分辨率 LiDAR（64 线）采集的真实值之间的平均差距所有 MAE的值均为测试样本的均值，MAE 的值越小，表明算法的准确性越好，反之则表明算法产生的点云增强数据与真实值之间的准确性越差 2.2 实验结果与分析 2.2.1 基于自采 16 线点云数据集实验结果分析 图 2 为本文方法与 Linear 插值算法、Cubic 插值算法、SR-ResNet 深度学习算法在自采 16 线点云数据集上的点云增强效果，红色箭头为点云噪声示出表 2 为本文方法与 Linear 插值算法、Cubic 插值算法、SR-ResNet 深度学习算法在自采 16 线点云数据集上的定量对比 图 2 自采 16 线点云数据的点云增强结果 从图 2 和表 2 可知，Linear 插值算法、Cubic 插值算法这类非深度学习算法在基于原始 16 线LiDAR 点云的输入上实现了较好的点云数据增强效果，但与深度学习算法类的算法效果相比，产生了大量的点云噪点，点云增强后的精度相对较低深度学习算法类在增强精度方面，均优于非 孔春锐等：一种深度学习生成稠密 3D 点云数据的简捷方法 53 深度学习算法SR-ResNet 深度学习算法对比 Linear 插值算法、Cubic 插值算法在 MAE 方面分别提升 18.65%和 36.94%，点云噪点明显少于非深度学习算法，观感优于非深度学习算法类本文方法在原始 16 线 LiDAR 点云的输入上，对比非深度学习算法Linear 插值算法和 Cubic 插值算法在 MAE 方面分别提升 28.49%和 44.57%；对比 SR-ResNet 深度学习算法在 MAE 方面提升12.1%在训练和测试时的处理速度也优于同为深度学习算法的 SR-ResNet，且点云噪点对比SR-ResNet 深度学习算法更少，点云增强结果细节更丰富 表 2 自采 16 线点云数据的点云增强结果定量对比 增强倍数 方法 平均绝对值偏差（MAE）每张图 训练时间/ms 测试时间/ms 4（16 to 64）Linear 插值算法 0.038 6 Cubic 插值算法 0.049 8 SR-ResNet 0.031 4 13.62 10.82 本文方法 0.027 6 11.46 8.00 2.2.2 基于 KITTI 自动驾驶数据集实验结果分析 图 3、图 4 为 2 种场景下本文方法与 Linear 插值算法、Cubic 插值算法、SR-ResNet 深度学习算法在 KITTI 自动驾驶数据集上的点云增强结果，红色箭头为点云噪声示出表 3 为本文方法与Linear 插值算法、Cubic 插值算法、SR-ResNet 深度学习算法在 KITTI 自动驾驶数据集上的定量对比 图 3 点云增强结果（场景 1）从图 3、图 4 和表 3 可知，Linear 插值算法、Cubic 插值算法这类非深度学习算法在基于KITTI 自动驾驶数据集 16 线 LiDAR 点云的输入，较好地实现了点云数据增强效果，但与深度学习算法类的算法效果相比，产生了大量点云噪点，且增强后的精度相对深度学习算法类较低 温州大学学报（自然科学版）(2023)第 44 卷第 3 期 54 深度学习算法类在精度方面，均优于非深度学习算法SR-ResNet 深度学习算法对比 Linear 插值算法、Cubic 插值算法在 MAE 方面分别提升 25.84%和 45.79%，点云噪点明显少于两种非深度学习算法，视觉观感优于非深度学习算法类本文方法在 KITTI 自动驾驶数据集 16 线 LiDAR点云数据集的测试中，对比非深度学习算法Linear 插值算法、Cubic 插值算法在 MAE 方面分别提升 28.93%和 48.04%；对比 SR-ResNet 深度学习算法在 MAE 方面提升 4.17%在训练和测试时的处理速度也优于同为深度学习算法的 SR-ResNet，且点云噪点对比 SR-ResNet 深度学习算法更少，与其他三种方法相比均为最优，点云增强结果在观感上也更为理想 图 4 点云增强结果（场景 2）表 3 KITTI 自动驾驶数据集的点云增强结果定量对比 增强倍数 方法 平均绝对值偏差（MAE）每张图 训练时间/ms 测试时间/ms 4（16 to 64）Linear 插值算法 0.035 6 Cubic 插值算法 0.048 7 SR-ResNet 0.026 4 17.70 9 本文方法 0.025 3 10.93 7 3 结 论 本文研究了三维点云数据的增强问题，将三维空间的点云数据增强问题转化为二维距离图像的超分辨率问题，利用深度学习网络提高二维距离图像分辨率，提高分辨率后的二维距离图像投影还原点云，形成增强后的点云数据实验结果表明，本文方法与非深度学习算法类的 Linear 插值算法、Cubic 插值算法和深度学习算法 SR-ResNet 相比，在对自采点云数据集和点云数据库数据集进行点云数据增强时，都获得了更好的增强效果下一步的研究主要在本研究的基础上加入对点云数据的降噪，使点云增强数据的准确性和观感进一步提高 孔春锐等：一种深度学习生成稠密 3D 点云数据的简捷方法 55 参考文献 1 杨必胜,梁福逊,黄荣刚.三维激光扫描点云数据处理研究进展、挑战与趋势J.测绘学报,2017,46(10):1509-1516.2 Keys R G.Cubic Convolution Interpolation for Digital Image Processing J.IEEE Transactions on Acoustics,Speech,and Signal Processing,1981,29(6):1153-1160.3 Alexa M,Behr J,Cohen-OR D,et al.Computing and Rendering Point Set Surfaces J.IEEE Transactions on Visualization and Computer Graphics,2003,9(1):3-15.4 Lipman Y,Cohen-OR D,Levin D,et al.Parameterization-Free Projection for Geometry Reconstruction J.ACM Transactions on Graphics,2007,26(3):22.5 Huang H,Li D,Zhang H,et al.Consolidation of Unorganized Point Clouds for Surface Reconstruction J.ACM Transactions on Graphics,2009,28(5):176.6 谭秋红,耿英保,杜炜.一种高效的人脸三维点云超分辨率融合方法J.光学技术,2016,42(6):501-505.(编辑：封毅)A Simplified Approach of 3D Point Cloud Data Enrichment with Deep Learning KONG Chunrui1,2,CHEN Tianding3,ZHOU Xiaofang3(1.School of Computer Science,Minnan Normal University,Zhangzhou,China 363000;2.Lab of Data Science and Intelligent Application,Minnan Normal University,Zhangzhou,China 363000;3.College of Physics and Information Engineering,Minnan Normal University,Zhangzhou,China 363000)Abstract:LiDAR is a high perception accurate 3D sensor,which involves low costs but has the problem of sparse raw 3D point cloud.To solve this problem,this paper proposes an approach of 3D point cloud data enrichment with deep learning.This approach projects the raw sparse 3D point cloud to the 2D range image,and uses a deep learning network to improve the resolution of 2D range images,which then is transformed into a 3D point cloud to form an enhanced point cloud data.The experimental results show that,compared with the non-deep learning algorithm,the accuracy of the simplified approach is increased by more than 30%on average,and,compared with the deep learning algorithm SR-ResNet,by 8.14%on average.This approach effectively solves the problem of sparse raw 3D point cloud of LiDAR and obtains a point cloud comparable to that produced by high-resolution LiDAR.Key words:LiDAR;Deep Learning;Point Cloud Data Enhancement (英文审校：黄璐)