结合局部与全局特征的点云语义分割卷积网络_宋秀容.pdf
《结合局部与全局特征的点云语义分割卷积网络_宋秀容.pdf》由会员分享,可在线阅读,更多相关《结合局部与全局特征的点云语义分割卷积网络_宋秀容.pdf(6页珍藏版)》请在咨信网上搜索。
1、三维激光扫描系统作为对地观测系统中数据收集最重要的技术之一,具有快速获取大规模、高精度地面信息的优势,且在各种地理信息产品(城市规划、环境监测和电力线检测等)生产中起着越来越重要的作用1。通过机载三维激光扫描系统对城市进行扫描,可直接获取具有坐标和几何属性(如强度)的大规模三维激光点云。从点云中提取各种类型的地理信息首先需对点云进行语义分割2。然而,由于传感器噪声、复杂的对象结构、不完整的点和不均匀的点密度,准确而有效的点云语义分割仍是一项艰巨的任务3。早期的机载激光点云分类问题主要通过机器学习的方法解决。通常点云分类任务是先局部和全局提取代表点特征,再利用学习到的特征表示将每个点分类为预定义
2、的语义类别4。这些方法首先计算几何特征,然后通过特定的分类器最大程度地区分各种语义特征5-6,从而实现逐点语义分割;但原始点云的特征计算能力有限,且过于依赖特定的先验信息或规则7,独立估计每个点的局部特征并生成标签预测,结合局部与全局特征的点云语义分割卷积网络摘要:点云语义分割在许多与点云相关的应用程序中具有重要作用,特别是对于机载激光点云,精确的注释可大大扩展其在各种应用中的用途。然而,受限于传感器噪声、复杂的对象结构、不完整的点和不均匀的点密度,准确而有效的语义分割仍是一项艰巨的任务。因此,提出了一种结合局部与全局特征的机载激光点云语义分割网络。首先利用改进的渐进三角化不规则网络致密化滤波
3、算法将点云划分为地面点和非地面点,然后针对非地面点分别提取局部和全局特征,再聚合局部特征和全局特征并获得点标记结果,最后基于图优化模型进行语义标签优化。为评估该方法性能,在一个大规模机载激光点云数据集中进行测试实验。结果表明,该方法在DALES基准数据集上的总体精度可提高至97.4%,对8个语义类进行分类,mIoU为78.2%。与其他较前沿方法相比,该方法可实现更高的分割精度。关键词:机载激光点云;语义分割;深度学习;后端优化中图分类号:P231文献标志码:B文章编号:1672-4623(2023)03-0025-06Point Cloud Semantic Segmentation Conv
4、olution Network CombiningLocal and Global FeaturesSONG Xiurong1,QUAN Xuezhen1,ZHANG Jie1,ZHAO Chuangxing2(1.Qinghai Basic Surveying and Mapping Institute,Xining 810001,China;2.Qinghai Remote Sensing Center for Natural Resources,Xining 810001,China)Abstract:Point cloud semantic segmentation plays an
5、essential role in point cloud related applications.Especially for the airborne laser pointcloud,accurate annotation can greatly expand its use in various applications.However,accurate and efficient semantic segmentation is still a chal-lenging task,due to the sensor noise,complex object structures,i
6、ncomplete points and uneven point densities.In this paper,we proposed a air-borne laser point cloud semantic segmentation network combining local and global features.We adopted the improved progressive triangulationirregular network densification filtering algorithm to divide the point cloud into gr
7、ound points and non-ground points at first.And then,we ex-tracted local and global features for non-ground points,aggregated the local and global features,and obtained the point labeling result.Finally,we performed semantic label optimization based on the graph optimization model.We conducted compre
8、hensive experiments on a large-scale air-borne laser point cloud dataset to evaluate the performance of this method proposed in this paper.The overall accuracy of this method on theDALES benchmark data set can be increased to 97.4%to classify 8 semantic classes,and the mIoU is 78.2%.Compared with ex
9、isting methods,the method can achieve better performance on accuracy.Key words:airborne laser point cloud,semantic segmentation,deep learning,rear optimization收稿日期:2021-08-13;修回日期:2021-11-30。项目来源:青海省自然保护地三维实景游览建设资助项目(63000021T000000009010)。第一作者简介:宋秀容(1984),工程师,研究方向为航测遥感数据处理,E-mail:。引文格式:宋秀容,全雪贞,张洁,等
10、.结合局部与全局特征的点云语义分割卷积网络J.地理空间信息,2023,21(3):25-30.doi:10.3969/j.issn.1672-4623.2023.03.006Mar.,2023Vol.21,No.3地 理 空 间 信 息GEOSPATIAL INFORMATION2023 年 3 月第21卷第 3 期(1.青海省基础测绘院,青海 西宁 810001;2.青海省自然资源遥感中心,青海 西宁 810001)宋秀容1,全雪贞1,张洁1,赵闯姓2地理空间信息第21卷第3期并未考虑邻域点之间的标签一致性,因此语义分割结果易受噪声和标签不一致的影响8。一些研究试图通过马尔科夫随机场和条件随
11、机场等优化模型整合上下文信息9-10,增强标签平滑度以提高性能;但这些基于机器学习的点云分类方法综合利用手工制作的特征来表征输入点云中的每个点,当应用于大规模野外场景时,它们的泛化性有限。近年来,深度学习方法在场景分类、目标检测、变化检测、高光谱图像分类等应用中均取得了显著成功。顺应这一趋势,研究人员一直将注意力转向采样一些深度学习模型解决三维点云语义分割问题。例如,为了利用卷积神经网络(CNN)的强大功能,有些方法将原始点云投影到二维图像中,再利用传统的CNN机载点云分类11-12,通常需要手工制作的特征来增强二维特征图像表示,且由于三维到二维转换过程中的信息丢失,分类性能受到限制。将无序点
12、云体素化为规则三维网格的方法是处理点云以适应深度神经网络的替代方法,如Schmohl S13等先将ALS点云体素化,再投入到子流形稀疏卷积网络进行处理。然而,体素化不可避免地导致信息丢失并生成伪影,对三维特征的学习产生负面影响。此外,存储在体素结构中的大量未占用网格将导致高内存需求14。一些研究人员也尝试直接在原始点云上应用卷积算子,并利用深度神经网络学习高级点特征,如Yousefhussien M15等提出了一个完全卷积网络,它将输入点云的原始坐标和从相同位置的地理参考图像中提取的3个附加光谱特征作为输入,用于逐点分类;WANG S16等开发了多尺度深度神经网络,以实现更强大的特征学习,并进
13、一步提高了点云分类性能。这些方法首先利用共享的MLP网络提取每点特征;然后利用下采样块将每个点的特征聚合到基于集群的特征中;最后利用另一个MLP网络后跟Softmax分类器进行逐点分类。WEN C17等提出了一种用于点特征提取的方向约束卷积算子,并设计了一种用于点云分类的多尺度全卷积网络;Arief H A18等开发了Atrous XCRF模块来增强原始PointCNN模型,并在机载LiDAR点云分类方面开发了有益性能。在林业领域,WANG Y J19等提出基于KNN搜索的三维点云语义分割方法,改进了现有方法在局部点云特征提取方面的不足,有效提高了语义分割的精度。尽管这些基于点云的方法在机载激
14、光点云分类方面取得了出色效果,但由于点云数据的密度分布不均匀,它们不能充分识别细粒度的局部结构。为了解决该问题,LI X20等利用密度感知卷积将每个点的逆密度馈送到另一个MLP网络以进一步增强,并采用上下文编码模块正则化器对全局语义上下文进行正则化。考虑到点云的固有拓扑信息,这两年研究人员将图卷积神经网络用于无序三维点云分类。图形化模型可自然地表示三维场景,再将图形结构化的数据嵌入新设计的网络中21。梁振明22等提出了一种多尺度动态图卷积网络,首先利用最远点采样方法采样三维点云数据集的代表点,降低模型计算复杂度;然后利用不同尺度的K最邻近节点聚合方式对图中每一个中心节点的K最邻近节点进行定位;
15、最后利用边卷积操作对中心节点及其邻接节点的局部属性特征进行提取与聚合,实现点云分类。为了顾及点之间的全局上下文关系,WEN C23等提出了一种用于机载激光点云分类的全局局部图注意力卷积神经网络。该网络结合了边缘注意力和密度注意力的局部注意力模块,以及全局注意力模块。局部边缘注意模块根据相邻点的空间位置关系动态地学习卷积权重,卷积核的接受场可以动态适应点云的结构;局部密度关注模块解决了非均匀采样点云数据的密度分布不均匀问题。为了更好地获取点云的全局上下文信息,通过计算每两个点之间的欧氏距离来实现全局关注模块,并利用MLP网络来学习它们的关注权重。最近,注意力机制变得越来越流行,因为它可提供参数的
16、重要性分数,有助于改善判别特征和抑制干扰。HUANG R24等研究了远程空间关系和通道关系的重要性,首先利用局部空间差异注意力卷积模块学习局部几何描述和局部依存关系,然后研究由空间关系感知注意力模块和通道关系感知注意力模块组成的全局关系感知注意力模块,进一步了解二者之间的全局空间和通道方向关系。1研究方法本文方法主要由4个模块构成(图1):地面点提取,通过改进的渐进三角化不规则网络致密化滤波算法将点云划分为地面点和非地面点;局部特征提取;全局特征提取;标签细化。执行图结构优化算法,通过构造加权间接图并利用图切割解决优化问题来实现初始语义标记结果的空间平滑。1.1地面点提取由于机载激光雷达系统的
17、扫描方式和激光脉冲重复率高,地面点占据了整个场景的很大一部分。大量的地面点不仅扩大了提取非地面目标的搜索区域,而且增加了空间复杂度,降低了处理速度。因此,区分地面点和非地面点是处理原始数据的一个初步但至关26第21卷第3期重要的步骤。为减少待处理的数据量并考虑大场景中的地形波动,本文采用了一种改进的渐进不规则三角网致密滤波算法19。该算法可快速有效地从各种点中去除地面点云场景,特别是结构复杂的区域。地面和地上目标点的分离效果如图2所示。a 原始点云数据b 分离后的地面点c 分离后的非地面点图2机载激光点云地面滤波结果1.2基于局部区域的点特征提取PointNet及其衍生算法难以在复杂城市场景中
18、进行有效的大规模机载点云分类。对于一个网络的训练和推理,分裂和采样的过程是不可避免的。然而,这个过程中可能会产生伪影,小物件被切成小块,但该过程无法提供足够的信息来识别小块。为了提高网络处理不同尺度对象的能力,本文通过分层数据增强方法来增强PointNet+处理复杂三维数据的能力。分层采样策略为对象完整性和细粒度细节提供了一种权衡解决方案,即首先在训练阶段,对用于训练的整个点云重复实施3轮细分,每轮子点集的尺度不同,子点集以固定的点数呈现,换句话说,每一轮细分将使用不同的尺度来约束子点集的大小,以便将点云细分为具有预定义和固定点数的非重叠子点集,经过3轮细分后,整个场景以不同尺度的子点集呈现,
19、在下采样步骤之后,所有子点集均被馈送到网络中,以确保以一致的方式提供输入,可使训练网络在处理范围广泛的对象时具有更强的泛化能力;然后对用于测试的点云进行相同的细分和下采样处理,训练和测试过程的区别在于,不同尺度的细分点集没有一起输入网络,输入每个尺度中的子点以获得深层特征,再对原始点云中不包含在网络输入中的点进行插值以获得深度特征向量,因此所有不同尺度细分的点均可分配一个包含不同级别上下文信息的深度特征向量;最后可将来自不同尺度的深度特征连接起来,形成一个多尺度的深度特征向量。1.3全局信息嵌入由于每个卷积层只有一个局部感受野,且逐点特征不能编码局部区域之外的信息和对象之间的关系,因此逐点特征
20、仅代表局部几何,不足以探索大型物体的内在结构和物体之间的相互作用。缺乏全局上下文限制了ALS点云中户外场景的逐点预测网络性能。为了获得更好的性能,从全局角度来看,对象级别的空间依赖性应被利用并与局部几何特征相结合。受超点图25的启发,本文在由几何同质点组成的段上构建图以捕捉对象之间的关系。通过结合分段特征和逐点特征,网络自适应地编码局部全局特征,从而在ALS数据集上实现更好的语义预测。首先,通过无监督算法26在训练前基于预定义的几何特征和强度将点云分割成块。与在训练期间根据更新的特征动态聚类点的神经网络27不同,该网络采用固定的图结构,且所有段标签都继承自初始分割。这种固定结构的计算效率更高,
21、因为它不会为每次训练迭代在高维特征空间中搜索KNN邻居。然后,根据段 标 签 将 获 得 的 逐 点 特 征 聚 合 到 节 点 特 征MRNsC3,其中Ns为场景中的段数。在一个点云块内,节点特征被计算为所有块中点特征的平均值。对于每个节点sij|j()Ns-1,与场景中的所有其他节点构建一个图。中心节点si的特征用miRC3表示,sij的特征用mijRC3表示,边缘特征用eij=mi-mij表示。利用边缘条件卷积捕获不同段之间的上下文信息,并通过 softmax 归一化以获得全局注意力图wRN。最后,受PointNet+28的启发,基于上述融合局部与全局特征的卷积模块,以端到端的方式开发了
22、编码器解码器,将包含与原始点集相同数量的多层次特征几何送入11卷积,以获得每个点的语义标签。1.4全局图优化分类结果缺乏一致性,需要考虑更多的上下文信息来优化结果。本文将点云最优分类标签配置的解决方案形式化为马尔科夫随机场(MRF)的最大后验概率估计问题,表述为能量函数最小化,即L*=argmin()Edata()L+Esmooth()L(1)其中,Edata()L为一阶数据项,用于衡量标签与原始数据之间的差异;Esmooth()L为二阶平滑项,主要描述基于局部上下文信息的局部邻域中标签的不一致;为一阶能量项与二阶能量项之间的权重系数。现有方法不能直接使用特定的数学模型来表达和优化MRF模型问
23、题,因此概率分布问题被转化为能量非地面点局部特征全局特征地面点特征融合图1本文机载激光点云语义分割框架示意图宋秀容等:结合局部与全局特征的点云语义分割卷积网络27地理空间信息第21卷第3期函数,点云分类的最优解则通过最小化能量函数获得。迭代条件模型、模拟退火等大多方法在解决方案质量方面均取得了相当好的结果,但对于大规模点云,采用较大的K值仍会带来巨大的计算负担,因此本文通过图割算法对能量函数进行最小化。该方法在每次迭代中修改标签,减少迭代次数,以实现高效的能量优化计算。能量函数的计算主要包括一阶和二阶项。一阶能量函数主要衡量预测值与真值的不一致性。本文以局部最优特征的后验概率估计来表示能量函数
24、,即Edata()L=iPD()li(2)根据邻接关系计算相邻边的权重,再计算二阶能量函数,计算公式为:Esmooth()L=i,jNVi,j()li,lj(3)为了选择最优,即均衡数据项和平滑数据的系数,本文分析了对数据集A标记性能的影响。将分别设置为0.5、0.75、1.0、1.25、1.5、1.75和2,通过多次测试,初始标记结果随着的变化而改善,当=1.5时,分类精度达到峰值。较大的意味着对使用的类别数量施加更多的成本,但可能会导致标记点云结果过于平滑;而较小的意味着对该区域使用的类别数量的惩罚较小,将导致无法有效纠正的错误标签数量较多;将设置为1.5可达到平衡,并获得最高的分类精度,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 结合 局部 全局 特征 语义 分割 卷积 网络 宋秀容
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。