基于高程感知多尺度图卷积网络的地物分类.pdf
《基于高程感知多尺度图卷积网络的地物分类.pdf》由会员分享,可在线阅读,更多相关《基于高程感知多尺度图卷积网络的地物分类.pdf(8页珍藏版)》请在咨信网上搜索。
1、http:/DOI:10.13700/j.bh.1001-5965.2021.0434基于高程感知多尺度图卷积网络的地物分类文沛1,2,程英蕾1,*,王鹏1,赵明钧1,张碧秀1,3(1.空军工程大学信息与导航学院,西安710077;2.中国人民解放军93575 部队,承德067000;3.中国人民解放军93897 部队,西安710077)摘要:机载激光雷达获取的点云具有类别分布不均匀、样本高程差异大的复杂特点,现有方法难以充分识别其细粒度的局部结构。针对该问题,堆叠使用多层边缘卷积算子同时提取局部信息和全局信息,并引入高程注意力权重作为特征提取的补充,设计了一种用于机载激光雷达点云地物分类的端
2、到端网络,提出基于高程感知多尺度图卷积网络的地物分类方法。对原始点云划分子块并采样到固定点数;采用多尺度边缘卷积算子提取多尺度局部-全局特征并进行融合,同时采用高程感知模块生成注意力权重并应用于特征提取网络;利用改进的焦点损失函数进一步解决类别分布不均问题,完成分类。采用国际摄影测量与遥感学会(ISPRS)提供的标准测试数据集对所提方法进行验证,所提方法的总体分类精度达到 0.859,单类别分类精度特别是对建筑物的提取精度较ISPRS 竞赛中公开的最好结果提高了 4.6%。研究结果对实际应用和网络设计优化具有借鉴意义。关键词:图像处理;图卷积;深度学习;高程感知;点云分类中图分类号:V557+
3、.3;TP391文献标志码:A文章编号:1001-5965(2023)06-1471-08机 载 激 光 雷 达(light detection and ranging,LiDAR)作为一种主动式对地观测系统,获取的高精度、高密度三维点云已广泛应用于自动驾驶1、三维重构2、森林监测3、电力线检测4等领域,为3D 目标感知和场景理解提供了重要空间信息。尽管研究人员提出了大量处理点云的方法5-7,由于机载远距离传感器噪声高、场景复杂等因素,机载激光雷达点云的分类仍极具挑战。传统机器学习方法通常基于手工设计规则提取特征并选择合适分类器进行分类8-10,模型泛化能力弱,对专业经验依赖程度高。随着深度学
4、习在图像处理领域的巨大成功,研究者们开始采用深度学习模型处理点云分类问题。目前,基于深度学习的点云分类方法主要有 3 种:多视图投影、体素化及直接处理原始点云。多视图卷积神经网络(multi-viewconvolutionalneuralnetworks,MVCNN)11将点云从不同位置和角度投影到多个 2D 视图后进行卷积操作提取特征,较传统机器学习方法效果更优,但极易受视点选择影响。文献 12 将点云划分为多尺度体素,提取不同空间分辨率的多尺度特征,并依据此特征预测类别概率,在遥感测绘领域取得良好效果,但内存消耗大、训练时间长。PointNet是将原始点云作为模型输入的开创性工作,采用旋转
5、矩阵、最大池化等方法,以较低代价、较好效果解决了点云无序性、置换不变性和旋转不变性的问题13。PointNet+在此基础上补足了其无法捕获局部邻域信息的缺陷14。许多研究者受 PointNet+启发对模型进行改进,但大都在不同邻域内独立处理点,忽略了点之间的几何关系及邻域间的拓扑关系,导致有用信息的缺失7。收稿日期:2021-08-02;录用日期:2021-10-29;网络出版时间:2021-11-2216:36网络出版地址: J.北京航空航天大学学报,2023,49(6):1471-1478.WEN P,CHENG Y L,WANG P,et al.Ground object classif
6、ication based on height-aware multi-scale graph convolution networkJ.Journal of Beijing University of Aeronautics and Astronautics,2023,49(6):1471-1478(in Chinese).2023年6月北京航空航天大学学报June2023第49卷第6期JournalofBeijingUniversityofAeronauticsandAstronauticsVol.49No.6针对独立处理点导致的邻域间信息缺失的问题,有学者开始研究基于图的方法。文献 15
7、 基于图结构提取点云特征提出边缘卷积(EdgeConv),通过构造 k 近邻图(k-nearestneighbors,kNN)建立点之间的关系,受此启发,本文也采用图卷积的方法捕获目标丰富的结构信息,提出一种基于高程感知多尺度图卷积网络的地物分类方法。首先对原始点云进行预处理,包括划分子块和采样;将预处理后的点云子块分批次送入多尺度特征提取模块,并对提取的特征进行融合。同时,将相同批次点云子块送入高程感知模块获取对应高程权重,进一步增强特征表达能力,并对损失函数进行改进,解决LiDAR 扫描获取的点云部分类别高程差异较大(例如屋顶一般比其他类别高16),不同类别样本数量和规模差异大(例如屋顶、
8、树木和电力线、汽车等)的问题。最后经过后处理,完成分类任务。实验证明,本文方法可以充分提取点云特征,精确分类得到地物目标。1基本原理与方法1.1点云预处理1.1.1分块策略k0CLCCNCCC10,C11,C12,C13,C14,C15,C16,C17C1i0 C10,C11,C12,C13,C14,C15,C16,C17LC1=LC/2NC1i0NC1i0=0C1i0NC1i0 0j0=k0Cj0i0NC1i0 0为使数据大小不超过 GPU 内存限制,方便后续使用批处理策略对网络模型进行训练,提高训练效率,需要将点云划分为多个子块。具体分块策略如下:设定最大递归深度;以原始点云边界为最大尺寸
9、边界,建立初始立方体,边长为,中共有个点(即原始点云点数);将立方体等分成 8 个小立方体,得到,对 任 意,边长为,点数为,若,则丢弃;若,则重复步骤,直至递归次数,此时保证任意中点数,则分块结束。1.1.2采样策略Pset=P1,P2,PM|M N+Pr PsetNcurrent N+,r=1,2,MNtarget N+Ncurrent NtargetNcurrent Ntarget为使分块后的子点云能直接输入后续神经网络,需要进行采样操作获得具有固定点数的样本。以分块处理后得到的一系列子点云为基础定义数据集,对任意,点数为。给定常数作为目标点数,当时对子点云块进行下采样,为提高效率,缩短
10、运行时间,本文采用随机采样(randomsampling,RS);当时对子点云块进行上采样,为降低计算复杂度,本文采用kNN 插值算法。1.2基于图卷积网络的特征提取1.2.1边缘特征提取基于图结构的点云处理算法因其强大的拓扑piqjdj=1,2,kpipiqjpiqjeijpi特征提取能力,近年来得到广泛研究。本文引入边缘卷积算子 EdgeConv15对点及与其邻域点之间的几何关系进行学习,从而捕获点云局部信息。图 1(a)为 kNN 图,以为中心点,为邻域点构建 kNN图,特征维度为,。中心点的边缘特征不仅与本身有关,还与邻域点有关,图 1(b)为边缘卷积,与之间的边缘特征及更新的处特征可
11、表示为eij=h(pi,qj pi)pi=g(eij)=g(h(pi,qj pi)(1)h()g()式中:为边缘卷积函数;为特征聚合函数。ml(l):Rdl1 RdlG(l)=(V(l),E(l)V(l)E(l)E(l)V(l)V(l)piEi=ei1,ei2,eij,eiklE(l)=E1,E2,Ei,EnRnkdl1Rndll图 1(c)为边缘卷积和特征聚合过程,对重复次的边缘特征提取操作,每一个边缘卷积层的输出为下一个边缘卷积层的输入。具体而言,在第层,定义输入输出的映射关系为,kNN 图为,为顶点集合,为边缘集合,由此可得任意中心点的边缘特征为,第 层的边缘特征张量为,映射关系为。边
12、缘 卷 积 函 数 取 多 层 感 知 机(multilayerperceptron,MLP),特征聚合函数取最大池化(Max-pooling),则第 层的输出为output(l)=Maxpooling(MLP(E(l)=Maxpooling(ReLU(W(l)E(l)+b(l)(2)W(l)b(l)ReLU式中:为共享权值矩阵;为全连接层中的偏置向量;为激活函数;eijpiqjL1L2根据式(1)可知与和均有关,本文使用点间距的、范数和点坐标构建边缘特征向量,计算如下:qkqkeikei1ei2ei3ei4ei5q1q1q2q2q3q3q4q4q5q5pipi(qj)(qj).(a)kNN图
13、(b)边缘卷积(c)图卷积G0G1GiGm图1边缘特征提取示意图Fig.1Schematicdiagramofedgefeatureextraction1472北 京 航 空 航 天 大 学 学 报2023年eij=(L1,L2,P,Q)L1=ds=1?xisxjs?L2=(ds=1(xisxjs)2)1/2(3)L1L2piqjPQpiqjxisxjspiqjs式中:和分别为和之间的曼哈顿距离和欧氏距离;和分别为和的三维坐标;和分别为和的第 维坐标值。1.2.2多尺度局部-全局特征提取kNN 图描述了中心点和其前 k 个最近邻点之间的邻接关系,当 k 取不同大小值则捕获中心点附近不同比例的局
14、部邻域信息;EdgeConv 模块同时考虑了邻域内的局部信息和全局信息,通过层次堆叠使用 EdgeConv 模块可以提取单尺度局部-全局特征。本文通过融合多比例边缘卷积特征提取模块的输出来实现多尺度局部-全局特征的提取,如图 2 所示,其中 M1、M2和 M3为 k 的不同取值,以此达到构造不同尺度领域空间的目的。首先根据kNN 图 生 成 边 缘 特 征 向 量,通 过 多 层 感 知 器MLP(64,64,128)和 最 大 池 化 层 Maxpooling(128)得到 浅 层 边 缘 特 征;然 后 输 入 MLP(128,256)和Maxpooling(256)获 取 深 层 特 征
15、;进 一 步 采 用MLP(256,512)和 Maxpooling(512)获取更深层次特征;然 后 将 每 层 输 出 特 征 进 行 拼 接,并 送 入MLP(896,1024)和 Maxpooling(1024)得到深层边缘特征;最后将多比例特征进行融合,得到多尺度局部-全局特征。输入输出边缘特征向量边缘卷积MLP边缘卷积MLP边缘卷积MLP最大池化最大池化MLP最大池化最大池化CC特征拼接kNN图k=M1kNN图k=M2kNN图k=M3特征提取模块特征融合特征提取模块特征提取模块特征提取模块图2多尺度特征提取示意图Fig.2Schematicdiagramofmulti-scalef
16、eatureextraction1.3高程感知模块与室内场景点云不同,机载激光雷达获取的点云在不同类别地物间呈现差异较大的高程分布特点,例如建筑物高程普遍高于植被、车辆等。为充分利用不同类别间的高程差异特性,本文引入高程感知模块17,生成点的高程注意力权重,使模型充分考虑每个点的高程信息,提高分类精度,改善分D1类效果。具体而言,对输入点云取 z 坐标生成 1 维特征向量,通过权值共享的 MLP 对其进行升维,获取与特征提取主干网络输出的节点特征(维度为)相匹配的高维特征,最后通过 Softmax 层得到高程注意力权重,原理如图 3 所示,其中,D 为输入点云维度,N 为预处理后输入网络的点云
17、中点的数量。S Softmax11 卷积批归一化ReLUMLPSN(3+D)N1ND1ND1高程感知模块11 卷积批归一化ReLU批归一化ReLU11 卷积图3高程感知模块原理图Fig.3SchematicdiagramofHeight-awaremodule1.4高程感知多尺度图卷积网络本 文 设 计 的 高 程 感 知 多 尺 度 图 卷 积 网 络(height aware multi-scale graph convolution network,HAMS-GCN)提供了一种端到端的点云分类方法,如图 4 所示。以预处理后的点云作为输入,通过特征提取模第6期文沛,等:基于高程感知多尺度
18、图卷积网络的地物分类1473块获得局部-全局特征(11024);融合基于不同尺度kNN 图的特征获得多尺度局部-全局特征(31024)并进行特征降维;然后将高程注意力权重与特征矩阵相乘得到具有丰富高程信息的点特征(1024);最后输入 MLP(1024,256,64,c)得到标签预测结果,完成分类,c 为总类别数。1.5损失函数多分类问题中最常用的损失函数为交叉熵损失函数,然而机载激光雷达点云中类别样本分布极不均匀,样本较少的类别分类难、易错分。何恺明等18提出的焦点损失函数能有效解决类别分布不均匀问题,通过对交叉熵函数添加调节项,在图像特征识别中取得较好效果。焦点损失函数如下:Focal_l
19、osst=at(1t)ln(t)t=1,2,c(4)tat(1t)at式 中:为 模 型 估 计 概 率;为 类 别 权 重 系 数;为调节因子;为焦点参数。类别权重系数一般为固定值,针对机载激光雷达点云的分类并不总是有效,因此,本文借鉴文献 19的方法对焦点损失函数进行改进,解决类别分布极度不均匀的问题,通过类别百分比的指数函数来计算变化的类别权重系数,具体如下:at=exp(t)exp(t)exp(t)+exp(t)t=(maxt=1,2,catat)1/3(5)t式中:为中间变量。则改进后的焦点损失函数为Losst=at(1t)ln(t)=exp(t)exp(t)exp(t)+exp(t
20、)(1t)ln(t)(6)2实验与分析2.1数据集本文使用国际摄影测量与遥感学会(InternationalSocietyforPhotogrammetryandRemoteSensing,ISPRS)pts/m2提供的 Vaihingen 数据集进行实验。该数据集由LeicaALS50 系统在离地面 500m 的平均高度上采集得到,共有 753876 个训练点、411722 个测试点,点密度为 4,其中,pts 为点,包括密集复杂的建筑区、树木环绕的住宅区、独立小栋的住宅区,类别丰富。图 5为实验数据集,地物被分为 9 个类别:电力线(powerline)、低矮植被(lowvegetatio
21、n)、不透水表面(impervioussurfaces)、车辆(car)、篱笆/栅栏(fence/hedge)、屋顶(roof)、外墙立面(facade)、灌木(shrub)、树木(tree)。不同类别比例分布如表 1所示。(a)训练数据(b)测试数据图5实验数据集Fig.5TheexperimentaldatasetF融合kNN图矩阵相乘N(3+D)特征提取高程感知模块单尺度特征提取模块11 024F11 0243MLP(1 024,1 024)最大池化(3)11 0241N1 024N1 024升维MLP(1 024,256,64,c)Nc输云点入输出标签11 02411024N1 024
22、k=M1k=M2k=M3图4基于 HAMS-GCN 的点云分类流程Fig.4PointcloudclassificationprocessbasedonHAMS-GCN表1实验数据集中不同类别的百分比Table1Thepercentofdifferentcategoriesintheexperimentaldataset%类别训练集测试集电力线0.070.15低矮植被23.9923.97不透水表面25.7014.77车辆0.610.90篱笆/栅栏1.601.80屋顶20.1726.48外墙立面3.612.72灌木6.316.03树木17.9413.171474北 京 航 空 航 天 大 学 学
23、 报2023年2.2参数设置和评价指标点云分块预处理时,根据实验对比设置最大递归深度为 5;统一点云子块点数时设置采样点数为4096。网络训练阶段采用 Adam 优化器,初始学习率设置为 0.001,批处理大小设置为 64,训练 200 个epoch。机器配置:GPU 为 GeForceGTXTITANX,CPU 为 Intel(R)Xeon(R)CPUE5-2620v32.40GHz,实验环境主要有 python3.8、pytorch1.9。为评估本文网络性能,本文引入总体分类精度(overallaccuracy,OA)和 F1 分数作为评价指标,具体计算式为OA=NTP+NTNNTP+NT
24、N+NFP+NFNF1=2precisionrecallprecision+recallprecision=NTPNTP+NFPrecall=NTPNTP+NFN(7)NTPNTNNFPNFN式中:为预测正例实际正例的样本数;为预测负例实际负例的样本数;为预测正例实际负例的样本数;为预测负例实际正例的样本数;precision 为精确率;recall 为召回率。2.3结果分析2.3.1预处理分析m1,m2,m9为以最佳分块进行后续实验,本节对不同递归深度进行测试,结果如图 6 所示,为不同类别分类精度,用柱状图不同颜色表示。由图可知,递归深度越小,表示分块大小越大,各类别的分类精度越低,对篱笆
25、、电力线等类别的影响较高,这是由于较大的块在提取特征进行最大池化时容易丢失更多细节信息,且数据边缘块的点较少,依赖插值点的生成,特征学习能力较差;递归深度越大,分块大小越小,屋顶、树木等类别的分类精度显著下降,这是由于将较大对象分成小块,容易破坏其整体结构,网络无法充分学习完整对象的结构信息。通过实验验证,选取递归深度为 5 能产生更好的分类结果,效果如图 7 所示。图7预处理分块示意图Fig.7Schematicdiagramofpreprocessedsub-blocks2.3.2网络性能分析图 8 为测试数据的分类结果可视化,绿色为分类正确,红色为分类错误,图 9 为分类结果细节可视化,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 高程 感知 尺度 图卷 网络 地物 分类
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。