改进的混合2D-3D卷积神经网络高光谱图像分类研究.pdf
《改进的混合2D-3D卷积神经网络高光谱图像分类研究.pdf》由会员分享,可在线阅读,更多相关《改进的混合2D-3D卷积神经网络高光谱图像分类研究.pdf(9页珍藏版)》请在咨信网上搜索。
1、2097-3012(2023)02-0184-09 Journal of Spatio-temporal Information 时空信息学报 收稿日期:2022-08-31;修订日期:2023-05-31 基金项目:国家自然科学基金项目(41871303);地质灾害防治与地质环境保护国家重点实验室项目(SKLGP2018Z010);四川省科技计划项目(2021YFG0365);四川省自然资源项目(kj-2021-3)作者简介:贺敏慧,研究方向为高光谱图像处理与分析。E-mail: 通信作者:何敬,研究方向为无人机影像处理、倾斜三维建模及遥感目标自动识别等。E-mail: 改进的混合 2D-3
2、D 卷积神经网络高光谱图像分类研究 贺敏慧1,何敬1,刘刚1,2 1.成都理工大学 地球科学学院,成都 610059;2.成都理工大学 地质灾害防治与地质环境保护国家重点实验室,成都 610059 摘 要:卷积神经网络在进行高光谱图像分类时,往往需要设置较多的参数,因此其计算效率受到很大影响。基于混合卷积神经网络模型,本文利用全局平均池化层代替原有的全连接层,将卷积层输出的多个特征图映射为一个特征点,并将多个特征点构成一维向量,形成改进后的混合 2D-3D 卷积神经网络模型;最后,对改进后的模型分别在 IP(Indian Pines)数据集、PU(Pavia University)数据集及 B
3、otswana 数据集上进行测试。结果显示,总体分类精度分别达到 99.64%、99.98%、99.91%。这表明在大量减少参数的条件下仍具有较好的分类性能。关键词:高光谱图像分类;卷积神经网络;二维卷积;三维卷积;全局平均池化层 引用格式:贺敏慧,何敬,刘刚.2023.改进的混合 2D-3D 卷积神经网络高光谱图像分类研究.时空信息学报,30(2):184-192 He M H,He J,Liu G.2023.Improved hybrid 2D-3D convolutional neural network for hyperspectral image classification.Jo
4、urnal of Spatio-temporal Information,30(2):184-192,doi:10.20117/j.jsti.202302004 1 引 言 高光谱图像具有极高的光谱分辨率,能够反映不同地物光谱间的细微差异(高奎亮等,2019),在农业监测、军事目标探测、环境监测等领域有着广泛的应用(齐永锋等,2020;渠慎明等,2021)。近年来,高光谱图像分类已成为高光谱图像处理领域的研究热点之一(段小川等,2021),但高光谱图像自身特性复杂及数据特征获取困难,分类时存在噪声大、计算复杂、对比度差、维数大、训练样本不足等问题,使得高光谱图像分类任务更加艰巨(邓磊等,202
5、3)。早期的高光谱图像分类方法主要是利用高光谱图像丰富的光谱信息。首先,通过特征提取,从高光谱图像中提取最具鉴别性的特征或波段(韦春桃等,2020),常用的方法如主成分分析(principal component analysis,PCA)(Licciardi 等,2012)、线性判别分析(Du 和 Chang,2001)、独立主成分 分析(Villa 等,2011)等;然后,将特征提取的结果用分类器进行分类,常见的分类器如 K 近邻分类器(Blanzieri 和 Melgani,2008)、最大似然分类器(Ediriwickrema 和 Khorram,1997)、支持向量机(Melgani
6、 和 Bruzzone,2004)等。但这些方法只依赖光谱特征进行分类,容易发生“椒盐现象”,忽略相邻像素间存在的空间相关性;因此,引入空间特征进行分类,如扩展形态剖面(Benediktsson 等,2005)、通过多核学习(Camps-Valls 等,2006;Fang等,2017)等方法。然而,高光谱图像类别复杂多样,很难选择一种特征提取的方法都适用于所有类型的高光谱数据。随着计算机技术的发展,出现了一系列深度学习方法的研究,如刘启超等(2020)能够从原始的高光谱数据中自动学习更深层次的空间和光谱特征,还有深度置信网络(Zhong 等,2017)、堆叠自编码器(Chen 等,2014)及
7、卷积神经网络(convolutional neural network,CNN)(Zhang 等,贺敏慧 等:改进的混合 2D-3D 卷积神经网络高光谱图像分类研究 185 2018)等模型。其中,CNN 以一种有效的方式将高光谱图像的光谱信息与空间背景信息结合起来,能够共享权值、显著减少参数数量,这表明 CNN在高光谱图像分类方面有着巨大潜力(刘翠连等,2022)。Makantasis 等(2015)提出了一种利用2D-CNN 来编码像素的特征信息,有效提高了高光谱图像分类的精度。Chen 等(2016)提出了一种用于高光谱图像分类的 3D 卷积神经网络框架。高光谱数据自身特性复杂,采用 2
8、D-CNN 只能在空间维度上,计算二维鉴别特征图,无法处理光谱信息;采用3D-CNN可以同时从高光谱图像数据中提取光谱和空间特征,但增加了计算复杂度,不能准确提取具有相似纹理的类别(王燕和吕艳萍,2023)。一方面,Roy 等(2020)提出一种同时采用三维卷积和二维卷积的混合网络模型(hybrid spectral CNN,HybridSN),有效结合了 3D-CNN 和 2D-CNN的优势,降低了网络计算复杂度。但由于模型采用全连接层,训练过程参数量大,网络计算效率低下。另一方面,Lin 等(2013)曾提出,引用全局平均池化层可以很好地抑制网络过拟合,加强类别和特征之间的联系,并有效减少
9、参数量。综上所述,本文针对目前高光谱图像分类中面 临的参数量多、需要的训练时间长的问题,提出了一种改进的混合网络结构(global average pooling-hybrid spectral CNN,GAP-HybridSN)。其核心思想是在 HybridSN 的基础上,采用二维卷积和三维卷积来充分提取高光谱图像数据的光谱与空间特征信息,引入全局平均池化层(global average pooling,GAP)来代替全连接层,将其输入特征映射中的元素总数映射到输入特征映射的通道数,减少全连接层的大权值矩阵所需要的存储量,并缩小参数空间,避免过拟合。并在高光谱影像数据集 IP(Indian
10、Pines)、PU(Pavia University)与 Botswana 中,验证了本文方法的有效性与适用性。2 研究方法 2.1 GAP-HybridSN 网络模型结构 为了充分利用2D-CNN与3D-CNN的自动特征学习能力,提出了一种改进的混合网络框架用于高光谱图像分类,如图 1 所示。其主要包括三个三维卷积、一个二维卷积及一个全局平均池化层。高光谱数据立方体表示为H W CIR,其中,I为原始输入。首先,利用主成分分析方法对原始高光 图 1 GAP-HybridSN 模型结构 Fig.1 Structure diagram of GAP-HybridSN model 186 Jour
11、nal of Spatio-temporal Information 时空信息学报 2023,30(2)谱图像数据进行压缩,沿光谱波段去除光谱冗余,将光谱波段的数量从 C 减少到 B,用H W BXR表示PCA 压缩后的数据立方体。然后,将高光谱图像(hyperspectral image,HSI)立方体分割成相互重叠的 3D 小块,这些小块的真值标签由中心像素的标签决定。从 X 中创建三维相邻斑块S S BP R,以空间位置(,)为中心,覆盖选取窗口大小为 SS的所有光谱波段。其中,从 X 中生成的 3D 小块总数由(HS+1)(WS+1)决定。因此在空间位置(,)处的 3D 小块,用 P(
12、,)表示,覆盖宽度从(S1)/2 到+(S1)/2,覆盖高度从(S1)/2到+(S1)/2。在混合网络模型框架中,三维卷积核的维数在第一个卷积层中为 83371,即11K=3,12K=3,13K=7;第二个卷积层中为 163358,即21K=3,22K=3,23K=5;第三个卷积层中为 3233316,即31K=3,32K=3,33K=3。二维卷积核的维数为6433576,即41K=3,42K=3,其中,64 为二维核数,33 为二维核的空间维数,576 为二维输入特征图的个数。为了同时增加光谱空间特征图的数量,采用三次三维卷积,可以将输入高光谱图像数据的光谱信息保存在输出的体积中。二维卷积需
13、在全局平均池化层前应用,因为二维卷积能在不同光谱波段内区分空间信息,从而避免造成大量光谱信息损失。2.2 2D-3D-CNN 在 2D-CNN 中,将输入的数据与二维核进行卷积,卷积通过计算输入数据与核的点积来实现,内核跨越输入数据以覆盖整个空间维度,将卷积特征 通过激活函数传递到模型中,引入非线性。在二维卷积中,第 i 层的第 j 个特征图空间位置(x,y)的激活值,记为 1,1,1ldx yxypi ji ji jivbwv (1)式中,为激活函数;,i jb为第i层第j个特征图的偏置参数;1ld为第1l 层特征图的个数和第i层第j个特征图的内核,i jw的深度;为卷积核的高度;为卷积核的
14、宽度;,i jw 为与第个特征图的位置为(,)的连接值;,1,xyiv为1i 层第个特征图在位置为(x,y)的值。在HSI数据模型中,3D-CNN利用3D卷积核在输入层的多个连续波段上生成卷积层的特征图,获取光谱信息。在三维卷积中,生成第i层第j个特征图空间位置(x,y,z)的激活值,记为 1,1,1ldx y zxyzi ji ji jivbwv (2)式中,为光谱维度的深度。二维卷积与三维卷积过程示意,如图2所示。2.3 全局平均池化 对于传统算法中全连接层参数量庞大的问题部分,本文采用GAP来代替全连接层对其进行优化。将卷积层输出的多个特征图以自身为单位进行映射,映射结果为一个特征点。多
15、个特征点便得到了与上述特征展开相似的一维向量,而后传入Softmax层中进行分类。全局平均池化层一般使用在卷积层之后,输出层之前。图 2 二维卷积与三维卷积示意图 Fig.2 Schematic diagram of 2D-CNN and 3D-CNN 贺敏慧 等:改进的混合 2D-3D 卷积神经网络高光谱图像分类研究 187 设kijx为卷积层中第k个特征图的第(i,j)个元素,最后一个卷积层的大小为mn,GAP原理如下:11GAP001mnkkijijyxmn (3)3 实验数据与参数设置 3.1 高光谱数据集 为了验证方法的效果,采用IP数据集、PU数据集和Botswana数据集进行实验
16、。IP数据集,图像空间尺寸为145像素145像素,空间分辨率20 m,包含224个光谱波段,波长范围为4002500 nm;其中去除了由于大气吸水作用而被破坏的24个波段;IP数据集共21025个像素,大约50%包含来自16个不同类的地面真值信息。PU数据集,空间分辨率为1.3 m,图像尺寸大小为610像素340像素,波长范围为430860 nm;由于噪声等因素去除其中的12个波段,剩余103个波段,包含9个不同类的地物信息;此外,数据集共207400个像素,约有20%包含地面真值信息。Botswana数据集,空间分辨率为30 m,光谱分辨率为10 nm,图像尺寸大小为1476像素256像素,
17、波长范围为4002500 nm;该图像共包含242个波段,剔除受到噪声影响的97个波段后,剩余145个波段,包含14个不同类的地物信息。3.2 参数设置 研究使用Intel i9-10900K处理器、64 GB内存及在NVIDIA GeForce RTX 3090的显卡环境下运行。实验中,所有的网络权值随机初始化,并使用带Adam优化器的反向传播算法,采用分类交叉熵损失函数进行训练,网络选用批量大小为32,以0.001的最佳学习率训练100次。为了评估该模型的分类效果,实验中使用的数据训练集占比30%,测试集占比70%。数据预处理过程中,采用主成分分析法对高光谱数据集降维,以消除光谱的冗余;对
18、于IP数据集,主成分个数选择30个;PU数据集、Botswana数据集主成分个数分别选择15个。实验结果采用平均分类准确度(average accuracy,AA)、Kappa系数和整体分类准确度(overall accuracy,OA)作为评价指标。为了确定最优的空间窗口大小,本文将空间邻域大小分别设置成1313、1515、1717、1919、2121,在IP数据集、PU数据集与Botswana数据集进行实验。由图3知,IP数据集、PU数据集与 图 3 不同数据集、不同空间尺寸的分类精度对比 Fig.3 Comparison of classification accuracy with d
19、ifferent spatial dimensions on different datasets 188 Journal of Spatio-temporal Information 时空信息学报 2023,30(2)Botswana数据集分别可选取空间尺寸大小为17 17、1313与1515作为立方体数据块的输入。4 实验结果分析 4.1 参数量分析 将GAP-HybridSN与基础模型在相同的训练比例与空间大小下的参数量作对比,如图4所示。GAP-HybridSN模型在IP数据集、PU数据集、Botswana数据集中包含较少的参数量,这降低了硬件的存储开销,能更好地部署在小型设备上进行训
20、练。4.2 训练与测试时间分析 将GAP-HybridSN与HybridSN模型在不同数据集上的训练与测试时间作对比,如表1所示。由于 图 4 GAP-HybridSN 与 HybridSN 在不同数据集上 参数量对比 Fig.4 Parameters comparison of GAP-HybridSN and HybridSN on different datasets GAP-HybridSN模型使用全局平均池化层代替了基础模型的多个全连接层与Dropout层,大量减少了参数,降低了模型复杂度,提高了运行效率,所以,GAP-HybridSN模型缩短了训练测试时间,节约了时间成本。表 1
21、GAP-HybridSN 与 HybridSN 在不同数据集上训练与测试时间对比 Tab.1 Training and testing time comparison of GAP-HybridSN and HybridSN on different datasets s IP PU Botswana HybridSN GAP-HybridSN HybridSN GAP-HybridSN HybridSN GAP-HybridSN 训练 1520.51 1445.85 852.73 768.64 134.02 119.95 测试 5.21 4.80 3.49 3.40 0.51 0.44 4.
22、3 分类精度分析 为了验证本文算法的可靠性及有效性,将本文算法、3D-CNN及HybridSN进行对比。算法采用的训练集与测试集数量一致,对比结果如表2表4所示。对于IP数据集,HybridSN的总体精度比3D-CNN提高 了12.49%;GAP-HybridSN相 对 于HybridSN在大量减少参数、节约时间成本的同时,分类精度仍有提高。在PU数据集中,不同算法对各种地物的分类精度都比较高,GAP-HybridSN算法的总体分类精度相对于3D-CNN提高了2.39%。HybridSN与GAP-HybridSN算法分类精度都接近100%,主要因为PU数据集本身地物类别较少、地物界限分明,易于
23、分类。在Botswana数据集中,GAP-HybridSN算法的分类精度高,其中,只有金合欢灌木丛有错分现象,GAP-HybridSN的总体分类精度相对于3D-CNN与HybridSN分别提高2.99%、0.31%。表 2 IP 数据集不同算法分类精度对比 Tab.2 Classification accuracy comparison of different algorithms on the IP dataset%3D-CNN HybridSN GAP-HybridSN种类 苜蓿 96.88 93.75 96.88 玉米 62.13 99.31 99.83 免耕玉米94.97 98.22
24、 99.41 少耕玉米96.39 100.00 100.00 牧草 97.85 100.00 98.63 草地树木97.61 100.00 100.00 修剪草地95.00 100.00 100.00 干草料堆50.00 100.00 100.00 燕麦 82.79 98.38 99.85 免耕大豆95.80 97.90 99.30 少耕大豆92.29 100.00 99.76 纯净大豆78.13 99.94 99.94 小麦 86.30 100.00 99.63 森林 100.00 87.69 96.92 建筑物草92.00 98.30 99.20 石钢塔96.73 100.00 100.0
25、0 OA 86.79 99.28 99.64 AA 88.43 98.34 99.33 Kappa 84.97 99.17 99.59 贺敏慧 等:改进的混合 2D-3D 卷积神经网络高光谱图像分类研究 189 表 3 PU 数据集不同算法分类精度对比 Tab.3 Classification accuracy comparison of different algorithms on the PU dataset%3D-CNNHybridSN GAP-HybridSN种类 沥青 94.03 100.00 100.00 草地 100.00 100.00 100.00 砂砾 87.46 100.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 改进 混合 卷积 神经网络 光谱 图像 分类 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。