地基云图分割方法研究进展_石超君.pdf

2023，59（13）热点与综述地基云图分割方法研究进展石超君1，2，李星宽1，张珂1，2，韩磊乐1，杨世芳31.华北电力大学 电子与通信工程系，河北 保定 0710032.华北电力大学 河北省电力物联网技术重点实验室，河北 保定 0710033.华北电力大学 电力工程系，河北 保定 071003摘要：云量的变化和分布对光伏发电功率预测、天文望远镜观测站选址和气象预报等均具有重要影响。地基云观测是云观测的重要方式，是对卫星云观测数据的有效补充，其主要反映天空局部区域云底信息和云层分布、变化及运动情况。地基云图分割是构建地基云图自动观测系统的基础，因此相关研究具有重要意义。得益于深度学习的飞速发展，深度卷积神经网络的通用语义分割模型被不断拓展应用到地基云图分割领域，并取得了良好分割性能。然而由于地基云图内在的特殊性和复杂性，特别是考虑到不同类别云层厚度不同并且边缘难以区分等问题，基于深度学习的地基云图分割方法仍面临着精度及效率等方面的严峻挑战。从阈值、传统机器学习和深度学习三方面出发，对地基云图分割方法进行全面综述；总结了当前地基云图分割常用的数据集；对比了各类地基云图分割方法在GDNCI和WSISEG两种数据集上的性能，并分析了各类方法在两种数据集中的优劣；最后进行了全面总结，并对地基云图分割中待解决的问题与未来的研究方向进行了展望。关键词：地基云图分割；阈值分割；机器学习；深度学习；地基云图分割数据集文献标志码：A中图分类号：TP301doi：10.3778/j.issn.1002-8331.2210-0037Research Progress of Ground Cloud Image Segmentation MethodSHI Chaojun1，2,LI Xingkuan1,ZHANG Ke1，2,HAN Leile1,YANG Shifang31.Department of Electronic and Communication Engineering,North China Electric Power University,Baoding,Hebei071003,China2.Hebei Key Laboratory of Power Internet of Things Technology,North China Electric Power University,Baoding,Hebei071003,China3.Department of Electrical Engineering,North China Electric Power University,Baoding,Hebei 071003,ChinaAbstract：The change and distribution of cloud cover have an important influence on photovoltaic power forecast,astro-nomical telescope station location and weather forecast.Cloud-based observation is an important way of cloud observation,which mainly reflects the information of cloud base and the distribution,change and movement of clouds in local areasof the sky.Segmentation of foundation cloud image is the foundation of building an automatic observation system offoundation cloud image,so the related research is of great significance.Thanks to the rapid development of deep learning,the general semantic segmentation model has been continuously expanded and applied to the field of ground-based cloudimage segmentation,and achieved good segmentation performance.However,considering that different types of cloudshave different thicknesses and edges are difficult to distinguish,the segmentation method of ground cloud images basedon deep learning still faces severe challenges in accuracy and efficiency.Firstly,from three aspects：threshold,traditional基金项目：国家自然科学基金（62076093，62206095，52207154）；中央高校基本科研业务费专项资金（2022MS078，2020MS099，2021MS067）。作者简介：石超君（1992），男，博士，讲师，CCF会员，研究方向为深度学习、地基云图分割、光伏发电功率预测；李星宽（1999），男，硕士研究生，研究方向为深度学习、地基云图分割；张珂（1980），通信作者，男，博士，教授，CCF高级会员，主要研究方向为深度学习、计算机视觉、生物特征识别，E-mail：；韩磊乐（1995），男，硕士研究生，研究方向为深度学习、地基云图分类；杨世芳（1994），女，博士，讲师，研究方向为高电压外绝缘。收稿日期：2022-10-07修回日期：2023-01-03文章编号：1002-8331（2023）13-0001-16Computer Engineering and Applications计算机工程与应用1Computer Engineering and Applications计算机工程与应用2023，59（13）云是日常生活中常见而重要的自然现象，其为大气中水滴、冰晶或二者混合组成飘浮在天空中形状各异的聚合体，占全球陆地总面积的60%以上1。云通过抑制太阳短波和长波辐射两种方式在维持大气辐射收支平衡中起重要作用2。此外，云在地球热量平衡和水汽循环中也扮演着重要角色。它不仅反映了当前大气运动和水汽变化，对未来天气和气候变化也起到了重要调节和指示作用，是影响全球气候变化的关键因素之一3-4。云量变化和分布在一定程度上对光伏发电功率预测的精确性5-6、天文望远镜观测站选址的合理性7、气象预报的准确性8、大气环境监测的有效性9-10以及气候演化分析11等均具有重要影响。因此，通过云观测准确获取天空云量信息意义重大。自古以来，云观测都是一项十分重要且充满挑战的任务。随着各种硬件设备和仪器的不断发明与改进，及人工智能相关技术在天文12、气象13、电力14、医疗15、交通16、金融17等诸多领域逐渐被广泛应用，云观测方式正逐步由人工观测转向自动化观测。自动化观测是基于成像设备模拟人眼对云进行观测。目前，自动化观测主要分为卫星云观测（卫星遥感）18-19和地基云观测（地基遥感）20，观测结果如图1所示。其中，卫星云观测主要采用卫星遥感设备，可获取多波段（包括可见光、红外、紫外和微波）图像，所获图像称为卫星云图，如图1（a）所示；地基云观测主要采用地基全天空成像仪，所获图像称为地基云图，如图1（b）所示。卫星云观测的相关研究早于地基云观测，其已在云顶高度测量和大尺度云状识别等任务中取得不错成果，可获得昼夜连续、全球分布的云信息21。然而，卫星云观测仅能观测到云顶部信息，对于中下层云或云底部信息及局部区域云信息描述不够清晰，导致目前卫星云观测仍不能满足相关科学研究需求22。地基云观测是针对卫星云观测资料不足而进行的有效补充，是准确获取局部天空云量信息的重要方式23，其主要反映天空局部区域云底部信息及云层分布、变化和运动情况，可进一步有效准确获取云量24、云高25和云状三要素，也是对卫星云观测结果准确性的验证。因此，地基云观测是云观测相关研究的重要环节。近年来随着科技不断发展，跨领域、跨学科交叉研究已成为新的科学前沿阵地。地基云观测除了直接应用于气象预测和气候演化分析外，光伏发电功率预测、天文望远镜观测站选址等诸多科研任务也受天空云量变化的影响。因此，准确获取一段时间内局部区域天空云量信息显得尤为重要。地基云观测主要观测白天和夜间天空云量，而现有技术难以实现夜间地基云图自动分割，需要人工观测判读云量。人工观测判读云量需要大量观测人员进行观测和处理，成本较高。其观测结果存在较强主观性，易受到观测人员经验、心理及视力等方面的影响，同一观测环境可能得到不同观测结果26。而地基云图自动分割可消除观测人员对观测结果的主观影响，可快速、精确地分割地基云图，大幅缩短观测时间。因此，昼夜地基云图自动分割方法研究近年来受到相关学者们的广泛关注。本文以地基云图为研究对象，对基于阈值、传统机器学习和深度学习的地基云图分割方法进行了整理，如图2所示，同时介绍了地基云图分割通用数据集，并选取了部分方法在不同数据集上进行实验，最后对地基云图分割的发展方向进行展望。1基于阈值的地基云图分割方法阈值分割是传统图像分割中最常用且简单高效的方法之一。传统阈值分割大部分直接选取灰度图进行处理分割，而对地基云图进行分割时，往往通过图像RGB三通道中的红色R通道及蓝色B通道的相对差异进行阈值分割。基于阈值分割的云图分割方法主要有固定阈值法、全局自适应阈值法、局部阈值法和混合阈值法。1.1基于固定阈值的地基云图分割方法晴朗天空下，区分云和天空的物理依据是判断天空和云的颜色差异。由于大气分子散射与波长的四次方machine learning and deep learning,the segmentation methods of foundation cloud image are comprehensively summa-rized.Secondly,the data sets commonly used in the segmentation of foundation cloud images are summarized.In addi-tion,the performances of various ground cloud image segmentation methods on GDNCI and WSISEG datasets are com-pared,and the advantages and disadvantages of various methods in the two datasets are analyzed.Finally,the problems tobe solved and the future research direction in the segmentation of foundation cloud images are prospected.Key words：segmentation of foundation cloud image;threshold segmentation;machine learning;deep learning;groundcloud image segmentation dataset（a）卫星云图（b）地基云图图1卫星云和地基云观测结果Fig.1Observation results of satellite cloud and ground cloud22023，59（13）成正比，大气散射光波长较短，散射蓝光比红光多，使得人眼所见的天空是蓝色；而在可见光波段中云粒子散射与波长相关度很低，使得云呈现白色。基于固定阈值的比值法和差值法可将云图光谱特征凸显出来，增强对比度。地基全天空云成像系统WSI（whole sky imager）和TSI（total sky imager）27及中国科学院大气物理研究所的全天空云观测28采用鱼眼镜头获取全天空图像，同时将蓝红波段图像比值作为依据，选取合适的阈值分割天空和云。其中，霍娟等人29用辐射传输模式数值模拟方法，确定蓝红比值为1.30时，能够取得较好的分割效果，即当云图中蓝红比值大于1.30被识别为天空，小于1.30则被识别为云。Heinle等人30将红蓝差值作为固定阈值，分割结果优于红蓝比值法，但仍会产生较小的误差。采用固定阈值分割云和天空具有一定局限性，在晴空条件下对较厚云层分割效果较好，但考虑到地基云图的复杂性，此类方法对薄云分割效果不佳。1.2基于自适应阈值的地基云图分割方法图像由目标和背景构成，位于目标或背景内的像素灰度值具有很大相关性，而目标和背景的边缘灰度值却有很大差异31。此类图像可以选用阈值法分割目标和背景。地基云图采用固定阈值法分割时效果不佳，基于此，提出了OTSU算法32，在多种阈值分割方法中，OTSU被认为是图像分割中阈值选取的最佳方法。OTSU被称最大类间方差法，也被称为大津法，此方法计算简单，不受图像亮度和对比度的影响。地基云图分为天空和云两类，在OTSU的基础上，杨俊等人33提出基于最大类间方差的自适应阈值地基云图分割方法。该方法首先对地基云图进行蓝红波段处理，然后采用基于最大类间方差的自适应阈值计算波段处理结果。将自适应计算出来的阈值与蓝红波段处理后的灰度值相比较，若灰度值大于阈值，该像素被判别为天空，反之被判别为云。完成分割后，可得出天空和云所占云图比例，自动计算出当前云量。该方法分别在蓝红波段比值、差值和归一化差值情况下对晴朗天空中的地基云进行实验，与固定阈值法相比，自适应阈值效果更好。但天空中云量过高或太低时，采用红蓝波段方法对云图进行处理后，得到的云图灰度直方图可能不呈双峰分布，此情况下通过自适应方法取得的阈值不够精确，会影响天空和云的检测精度。1.3基于局部阈值的地基云图分割方法在地基云检测方法中，固定阈值法对拍摄云图的天气要求较高，全局自适应阈值改善了这一问题，但对复杂气象环境下的云图分割效果仍有待提高。基于此，杨俊等人34对云图进行蓝、红波段处理后，在自适应阈值方法基础上，提出了基于局部阈值插值的地基云图分割方法。该方法首先对云图重采样后对图像蓝、红波段归一化差值处理；再将处理后的云图按空间像素位置自动分成互不重叠、大小相等的均匀子块，对每一子区域采用一定规则并结合改进的最大类间方差自适应阈值方法计算局部阈值；然后对每一子区域形成的阈值矩阵采地基云图分割方法阈值分割方法传统机器学习分割方法深度学习分割方法基于固定阈值的地基云图分割方法基于自适应阈值的地基云图分割方法基于局部阈值的地基云图分割方法基于混合阈值的地基云图分割方法基于超像素图模型的地基云图分割方法基于最小二乘回归的地基云图分割方法基于多层感知器和支持向量机的地基云图分割方法基于K-means的地基云图分割方法基于逐类测度的地基云图分割方法基于FCN的地基云图分割方法基于U-Net的地基云图分割方法基于SegNet的地基云图分割方法基于迁移学习的地基云图分割方法基于Transformer的地基云图分割方法基于自监督的地基云图分割方法图2地基云图分割方法分类Fig.2Classification of ground-based cloud images segmentation methods石超君，等：地基云图分割方法研究进展3Computer Engineering and Applications计算机工程与应用2023，59（13）用双线性插值方法进行插值处理，形成与原始云图大小相等的阈值曲面；最后将阈值曲面与云图蓝、红波段归一化差值处理结果进行比较，可分割云和天空。基于固定阈值的地基云图分割方法分割效果远低于基于自适应阈值和局部阈值差值的地基云图分割方法，而基于局部阈值差值的地基云图分割方法与基于自适应阈值的地基云图分割方法相比分割结果有较大提高，其对细碎云和与背景难以区分的云可取得更好的检测效果。但基于局部阈值差值的地基云图分割方法受光照强度、设备成像质量等因素干扰较大，鲁棒性不强。1.4基于混合阈值的地基云图分割方法云图根据其统计特征大致可分为两组：单峰和双峰。单峰图像通常由单个元素（即云或天空）组成，而双峰图像由云和天空元素组成；例如，晴朗天空和大面积层状云图可以被视为单峰，而积云状和大多数卷状图像是双峰的。从图像处理角度来看，双峰图像使用自适应阈值方法可得到更精确的结果，而单峰图像可以用固定阈值法处理得更好，但很多云图不呈单双峰分布。因此，Li等人35提出了地基云图检测的混合阈值算法（HYTA）。该方法充分利用固定阈值和自适应阈值方法组合的优势。首先，HYTA将输入彩色云图像转换为归一化的蓝红通道比图像，即使有噪声和异常值，也可以保持明显对比度。然后，HYTA根据其标准差将比值图像识别为单峰或双峰，并分别通过固定和最小交叉熵（MCE）阈值算法处理单峰和双峰图像。HYTA结合了固定阈值和自适应阈值的优势，在混合地基云图中达到了更好的效果，但也存在缺点，云图的环太阳区域容易被误识别为云，导致对云图过度分割，降低检测精度。2基于传统机器学习的地基云图分割方法2.1基于超像素图模型（GM）的地基云图分割方法云具有多样性，考虑到单信息源（颜色或纹理）不足以将云从晴空中分割出来，Shi等人36提出了新的地基云图分割方法，该方法采用基于超像素的图模型 GM（graph model）来集成多个信息源。首先，根据颜色相似性和空间连续性将云图划分为一系列子区域，每个子区域为超像素。超像素划分采用简单线性迭代聚类（simple linear iterative clustering，SLIC）方法37，此方法通过搜索空间限制确定与超像素大小成比例的区域，可大幅减少距离计算次数，降低复杂度。其次，根据相邻超像素提取相似特征进行合并，合并相邻超像素采用BOW（bag of visual word）38来提取特征，可有效抑制初始超像素提取结果被过度分割。最后，将合并超像素视为同一节点，并在相邻超像素之间添加边缘。采用两个损失函数：一元损失函数根据随机森林的分类分数设置39，二元损失函数基于纹理及颜色特征设置，可有效解决相邻组件之间颜色纹理不连续问题，但此方法在不断迭代过程中可能出现过度分割，多连通区域，影响检测精度。2.2基于偏最小二乘（PLS）回归的地基云图分割方法由于地基云图中云种类繁多，气象环境复杂，准确、快速分割云具有挑战性。此前大部分地基云图分割方法依赖于手动定义参数和案例决策，分割结果误差较大；且通过设计分配二进制标签，降低了方法的灵活性和鲁棒性。Dev等人40基于对不同色彩空间和分量的系统分析，采用偏最小二乘回归，提出了地基云图无监督分割框架。此方法完全基于自主学习，无须手动定义参数，对输入图像类型没有任何限制。在 SWIMSEG 和HYTA数据集上，此方法经多个指标评估，分割性能有明显提高，因所用偏最小二乘法为线性估计，具有一定主观性。2.3基于多层感知器（MLP）和支持向量机（SVM）的地基云图分割方法多层感知器（multi-layer perceptron，MLP）属于人工神经网络（artificial neural network，ANN），以误差反向传播方法训练，可用于像素级分类41。支持向量机（support vector machine，SVM）是二分类模型，其中径向基核函数为像素级分类核42。研究结果表明，MLP和SVM可在地基云图分割任务中展现不俗性能。Taravat等人43首次将（MLP）和（SVM）应用于地基云图分割。该方法输入地基云图红绿蓝波段像素值，经过MLP和SVM处理，输出会根据此区域是否被云覆盖进而提供分类像素，通过不断调节MLP及SVM参数以得到最好分割性能。对于测试数据集，MLP神经网络和SVM模型总体精度高，标准偏差小。MLP和SVM的优势在于直接构建输入输出关系，无须先验假设或特定预处理过程，训练结束后可实时获得云图分割结果，减轻了计算负担。在分割卷云时，MLP相较于SVM能够提供更优性能。2.4基于K-means的地基云图分割方法Blazek等人44提出了基于K-means颜色空间的地基云图分割方法，该方法首先对云图进行颜色变换，将RGB颜色空间转换为CIE Lab颜色空间，从而实现光度与色度信息分离。而后，通过不同颜色空间的云图进行K-means统计聚类，实现不同类型的云和天空的分割，该方法对于不同的观测条件（例如时间、高度、太阳角度等）、不同颜色空间的地基云图分割任务呈现出较高的鲁棒性。但使用基于K-means的云图分割方法，如果在开始质心选择不合理时，可能导致算法收敛速度慢Krauz等人45提出了一种改进的基于K-means颜色空间42023，59（13）的地基云图分割方法，该方法针对 WILLIAM（wide-field all-sky image analyzing monitoring system）基于地面的远程全天候成像系统进行了云检测。分割方法在两个不同的颜色空间Lab和XYZ中进行对比。此外，所提出的算法在带有注释的全天空图像数据的公共WMD（WILLIAM Meteo）数据库上进行了测试，并根据全天图像评估了它们对云分割的适用性，实验结果表明，CIE XYZ颜色空间不适用于全天图像的分割，CIELab颜色空间全天图像分割精度优越。此外，云组段的颜色值分布良好，并在该颜色空间内形成了各自独立的簇。因此，天空图像的颜色分割和云类型的颜色特征聚类对推动基于颜色的云检测和分类算法的发展具有巨大的潜力。Rudrappa等人46利用 K均值聚类和基于内容的图像检索（content-based image retrieval，CBIR）技术进行云检测，其采用了CBIR方法进行云检测，该方法分为特征提取和特征匹配两步。首先，从图像中提取的特征向量在特征提取中进行处理，以备将来在特征数据库中使用。然后，当给出查询图像时；在特征与数据库中的特征向量匹配过程中，提取并比较其特征向量。为了估计和分类查询图像，估计查询图像和数据库图像之间的距离，如果估计的距离很小，即找到了数据库中的查询图像的近似匹配。此方法可以对查询图像进行云检测并实现分类。2.5基于逐类测度的地基云图分割方法Ye等人47提出一种细粒度的云检测方法，该任务可以同时检测和分类全天空图像中的云。可以看作是对图像的像素级细粒度密集预测。使用九种不同类型的像素级注释构建新的数据集。以基于监督学习的方法，将像素级预测问题转换为超像素分类问题。提取颜色、内部纹理、相邻纹理和全局关系等多视图特征，以表示超像素。之后针对云类型间高度相似和特征移位带来的挑战，使用基于度量学习和子空间对齐的类特定特征空间变换方法。此方法能够更好地分割边缘，只有极少数超像素中会导致碎云分类错误。3基于深度学习的地基云图分割方法基于传统机器学习的地基云图分割方法在一定程度上提升了云图分割质量。然而此类方法仍受光照强度等因素影响，云图分割质量有待进一步提升。随着深度学习的发展，深度卷积神经网络已成为计算机视觉领域的研究热点48，越来越多的深度学习模型应用于地基云图分割任务。3.1基于FCN的地基云图分割方法全卷积网络（fully convolutional networks，FCN）于2015年被提出49，是一种先进的、基于深度学习的语义分割架构，如图3所示。FCN利用CNN将图像像素转换为像素类别，以便预测和输入图像像素具有一对一的对应关系。此体系结构使用转置卷积层将中间层特征图的尺寸转换回输入图像的大小。FCN的主要优点是它为语义分割提供了端到端的解决方案，即使在可变大小的图像上也是如此。毋立芳等人50根据FCN网络提出基于局部聚类的 FCN-CNN云图分割方法。该方法首先使用超像素算法对地基云图中的每个像素点的相邻区域进行局部聚类，同时使用不同步长的全卷积神经网络FCN8s和FCN32s对云图进行预分割，经过FCN8s 网络预测的云区域一定是原云图的部分云区域，经过FCN32s网络预测的非云区域一定是原云图中的部分非云区域。剩余不确定部分通过深度卷积网络CNN去判断，为提高效率，FCN-CNN在云图不确定区图3FCN结构图Fig.3FCN structure diagram输入图像8倍上采样输出结果16倍上采样输出结果32倍上采样输出结果EFCN-16sEFCN-32sEFCN-8s卷积层池化层反卷积求和石超君，等：地基云图分割方法研究进展5Computer Engineering and Applications计算机工程与应用2023，59（13）域选取了几个关键像素，以此代表超像素区域的特征，然后经过CNN确定关键像素是非云或云。此方法有效汲取了超像素、FCN和CNN的优点，通过多组实验对比及定量评估证实了此方法的有效性，具有良好的云图分割能力。基于FCN，Shi等人51提出了基于增强全卷积神经网络（enhancement fully convolutional network，EFCN）的地基云图分割方法，可同时分割白天和夜间云图。EFCN网络以VGG-16为骨干网络进行特征提取，用卷积层代替VGG-16的全连接层，输出特征图经反卷积操作得到与输入地基云图尺寸相同的特征图，最后通过激活函数argmax逐像素分类。EFCN通过三次反卷积操作对VGG-16输出特征图进行上采样获得与输入地基云图尺寸相同的特征图，同时跳跃连接将深层与浅层语义信息融合进一步获取更加精确的分割结果。EFCN同时增加了RGB-HSI层、直方图均衡层、HSI-RGB层，将夜间地基云图直方图均衡化以降低白天和夜间地基云图在视觉上的差异。相较于FCN，云图分割结果有一定提高。尽管FCN实现了分类网络到分割网络的转换，但是基于FCN的地基云图分割网络也有许多不足：（1）上采样过程粗糙，导致云图特征语义信息丢失严重，严重影响云图分割精度；（2）跳跃连接未能充分利用云图的上下文信息和空间位置信息，导致全局信息和局部信息的利用率低。正是FCN的提出与不足，为全卷积神经网络的发展奠定了里程碑的基础。3.2基于U-Net的地基云图分割方法Ronneberger 等人52提出了 U-Net网络架构，最早应用于分割生物显微镜图像。U-Net是典型的编码解码网络模型，如图4所示，其结构左右对称，由网络左侧的收缩（编码）路径、右侧的扩展（解码）路径和跳跃连接3部分组成。收缩路径由经典的卷积神经网络构成，用于提取输入图像特征，此外，在收缩路径中使用最大池化方式完成特征图的下采样，且每次下采样后特征通道数加倍。扩展路径通过转置卷积对高维特征图进行上采样，恢复特征图的分辨率，并将特征图通道数量减半。随后，对收缩路径传入的特征图进行裁剪处理，使其与上采样所得的特征图维数相同，再对二者进行拼接操作，送入下一卷积层。在网络的最后一层，采用11卷积将特征向量映射到分割所需的类数，并输出分割图像。Dev等人53提出将 U-Net架构应用于地基云图分割，在数据集中的128128大小的图像上训练U-Net架构。U-Net模型的输出是一个概率掩码，其中每个像素在0，1范围内具有一个softmax值。此值表示天空/云图像中像素的概率度。最后，使用阈值0.3和0.6将此概率掩码阈值化为三元映射从而实现对云的分割。该方法的训练和测试使用的是 HYTA 数据集，达到了很好的效果，相较于之前工作，对薄云的检测有很大提升。Shi等人54提出了新的深度卷积神经网络结构，称为CloudU-Net，用于白天和夜间云图分割。该网络由空洞卷积、激活、批量归一化（BN）、最大池化、上采样、跳图4U-Net结构图Fig.4U-Net structure diagram输入图像64641128128512512512256 128128 64642输出图像33 卷积，ReLU剪切、裁剪11 卷积22 池化22 反卷积2562562565121 0241 02462023，59（13）跃连接和全连接条件随机场（CRF）55组成。首先，CloudU-Net用空洞卷积替换普通卷积以增加卷积核感受野，从而在不增加额外计算量和复杂度的情况下获得更多上下文信息。其次，CloudU-Net引入了BN层，可提高网络训练速度，防止过拟合。然后采用CRF来优化网络结构前端输出以获取更好的分割结果。此外，CloudU-Net采用了Lookahead优化器56，其具有提高学习稳定性和加快模型收敛速度的优点。与当前基于深度学习的地基云图分割方法相比，CloudU-Net对白天和夜间云图表现出更好的分割性能。在CloudU-Net基础上，Shi等人57进行了改进，提出了CloudU-Netv2。CloudU-Netv2是端到端网络，由编码器、双注意力模块（dual attention modules，DAM）和解码器组成。编码器由 5个卷积块和 5个最大池化层构成，可以利用全局和局部上下文语义信息提取不同的特征。每个卷积块包括两个卷积层、两个 BN 层和两个ReLU激活函数层，采用最大池化方法来获得不同尺度的特征，同时减少模型参数数量防止过拟合。DAM由位置注意力模块（PAM）和通道注意力模块（CAM）组成58。PAM通过对所有位置要素进行加权求和，有选择地聚合每个位置要素。CAM通过集成所有层映射之间的关系，有选择地强调相互依赖层映射。解码器通过采用双线性插值对DAM输出特征进行逐步上采样以获得与输入图像相同大小的特征图。双线性插值无须学习，具有速度快、操作简单等优点。编码器和解码器对应特征映射通过跳跃连接相连，有助于解决反向传播梯度消失的问题，加快网络训练速度。最后，CloudU-Netv2通过Sigmoid激活函数获得最终分割结果。在模型训练早期阶段，缺乏足够训练样本会使前几个样本对模型参数产生较大影响，造成自适应学习率出现较大波动，进而导致模型落入局部最优解。为解决这一问题，CloudU-Netv2引入RAdam优化器。RAdam是Adam的变体，可以提高收敛速度，优化收敛效果，使网络具有良好的鲁棒性。为了降低网络复杂度，Shi等人59提出了端到端的地基云图自动分割网络CloudRAEDNet，此网络由编码器、解码器和注意力门构成。CloudRAEDNet以RGB地基云图为输入，首先编码器对云图进行特征提取，其次解码器将编码器输出特征逐级上采样恢复至与输入云图相同尺寸，此外通过注意力门抑制不相关区域特征并自动聚焦显著区域特征，最后采用激活函数Sigmoid以端到端的方式输出与输入云图对应二值分割结果CloudRAEDNet，采用ImageNet预训练的ResNet5060作为编码器骨干网络，减少了网络训练数量。网络解码器引入残差模块，解决了网络层数增加引起的网络劣化问题，同时采用 ranger 优化器进一步提高了网络分割性能。CloudRAEDNet可以在不增加时间复杂度的情况下，更精细地分割地基云图局部细节。在U-Net网络基础上不断改进，衍生的CloudU-Net等网络架构能够更好地融合云图局部和全局特征，充分利用深浅层语义信息，提高了云图分割精度，但不可避免地增加了网络参数，降低了云图分割效率。3.3基于SegNet的地基云图分割方法Badrinarayanan等人61提出了 SegNet网络，该网络是基于像素的端到端的网络架构，如图 5 所示，是对FCN的优化，沿用了FCN进行图像语义分割的思想，编码网络是将高维向量转换成低维向量，实现了对高维特征的低维提取。编码网络通过多次最大池化操作虽然可以捕捉更多的平移不变性特征，但同样会丢失更多特征图的边界信息等分割的重要依据。因此，在池化过程中同时记录最大池化索引信息，保存了最大特征值所在的位置，然后利用最大池化索引信息对输入特征图进行上采样，使得边界信息得以保存。解码网络利用编码器下采样时保存的相应特征层的最大池化索引信息将低分辨率的特征图映射到高空间分辨率的特征图，实现了低维向量到高维向量的重构。最后经Softmax分类器输出分割结果。白天和夜间地基云图因视觉上差异较大，同时分图5SegNet结构图Fig.5SegNet structure diagramPooling indicesDuplicate feature mapEnconder networkDeconder networkConvolutionalMax poolingUpsamplingSoftmax石超君，等：地基云图分割方法研究进展7Computer Engineering and Applications计算机工程与应用2023，59（13）割难度较大。基于此，Dev等人62提出了轻量级Cloud-SegNet 网络，首次实现了白天和夜间云图同时分割。CloudSegNet是编码器-解码器网络，其核心组件为编码器-解码器，有助于聚合不同级别的图像特征，并以与输入图像相同的分辨率生成语义分割掩码。与其他神经网络结构相比，CloudSegNet结构未采用全连接层，同时放弃了跳跃连接，网络可训练参数明显减少，云图分割效率更高。此外，此框架是首个白天和夜间天空/云图分割通用框架，可有效分割昼夜地基云图。针对SWIMSEG和SWINSEG数据集，Dev等人62通过图像增强获得复合数据集 SWINySeg（SEG mentation data-base）。在SWINySeg中，与基于传统机器学习的地基云图分割方法相比，轻量化CloudSegNet大幅提升了云图分割性能。卷积神经网络（convolution neural network，CNN）63可提取高级特征信息，在图像分割领域取得了显著效果。浅层CNN网络倾向于捕捉精细纹理（如形状和边缘），而深层CNN网络根据浅层特征计算更高级复杂的语义特征。在此基础上，Xie等人64提出新型深度CNN网络SegCloud，用于地基云图分割。SegCloud包括编码器和解码器，其中编码器由10个卷积层和5个最大池化层组成，解码器由5个上采样层和10个卷积层组成。每个卷积层包含3种操作：卷积、批量归一化65和校正线性单元（ReLU）。在编码网络中，首先卷积运算接收输入特征映射，并采用可训练滤波器组生成一组输出特征映射；其次为了加快SegCloud模型收敛速度，缓解后期训练过程中梯度消失问题，对特征图进行批量归一化；再应用ReLU激活函数增强SegCloud网络非线性表达能力；然后采用最大池化对输入特征图进行下采样，进一步提取特征，减小特征图尺寸，加速计算，并防止过拟合。解码网络中，首先对特征图上采样，以生成融合空间信息的高分辨率特征图，其次特征图经过卷积操作进一步提取图像特征；最后通过Softmax分类器实现最终像素级云分类，即云图分割。SegCloud分割结果优于基于阈值的地基云图分割方法，提高了地基云图分割准确性，在不同云层覆盖条件下的全天空图像上表现良好，相较于晴朗天空，在阴天图像上识别准确率更高。为了快速准确地获得云量，需要精准地分割云图。但是现有云图分割网络存在分割效果差、运算复杂度高、参数量大等问题，为了解决这些问题，张雪等人66提出一种轻量化的地基云图分割网络模型 LGCSegNet。该模型利用 Encoder-Decoder网络模型框架进行设计，利用通道拼接思想在通道深度上实现不同层次图像特征融合，避免损失特征边界，实现精确地分割地基云图，可获取准确的云量信息。在地基云图数据集HBMCD和HBMCD_GT上进行实验，经多组对比实验证明所提出的网络对云的表征能力更强，分割准确率比较高，为实际应用提供了一定的理论基础。Zhang 等人67提出了多尺度注意力卷积神经网络（multiscale att