基于OTSU在MODIS数据中的云检测应用.pdf

第 51 卷收稿日期：2023年1月3日，修回日期：2023年2月21日基金项目：山东省自然科学基金项目（编号：ZR2014FM015）资助。作者简介：解本巨，男，博士，副教授，研究方向：计算机视觉。孙岩，男，硕士研究生，研究方向：遥感图像处理。于龙振，男，讲师，研究方向：人工智能。1引言知识的积累，推动人类对新领域的探索，不断扩展数据获取的渠道，人们通过发射卫星来得到更多的地球信息，以便更好地了解自然规律。MODIS是搭载在Terra和Aqua两颗卫星上的中分辨率成像光谱仪1，通过观察地球表面获取相关信息，传输到地面进而对数据反演利用2。然而地球表面超过60%的部分都被云层覆盖3，因此通过卫星取得的信息，就不得不面对云层带来的干扰4，所以云检测是充分利用卫星遥感信息的前提5，为地质观察、气象预报以及自然灾害预警69等都提供极大的帮助。我国地处中低纬度地区，受季风洋流影响较大，尤其在沿海区域，雨量充沛，上空更是常年笼罩着大量的云，对遥感信息的利用和转化产生了极大阻力。目前，云检测的方法主要分为两大类10，一是比较常见的物理方法1112，也称之为阈值法，如何全军等13提出了基于MODIS数据的阈值的云检测识别，该方法简单易操作，但在不同季节不同地基于 OTSU 在 MODIS 数据中的云检测应用解本巨1孙岩1于龙振2（1.青岛科技大学信息科学技术学院青岛266100）（2.青岛科技大学经济与管理学院青岛266100）摘要MODIS数据信息量大，具有丰富的研究价值，为了更好地对MODIS数据进行利用，就需要进行云检测的研究。论文针对MODIS数据的特点，通过平均方差替代均值的计算方式，改良传统的OTSU算法，从而得出对应阈值，融入到多波段阈值法中，将遥感影像分割为云和非云两部分，使得边缘地区的薄云识别的效果更加明显，多学科之间相结合实现了云检测的可视化和自动化，提高了云检测整体精度。实验表明，在黄渤海地区该方法较固定阈值法效果提升明显，更能够适应不同时相的云，并且总体精度达到94%以上。关键词MODIS数据；IDL；云检测；OTSU中图分类号TP751.1DOI：10.3969/j.issn.1672-9722.2023.07.022Application of Cloud Detection in MODIS Data Based on OTSUXIE Benju1SUN Yan1YU Longzhen2（1.College of Information Science and Technology，Qingdao University of Science and Technology，Qingdao266100）（2.College of Economics and Management，Qingdao University of Science and Technology，Qingdao266100）AbstractMODIS data has a large amount of information and rich research value.In order to make better use of MODIS data，it is necessary to conduct cloud detection research.In view of the characteristics of MODIS data，this paper improves the traditionalOTSU algorithm by replacing the mean value with the average variance to obtain the corresponding threshold，which is integrated into the multi-band threshold method，and the remote sensing image is divided into two parts of cloud and non-cloud.The effect ofthin cloud recognition in edge areas is more obvious.The combination of multiple disciplines realizes the visualization and automation of cloud detection，and improves the overall accuracy of cloud detection.Experiments show that in the Yellow Sea and BohaiSea，this method has a significant improvement over the fixed threshold method，and is more adaptable to clouds of different timephases，and the overall accuracy is more than 94%.Key WordsMODIS data，IDL，cloud detection，OTSUClass NumberTP751.1总第 405 期2023 年第 7 期计算机与数字工程Computer&Digital EngineeringVol.51 No.715622023 年第 7 期计算机与数字工程点，检测效果有很大出入，并且在薄云和低云效果很差。又如马浩等14在2018年提出基于某一地区的多波段固定阈值云检测，在对冬季的黄渤海地区进行云检测能达到一个较好的效果，但是适用的时相性较差。另一类为模式识别方法，常见的有SVM统计学方法，人工神经网络等，如瞿建华等15在2019 年提出基于深度学习的神经网络云检测方法，该方法准确率高，普适性强，能够达到较好的效果，但该方法模型训练周期长，使用的数据量多，并且对于数据集的选择比较困难。本文在多波段阈值法研究的基础上，融合改进后的OTSU模型，实现阈值的自动获取，同时也提高了检测精度。2资料处理MODIS共有36个中等分辨率的光谱波段16，每一到两天对地球表面观测一次，获取陆地、海洋、汽溶胶、以及云层17等众多信息。MODIS完全免费公开，可以从美国国家地质调查局地球探索者数据库网站上获取，根据自己的实际需求，选择相应的产品类型。为了方便研究，本文采用MODIS 1B级别产品，选择在35.042.0纬度和117.0124.6经度之间的区域数据，地理位置处于山东半岛以及黄渤海区域，该地区四季分明，且下垫面种类丰富，具有典型的代表性，其中用到的波段信息如表 1 所示。表1选用波段的相关信息波段1682629波谱范围/mm0.6200.6701.6281.6520.4050.4201.3601.3908.4008.700应用领域陆地、云边界云、雪海洋水色卷云云特性、温度前四个波段，只需要计算其反射值，而第29波段则需要计算每个像元的亮温。本文选取2019年11 月 7 日、2020 年 1 月 5 日、2020 年 2 月 2 日以及2020 年 4 月 6 日的数据为例，分别以 20201107、20200105、20200202 和 20200406 作为图像在文中的编号，经过预处理后得到的影像如图1所示。3云检测方法云检测主要原理是根据云和下垫面如水、土地、雪、植被等在各个的波段中所产生的辐射率以及辐射亮度的不同，来进行区别检测。云通常在可见光的范围反射率较其他下垫面物体高很多，而在红热波段亮温却很低，充分利用云这一特性，就是云检测的关键。以往的多波段阈值云检测方法，通过人眼观察，确定相应段数据的阈值，再综合分析每一幅影像检测效果得到统一数值，虽然方法实现简单，但是在不同时间不同高度，云的辐射率和亮温是有很大差异的，阈值的固定会使云检测鲁棒性差，具有极大缺陷。20191107202001052020020220200406图 1预处理后的影像云检测的本质同样是从背景信息中提取目标，不同的是在遥感数据中背景物体很多，并且各波段数据分布情况不同，因此需要进行一些转换和处理。通过融合OTSU思想，将遥感里的数据里的云看成前景，把非云看成背景，选择合适的波段，满足算法模型的需求，在多波段固定阈值法的基础上改进，从而达到阈值的自动确定，减少主观性误差，适应不同季节不同类型的数据信息，以此实现影像分割。3.1多波段阈值方法云检测算法对阈值判断分析如下：1）在可见光波段波段1中，植被反射率最低，然后是水、陆地、冰雪，它们的反射率在0.2上下，且数值之间相接近，分布状况相似，可视为同类型数据，其与云的反射率有明显差距，并且随着云层的高度厚度，差距将更明显，因此将该波段反射率的阈值设为T1，当B1大于此阈值时判定为云。2）在MOODIS数据的26波段中，由于陆地，植被、水等下垫面的辐射将会被水汽吸收，卫星能接收的辐射数据只有冰雪和云，而高云和冰雪的辐射率值差距很大，因此可以用来检测高云，将该波段反射率的阈值设为T2，当B26大于此阈值时判定为云。3）云和雪在可见光范围内的反射性比较相似，而在第6波段处，云对太阳辐射的吸收能力较弱，反射率较高，而雪却恰好相反。计算波段1和波段6的归一化指数V1=（B1-B6）/（B1+B6），雪、云以1563第 51 卷及水这一指数是正数，而植被土壤是负数，利用V10这个特性将它们分离出来，同时归一化也可以消除一定的大气辐射以及仪器影响。在波段29中，其他物体相比冰雪的亮温较低，利用V2C29将冰雪分离出来。在波段1中，由于云的反射率明显高于其他下垫面很多，且水的辐射率不会超过0.2，所以可以设定B10.2将水去除，经过以上操作后样本中只剩云像元即可判断为云。由于归一化的这个设定可能会将海岸线、湖岸判定为云，因此再利用在波段8中对云的出现很敏感的特性，设置B8T3来进行对海岸线的误判进行修正。3.2动态阈值实现OTSU算法也被称为最大类间方差法，被誉为是图像分割中确定阈值的最佳算法1920。其根据图片里像素点的灰度值不同，将图片分成两个部分，分别为前景（目标）和背景，当这两部分的类间方差越大时，则可说明这两部分的差别越大，以此进行图像分割。对于一个图像I（a，b），其大小记为W*L，其灰度范围为0M-1，记i为某点的灰度值，把分离前景和背景的阈值记为T，将i小于阈值T的所有像素占图像的比例记为p0，平均灰度记为u0，大于阈值T的像素占图像全部像素点的比例为p1，记其平均灰度为u1，图像的总平均灰度记为u，类间方差记为V则有：u=u0*p0+u1*p1（1）V=p0（u0-u）+p1（u1-u）（2）对于上述公式，当V取得最大值时，能够使得分割出的目标和背景都与图像中心距离最远，对应的T便是得到的阈值。但由于MODIS数据量大，云的边界不明显，传统OTSU算法对于这种情况分割后的结果不理想。除了均值外，还有灰度平均方差也能够反映灰度分布，边界附近的灰度值往往波动较大，而平均方差值更能反映其离散程度，因此这里采用平均方差来代替传统OTSU中的均值2122，改进后的阈值T应满足：T=Argmax0TM-1p0(g20-g2)2+p1(g21-g2)2（3）其中g2、g20、g21如下，Pi代表图像中灰度值i出现的概率。g2=0L-1(i-u)Pip1*p2（4）g20=i=0M-1(i-u0)Pip0（5）g21=i-TM-1(i-u1)Pip1（6）由于图像的灰度值是在 0 到 255 区间内的整数，在计算图像的类间方差时只需直接带入公式计算就可以，对于遥感数据里的反射率和亮温并不在这个整数值区间内，所以需要进行标准化处理，从而映射到相应区间，适应改进后的OTSU模型，对应公式如下，其中min是样本中的最小值，max则为样本中最大值。x*=x-minmax-min（7）4实现过程云检测实现过程借助VS2016开发工具，通过C#语言搭建云检测平台，使用IDL语言对遥感数据的 进 行 处 理，基 于 组 件 技 术 模 型 技 术 调 用COM_IDL_connect 进行读取 IDL 编译后的 SAV 文件，引入 ArcGIS 的插件 MapControl 将处理后的数据转换为为图片显示在页面中，无需再通过GIS查看地图，具体实现步骤如下。1）首先将遥感数据文件通过C#程序读取，进行预处理，分别为辐射校正、几何校正和区域裁剪。2）数据经过预处理后，将生成TIF文件，使用MapControl 插件载入该文件即可看到原始影像图。使用IDL读取该文件，其数据主要是各个波段中的像元的辐射率或亮温，通过HISTOGRAM函数对这些数据进行密度的分析计算，均等分成256个小区间，将标准化后的数据注入。3）观察统计后的数据，在分成的256个小区间中，会发现在数据的首端或者末尾存在极少量像元“独占”多个小区间情况，由于整个数据量很大，几万甚至几十万个，而区间大小是由数据的最值决定，这些点将会扩大区间的范围，从而影响结果的精度，因此可以将这些点视为噪点进行过滤，从而减少误差。经过多次实验分析，当前端或者尾部小区间里落入的像元个数连续少于或者等于3，记录这些像元，将其去除，会使得去云效果更好。采用设计的DIVIDI函数进行噪点去除工作，具体内容为，第一步对数据首端遍历，直到遇到的小区间内元素的个数值大于3，则终止，并且统计噪点个数为N1；第二步对数据的尾部进行倒遍历，统计噪点个数为N2；第三步去掉数据前N1个，尾端的后N2个，再次将新数据通过HISTOGRAM函数统计，重复上述步骤，经过多次迭代，直至N1和N2值均为0，此时为云检测使用数据。解本巨等：基于OTSU在MODIS数据中的云检测应用15642023 年第 7 期计算机与数字工程4）通过上述操作就可以得到不同波段里每一个像元对应反射率或者亮温的分布情况，将数据输入到融合 OTSU 算法模型的 OTSU_Threshold 函数中，动态计算得出每个波段对应的阈值，结果如表2。表2各个图像阈值影像编号20191127202001052020020220200406T10.1361860.1390660.1883320.210512T20.01147270.03888910.03587050.0190807T30.1700450.1684640.2735010.276302C29270.919262.893272.042264.3845）将阈值输入到云检测模型中，利用其自带的掩膜工具分离云和其他下垫面物体数据，将生成的掩膜图像中云像元的值设为 0，其他地方像元值不变，从而达到去云效果。5结果分析5.1检测结果为了更好地对比和检验效果，将固定阈值14与改进后 OTSU 模型产生的动态阈值带入云检测模型处理，影像如图2所示。20191107202001052020020220200406图2云检测结果对比共有四组不同日期的分图，其中每个分图包含的3个小图从从左到右分别为经过预处理后的影像、固定阈值和OTSU自动阈值的云识别结果。观察图像可以看出，固定阈值法在不同日期检测效果差异较大，其中在 20200406 影像中漏云情况较大。固定阈值法中阈值确定是由人目视观察多幅影像的去云效果得出，无法覆盖全部类型云，导致其的桎梏性，对于边界区域的薄云、碎云漏判现象严重。5.2精度验证本文从定量的角度进行评估检测结果，分别对两种方法的总体精度、精确率和召回率进行评价，其定义如表3所示。表3混淆矩阵混淆矩阵预测值正样本负样本真实值正样本TPFN负样本FPTN其中，正样本代表云像素点，负样本则代表非云点。总体精度计算方法如式（8），用来表示检测结果中判断正确云像元的比例，精确率计算如式（9），表示预测正样本占所有预测样本的比例，召回率计算如式（10），表示正样本中被预测出的比例。TP+TNTP+FP+FN+TN（8）TPTP+FP（9）TPTP+FN（10）对于检测后的图像进行计算，得出的结果如表4所示。通过表4可以看出，经过改良后OTSU动态阈值法较传统的固定阈值法总体精度提升较大，对于漏判现象明显改善，结合之前影像效果图，可以看出同日期的低云薄云检测效果明显加强，尤其在云边界地区。其根据不同的影像中所包含云类型状况的不同计算出对应的阈值，更好地将云与非云区分出，在环渤海地区具有良好的适应性。表4两种方法的检测精度影像编号20191127202001052020020220200406总体精度/%固定阈值82.5678.2584.3272.53动态阈值95.3796.4594.6594.42精确率/%固定阈值78.3167.8281.1471.22动态阈值91.2388.4189.5887.81召回率%固定阈值77.1370.3380.4970.13动态阈值90.4786.5289.1687.011565第 51 卷6结语该云检测方法对每一个波段阈值的确定都能根据不同的遥感数据自动计算出其最佳阈值，不需人为观察调整，能够快捷准确地得出阈值，且经过改进后的 OTSU 算法，能够更好地将薄云区分开来，极大地提高了在黄渤海地区适用性，同时也满足了遥感数据反演需求，为后续的海冰识别，天气预警，环境监测等提供重要的基础。同时本文也存在一些不足，当遥感信息数据极大时，可能计算时间过长，并且模型只使用到五个波段的遥感信息，没有更大限度的利用遥感信息，且当出现极端的情况，即云像元占比极少的时，误差比较大，这些在日后的科研工作中，都将继续深入分析，不断完善。参 考 文 献1吕明明，韩立建，田淑芳，等.多样地表和大气状况下的MODIS 数 据 云 检 测J.遥 感 学 报，2016，20（06）：1371-1380.LV Mingming，HAN Lijian，TIAN Shufang，et al.MODISdata cloud detection under diverse surface and atmospheric conditionsJ.Journal of Remote Sensing，2016，20（06）：1371-1380.2Ishida H，Oishi Y，Morita K，et al.Development of a support vector machine based cloud detection method for MODIS with the adjustability to various conditionsJ.Remote Sensing of Environment，2017，205：390-407.3Ghasemian N，Akhoon D Zadeh M.Introducing two Random Forest based methods for cloud detection in remotesensing images J.Advances in Space Research，2018，62（2）：288-303.4靳泽群，张玲，刘神聪，等.基于BP神经网络的云检测和云相态识别 J.光学与光电技术，2016，14（05）：74-77.LE Zequn，ZHANG Ling，LIU Shencong，et al.Cloud detection and cloud phase recognition based on BP neuralnetwork J.Optics and Optoelectronic Technology，2016，14（05）：74-77.5高军，王恺，田晓宇，等.基于BP神经网络的风云四号遥感图像云检测算法 J.红外与毫米波学报，2018，37（04）：95-103.GAO Jun，WANG Kai，TIAN Xiaoyu，et al.Cloud detection algorithm of Fengyun 4 remote sensing image basedon BP neural network J.Journal of Infrared and Millimeter Waves，2018，37（04）：95-103.6王权，孙林，韦晶，等.动态阈值云检测算法改进及在高分辨率卫星上的应用 J.光学学报，2018，38（10）：376-385.WANG Quan，SUN Lin，WEI Jing，et al.Improvement ofdynamic threshold cloud detection algorithm and its application on high-resolution satellites J.Acta Optica Sinica，2018，38（10）：376-385.7R Ramsankaran，Sunder S，Ramakrishnan B.MachineLearning Techniques for Regional Scale Estimation ofHigh-Resolution Cloud-Free Daily Sea Surface Temperatures from MODIS Data J.ISPRS Journal of Photogrammetry and Remote Sensing，2020，166：228-240.8Zhang X，Tan S C，Shi G Y，et al.Improvement of MODIS cloud mask over severe polluted eastern ChinaJ.Science of The Total Environment，2019，654（MAR.1）：345-355.9Srab C，Ala B，Kd D，et al.Cloud detection algorithm formulti-modal satellite imagery using convolutional neural-networks（CNN）J.Remote Sensing of Environment，237（10）：111446.10邱梦，尹浩宇，陈强，等.基于深度置信网络Otsu混合模型的自动云检测算法 J.计算机应用，2018，38（11）：129-133，141.QIU Meng，YIN Haoyu，CHEN Qiang，et al.Automaticcloud detection algorithm based on deep belief networkOtsu hybrid modelJ.Journal of Computer Applications，2018，38（11）：129-133，141.11王毅，何明元，葛晶晶，等.基于正交匹配追踪的云检测算法研究J.红外与激光工程，2019，48（12）：31-36.WANG Yi，HE Mingyuan，GE Jingjing，et al.Researchon cloud detection algorithm based on orthogonal matching pursuit J.Infrared and Laser Engineering，2019，48（12）：31-36.12刘紫涵，吴艳兰.遥感图像云检测方法研究进展 J.国土资源遥感，2017，29（04）：6-12.LIU Zihan，WU Yanlan.Research progress in remotesensing image cloud detection methods J.Remote Sensing for Land and Resources，2017，29（04）：6-12.13何全军，曹静，黄江，等.基于多光谱综合的MODIS数据云检测研究 J.国土资源遥感，2006（03）：19-22.HE Quanjun，CAO Jing，HUANG Jiang，et al.Researchon MODIS Data Cloud Detection Based on MultispectralSynthesis J.Remote Sensing for Land and Resources，2006（03）：19-22.14解本巨，马浩，刘国柱.基于MODIS数据的黄渤海海域云检测方法及其应用研究 J.海洋科学，2018，42（03）：19-24.XIE Benju，MA Hao，LIU Guozhu.Research on clouddetection method and its application in the Yellow Seaand Bohai Sea based on MODIS dataJ.Marine Sci解本巨等：基于OTSU在MODIS数据中的云检测应用15662023 年第 7 期计算机与数字工程ence，2018，42（03）：19-24.15瞿建华，鄢俊洁，薛娟，等.基于深度学习的 FY3D/MERSI和EOS/MODIS云检测模型研究 J.气象与环境学报，2019，35（03）：87-93.QU Jianhua，YAN Junjie，XUE Juan，et al.Researchon FY3D/MERSI and EOS/MODIS cloud detection models based on deep learningJ.Journal of Meteorologyand Environment，2019，35（03）：87-93.16侯舒维，孙文方，郑小松.遥感图像云检测方法综述J.空间电子技术，2014，11（03）：68-76，86.HOU Shuwei，SUN Wenfang，ZHENG Xiaosong.Summary of cloud detection methods in remote sensing imagesJ.Space Electronics，2014，11（03）：68-76，86.17张伟，马卫民，曹洋.基于PSO-SVM的MODIS数据海上云检测 J.海洋预报，2014，31（04）：92-96.ZHANG Wei，MA Weimin，CAO Yang.MODIS data seacloud detection based on PSO-SVMJ.Marine Forecast，2014，31（04）：92-96.18Zhang X，Wang H，Che H Z，et al.The impact of aerosol on MODIS cloud detection and property retrieval inseriously polluted East ChinaJ.Science of The TotalEnvironment，2019，711：134634.19吴丹，蔡晓东，谢月飞，等.基于直方图分析和OTSU算法的文字图像二值化J.计算机与现代化，2013（07）：117-119，234.WU Dan，CAI Xiaodong，XIE Yuefei，et al.Text imagebinarization based on histogram analysis and OTSU algorithmJ.Computer and Modernization，2013（07）：117-119，234.20白元明，孔令成，张志华，等.基于改进OTSU算法的快速作物图像分割 J.江苏农业科学，2019，47（24）：231-236.BAI Yuanming，KONG Lingcheng，ZHANG Zhihua，etal.Fast crop image segmentation based on improved OTSU algorithm J.Jiangsu Agricultural Sciences，2019，47（24）：231-236.21付忠良.图像阈值选取方法Otsu方法的推广 J.计算机应用，2000（05）：39-41.FU Zhongliang.Image threshold selection methodgeneralization of Otsu method J.Computer Applications，2000（05）：39-41.22杨蕴，李玉，王玉，等.一种改进的OTSU多阈值SAR图像分割方法 J.遥感信息，2019，34（04）：29-38.YANG Yun，LI Yu，WANG Yu，et al.An improved OTSU multi-threshold SAR image segmentation method J.Remote Sensing Information，2019，34（04）：29-38.LIU Kefeng，ZHANG Ren，PANG Yunfeng，et al.MarineEnvironmental Impact Index System Construction and Experimental Modeling for Warship Formation Anti-submarine Operational EffectivenessJ.Command Control&Simulation，2015，37（01）：5-10.7尤里克.水声原理 M.第三版.洪申，译.哈尔滨：哈尔滨船舶工程学院出版社，1990.Robert J Urick.Principies of underwater soundM.Third Edition.Harbin：Harbin Institute of ShipbuildingEngineering Press，1990.8陈龙，马亚平.基于GD-MOEA/D算法的航母编队反潜火力优化 J.计算机仿真，2018，35（10）：33-38，131.CHEN Long，MA Yaping.Anti-Submarine Firepower OptimizationofAircraftCarrierFormationBasedonGD-MOEA/D Algorithm J.Computer Simulation，2018，35（10）：33-38，131.9邓歌明，周晓光，冯百胜，等.基于对策论的舰载反潜机反潜作战兵力部署研究 J.火力与指挥控制，2017，42（04）：63-66.DENG Geming，ZHOU Xiaoguang，FENG Baisheng，etal.Research of Troop Disposition of Carrier-based Anti-Submarine Airplane Based on Game TheoryJ.FireControl&Command Control，2017，42（04）：63-66.10王洪胜，郭传福，王书齐，等.水面舰艇对潜直线往返巡逻搜索方案优选 J.兵器装备工程学报，2016，37（12）：31-34.WANG Hongsheng，GUO Chuanfu，WANG Shuqi，etal.Scheme Selection for Warship Linear Roundtrip Patrol in Searching SubmarineJ.Journal of OrdnanceEquipment Engineering，2016，37（12）：31-34.11刘冬利，邵晓方，徐伟.舰艇编队对潜攻击组织方法与效能评估 J.舰船电子对抗，2009，32（03）：90-92.LIU Dongli，SHAO Xiaofang，XU Wei.Organizing Methods and Efficiency Evaluation of Anti-Submarine Attackfor Ship Formation J.Shipboard Electronic Countermeasure，2009，32（03）：90-92.13王在刚，叶安娜，赵晓哲.水面舰艇综合反潜仿真系统设计研究 J.系统仿真学报，2004（08）：1704-1707.WANG Zaigang，YE Anna，ZHAO XiaoZhe，et al.Research on Design of Warships Integrated AntisubmarineSimulation SystemJ.Journal of System Simulation，2004（08）：1704-1707.14罗光成，陈丁丁，焦振军，等.反潜作战中潜艇水下运动模型建模与仿真 J.航空兵器，2013（06）：49-52.LUO GuangCheng，CHEN Dingding，JIAO Zhenjun.Modeling and Simulation of the Underwater SubmarineMovement in Anti-Submarine J.Aero Weaponry，2013（06）：49-52.（上接第1512页）1567