基于弱监督学习的图像语义分割算法综述.pdf

信息通信基于弱监督学习的图像语义分割算法综述仇新2 3，张旭阳”，毛宇新，李锁（1.沈阳理工大学机械工程学院，辽宁沈阳110 15 9；2.中国科学院沈阳计算技术研究所，辽宁沈阳110 16 8；3.东北大学软件学院，辽宁沈阳110 16 9）摘要：由于深度学习技术的迅速发展，在计算机视觉中具有重要的应用价值。首先，对基于弱监督学习的图像语义分割算法进行介绍，归纳出各算法所包含的基本思路、优势与不足。其次，将归纳出用于图像语义分割的常见数据集和评估标准，并对这些数据集的特征做了详细的描述。最后，在测试数据PASCALVOC2012,ILSVRC,MSCOCO等不同类型的样本数据集的条件下，通过对不同类型样本的比较和分析，从新颖、优化和创新三个角度，对基于弱监督学习的图像语义分割的发展趋势进行预测和展望。关键词：图像处理；弱监督学习；语义分割；评估标准中图分类号：TP3932023年第0 5 期(总第 2 45 期)文献标识码：A文章编号：2 0 9 6-9 7 5 9(2 0 2 3)0 5-0 10 5-0 41引言语义分割主要是对图像中的每一个像素进行分类。该方法是计算机视觉中的基础性问题，在理论上有很大的意义。与单一图像处理任务相比，语义分割不仅可以完成物体的分割，还可以完成物体的识别，从而为后续的视觉应用（如图像分析与理解)提供更精细、更高水平的语义信息。它在自动驾驶，图第1轮估计后的像识别，医学图像分析，人机交互等方面得到了广泛的应用。已有的大部分语义分割算法都是基于全监督的，利用像素级别的标签信息，通过改变像素级别的标签信息，使其与输入的标签信息不发生相应的空间变换，从而提升算法的计算效率；利用已有粗标记的弱标记图像，可以降低算法的计算成本和复杂度。然而，由于现有的基于像素级标记的图像集合难以获取海量的像素级标记，因此，人们提出了基于弱监督的语义分割算法。弱监督的语义分割算法，通常是利用简单的标记信息来学习，以减少训练开销。然而，由于其只依赖于简单的图像标记，导致其在实际应用中存在着语义信息不足、识别率低等问题，已成为深度学习领域的一个热点问题。2基于弱监督学习的图像语义分割算法基于弱监督的语义分割相对于像素级的标记，采用更粗略的标记方式。以较少的成本和较弱的标记信息为样本，建立了一个较为理想的分割网模型。按照标记的类型，可以将弱监督的语义分割算法划分为：边界框、涂鸦式、点和图像级的标记，如图1所示。(a)边界框收稿日期：2 0 2 3-0 3-2 9基金项目：辽宁省教育厅面上青年人才项目（LJKZ0258)；2 0 2 2 年辽宁省科技厅博士科研启动基金计划项目(2 0 2 2-BS-187)作者简介：张旭阳（1996-），男，黑龙江哈尔滨人，硕士研究生，主要研究方向：模式识别；毛宇新（1998-），男，山西大同人，硕士研究生，主要研究方向：模式识别；李锁（197 9-），男，辽宁锦州人，博士，副教授，主要研究方向：机器人控制技术、嵌入式系统。通讯作者：仇新（198 7-），女，辽宁锦州人，博士，副教授，主要研究方向为智能机器人。105(c）点标签图1弱监督标签类型结构图2.1基于边界框标签的语义分割算法边界框标签是弱监督标记中最复杂的一种。相对于其它类别,边界框标签中含有更多的位置信息，在弱监督类别中具有更好的分割效果。边界框标签是利用多尺度分组组合（MultiscaleCombina-torialGrouping，MC G)和GrabCut等技术来产生图像中的目标区域 2 。Dai 提出了一种BoxSup算法。如图2 所示,MCG提取出原始图像中的目标候选区，神经网络的参数不断地进行变化，从而不断进行迭代，得到较好的分割效果 3。Khoreva 等人将内部的标注信息做为前景信息，外部的标注信息做为背景信息而得到的分割信息，把每个训练样本融合物体的形状特征，并将其作为下一个训练样本，从而得到与全监督学习相似的分割结果。persondog边界框训练图像(b)涂鸦式标签图2 BoxSup网络的框架结构图(d)图像级标签第2 0 轮目标候选区域第5 轮便新候选区域反馈选代更新网络BoxSup训练过程目标候选区域Changjiang Information&Communications2.2基于涂鸦式标签的语义切割算法涂鸦式标签用一条线来表示标记对象的具体位置，从而使标记对象与标记对象之间的区别更加明显。涂鸦式标签是对点标签的一种改良，通过这种方法可以得到待检测对象的大小，其结果优于点标签。DiLin等人对图像中的像素点进行分类，建立图像的分类模型，得到一个新的图像分割结果。反复进行上述操作，最后产生一个假标记 5 。Tang等人将涂鸦区域训练成一个真标签，将涂鸦区域中的信息传输到无标记区域中，将具有相似色彩和相似位置的像素归入到同一个类别中，并将同类像素所产生的伪标签作为弱监督信息来进行分割。2.3基于点标签的语义分割方法点标签是指在一个物体的一个点上标记一个物体的标记信息。Bearman等人利用点标签信息来获得图像中某点对象的面积，通过损失函数获取相邻对象信息，将某点对象的面积延伸到其他区域，得到一个完全对象的面积。2.4基于图像级标签的语义分割方法图像级标签给出图像中的某一类，并不能准确地给出目标的具体位置、形态等信息。Pathak等人通过图像级标签进行数据训练，采用多样本学习MIL来解决语义分割问题8 。随后又提出约束神经网络（Constrained convolutional neuralnetworks，CCNN)模型，该模型通过损失函数设定相应的约束,对算法进行优化，解决了语义分割存在的问题。Pinheiro等人利用多元化学习，将图像级和像素级的标签进行了整合，并加入了光滑的先验。Wei等人创造了STC框架，该框架对分割模型进行增强，然后将增强的分割模型和预测标签整合得到新的分割模型。Kolesnikovl2提出SEC框架，通过CAM3确定目标种子点，并对其进行扩充和限制。然后使用CRF对图像进行了进一步的改进，得到更好的分割结果。Huang等人将SEC框架中的静态监视加强，采用了迭代式的扩展方法，以提高对象分割的完整度和精度4。Zhang等人使用去耦合的空间神经网络，生成了高质量的图像伪标签，从而得到了更好的分割结果 15 。Li等人使用由网络生成的兴趣区域对学习进行引导，从而得到更为精确的结果6 。Wei等人提出回顾扩张卷积法，该方法不仅能够扩大感受野，还能将环境的判别信息转换至未知类别区域，为弱监督语义分割提供方便快捷17 。Lee等人提出了Fickle Net框架，其采用简便的退出方式来确定图像的位置关系以及扩大激活区域18 。熊昌镇等采用了两种尺度的分割模型，并将其与迁移学习的分割模型相结合 9。Anton等人设计出一种新型损失函数一门控全连接条件随机场损失函数（gatedCRFlossfunction），并将其与交叉熵损失函数融合，并与DeepLabV3+模型相结合进行训练，使其语义分割效果提高 2 0 1。Sun等人提出交又图像语义挖掘法。将两个神经网络相整合到分类器当中，从而去捕捉交叉语义的特点2 。Fan等人研究出使用多估计法进行语义分割，通过模型分割的鲁棒性来缓解不精准的种子问题。该方法将任意图像划分成不同类型的种子，并对其进行实际估计2 。3弱监督学习算法的试验分析及比较为了验证弱监督学习算法的效果，通过常用的图像语义仇新等：基于弱监督学习的图像语义分割算法综述分割数据集来验证上述所提出的算法性能，并对其进行分析和对比。表1常用的图像语义分割数据集设计目的/种类数据数据集分辨率训练集验证集测试集应用范围数量总量PASCAL多种应用21VOC20121400ILSVRC多种应用月2 万多多万MSCOCO多种应用81328000不固定8278340504881 434城市场景两万Cityscapes8(30)解析左右注：N/A是指未被相关文献提及或无法确认的内容。3.1语义分割评估标准数据集在研究语义分割问题时，往往会用到大量的图像样本。PASCALVOC2012,ILSVRC,MSCOCO,Cityscapes 等公开资料。(1)PASCAL VOC(PASCAL Visual Object Classes)(2,PASCALVOC为国际性的计算机视觉竞赛提供最著名的图像测试资料和标准。自2 0 0 5-2 0 12 年，PASCALVOC2012一直被广泛使用。该资料集合包括2 1种对象，包括人，动物，交通工具和房屋。照片的尺寸是无限的，而且有一个复杂的、可变的背景。(2)ILSVRC(ImageNet Large Scale Visual RecognitionChallenge）2 4，IL SV RC 同时也是计算机视觉竞赛提供数据集之一，拥有140 0 余万幅图像，覆盖2 0,0 0 0 余种类型，其中100万余幅图像具有明确的分类标记，且目标定位标记有详细的文件，便于操作，便于管理。该方法已被广泛地用于影像学研究，并被誉为影像演算的另一种衡量影像演算效能的标准。(3)MScoco(Microsoft Common Objects in Context)2),MSCOCO数据集以前有一个与微软地图相似的大数据库，然后微软就会将其源码公开并加以推广。该数据库共有包括背景在内的8 1个分类，32 8 0 0 0 幅图像，2 5 0 万个物体，10 万人体重要部位。大部分图像由复合对象构成，图像中对象有准确的定位标记。(4)Cityscapes(Cityscapes Dataset)26,Cityscapes 将通过对基于无人驾驶的图像分割数据进行分析，来评价该方法对城市场景的语义理解能力。“都市地图”包含了5 0 个不同的环境，背景，季节。街景中有5 0 0 0 幅精细标注的照片，2 万幅粗糙标注的照片，以及30 幅被标注的物体。3.2语义分割的算法评估标准图像语义分割的评估标准主要有时间复杂度、内存占用率和精确度，其中精确度包括像素精度（Pixel Accuracy,PA)、像素准确率平均值（MeanPixelAccuracy,MPA）、平均交并比(Mean Intersection over Union,MIOU)27。一般情况下,三个评估标准的选择是PA、MA 和MIOU,其具体的定义和计算公式见(1)(3)。(1)PA是用来对被适当划分的像素的数目相对于总的图像像素的比率进行计算的，其计算方式为式（1）。1069993不固定146414491452不固定N/A2048102422.973N/AN/A500N/AChangjiang Information&CommunicationsMA代表各分类对象像素精度的平均值，公式(2)中给出了其计算方式。(2)MA=N在这些方法中，MIOU被应用得最多，由于其简单和更具典型性。在图像语义分割方面，平均交并比是一种常见的评估准则，如公式（3），即预测值与真实值的交和并集之比，然后对其进行平均值。MIOU值愈大，则表示分割的结果愈好。2T+2(x,-x.)MIOU=N其中，N为图像像素的分类数量，T表示第i类像素的总数目；X表示实际类型是i，预测类型是i，总的像素数目；X表示实际类型i具有的所有像素，预测类型j具有的所有像素。在此基础上，将进一步研究基于该模型的语义分割网络，并将其应用于实际的语义分割。以PASCALVOC2012，I L-SVRC,MSCOCO等为实验样本，以MIOU为指标对该算法进行评估。表2 PASCALVOC2012数据集上性能对比表类型方法边界框标签BoxSup余鸦式标签ScribbleSup点标签WTP图像级标签MIL-FCNCCNNMIL-bbSTCSECDSRG-VGG16DSRG-ResNetDSNA-VGG16DSNA-ResNetGAINRevisitingdilated convolutionFickleNet-VGG16FickleNet-ResNetGate CRFMining cross-image semanticsMulti-estimations107仇新等：基于弱监督学习的图像语义分割算法综述(x.)表3ILSVRC数据集上性能对比表11PA=XMIOU(Val)62.063.146.125.735.337.849.850.759.061.455.458.255.360.861.264.975.5880.583.8(1)(3)MIOU(Test)64.6一24.935.637.051.251.760.463.256.460.156.861.061.965.376.6882.584.0类型边界框标签涂鸦式标签ScribbleSup点标签WTP图像级标签MIL-FCNCCNNSTCSEC表4MSCOCO数据集上的性能对比表类型方法边界框标签BoxSup涂鸦式标签ScribbleSup点标签WTP图像级标签MMI综上所述，弱监督学习语义分割适用于图像级标签方法，但其分割方法适用的公开数据集不够全面，仅仅是适用于PAS-CALVOC2012数据集，人,动物,交通工具和房屋普遍存在背景的图像分割，影像学、人体部位、还有城市背景的分割性能仍是较弱的。并且弱监督语义分割方法利用少量精细标注图像取得的分割结果并不理想，希望该领域今后能够取得突破性进展。4结语首先研究基于弱监督学习的图像语义分割算法，并将其应用于相同的数据集上。其次，对目前研究中的一些主要问题进行了分析，并对这些问题进行了研究。在进行语义分割时，由于需要对大量的像素点进行准确的标记，因此需要花费很长的时间和精力，导致了语义分割的数据集不够宽泛，而基于小样本、低成本的弱监督学习则可以获得较好的分割结果。在粗糙标记图像中进行训练，降低训练成本取代了全监督学习，是今后语义分割的发展方向。基于现有的语义分割算法将会有以下几个方面的研究进展：（1）将图像中的稀疏性、弱监督信息与像素连接起来，使得该网络可以精确地预测出物体的确切位置与完全大小，从而改善了图像中物体的分割准确率。（2）针对由于缺乏足够的监督信息而造成的图像分割准确率不高的问题，将其与其它的学习算法进行有机地融合。参考文献：1 ARBELAEZ P,PONT-TUSET J,BARRON J,et al.Multi-scale Combinatorial Grouping for Image Segmentation andObject Proposal Generation.J.IEEE transactions on patternanalysis and machine intelligence,2017,39(1):128-140.2 CARSTEN R,VLADIMIR K,ANDREW B.GrabCut:in-teractive foreground extraction using iterated graph cutsJ.ACM Transactions on Graphics,2004,23(3):309-314.3 IDAI,J,HE K,SUN J.Boxsup:exploiting bounding boxesto supervise convolutional net-works for semantic segmen-tation A.Proceedings of the IEEE International Conferenceon Computer VisionC.2015:1635-1643.4KHOREVA A,BENENSON R,HOSANG J,et al.WeaklySupervised Semantic Labelling and Instance Segmentation.J.CoRR,2016,abs/1603.07485.5 LIN D,DAI J F,JIA J Y,et al.ScribbleSup:Scribble-Super-方法BoxSupMIOU(Val)67.068.772.070.067.081.069.0MIOU(Val)27.028.722.025.3MIOU(Test)66.869.070.070.265.083.068.0MIOU(Test)26.829.023.026.9Changjiang Information&Communicationsvised Convolutional Networks for Semantic Segmentation.J.CoRR,2016,abs/1604.05144.6 TANG M,DJELOUAH A,PERAZZI F,et al.Normalized Cut Lossfor Weakly-supervised CNN Segmentation C.2018 IEEE/CVFConference on Computer Vision and Pattem Recognition,2018.7 RUSSAKOVSKY O,BEARMAN A L,FERRARI V,et al.Whats the point:Semantic segmentation with point super-vision.J.CoRR,2015,abs/1506.02106.8 PATHAK D,SHELHAMER E,LONG Jet al.Fully convolutional multiclass multiple instance learningAl.Proceeding of IEEE In-ternational Conference on Learning RepresentationsC.2015:1-4.9PATHAK D,KRAHENBUHL P,DARRELL T.Constrainedconvolutional neural networks for weakly supervised seg-mentation A.Proceedings of the IEEE International Con-ference on Computer VisionC.2015:1796-1804.10 PINHEIRO P O,COLLOBERT R.From image-level to pixel-level labeling with convolutional networksA.Proceedingsof the IEEE Conference on Computer Vision and PatternRecognitionC.2015:1713-1721.11 WEI Y,LIANG X,CHEN Y,et al.Stc:a simple to complexframework for weakly-supervised semantic segmentationJ.IEEE Transactions on Pattern Analysis&Machine Intel-ligence,2017,39(11):2314-2320.12 KOLESNIKOV A,LAMPERT C H.Seed,expand and con-strain:three principles for weaklysupervised image segmen-tation A.European Conference on Computer Vision C.2016:695-711.13 ZHOU B,KHOSLA A,LAPEDRIZAL A,et al.Learningdeep features for discriminative localization A.Proceed-ings of the IEEE Confere-nce on Computer Vision and Pat-tern RecognitionC.2016:2921-2929.14 HUANG Z,WANG X,WANG J,et al.Weakly-supervisedsemantic segmentation network with deep seeded regiongrowingAJ.Proceedings of the IEEE Conference on Com-puter Vision and Pattern RecognitionC.2018:7014-7023.15 ZHANG T,LIN G,CAI J,et al.Decoupled spatial neural attention for weakly supervised semantic segmentationJ.IEEETransactions on Multimedia,2019,21(11):2930-2941.16 LI K,WU Z,PENG K C,et al.Tell me where to look:guided at-+-（上接第6 9页）4结语传统的Lee-Carter模型或在此基础上的优化模型（非机器学习模型)只能发现死亡率与影响因子之间的线性关系，论文提出了一种新的死亡率预测方法，即利用机器学习中的二维卷积神经网络算法，对中国人口的死亡率数据进行建模及预测，这可以发现死亡率数据之间的潜在的非线性的结构关系，很可能会提高死亡率的预测效果。但在对死亡率模型进行应用时也可能会遇到很多问题，比如中国人口的死亡率样本数据太少，容易出现模型拟合效果不理想，此时可以使用各个省份地区的人口死亡率数据，或者使用HMD中其他国家和地区的人口死亡率数据；再者，只使用二维卷积神经网络进行模型预测时，通过调整参数或者改进模型可能效果均不理想，此时可在原模型的基础上，加入随机效应模型或者其他神经网络仇新等：基于弱监督学习的图像语义分割算法综述tention inference networkAJ.Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition C.2018:9215-9223.17 WEI Y,XIAO H,SHI H,et al.Revisiting dilated convol-ution:a simple approach for weakly-and semi-supervisedsemantic segmentationC/Proceedings of the IEEE Confer-ence on Computer Vision and Pattern Recognition.Salt LakeCity:IEEE,2018:7268-7277.18 LEE J,KIM E,LEE S,et al.FickleNet:Weakly and Semi-supervised Semantic Image Segmentation Using StochasticInference A.P-roceedings of the IEEE Conference on Com-puter Vision and Pattern RecognitionC.2019:5267-5276.19熊昌镇,智慧.多模型集成的弱监督语义分割算法 .计算机辅助设计与图形学学报,2 0 19,31(0 5):8 0 0-8 0 7.20 LEE J,KIM E,LEE S,et al.Ficklenet:weakly and semisuper-vised semantic image segmentation using stochastic inferenceC/Proceedings of the IEEE/CVF Conference on Computer Vi-sion and Pattern Recognition.Hawai:IEEE,2019:5267-5276.21 SUN G,WANG W,DAI J,et al.Mining cross-image semantics forweakly supervised semantic segmentationC/European Conferenceon Computer Vision.Switzerland:Springer,Cham,2020:347-365.22 FAN J,ZHANG Z,TAN T.Employing multi-estimations forweakly-supervised semantic segmentationC/Computer Vision-ECCV 2020:16th European Conference.Glasgow:SpringerInternational Publishing,2020:332-348.23 EVERINGHAM M,ESLAMI S A,VAN G L,et al.The pas-cal visual object classes challenge:A retrospective.IntlJournal of Computer Vision,2015,111(1):98-136.24 RUSSAKOVSKY O,DENG J,SU H,et al.Imagenet largescale visual recognition challenge.Intl Journal of ComputerVision,2015,115(3):211-252.25 LIN T Y,MAIRE M,BELONGIE S,et al.Microsoft coco:Common objects in context.In:Proc.of the European Conf.on Computer Vision.Springer-Verlag,2014,pp.740-755.26 CORDTS M,OMRAN M,RAMOS S,et al.The cityscapes dataset for semantic urban scene understanding.In:Proc.of the IEEE Conf.on Computer Vision and Pattern Recognit-ion.2016.3213-3223.27 SHELHAMER E,LONG J,DARRELL T.Fully convolutional networks for semantic segmentation.IEEE Trans.on PatternAnalysis&Ma-chine Intelligence,2014,39(4):640-651.+.+.+.模型，组合成为混合的死亡率模型，再对模型进行检验。参考文献：1贺磊,林琳.基于Copula-AR(n)-LSV的死亡率建模及长寿风险度量 J.应用概率统计,2 0 2 1,37(0 1):2 6-36.2 马海飞,肖鸿民,赵弘宇.一种新的死亡率模型及基于中国人口数据的比较分析 J.经济数学,2 0 2 0,37(0 3):99-10 6.3 熊明俐.基于ARIMA-SVM组合的人口死亡率预测模型及其应用 D.江西财经大学,2 0 2 2.4丁惠敏.基于循环神经网络的人口死亡率预测研究 D.南开大学,2 0 2 2.5 杨涵墨.中国人口老龄化新趋势及老年人口新特征 J.人口研究,2 0 2 2,46(0 5):10 4-116.61樊星男,刘晓娟.二维卷积神经网络在轴承故障诊断中的应用 J.机械设计与研究,2 0 2 2,38(0 3):10 9-113+117.108-+.+.