深度卷积神经网络语义分割综述.pdf

引用格式：马文琪，石颉，吴宏杰深度卷积神经网络语义分割综述 J.微电子学与计算机，2023，40（9）：55-64MA W Q，SHI J，WU H J.Survey on semantic segmentation using deep convolutional neural networksJ.Microelectronics&Computer，2023，40（9）：55-64.DOI：10.19304/J.ISSN1000-7180.2022.0825深度卷积神经网络语义分割综述马文琪1，石颉1，吴宏杰2（1 苏州科技大学 电子与信息工程学院,江苏 苏州 215009；2 江苏省建筑智慧节能重点实验室,江苏 苏州 215009）摘要：得益于深度卷积神经网络在特征提取和语义理解的强大能力,基于深度神经网络的语义分割技术逐渐成为计算机视觉研究的热点课题.在无人驾驶、医学图像,甚至是虚拟交互、增强现实等领域都需要精确高效的语义分割技术.语义分割从图像像素级理解出发,为每个像素分配单独的类别标签.针对基于深度神经网络的语义分割技术,根据技术特性的差异,从编码-解码架构、多尺度目标融合、卷积优化、注意力机制、传统-深度结合、策略融合方面展开,对现有模型的优缺点进行梳理和分析,并当前主流语义分割方法在公共数据集实验结果进行对比,总结了该领域当前面临的挑战以及对未来研究方向的展望.关键词：深度学习；语义分割；卷积神经网络；计算机视觉中图分类号：TP391.41 文献标识码：A 文章编号：1000-7180（2023）09-0055-10Survey on semantic segmentation using deep convolutionalneural networksMA Wenqi1，SHI Jie1，WU Hongjie2（1 Suzhou University of Science and Technology,Suzhou 215009,China；2 Jiangsu Provincial Key Laboratory of Building Intelligent Energy Conservation,Suzhou 215009,China）Abstract：Benefiting from the powerful ability of deep convolutional neural network in feature extraction and semanticunderstanding,semantic segmentation technology based on deep neural network has gradually become a hot topic incomputer vision research.Accurate and efficient semantic segmentation techniques are needed in the fields of unmanneddriving,medical images,virtual interaction,augmented reality and so on.Semantic segmentation starts from pixel-levelunderstanding of the image and assigns a separate category label to each pixel.Aiming at the semantic segmentationtechnology based on deep neural network,according to the differences in technical characteristics,the advantages anddisadvantages of existing models are sorted out and analyzed from the aspects of encoder-decoder architecture,multi-scaletarget fusion,convolution optimization,attention mechanism,traditional-deep combination,and strategy fusion.The currentmainstream semantic segmentation methods are compared in the experimental results of public datasets.Finally,the currentchallenges and future research directions in this field were summarized.Key words：Deep learning；Semantic segmentation；Convolutional neural network；Computer vision 收稿日期：2022-12-07；修回日期：2023-01-08基金项目：国家自然科学基金项目（62073231）40 卷 第 9 期微 电 子 学 与 计 算 机http:/Vol.40No.92023 年 9 月MICROELECTRONICS&COMPUTERSeptember 2023 1引言图像语义分割技术是指根据图像的灰度、色彩、纹理等特征,为图像中的每个像素分配单独的类别标签,使图像被分割成若干视觉意义上的特定的、具有独特性质的区域1.随着智能化生活的推进,语义分割技术在无人驾驶、医学图像处理、视频监控,甚至是虚拟交互、增强现实等领域都发挥着日益重要的作用.传统语义分割方法包括基于阈值1-3、候选区域4-6、边缘检测7-9、聚类10-12、图论13-15等利用数学理论,以及使用纹理基元森林16或者随机森林17等机器学习方法来构建像素分类器.但由于硬件设备的计算能力有限,传统方法在分割图像的颜色、形状、纹理等低级语义特征时效率较低、分割时间较长,并且难以识别相互遮挡的物体,导致分割精度较低.随着硬件性能的升级和深度学习的兴起,深度卷积神经网络（Deep Convolutional Neural Networks,DCNN）18强大的分析与处理能力日益突出.2015年 Long 等人提出全卷积网络（Fully ConvolutionalNetworks,FCN）19,将 DCNN 应用于语义分割,从此语义分割正式进入以 DCNN 为主的发展时代,能够以端到端的训练方式在图像语义层面提取并学习图像特征,使网络主动推理每个像素的语义信息并分类,获得更高的分割精度和计算效率.现有的语义分割相关的综述文献 20-22,对整个语义分割领域进行了全面的概述性介绍,涵盖了早期几乎所有流行的语义分割方法和多维的数据模式；文献 23-24,针对语义分割模型训练数据集质量参差不齐的问题,从全监督和弱监督的训练方式进行分析.为了更好的分析当前深度神经网络语义分割的发展情况,本文基于技术特性的不同对该领域的发展情况进行补充和丰富,并分析了每类技术的优缺点,并在常用数据集上对比各模型的实验结果.最后讨论了该领域当前及未来发展亟待解决的问题.2深度卷积神经网络的语义分割技术深度卷积神经网络语义分割是指利用 DCNN 学习预先标注好的图像数据集,并利用学习到的语义特征进行像素级的分类.常用的 DCNN 包括首次尝试分组卷积的 AlexNet25、利用小卷积核替代大卷积核的 VGGNet26、使用多个不同尺寸卷积核的GoogleNet27、利于更深层网络训练的残差网络ResNet28、卷积同时考虑图像特征区域和通道的Xception29.由于 DCNN 中最大池化和下采样操作使得图像尺寸随网络加深而减小,导致细粒度信息的丢失.为此研究者们针对以上问题提出了不同的解决方法.本文依据技术特性将其分为：编码-解码架构、多尺度目标融合、卷积优化、注意力机制、传统-深度结合、策略融合,分析并总结了每类方法的优缺点,具体如表 1 所示.2.1编码-解码架构为了解决池化操作造成的特征细节丢失的问题,研究者们引入由编码器和解码器组成编码-解码架构.编码器利用多个卷积和池化操作,提取浅层的位置特征和深层的语义特征；解码器利用上采样操作恢复图像的细节和空间信息.2015 年 Noh 等人30提出对称的编码-解码架构的语义分割模型 DeconvNet 学习图像的语义特征,但该模型中参数过多的全连接层会增加模型训练难度.为此,Badinara 等人31提出架构相似且去除全连接层的 SegNet 网络,在获得更高精度的同时节省训练内存.为了解决深层级像素的位置信息易丢失的问题,提高分类边界置信度,Ronneberger 等人32提出架构对称的网络 U-Net,利用跳层连接将对应层级的特征相连,充分融合浅层细节与深层语义.但 U-Net 的卷积过程中没有 padding 操作,使输入与输出大小不同,且只能处理 2D 图像.为此 Milletari 等人33在适当使用 padding 操作,提出可用于 3D 图像分割的网络 V-Net.U-Net+34和 U-Net3+35同样优化 U-Net,可以更充分的捕获全尺度细粒度语义和粗粒度语义的特征.由于对称结构参数较多,实时性较差的问题,Arani 等人36设计了非对称架构的实时语义分割网络 RGPNet,简化解码器规模,并结合适配器保存和细化多级信息,兼顾实时性和精度.Wang 等人37提出编码器较大、解码器较小的轻量级模型 LEDNet,编码器使用 ResNet 提取特征,利用新的残差模块,减小网络规模；解码器中引入注意力金字塔提取更加丰富的特征,降低网络的复杂度.Romera 等人38提出架构更简化的 ERFNet,编码器交错使用空洞卷积获取更多的语义信息；解码器包含上采样操作和大量的深度可分离卷积,极大的减少网络的参数.56微电子学与计算机2023 年 表 1 图像语义分割代表方法分析与总结Tab.1 Analysis and Summary of Image Semantic Segmentation methods技术特性代表算法时间主要特征优点缺点编码-解码架构DeconvNet302015对称架构；最大池化激活值；转置卷积层稠密特征避免深度神经网络因池化造成的特征细节丢失的情况；解码网络能有效恢复目标的特征维度和空间信息目标边界信息提取不清晰；计算参数量较多；分割精度欠佳,不满足实际工程SegNet312016对称架构；去除全连接层U-Net322015对称架构；跳跃连接LEDNet372019非对称架构；通道分离和混洗操作RGPNet362022轻量级解码器；适配器融合编码器和解码器信息ERFNet382018非对称架构；残差链接多尺度目标融合PSPNet402017特征金字塔结构,多尺度特征融合充分利用图像的多尺度特征,改善特征提取的粗糙结果；融合全局上下文语义特征部分边界信息丢失；需要辅助模块做处理ForkNet412022孪生特征金字塔网络文献422021纹理增强模块；金字塔纹理特征提取模块RefineNet432016多路径细化不同尺度特征BiSeNet442018细节分支和语义分支两路分支结构卷积优化DeepLabv1462016空洞卷积；完全连接的条件随机场作为后处理扩大特征提取感受野；保护特征位置语义信息性能较普通卷积欠佳；局部信息连续性略差DeepLabv2472017不同速率的空洞卷积；空洞空间金字塔池化DeepLabv3482017可级联和并行使用的空洞卷积模块DeepLabv3+492018深度可分离卷积模块文献502018分解卷积；平滑空洞卷积文献512018密集上采样卷积；混合扩展卷积注意力机制PSANet532018自适应注意力掩码机制突出主体目标特征,使模型有效提取上下文重要特征不易捕获特征位置信息；计算量较大DANet542019双向注意力机制文献552020交叉路径注意力模块文献562022注意力聚合模块OCNet572021自注意力机制传统-深度结合文献582015结合马尔科夫随机场充分利用全局上下文特征语义信息和位置信息计算量大,内存消耗大,实时性差CRFasRNN602016结合条件随机场Graph-FCN612020结合图网络模型文献622021结合区域感知学习CEU-Net632022结合聚类算法文献642022结合边缘检测多策略融合文献652020编码-解码架构；可变注意力金字塔捕获上下文有利特征,减少计算量和内存消耗主要目标部分边界信息丢失文献662022编码-解码架构；空间金字塔；通道注意力；边缘检测ReSTR682022自注意力机制；多模态融合编码器PCANet692020金字塔卷积注意力网络第 9 期马文琪，等：深度卷积神经网络语义分割综述57 2.2多尺度目标融合深层语义特征预测效果好,但分辨率低、细节丢失严重；浅层语义特征分辨率高、细节丰富,但语义类别预测效果差.因此许多研究者利用不同层的信息差异性,融合多尺度信息补充分割细节.最常见的多尺度目标融合方式是特征金字塔结构（Feature Pyramid Network,FPN）39,通过多次采样使不同大小的目标在不同尺度有相应的特征表示,再融合不同尺度信息预测不同大小的目标.Zhao 等人40提出金字塔场景解析网络 PSPNet,能够融合四个不同尺度的特征信息,在捕获上下文语义信息的同时保持全局特征的权重,并能够在不增加计算量的情况下与局部 FCN 特征同时训练.He 等人41提出孪生特征金字塔网络 ForkNet,将 FPN 应用于特征提取阶段,在每个层次生成具有强大语义的特征表示.Zhu等人42提出特征金字塔纹理特征提取模块,丰富特征的纹理细节,并且利用量化和技术算子,捕捉和描述低层级纹理信息,将连续纹理量化为多级强度.另一种多尺度目标融合是多路分支结构,即在不同的支路中处理感受野各异的特征图,再互相融合补充出空间轮廓信息.2017 年 Lin 等人43等人提出两通路实时语义网络 RenfineNet,利用上通路和下通路聚合多级别特征,形成利于梯度传播和模型训练的长、短射程,解决了浅层特征利用率较低的问题,强化了高级语义特征.Yu 等人44为了平衡模型的分割精度和推理速度,提出两分支架构网络双边分割网络 BiSeNet,同时解决特征提取的空间信息缺失和感受野缩小的问题.2.3优化卷积操作卷积操作利用像素值的加权平均代替,提取出抽象化、符号化的语义特征信息.但由于卷积步长的存在,图像的特征信息会随着网络加深而丢失.因此许多研究者通过优化卷积操作,提高语义分割的性能.空洞卷积45（Atrous Convolution）在标准卷积中注入空洞,以此扩大卷积核的感受野,使得每个卷积核的输出都包含较大范围的特征信息,并且保持输出时特征映射的尺寸.Chen 等人提出的 Deeplab 系列的 v146和 v247,利用空洞卷积增加特征提取的感受野,缓解因重复池化和卷积造成图像的位置信息无法修复的情况.随后在 v348中优化空洞卷积,使之够级联或并行使用,利用不同膨胀率的空洞卷积在串行模块中获取更大的感受野49.由于堆叠的空洞卷积会受网格会产生伪影效应,即卷积后的特征图像出现不存在于输入图像的伪特征,文献 50 提出分解卷积,使用交互层平滑空洞卷积,或者在空洞卷积之前插入可分离和共享的卷积平滑空洞卷积,解决了网格伪影效应；Wang 等人51则设计混合卷积,利用密集上采样卷积取代解码器的双线性上采样,捕获更多的细节；利用混合扩展卷积,减轻编码器的空洞卷积的伪影效应,扩大感受野聚合全局信息.受 Inception 模块27的启发,Chollet 等人29利用深度可分离卷积（Depthwise Separable Convolution,DSP）训练 DCNN.DSP 包含逐通道卷积和逐点卷积,同时捕获空间信息和通道信息.Deeplabv3+49中广泛使用 DSP 提高模型的边界特征表达能力,并减少计算量；Cao 等人52则使用 DSP 作为基础组件应用于轻量级的语义分割网络,以实现盲道和人行横道图像的高效语义识别,帮助盲人感知周围环境.2.4注意力机制注意力机制能够增强分割的主体信息,抑制不相关信息,从而提高网络分割精度.DeepLabv146针对全卷积语义分割网络感知区域小的问题,将多尺度注意力模块与多尺度结构进行联合训练,使得网络能够更好的学习多尺度特征在图像像素位置的软权重.针对卷积核的物理结构容易导致神经网络信息流被约束在一定的范围内,从而造成复杂场景难以理解的问题,Zhao 等人53提出 PSANet 语义分割网络,使用点状空间注意力（Point-wise Spatial Attention）来解决局部区域限制问题,使得每个像素都可以与其他位置的像素建立联系,从而丰富上下文信息.为了能够充分捕捉图像的上下文语义特征,增加特征空间语义信息和特征维度语义信息的相关性,Fu 等人54提出双注意网络 DANet,结合位置注意力模块和通道注意力模块在局部特征上建模丰富的上下文关系,进一步改进特征表示,从而获取更精确的分割效果.此外还有 Huang 等人55利用交叉注意力模块,探索交叉路经周围像素的上下文信息；Li 等人56提出了注意力聚合模块,通过注意力引到的特征聚合来增强网络对语义特征的学习；Yuan 等人57受自注意力机制影响设计了 OCNet,通过提高特征图的分辨率来提高特征空间准确性,并且聚焦于物体上下文估计和物体上下文聚合,来优化最终的预测结果.2.5传统-深度结合传统语义分割方法,计算简单、对均匀的联通目标有较好的分割结果,但对于多个物体需要多次运行.DCNN 能够端到端训练模型主动提取图像各层58微电子学与计算机2023 年级的特征,却缺乏上下文建模的长范围依赖关系.将传统方法与 DCNN 网络结合也是语义分割的热门研究方向.文献 58 将概率图模型马尔可夫随机场（MarkovRandom Field,MRF）59与 DCNN 结合设计了深度解析网络,利用 MRF 获取图像中的上下文语义信息并进行关系建模,以表示更多的成对项,因此该模型能在减少网络参数的同时,提高分割效果.条件随机场（Conditional Random Field,CRF）是 一 种 特 殊 的MRF,DeepLabv146和 DeepLabv247中利用 CRF 作为后处理操作,促进模型捕获低层的细粒度信息,避免分割网络由于图像的空间不变性造成细节的丢失,Zheng 等人60在模型 CRFasRNN 中将 CRF 的推理过程设计为循环神经网络的结构,并将该结构融入到DCNN 中,使得网络能够同时优化各个阶段的参数,并且降低预处理和后处理的时间.Lu 等人61设计模型 Graph-FCN,同样利用图网络模型与 DCNN 结合,在网络中间的特征层构造一个图网络模型,可以更好的保存细节信息.为了考虑整个数据集的语义关系,Hu 等人62提出区域感知对比学习,通过构建区域中心来表示每幅图像的不同类别的特征,使得模型在区域级别处理所有的输入数据,节省了更多的计算内存.Soucy 等人63提出结合聚类方法的 CEU-Net 模型,检测图像中存在的重叠和分散的类别组成；Ghandorh 等人64结合边缘检测技术,使用分割后的掩膜生成的图像边缘,获得更清晰的像素分割图,提高整体语义分割分割精度.2.6多策略融合多策略融合则是将编码-解码架构、多层特征融合、优化卷积操作、注意力机制、传统-深度结合技术综合使用,能极大程度提高语义分割的性能.Wu 等人65针对编码-解码架构在固定集合过渡效果较差的问题,提出动态注意力网络,将可变形注意力模块和融合注意力模块应用到编码-解码架构当中,使得长、短期信息更有效地反向传播,提升网络捕获上下文信息的能力.Zhang 等人66遵循编码-解码架构设计了混合深度卷积神经网络,利用 Swin Transformer67编码长程空间依赖关系,利用空洞空间金字塔池化捕获多尺度信息,利用通道注意力模块增强特征,利用边缘检测分支约束边缘.Kim 等人68同样利用 Transformer 设计模型 ReSTR,结合注意力机制和编码器融合各种模态的特征,获取模态中实体之间的长程依赖关系,能够灵活且自适应的交互语义信息.为了有效地捕获长程依赖关系,融合不同层次的特征,Sang 等人69提出金字塔卷积注意力网络PCANet,利用金字塔空洞注意力模块捕获长程依赖关系,利用卷积注意力细化模块,为低层级的特征提供全局上下文,为高层级特征提供局部细节.3算法实验结果对比编码-解码架构虽然模型能减少特征细节丢失,能有效恢复图像的特征维度和空间信息,但仍然存在边界特征的提取效果欠佳,以及计算量巨大、训练周期长的问题；多尺度目标融合技术可以融合全局上下文信息,但仍需辅助模块；卷积优化技术能扩大特征感受野并保护位置信息,但对局部信息不敏感,缺乏连续性；注意力机制技术能突出分割主体特征,但易忽略特征的位置信息；传统-深度结合技术能充分考虑全局特征的语义和位置信息,但巨大的计算量和内存消耗仍影响算法的实时性.为了衡量语义分割算法的性能,可以从硬件方面的计算效率和内存占用比例进行分析,也可以通过数学理论分析的方法给出不同模型的计算量和参数量,再进行比较.虽然深度卷积神经网络极大的推进着语义分割技术的发展,但由于不同的语义分割网络在优化方向、应用场景和技术重心的不同,因此无法单一从硬件方面的使用效率来衡量模型的整体性能.但可以根据定量精度指标平均交并比（MeanIntersection over Union,MIOU）横向对比不同技术特性的语义分割模型的性能20,如公式（1）,其中 k+1 为类别数,Nii表示真阳性（True Positives）,Nij表示假阳性（False Positives）,Nji表 示 假 阴 性（False Negatives）,Njj表示真阴性（True Negatives）.MIoU=1k+1ki=0Niikj=0Nij+kj=0NjiNii（1）为此,综合调研不同论文报告的实验结果,根据定量精度指标 MIOU 横向对比不同技术的语义分割模型的性能.将前文所述不同技术特性的语义分割方法在常用的一般场景数据集 PASCAL VOC70、PASCAL Context71和 ADE20K72,以及城市场景数据集 Cityspaces73和 CamVid74上的实验结果作比较,如表 2 所示,其中“”则表示未有相关论文报告以该算法在对应数据集上进行实验.第 9 期马文琪，等：深度卷积神经网络语义分割综述59 4结束语本文主要针对当前深度卷积神经网络语义分割技术的发展情况,从技术差异的角度归纳分类并进行了较为详细的分析和总结.随着深度卷积神经网络的不断推进,在模型分割精确度、运行速度和复杂性方面仍需大量的研究工作.结合当前语义分割研究现状,提出下述值得挑战和深入研究的方向：（1）如何更好地理解语义分割模型？尽管深度语义分割模型在特征提取方面体现了较好的性能,但深度模型到底在学习什么？研究者如何解释学习到的特征？虽然存在相关技术能够可视化模型提取的特征,但尚未有相关研究针对语义分割模型底层特征学习方式进行表述.对模型理论方面的理解,可以更好地开发和改进泛化性强的语义分割模型.表 2 语义分割算法性能比较Tab.2 Performance Comparison of Semantic segmentation algorithms技术特性代表算法时间基础网络分割精度MIOU%PASCAL VOCPASCAL ContextCityspacesCamVidADE20K编码-解码架构DeconvNet302015VGG1669.63059.7731SegNet312016VGG1657.03160.103121.643LEDNet372019ResNet69.237RGPNet362022ResNet10181.93669.236ERFNet38201868.038多尺度目标融合PSPNet402017ResNet10182.64078.44069.155文献422021ResNet10155.84282.34246.4842RefineNet432016ResNet10182.44347.14373.63840.2043BiSeNet442018ResNet1877.74468.744优化卷积操作DeepLabv1462016VGG1671.64639.64763.14754.731DeepLabv2472017ResNet10179.74745.74770.447DeepLabv3482017ResNet10185.74881.348DeepLabv3+492018Xception87.84982.14945.562文献50201871.65069.250文献512018ResNet10183.15180.151注意力机制PSANet532018ResNet10185.75380.15343.7753DANet542019ResNet10182.65452.65481.55445.2257文献552020ResNet10180.55579.15545.7655文献562022ResNet34OCNet572021ResNet10154.05781.95745.4057传统-深度结合文献582015VGG1674.15866.840CRFasRNN60201672.06039.286062.540Graph-FCN61202065.9161文献622021ResNet10182.362策略融合ReSTR682022PCANet692020ResNet10184.26980.16960微电子学与计算机2023 年（2）如何获得高质量的语义分割数据集？语义分割模型性能与数据集质量成正相关.现有算法大都依赖人工标记的数据集,费时费力,且数据集规模较小.虽然当前很多研究者提出基于半监督和弱监督的分割方法,以弱注释方式进行深度网络学习,但准确性较全监督学习方法相差甚远.因此获得高质量的语义分割数据集仍是值得深入研究的方向.（3）如何平衡语义分割的精确度和速度？实时语义分割在机器人交互、自动驾驶等领域发挥着重要作用.而基于深度学习的语义分割更注重于分割精确度而不是速度.当前主流的实时语义分割方法仍然缺乏较高的精度,需要更好的方法和途径平衡精确度和速度.（4）如何充分利用上下文特征信息提高模型准确性？有研究者利用 CRF 作为后处理,提出端到端的方法提高语义分割的准确性.也有研究者通过多尺度特征融合在准确性方面获得显著性的进展.图像包含丰富的的上下文特征信息,如何更好的利用这些信息,仍需要更多的研究.（5）如何更好的轻量化模型？当前主流分割模型在推理阶段仍需大量内存,许多研究者为了在提高精度的同时应用于特定设备上,利用模型压缩技术,或者训练一个复杂模型再用知识整理技术压缩,以减小体积更适用于移动设备.因此在保持精度的同时能轻量化模型体积,将会是未来基于深度卷积语义分割模型的发展方向.参考文献：OTSU N.A threshold selection method from gray-levelhistogramsJ.IEEE Transactions on Systems,Man,andCybernetics，1979，9（1）：62-66.DOI:10.1109/TS-MC.1979.4310076.1 WESZKA J S.A survey of threshold selection tech-niquesJ.Computer Graphics and Image Processing，1978，7（2）：259-265.DOI:10.1016/0146-664X(78)90116-8.2 BATENBURG K J，SIJBERS J.Optimal threshold se-lection for tomogram segmentation by projection dis-tance minimizationJ.IEEE Transactions on MedicalImaging，2008，28（5）：676-686.DOI:10.1109/TMI.2008.2010437.3 ADAMS R，BISCHOF L.Seeded region growingJ.IEEE Transactions on Pattern Analysis and Machine In-telligence，1994，16（6）：641-647.DOI:10.1109/34.295913.4 ANGULO J,JEULIN D.Stochastic watershed segmenta-tionC/8th ISMM 2007.Rio de Janeiro:ISMM,2007:265-276.5 HARIHARAN B,ARBELEZ P,GIRSHICK R,et al.Simultaneous detection and segmentationC/Proceed-ings of the 13th European Conference on Computer Vis-ion.Zurich:Springer,2014:297-312.DOI:10.1007/978-3-319-10584-0_20.6 SHRIVAKSHAN G T，CHANDRASEKAR C.A com-parison of various edge detection techniques used in im-age processingJ.International Journal of Computer Sci-ence Issues，2012，9（5）：269-276.7 IRVIN S.An isotropic 33 image gradient operatorJ.Machine Vision for Three-dimensional Sciences,1990:1-5.8 PREWITT J M S，MENDELSOHN M L.The analysisof cell imagesJ.Annals of the New York Academy ofSciences，1966，128（3）：1035-1053.DOI:10.1111/j.1749-6632.1965.tb11715.x.9 FRIEDMAN N，GEIGER D，GOLDSZMIDT M.Bayesian network classifiersJ.Machine Learning，1997，29（2）：131-163.DOI:10.1023/A:1007465528199.10 KOLLER D,FRIEDMAN N.Probabilistic graphicalmodels:principles and techniquesM.Cambridge:TheMIT Press,2009:1208.11 FUKUNAGA K，HOSTETLER L.The estimation ofthe gradient of a density function with applications in pat-tern recognitionJ.IEEE Transactions on InformationTheory，1975，21（1）：32-40.DOI:10.1109/TIT.1975.1055330.12 BOYKOV Y,JOLLY M P.Interactive graph cuts for op-timal boundary®ion segmentation of objects in N-DimagesC/Proceedings Eighth IEEE International Con-ference on Computer Vision.Vancouver:IEEE,2001:105-112.DOI:10.1109/ICCV.2001.937505.13 ROTHER C，KOLMOGOROV V，BLAKE A.“GrabCut”:interactive foreground extraction using iterated graphcutsJ.ACM Transactions on Graphics，2004，23（3）：309-314.DOI:10.1145/1015706.1015720.14 GREIG D M，PORTEOUS B T，SEHEULT A H.Exactmaximum a posteriori estimation for binary imagesJ.Journal of the Royal Statistical Society:Series B，1989，51（2）：271-279.DOI:10.1111/j.2517-6161.1989.tb01764.x.15 SHOTTON J,JOHNSON M,CIPOLLA R.Semantic textonforests for image categorization and segmentationC/Proceedings of 2008 IEEE Conference on Computer Vis-ion and Pattern Recognition.Anchorage,USA:IEEE,2008:1-8.DOI:10.1109/CVPR.2008.4587503.16 MAHAPATRA D.Analyzing training information from17第 9 期马文琪，等：深度卷积神经网络语义分割综述61 random forests for improved image segmentationJ.IEEE Transactions on Image Processing，2014，23（4）：1504-1512.DOI:10.1109/TIP.2014.2305073.周飞燕，金林鹏，董军.卷积神经网络研究综述J.计 算 机 学 报，2017，40（6）：1229-1251.DOI:10.11897/SP.J.1016.2017.01229.ZHOU F Y，JIN L P，DONG J.Review of convolu-tional neural networkJ.Chinese Journal of Computers，2017，40（6）：1229-1251.DOI:10.11897/SP.J.1016.2017.01229.18 LONG J,SHELHAMER E,DARRELL T.Fully convolu-tional networks for semantic segmentationC/Proceed-ings of the 2015 IEEE Conference on Computer Visionand Pattern Recognition.Boston:IEEE,2015:3431-3440.DOI:10.1109/CVPR.2015.7298965.19 GARCIA-GARCIA A,ORTS-ESCOLANO S,OPREAS,et al.A review on deep learning techniques applied tosemantic segmentationJ.arXiv:1704.06857,2017.DOI:10.48550/arXiv.1704.06857.20 YU H S，YANG Z G，TAN L，et al.Methods anddatasets on semantic se