遥感影像弱小目标智能解译算法研究.pdf

第 45 卷第 2 期2024 年 3 月Vol.45,No.2Mar.2024遥 测 遥 控Journal of Telemetry,Tracking and CommandWebsite：遥感影像弱小目标智能解译算法研究温海宇，刘昊，李育恒，沈永健，原昊（北京遥测技术研究所 北京 100076）摘要：随着遥感技术的快速发展，光学遥感影像弱小目标智能解译成为遥感信息处理的研究热点之一。遥感影像的地物目标常具有尺度小、种类多、数量大、部分重点小目标移动速度快的特点，易受到复杂背景环境及噪声影响，使得提取遥感影像弱小目标的信息面临着巨大的挑战。早期智能解译算法中的弱小目标分割、检测及跟踪等算法研究，多依赖模板匹配及先验知识，此类算法需耗费大量资源、算力及专家知识成本，存在着计算量大、泛化能力差的问题。近年来，随着深度学习等人工智能技术的快速发展，在海量遥感数据中准确获取弱小目标的信息，通过结合深度学习算法可对弱小目标的特征进行快速提取，以提供高效、准确的解译信息。本文综述了遥感影像弱小目标智能解译算法研究进展，包括基于传统图像处理方法的弱小目标分割、检测和跟踪算法，以及基于深度学习等典型相关算法。通过分析这些方法的优点与局限性，对于提高相关目标的信息获取能力、提升观测的态势感知水平以及未来应用等方面具有重要意义。关键词：遥感影像；弱小目标；深度学习；智能解译中图分类号：TP75 文献标志码：A 文章编号：2095-1000(2024)02-0018-11DOI：10.12347/j.ycyk.20231201003引用格式：温海宇，刘昊，李育恒，等.遥感影像弱小目标智能解译算法研究 J.遥测遥控，2024，45（2）：1828.Research on Intelligent Interpretation Algorithms for Weak and Small Targets in Remote Sensing ImagesWEN Haiyu，LIU Hao，LI Yuheng，SHEN Yongjian，YUAN Hao（Beijing Research Institute of Telemetry,Beijing 100076,China）Abstract:With the rapid development of remote sensing technology,the intelligent decoding of weak targets in optical remote sensing images has become one of the research hotspots in remote sensing information processing.The feature targets of remote sensing images are often characterized by small scale,many types,a large number,fast moving speed of some key small targets,and are easily affected by the complex background environment and noise,which makes it a great challenge extract information from weak targets in remote sensing images.Early research on weak target segmentation,detection,and tracking algorithms in intelligent interpretation algorithms mostly relied on template matching and a priori knowledge,and such algorithms need to consume a lot of resources,arithmetic,and expert knowledge costs,and there were problems of large computational volume and poor generalization ability.In recent years,with the rapid development of deep learning and other artificial intelligence technologies,the information of weak targets can be accurately obtained in massive remote sensing data,and the features of weak targets can be quickly extracted by combining deep learning algorithms to provide efficient and accurate decoding information.This paper summarizes the research progress of intelligent interpretation algorithms for weak targets in remote sensing images,including weak target segmentation,detection,and tracking algorithms based on traditional image processing methods,as well as typical related algorithms based on deep learning.By analyzing the advantages and limitations of these methods,it is of great significance to improve the information acquisition ability of relevant targets,enhance the situational awareness level of observation,and future applications.Keywords:Remote sensing image;Dim target;Deep learning;Intelligent interpretationCitation:WEN Haiyu,LIU Hao,LI Yuheng,et al.Research on Intelligent Interpretation Algorithms for Weak and Small Targets in Remote Sensing ImagesJ.Journal of Telemetry,Tracking and Command,2024,45(2):1828.收稿日期：2023-12-01；修回日期：2024-02-092024 年 3 月遥 测 遥 控0引言随着遥感影像领域技术的快速发展，遥感影像的分辨率获得了极大提升，这些高分辨率遥感影像可供人们实现对地表弱小目标进行全天候、高精度观测，因而成为对地精细观测的主要数据源之一。遥感影像可提供大范围的地标信息，对于目标信息收集、地面态势感知及目标识别等领域具有重要作用1。相比于传统中低分辨率遥感影像，高分辨率遥感影像可以精细地刻画地表空间细节信息，但在拍摄过程中，高分辨率遥感影像也更易受到成像元器件、云雾、遮挡等影响2，对遥感影像中的弱小目标(如特定建筑物、隐蔽设施、小型车辆等)的目标分割、检测以及跟踪造成大量干扰，为高分辨率遥感影像智能解译带来诸多挑战3。如何从大量的遥感影像中将重要的、特征鲜明的重点弱小目标解译出来，成为了一个重要的研究课题4。随着遥感影像空间分辨率不断提升，面向对象的超像素分割方法和机器学习方法逐渐成为早期研究的主流方向，它们通过手动设计特征算子来提取目标判别性特征的方法，具有较好的适应性和泛化性，在遥感目标检测任务中起到了关键作用。在遥感影像数据的爆炸式增长下，传统算法均存在着大量解译信息不明确及计算耗时长等问题。遥感影像弱小目标智能解译系统信息结构如图1所示，通过结合深度学习和计算机视觉等一系列目前已研究的算法，基于深度学习的图像智能解译算法可快速提取遥感影像中弱小目标的特征信息，可自动识别出遥感影像中弱小但重要的目标，能够大幅提升弱小目标的检测效率，进而实现对弱小目标的准确识别及跟踪，对提高其弱小目标的解译精度及解译效率产生了极大的效果5。本文首先介绍遥感影像的基本特性及弱小目标在遥感影像中的表现，现有的弱小目标解译算法，包括传统算法及基于深度学习相关算法。通过分析此类方法的优点及局限性，讨论在实际应用中可能遇到的问题。1遥感影像弱小目标及特征样本库特性介绍1.1弱小目标特性分析通常情况下，遥感影像中的弱小目标尺度多为33像素到1010像素，呈现又“弱”又“小”的尺寸特点6，其中目标特征“弱”的特点主要体现在外部轮廓的不清晰、纹理特征的不突出、与邻近背景特征的相似度高；目标尺寸“小”的特点主要体现在目标相较整幅图像而言像素占比少7。弱小目标的视觉特征较差、背景噪声较多，同时具备目标分布尺度差异性大、小目标数量密集分布、单一目标存在覆盖面积小及包含有效特征少的特点，使得小目标智能解译技术成为了计算机视觉最具挑战任务之一。弱小目标的特征一般划分为两类：表观特征及运动特征。表观特征包括了弱小目标的灰度特征、弱小目标尺寸及较少纹理特征等；而运动特征描述的帧间运动属性，包括了目标帧间位移等。一般情况下，弱小目标为圆斑状结构，对其建模为二维高斯模型8：I(xy)=12xyexp -12(x-x0)22x+(y-y0)22y (xy)D(1)其中，(x0y0)是弱小目标中心位置，D为弱小目标的扩散域；x为目标在x的扩散半径，y为y方向上的扩散半径，扩散半径可描述弱小目标的空间尺度信息。1.1.1 弱小目标大小其特征包括弱小目标面积、所在区域宽高比、目标尺度等。其中，弱小目标面积为目标所在的区域内包含的像素点个数，而目标宽高则为区域宽度像素与高度像素的个数比值，弱小目标尺度图1遥感影像弱小目标智能解译系统结构图 Fig.1Intelligent interpretation structure of weak and small targets in remote sensing images19第 45 卷第 2 期温海宇等，遥感影像弱小目标智能解译算法研究为区域所有方向中相面最大距离。弱小目标大小的特征计算公式如下所示：WHrate=wh(2)s=w2+h2(3)其中，w和h为目标区域的宽度和高度，弱小目标大小以像素数进行度量。1.1.2 弱小目标跟踪帧间位移帧间位移是弱小目标在连续帧间的运动速度快慢，其定义为以连续两帧中目标中心位置作为目标的像面距离度量，其公式如下所示：v=(C1x-C2x)2+(C1y-C2y)2(4)其中，(C1xC1y)为弱小目标前一帧的形心坐标，(C2xC2y)为目标当前帧的形心坐标。1.1.3 运动角度差在对弱小目标进行跟踪过程中，可通过计算弱小目标连续两帧运动方向向量夹角定义运动特征。=arccos(D1xD2x+D1yD2yD12x+D12yD22x+D22y)(5)其中，(D1xD1y)、(D2xD2y)是目标连续两帧的运动方向向量。1.2复杂背景特性分析通常情况下，在对遥感影像的弱小目标进行智能解译算法时，由于遥感卫星拍摄等多方因素，实际的弱小目标的背景显示常为陆地、海面、云层、建筑等变化不明显的场景，且此类背景的内部特征变化不明显，内部的色彩单一，经常与弱小目标融为一体，使得获得的影像具备大量由于各种因素造成的背景噪声，在数据的相邻帧之间，此类背景像素特征有非常大的关联性9。如何定义并利用其物理意义去除背景噪声页，成为了遥感影像图像预处理方面的主要研究方向。早期文献中，学者们通过相关研究分析噪声主要呈高斯分布特点且大量噪声多为白噪声；近年来，学者对背景噪声进行抑制分析处理时确定其呈现高斯分布10。背景噪声多为一种随机产生的信号，其频率随机，无规律可循11。在复杂背景下，对其弱小目标进行跟踪检测时，随机出现的高斯噪声常作为一个常数计算，可表示为F(xyk)=M(xyk)+G(xyk)+C(xyk)(6)(xy)表示弱小目标的位置坐标，k为相邻帧之间的差，M(xyk)、G(xyk)、C(xyk)分别表示弱小目标、高斯噪声及背景常量12。在弱小目标检测及跟踪的智能解译过程中，图像预处理时主要需要解决的问题为背景噪声的影响。2遥感影像弱小目标分割算法分析2.1基于传统算法的弱小目标分割方法遥感影像的图像预处理主要任务是采用有效的方法，对原始图像中弱小目标进行分割，将各类杂波的干扰进行抑制，从而提升图像信噪比。这类弱小目标的分割预处理一般会采用阈值法、边界法、区域法及混合法13，具体算法特点见2.2.3节。随着技术工程应用，基于传统算法的遥感影像弱小目标分割技术存在着明显的缺点。首先，当拍摄光学遥感影像受到光照、阴影等因素影响时，对复杂的遥感影像弱小目标无法获得良好的分割结果；其次，虽然边界法对遥感影像弱小目标的边缘检测效果较好，但在遇到内部结构复杂或边缘模糊目标时，此方法无法准确进行图像类别分割；而区域法虽效果良好，但其网络进行多区域分割后进行计算时所需的计算资源巨大，耗费大量的计算资源。2.2基于深层学习的弱小目标语义分割算法为了对遥感图像中的弱小目标进行分割，利用传统方法对复杂背景中的弱小目标分割时特征易被淹没，回归分支敏感问题也会影响分割准确性，难以取得理想的分割效果。因此，在图像分割预处理时，通常需要结合更先进的深度学习技术方法，常见的遥感影像弱小目标分割技术主要包括基于数据扩充的方法、基于空洞卷积的方法及基于特征融合的方法，典型的算法网络分布如图2所示。图2遥感影像弱小目标分割技术构成示意图 Fig.2Schematic diagram of the composition of remote sensing image weak target segmentation technology202024 年 3 月遥 测 遥 控目前国内外已有多篇文章，对弱小目标的语义分割研究现状进行了总结和分析，如文献14对基于图像重点区域，以及基于像素分类的语义分割方法进行了详细的分类和总结，同时，文章将各种算法性能进行了对比。文献15对目前国外的语义分割算法需求、起源及各算法的贡献进行了梳理，最后对其算法研究方法的实现细节展开论述。2.2.1基于数据扩充的弱小目标语义分割算法基于数据扩充的弱小目标语义分割算法主要解决的是遥感影像中弱小目标检测困难的问题，主要原因有两个：弱小目标实例较少及弱小目标标注的面积在遥感影像中的占比小。这类方法通过增加训练数据，以提高模型对小目标的识别能力。AMRNet网络与RRNet网络为典型数据扩充算法，前者提出尺度自适应模块以动态调整图像块的尺寸来平衡目标尺度；后者采用“复制-粘贴”数据集中已标注实例的方式增加小目标数量，同时为了避免背景不匹配和尺度不匹配问题，引入了语义分割先验确定待粘贴区域，并在粘贴时转换目标尺度，从而保证了粘贴前后的一致性，提高语义分割效果。基于数据扩充的弱小目标语义分割的典型算法分析如表1所示。一些研究尝试从改进数据扩增方式的角度提升小目标检测的准确率，比如对训练数据进行旋转、翻转、缩放等变换，或者利用生成对抗网络(GAN)来生成更多的训练样本。总的来说，基于数据扩充的方法能够有效提高弱小目标的检测精度，但同时也需要大量的额外标注数据，这也在一定程度上增加了数据处理的复杂性。2.2.2基于空洞卷积的弱小目标语义分割算法基于空洞卷积的弱小目标语义分割算法主要是通过深度神经网络的学习，自动提取和学习图像中的目标特征。其中，Deeplabv3+网络与Dense-Unet 网络为典型空洞卷积的弱小目标分割算法。改进后的 Deeplabv3+网络，在遥感图像语义分割中的性能算法优异，提高了弱小目标边缘、小尺度的目标物体分割效果；基于 Dense-Unet网络和集成学习方法，能够实现高分辨率遥感图像中的弱小目标的精准分割。基于空洞卷积的弱小目标语义分割的典型算法分析如表2所示。注意力机制为了在遥感影像中，获得需要重点关注的目标及重点区域范围，注意力机制主要是为了获取遥感语义分割中，弱小图像中更多的细节及关键信息，提高目标的分割结果的准确度。近年来，研究学者提出了基于逐点空间注意力的网络(Pointwise Spatial Attention Network,PSANet)方法，利用学习注意力机制20，在分割过程中，将图像中的每个像素位置与其他像素进行位置映射，再根据位置之间的映射分布结果提高图像的预测精度等值。HU Xinxin 提出的非对称卷积网络(Asymmetric Convolution Net,ACNet)21利用了深度学习中的残差神经网络(Residualneural Network,ResNet)22进行了图像的特征提取，通过在不同层次特征中，根据信息量的大小以设置注意力机制，进而达到特征之间的平衡和对有效弱小目标所在区域的分割。上采样及上下文聚合方式2019年由TIAN Zhi等人提出了基于新型上采表1基于数据扩充的弱小目标语义分割的典型算法分析Table 1Semantic segmentation of small and weak targets based on data expansion算法名称AMRNet16RRNet17算法方法尺度自适应模块语义分割算法原理动态调整图像块尺寸平衡目标尺度采用“复制-粘贴”数据集中已标注实例增加小目标数量算法特点需要大量的额外标注数据，增加了数据处理的复杂性避免背景不匹配和尺度不匹配问题，引入了语义分割先验信息确定带粘贴区域，保证一致性表2基于空洞卷积的弱小目标语义分割算法分析Table 2Semantic segmentation of small and weak targets based on atrous convolutions算法名称DeeplabV3+18Dense-Unet19算法方法多尺度上下文信息结合继承学习方法算法原理基于多尺度上下文信息和低级特征进行语义分割基于 Dense-Unet网络及继承学习改进语义分割算法特点解决多次下采样导致特征图分辨率降低，影像预测精度。不同尺度的特征图融合，提高分割效果实现高分辨率遥感图像中弱小目标的分割功能21第 45 卷第 2 期温海宇等，遥感影像弱小目标智能解译算法研究样模块进行语义分割的方法，该方法可以代替原有的双线性插值法，快速地提升了图像分割精度，且改进后的新上采样模块的计算量，仅有原来的20%30%，取 得 了 非 常 优 异 的 效 果23。YUAN Yuhui等人也提出了基于对象上下文表示的语义分割算法24，该方法研究上下文聚合策略，通过在监督学习下对弱小目标区域，汇总对象区域中的像素来计算对象的区域表示。2.2.3基于特征融合的弱小目标语义分割算法基于特征融合的弱小目标语义分割算法主要是通过融合不同层次的特征信息，以提高模型对小目标的识别能力。其中，基于特征融合和缩放的 单 点 探 测 器(Feature Fusion and Scaling-based Single Shot Detector,FS-SSD)网络与基于注意力和特征融合的单点探测器(Attention and Feature Fusion Single Shot Detector,AF-SSD)网络为典型特征融合弱小目标语义分割算法。FS-SSD以SSD算法为基础，保留其多尺度检测优势的同时，将主干网络不同卷积层输出的特征图进行融合，获得分辨率和丰富语义信息兼备的特征表示；AF-SSD则通过多层特征融合结构融合较浅层和较深层的特征信息，提高语义分割效果。基于特征融合的弱小目标语义分割的典型算法分析如表3所示。表4为遥感影像弱小目标语义分割性能对比分析。3遥感影像弱小目标检测算法分析3.1基于传统算法的弱小目标检测算法目标检测是对给定的图像视频进行处理，识别出感兴趣的目标并进行定位的技术。在传统弱小目标检测以及目标跟踪算法中，对遥感弱小目标的图像序列检测需要通过各种方法，去抑制遥感影像的复杂背景环境噪声，继而排除干扰因素以增强遥感图像的信噪比，通过对连续N帧图像的像素以积累弱小目标的能量，提高弱小目标的检测能力与检测精度，不单单要确定目标类型，更要在此基础之上判断其所在的像素范围27，以方便后续通过一系列目标跟踪算法对弱小目标对象及区域进行跟踪和轨迹预测。常用的传统弱小目标检测算法具体包含：基于滑动窗口的检测方法、基于特征提取的方法以及基于上下文信息的方法。基于滑动窗口的检测方法算是较为常用的目表3基于特征融合的弱小目标语义分割算法分析Table 3Semantic segmentation of small and weak targets based on feature fusion算法名称FS-SSD25AF-SSD26算法方法多尺度检测多层特征融合结构算法原理将主干网络不同卷积层输出的特征图融合，获得分辨率和丰富语义信息的特征表示通过多层特征融合结构以融合较浅层和较深层的特征信息算法特点以SSD算法为基础，保留多尺度检测优势，极大提升了SSD的小目标检测能力具有多尺度检测优势，可应对不同大小、形状和长宽比的目标表4遥感影像弱小目标语义分割典型算法对比分析Table 4Comparison of typical algorithms for semantic segmentation of small and weak targets in remote sensing images类型传统算法深度学习算法名称阈值法边界法区域法数据扩充空洞卷积数据特征融合传统分割方法图像灰度特征图像边缘分割图像多区域分割数据扩充及增强CNN特征融合算法原理通过设定阈值，将图像分为两类以达到语义分割的目的通过寻找图像中边缘进行分割，对弱小目标所处在边缘的目标分割效果较好将遥感影像分为多个区域，每个区域内部属性相似，不同区域间属性有差异有效处理目标尺度差异大于小目标密集分布的问题，动态调整图像块的尺寸或增加训练数据量，提高模型性能及对小目标的识别能力能够快速自动提取与学习图像中的目标特征，从而提高分割精度，改善目标边缘及小尺度目标物体分割效果通过融合不同层次的特征信息，获得分辨率和丰富语义信息的特征表示，提升模型对小目标识别能力算法特点易受光照、阴影等因素影像不适用于内部结构复杂或在边缘模糊的弱小目标需要进行大量的计算时间及计算资源需要大量额外标注数据，增加数据处理的难度需要对在多层次特征信息找到平和，导致模型过于复杂，难以训练计算资源较大、时间训练较长，模型解释性较差222024 年 3 月遥 测 遥 控标检测方法，其核心思想是在图像上选取一个矩形区域为窗，以作为算法的候选区域，然后滑动窗口遍历输入图像，并使用分类器来对窗口内图像进行分类，从而实现整张遥感影像的弱小目标检测28。基于手工特征提取的检测方法则是早期的目标检测方法，其本质就是提取图像中如边缘和颜色等特征，通过诸如尺度不变性、局部二值模式特征等方法，将所感兴趣的图像内容转化成需要的特征向量后，用分类器来进行检测识别。基于上下文信息的检测方法通过连接了多尺度特征，并且使用来自于不同层次的附加特征作为上下文，利用目标之间的关系，如空间关系、背景关系等来提高对小目标的检测精度。3.2基于深度学习的弱小目标检测算法传统目标检测识别算法效果较差、准确度低且计算量较大，目标检测的运算速度慢。以上缺点使得在2012年出现的AlexNet网络，正式开启了卷积神经网络在图像处理领域中的应用，国内外研究学者对目标检测技术的发展路线由传统算法转向了基于深度学习的方向29。图 3 为 2012 年至2022年期间目标检测发展脉络。基于上述传统目标检测算法存在的缺陷，在早期引入深度学习的算法中，Girshick 提出了候选 区 域 的 卷 积 神 经 网 络(Regions with Convolutional Neural Networks,RCNN)方法，采用选择性搜索的策略在输入图像中生成候选区域，使其平均准确率得到了大约 30%的提升30。次年提出的空间金字塔池(Spatial Pyramid Pooling,SPPNet)算法引入了空间金字塔池化层来移除CNN对于网络固定尺寸的限制问题，SPP 层放在最后一个卷积层的后面对特征进行池化，然后产生固定长度的输出，并返给全连接层31。同年 Girshick 提出的Fast RCNN32以 及 后 来 REN Shaoqing 改 进 的Faster RCNN33，进一步提高了准确率并提升了检测速率，但是仍然无法做到实时检测。随后RCNN 系 列 还 诞 生 了 特 征 金 字 塔 网 络(Feature Pyramid Networks,FPN)34和级联候选区域的卷积神经网络(Cascade RCNN)35算法，进一步提升了准确率。相较于注重准确率牺牲速率的 RCNN 算法，Redmon 等人提出的你只看一次(You Only Look Once,YOLO)算法36则是基于非候选区域的一步检测，专注于检测速率但牺牲了检测效果，其准确率随着后续版本提升才得到了逐步改善，其中YOLOv5和YOLOv6没有形成论文。除此以外目前还有一些其他的检测算法，如闫钧华、张琨等人为解决遥感图像地面弱小目标检测中弱小目标信息量少、信息真假混杂的难题，设计了一种融合多层级特征的遥感图像地面弱小目标检测算法，利用深度卷积神经网络逐级对目标图像进行特征提取37。表5为遥感影像弱小目标检测性能对比分析。4遥感影像弱小目标跟踪算法分析4.1基于传统算法的弱小目标跟踪算法复杂背景环境下的弱小目标往往存在多变、目标运动速度、成像距离远的缺点，为了使遥感影像解译具有智能化特性，采用弱小目标跟踪算法，可使复杂背景下对目标的检测、锁定、跟踪更有优势42。早期，传统方法提出利用遥感影像预处理手段抑制背景与增强目标信号，将通信领域的相关滤波引入到对重点目标跟踪中。后续提出的 一 些 基 于 相 关 滤 波 的 跟 踪 算 法(CSK43、BACF44、MOSSE45、KCF46、SAMF47)等也被广泛应用于跟踪算法中。主流的传统算法弱小目标的跟踪技术包括：光流法、卡尔曼滤波、粒子滤波、均值漂移。智能解译算法在对弱小目标跟踪过程中，弱小目标的强度、形状、大小等都会发生变化，又因为弱小目标之间的相似度较高，当多个目标在邻近图像区域运动时容易发生跟踪错误。光流法主要针对外观序列进行相邻帧之间的像素计算，通过寻找位移变化关系判断弱小目标的运动状态，实现对运动目标的跟踪功能。由于弱小目标本身外观变化具有随机性和多样性特点，在光照、运动模糊、分辨率低及目标旋转形变的情况下，传统算法的跟踪方法主要是图3目标检测算法发展脉络Fig.3Development of object detection algorithms23第 45 卷第 2 期温海宇等，遥感影像弱小目标智能解译算法研究基于特定的数学模型来描述目标和背景的特征，单一的数据模型跟踪目标具备很大的局限性，对遥感影像背景信息利用不充分，对于尺度、姿态、光照等因素变化的鲁棒性差，此类模型大多无法很好地处理复杂的实际情况，需要进行大量的采样与计算，计算复杂度较高。4.2基于深度学习的弱小目标跟踪算法传统算法对图像的背景信息利用不全面、弱小目标外观变化带来的影响大、缺乏有效的预测机制、需要大量的计算资源以及对于尺度、姿态、光照等因素变化的鲁棒性差；对于邻近多目标，除了上述独立运动目标的限制因素之外，还存在着目标相似和目标轨迹交叉引起的目标错配等。深度学习目标跟踪算法目前的应用主要可以分成两类，一类是框架部分使用上文提到的相关滤波算法，而特征部分使用深度学习算法，计算目标的响应值来进行跟踪24；二类是基于神经学习网络结构的跟踪算法，其又可以分为判别式算法和生成式算法48。基于深度学习的弱小目标跟踪算法主要应用于复杂背景中，对弱小目标的准确快速检测和持续跟踪有着至关重要的作用，这类算法通常包括预处理模块、检测模块和跟踪模块三部分。对于独立弱小运动目标，限制其跟踪准确度的因素主要有目标过弱以及背景变化导致的检测困难、目标形变导致的目标跟踪困难。目前，判别式的深度目标跟踪算法要略优于生成式，因为训练数据缺乏，而判别式的分类器是区分物体和背景的。此外特征的好坏也是一个重要的影响因素，但深度特征提取却会影响到算法速度，因此根据不同层的特征来自适应选择是一个同时保证速度和精度的良好方案。表6为遥感影像弱小目标跟踪性能对比分析：表5遥感影像弱小目标检测算法对比分析Table 5Comparative analysis of algorithms for detecting weak and small targets in remote sensing images类型传统检测算法深度学习算法名称滑动窗口检测手工特征提取基于上下文信息方法RCNN系列YOLO系列RCNNSPPNetFast RCNNFaster RCNNFPNCascade RCNNYOLOv1YOLOv238YOLOv339YOLOv440YOLOv5YOLOv6YOLOv741算法方法级联分类器分类器上下文信息AlexNet空间金字塔池化层VGG16Region Proposal NetworkResNet-101ResNet-101GoogLeNetDarknet19Darknet53CSPDarknet53Focus+CSPFocus+RepBlock多路卷积模块算法原理采用基于 Haar-like 特征和级联分类器的结构实现快速目标检测通过手工设计特征描述目标，使用分类器进行分类通过对弱小目标的上下文信息进行分析，提高检测准确性选择性搜索算法、SVM避免卷积特征重复计算检测速度较慢，但检测速度是RCNN的200倍区域选择网络，提升检测框生成速度1)自底向上连接CNN 下采样通2)自顶向下连接3)侧向连接，将上采样后的深层特征层和浅层特征层进行融合通过IoU阈值训练级联检测器，使得定位精度高one-stage 检测模型提升性能；利用分类数据集进一步提升性能总结技巧，通过实验找到最佳组合结构灵活应用支持模型训练、推理及多平台部署等应用需求实时目标检测器，具有最快的推理速度和检测精度算法优点实现简单、检测速度块对复杂背景和多尺度、多姿态的小目标具有良好的检测效果利用上下文信息提高检测准确性和鲁棒性算法缺点对尺度变化、旋转变化和遮挡等情况处理较弱特征设计过程繁琐，人力成本高计算复杂度较高242024 年 3 月遥 测 遥 控5遥感影像弱小目标智能解译算法未来研究方向5.1多源遥感数据融合多源数据融合的主要目的在于综合多种传感器及其中不同波段的信息，以达到消除冗余、及时可靠提取遥感信息和增强数据使用效率的效果49。目前，对于遥感影像的多源数据融合的研究主要有三个方面50：一是对于图像配准的方法，尤其是针对多幅图像的自动配准技术及典型特征提取控制点；二是对于图像融合统一框架的建立，将统计信息和知识理解互相结合，以智能化和实时化为目标发展；三是对于图像融合的质量进行评估的评价标准，最好是能适用于不同的应用目的而共用的评估算法，以相同的标准准确评估不同种融合算法的性能，给多源遥感数据融合的优化策略提供参考。目前对多尺度、多目标、多来源的数据融合效率还较低，冗余度高，无法充分利用遥感弱小目标对其行为和意图进行分析，因此下一阶段应考虑开展智能解译研究，结合边缘计算构建自动化分布式遥感数据目标处理及解译技术，解决针对遥感图像弱小目标受探测干扰等影响导致错误解译的问题，完成多源数据融合处理行为分析。5.2多源遥感数据智能认知遥感数据可以为各种环境态势感知提供观测信息，以实现各种应用51，目前从各种遥感技术中获得的数据集庞大，因此从大量的遥感数据中获取有效信息就是一个必需的要求，但人工处理遥感数据需要较长的时间，不能满足时效性的需求，而且人工处理相较于人工智能处理还会出现许多问题，因此若想要实现多源遥感数据智能化处理，对多源遥感数据的智能认知是十分重要的。复杂环境全面态势感知包含了多方面的需求，采用单一数据源的感知是不完全的，而多源遥感数据就涉及到了几何配准精度的问题，追求既能满足配准精度，同时又有足够的配准效率的算法是目前的一个重点方向。此外，从复杂环境的大量数据中提取关键信息，也是智能态势认知的一大困难。因此，对于智能态势认知技术，要针对多尺度目标特征提取、有用信息挖掘、数据态势生成、图像增强和智能认知反馈处理的能力，对多尺度、多目标、多来源的数据进行行为表征和信息挖掘，对数据态势进行关联式分析，完成遥感影像弱小目标态势智能认知反馈能力。表6遥感影像弱小目标跟踪算法分析Table 6Analysis of weak and small target tracking algorithms for remote sensing image算法名称光流法卡尔曼滤波粒子滤波均值漂移孪生网络基于相关滤波器的方法DeepSORTMOT算法递归神经网络算法方法基于图像序列中像素点运动方法概率论基于统计方法基于密度梯度方法对比学习特征表示用滤波器对目标及背景进行建模基于深度学习的多目标跟踪算法通过检测进行跟踪建模并挖掘对整体跟踪有用的部分算法原理计算相邻帧间的光流矢量来跟踪目标的位置和形状基于Dense-Unet网络及继承学习改进语义分割通过模拟目标的运动轨迹跟踪目标位置与形状通过寻找样本点的密度梯度跟踪目标位置与形状通过将目标的图像与周遭环境对比，来学习目标的特征表示，这样就可以处理尺度变化、形变等诸多问题，同时还具有较高的准确性和鲁棒性有着简单、快速而又准确的特点，并且可以使用于实时系统基于目标外观、目标的运动和时空等多方面特征的相似性，将不同视频帧所检测到的目标关联成轨迹，这样就不需要手动选择特征，而是可以通过大量的数据就使模型训练获得足够优秀的特征提取能力从视频帧中提取出其中的一组检测结果，并将其用于引导整个跟踪过程，把相同的ID分配给包含着相同目标的边界框，这样就把任务转化成了分配问题，确保了检测质量的良好可以解决预测误差累积以及传播导致的跟踪漂移等问题。利用递归结构可以使每个分块的输出值都能受到其他关联分块的影响，以此来避免单个方向的影响，同时还可以置权，使其比仅仅考虑当前位置时的准确度更高。算法优点对目标形状及大小变化较小，可处理遮挡问题实现高分辨率遥感图像中弱小目标的分割功能可处理非线性和非高斯分布问题，使用复杂跟踪场景可处理遮挡及变形问题，使用实时跟踪应用算法缺点在光照变化大的情况下，跟踪精度会受到影响需要对系统模型进行准确建模，对实时性要求高需要大量的采样与计算，对粒子滤波的计算复杂度要求较高对于目标的初始位置和速度等参数敏感，可能导致跟踪失败25第 45 卷第 2 期温海宇等，遥感影像弱小目标智能解译算法研究5.3智能认知大模型伴随人工智能技术的进步和深度学习技术的发展，对遥感影像的智能解译将逐渐依赖于能够完成交互和编写的“得力助手”智能认知大模型，其能够大幅提高信息系统的研发效率，提升工业智能化的水平，其构建的无人系统能极大节省人工成本，加强指挥效率，同时其评价机制也可以根据收到的反馈来带有一定的“情感色彩”52。开发智能认知大模型需要拥有足够的用户交互信息，同时在硬件条件上也需要发展芯片以提升算力，这是目前国内掣肘开发智能认知大模型的一个重要问题，需要投入相当多的资源。在解决数据和算力的基础上，基于大规模遥感弱