基于深度学习的雷达成像研究进展.pdf

第 21 卷 第 9 期2023 年 9 月太赫兹科学与电子信息学报Journal of Terahertz Science and Electronic Information TechnologyVol.21，No.9Sept.，2023基于深度学习的雷达成像研究进展李晓帆1,2，邓彬*1，罗成高1，王宏强1，范磊1，付强1(1.国防科技大学 电子科学学院，湖南 长沙 410073；2.怀化学院 电气与信息工程学院，湖南 怀化 418008)摘要：深度学习(DL)在语音识别、图像物体识别上取得了卓越的成效，深度学习代替传统处理技术，成为了研究该领域的主要处理方法。在雷达领域，深度学习用于雷达目标识别和分类，也取得了很好的效果，进而，人们试图将深度学习用于雷达成像。本文根据近几年所公开的文献资料，按照雷达成像的特点，分类介绍深度学习用于雷达成像的研究进展；之后，对深度学习用于雷达成像的可行性、样本选取、泛化以及成像质量的评价等开放性问题提出了作者的设想，并对深度学习用于雷达成像进行了展望。关键词：深度学习；雷达成像；可行性；样本；泛化中图分类号：TN959.1 文献标志码：Adoi：10.11805/TKYDA2021254Research progress of radar imaging based on Deep LearningResearch progress of radar imaging based on Deep LearningLI Xiaofan1,2，DENG Bin*1，LUO Chenggao1，WANG Hongqiang1，FAN Lei1，FU Qiang1(1.School of Electronic Science，University of Defense Science and Technology，Changsha Hunan 410073，China；2.College of Electrical and Information Engineering，Huaihua University，Huaihua Hunan 418008，China)AbstractAbstract：Deep Learning(DL)has achieved remarkable results in speech recognition and image object recognition,which has become the main processing method in these fields instead of traditional processing technology.DL is applied to radar target recognition and classification,and has achieved good results as well.Therefore,DL is tried to be applied in radar imaging.Based on the published literatures in recent years and the characteristics of radar imaging,the research progresses of DL in radar imaging are introduced.Its feasibility,sample selection,the generalization,and the evaluation of imaging quality are analyzed.The application prospects of DL in radar imaging are outlooked.KeywordsKeywords：Deep Learning；radar imaging；feasibility；samples；generalization自 20 世纪 90 年代以来，随着误差反向传播(Back Propagation，BP)算法1、卷积神经网络(Convolutional Neural Network，CNN)2-3的提出以及高速图形处理器(Graphics Processing Unit，GPU)并行处理技术的发展，以卷积神经网络为基础的深度学习(DL)作为机器学习的分支，逐渐成为人工智能最热门的研究领域。2011 年以前，语音识别主要建立在高斯混合模型(Gaussian Mixture Model，GMM)和隐马尔科夫模型(Hidden Markov Model，HMM)的基础上，但到了 2011 年，传统的基于高斯混合模型和隐马尔科夫模型的语音识别方法已难以取得很大的性能提升。深度学习引入到语音识别后，直接打破了原有的性能极限，语音识别的性能得到大幅提高4-5。物体识别方面，2011 年以前，物体识别主要依靠尺度不变特征变换(Scale-Invariant Feature Transformation，SIFT)方法和支持向量机等机器学习方法结合起来提升识别性能，但提升性能的空间有限。到 2011 年，许多研究者认为已达到性能极限。2012 年多伦多大学研究团队采用神经网络方法，物体识别性能由 2011 年的错误率 26%降低为16%，卓越的性能表现使深度学习成为物体识别的核心方法6。2014 年 Google 采用 GoogLeNet 深度神经网络，识别能力接近人类水平，识别错误率约为 5%；此后，其错误识别率又进一步下降到了 4.85%，超越人类识别能力7。深度学习在语音识别、图像识别和自然语言处理上，代替传统处理方法，成为相关领域主要的研究方法。在雷达领域，深度学习早已在雷达目标识别、分类和检测中得到应用。Ren 等8在有限的数据集中提出一种Faster RCNN 深度神经网络，该深度学习网络检测性能优良，处理效率高，已被广泛地应用在合成孔径雷达文章编号：2095-4980（2023）09-1086-14收稿日期：2021-06-15；修回日期：2021-07-13基金项目：国家自然科学基金资助项目(61871386；61971427)；湖南省杰出青年科学基金资助项目(2019JJ20022)*通信作者：邓 彬 email:dengbin_第 9 期李晓帆等：基于深度学习的雷达成像研究进展(Synthetic Aperture Radar，SAR)图像检测中；杜兰等9针对多尺度、多场景、多类地理空间的目标采用深度神经网络进行检测，也取得不错的效果。在 SAR 图像目标识别中，Wagner10用形态学成分分析方法做预处理，构建深度神经网络，将分类准确率提升到了 99%。牟效乾等11通过从雷达动目标回波中提取出多普勒频移信号，利用短时傅里叶变换将多普勒频移信号转换为时频图，输入卷积神经网络进行目标检测。与传统动目标检测方法相比，该方法能检测匀变速运动和微动目标。深度学习在很多领域取得了很好的效果，这激发了很多研究工作者，试图将深度学习应用到雷达成像上，提高成像质量和效益。本文先介绍雷达成像的原理、方法以及深度学习用于雷达成像的问题，分类介绍用深度学习网络进行雷达成像现状，再带着上述问题对深度学习用于雷达成像进行阐析，最后对深度学习用于雷达成像进行总结和展望。1雷达成像原理与经典成像方法回顾1.1 雷达成像雷达是一种分辨力高，能全天候工作，能有效地穿透某些掩盖物和识别伪装的遥感传感器。雷达利用合成天线技术获取良好的方位分辨力，利用脉冲压缩技术获取良好的距离分辨力。通常情况，雷达发射线性调频信号，照射到物体表面，经电磁散射，雷达接收原始数据，经雷达解调到基带，以便将距离频率中心置零。解调后的点目标信号模型12为：s()=A0r(-2R()c)a(-c)exp(-j4f0R()c)exp(jKr(-R()c)2)(1)式中：A0为任意复常数；为距离时间；为近距方位时间；c为波束中心偏离时间；r()为距离包络；a()为方位包络；f0为雷达中心频率；c为光速；Kr为距离 chirp 调频率；R()为瞬时斜距。经传统成像方法处理后，得出：sac()=A0pr(-2R0c)pa()exp(-j4f0R0c)exp(j2fc)(2)式中：pr()为距离包络；pa()为方位包络，均为 sinc 函数。从式(2)可以得出：=2R0c、=0为目标的位置。雷达成像本质上是一个电磁逆散射问题，即从接收到的回波信号，通过某一变换，还原目标散射中心的空间位置。1.2 经典成像方法雷达系统接收到的 SAR 数据是散焦的，看上去很像随机噪声。回波数据的基本信息隐藏在相位中，需要一个相位敏感的处理器或精确的数据处理算法来获得聚焦图像。1978 年 MacDonald Dettwiler(MacDonald Dettwiler&Associates，MDA)和喷气推进实验室(Jet Propulsion Laboratory，JPL)同时独立提出距离多普勒算法(Range Doppler Algorithm，RDA)。距离多普勒算法根据距离和方位上的大尺度时间差异，在距离时域方位频域处理中使用了距离徙动校正(Range Cell Migration Correction，RCMC)，将回波数据中的距离和方位信息进行近似分离，能将距离相同、方位不同的点目标能量变换到方位频率后，其位置重合。RDA 算法中，频域中单一目标轨迹校正等效于同一最近斜距处的一组目标轨迹的校正，使得距离徙动校正能在距离多普勒域得以高效实现。RDA 算法能实现中低斜视角下的成像。线频调变标(Chirp Scaling，CS)算法基于 Scaling 原理，通过对 Chirp 信号进行频率调制，实现对信号尺度变标或平移，用相位相乘替代时域插值完成随距离变化的距离徙动校正。CS 算法能解决二次距离压缩对方位频率的依赖性问题，但忽略了与距离向的依赖关系。通过二维快速傅里叶变换将 SAR 信号变换到二维频域，与参考函数相乘，补偿该距离处包括距离向频率调制、距离徙动、距离方位耦合和方位向频率调制在内的各种相位，使参考距离处的目标得到完全聚焦，但非参考距离处的目标仅得到部分聚焦。再在距离域对其他目标进行 Stolt 插值，完成“补余聚焦”。能处理宽孔径或大斜角数据。除了以上几种传统的成像算法，还有频率变标(Frequency Scaling，FS)算法，距离徙动算法(Range Migration Algorithm，RMA)，极坐标格式算法(Polar Format Algorithm，PFA)，这些算法基于信号处理方法，经变换得到聚焦图像。1.3 深度学习用于雷达成像的问题深度学习是建立在计算机神经网络理论和机器学习理论上的系统科学，它建立在复杂的机器结构的多处理层上，结合非线性转换算法，对高层复杂数据模型进行抽象。深度学习是一类机器学习的方法，允许计算机从样本中、实例中、数据中使用统计手段学习出规律来。深度学习的样本和标签之间存在“统计关系”，即某一样1087太赫兹科学与电子信息学报第 21 卷本标定为某一标签是基于该样本判定为该标签的可能性，而雷达成像，回波信号到所成图像之间是确定性的函数关系，即回波信号表示的点目标，在所成的图像中，只能是空间某一位置的点。因此，按照一般的深度学习用于目标分类识别的思维，来理解深度学习用于雷达成像，将面临一些问题。1）深度学习网络能否进行雷达成像从结构上，深度学习包括输入层、输出层和隐含层，其中隐含层由多个卷积层、池化层和激活层组成。训练过程中，通过输入样本到输出标签的对应关系的学习训练，确定激活函数、代价函数和优化方式，得出深度学习网络模型。正因为深度学习网络的多隐含层的感知器结构，才能组合样本中的低层特征，形成抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。样本是具体的低层的表示，标签是抽象的高层表示，深度学习中的样本和标签之间是统计学上的对应关系。雷达回波是可以用数学表达式表示的复杂信号，图像也可以用数学表达式表示的信号，将回波信号通过一定的变换，就能得到唯一的图像，雷达回波与雷达成像有确定的函数关系。深度学习网络能否训练出雷达成像的确定的函数关系，是摆在雷达成像研究者们面前的难题。2）深度学习样本如何获取，标签如何建立文献13指出，雷达回波数据包含雷达参数、雷达波入照角、目标运动状态等可变参数，而且同一目标在多航迹、多角度下，实测数据较少，动目标的运动轨迹、运动参数难以获取，雷达成像难度大，进行深度学习，无法满足数据集的完备性要求；对于未知非合作目标，数据获取困难，仿真数据和实测数据的差异较大，存在小样本甚至零样本的难题；另外，SAR 回波数据是观测场景散射点后向散射回波的叠加，不含任何标签信息，将回波数据与目标参数对应时，人为添加回波数据的标签信息，将提升智能学习的学习成本。深度学习网络的样本与标签有着明确的对应关系。图像中的猫狗，可以明确地标识为猫狗，通过大量图像的训练，机器能自动辨识出动物。而雷达成像的输入是雷达回波信号，是复值数据，所成的是图像，输入的回波信号与输出的图像的对应关系很复杂。按照目标点模型，散射中心点所表示的回波数据，在所成的图像上是确定的散射中心点，入照角改变，回波数据表示的散射中心点发生改变，在所成的图像上的位置、幅值也会发生改变。而且，雷达回波数据的获取，需要很高的成本。因此，样本如何选取，如何实现样本与标签的对应，如何保证样本的多样性，雷达成像怎么实现泛化，是研究者们需考虑的问题。3）雷达成像所成的像是目标散射中心根据散射点模型，雷达回波信号由散射中心点叠加而成，雷达回波信号经成像处理，得出散射点的图像。如图 1 所示，雷达垂直照射金属棒，所成的像是一条直线；雷达斜向照射金属棒，所成的像只有 2 个散射中心。同样，雷达视线正对金属球，所成的像为 2 个散射中心；2 个金属球中心对称地放在雷达的视线上，所成的像是一条直线的 4 个散射中心。雷达所成的像是雷达电磁波照射到物体上散射中心的有序排列，雷达成像是散射中心的成像，所成的像在视觉上，远没光学成像清晰、真实。Fig.1 Radar imaging results of simple target图1 简单目标雷达成像结果1088第 9 期李晓帆等：基于深度学习的雷达成像研究进展2深度学习雷达成像研究现状深度学习用于雷达成像的研究国外最早见于文献14，Yazici 团队采用优化的方式设计了一种迭代收缩阈值算法(Iterative Shrinkage Thresholding Algorithm，ISTA)的递归自动编码器网络结构。这种递归自动编码器网络结构，与 ISTA 算法相比，具有更快的收敛速度和更小的重建误差。国内的研究主要由国防科技大学、南京航空航天大学、燕山大学等单位开展。深度学习用于雷达成像的雷达体制有：二维转台成像15、二维逆合成孔径雷达(Inverse Synthetic Aperture Radar，ISAR)成像16-18、多输入多输出(Multiple Input Multiple Output，MIMO)成像19、穿墙 MIMO 成像20-21、太赫兹编码成像(Terahertz Coded-Aperture Imaging，TCAI)22、ISAR 成像23-24和微动成像(Synthetic Aperture Radar Ground-Moving Target Indication，SAR-GMTI)25。在此，根据在雷达成像中，深度学习网络的输入是否为图像，将雷达成像分为直接成像、间接成像加以介绍。2.1 基于复图像的深度学习直接成像方法直接成像是指深度学习网络的输入为雷达回波数据，输出为所成的图像。Gao 等15提出了一种用深度学习直接成像的方法。该方法中深度学习直接成像包括训练阶段和成像阶段。训练阶段，将雷达回波数据作为 CNN 网络的输入，CNN 网络的输出图像与期望图像进行比较，使均方误差最小，训练 CNN 网络参数；成像阶段，直接将雷达回波数据输入到训练好的 CNN 网络中，输出能得到雷达回波所对应的图像。其中，训练数据由点散射模型生成，即在指定的成像区域内，随机生成若干个点目标，得到该点目标对应的回波数据；期望图像为这些点目标所成的理想图像。雷达回波数据为复数数据，采用复数卷积网络(Complex-Valued Convolutional Neural Networks，CV-CNN)作为深度学习网络，直接对复数进行运算。图 2 是采用快速傅里叶变换(Fast Fourier Transform，FFT)方法、SPGL1 方法、实数卷积神经网络(Real-Valued Convolutional Neural Networks，RV-CNN)方法和 CV-CNN 方法对“NUDT”字样的点目标进行成像的结果，其中，雷达中心频率为 220 GHz，带宽 12.8 GHz，成像场景大小 0.7 m0.7 m，图像像素点数为 236236，期望图像分辨力约为 0.47 cm。图 3 是采用不同方法对转台飞机模型实测数据进行成像的结果。经图像结果比较，采用深度学习方法的成像效果更好。2.2 基于回波的深度学习间接成像方法间接成像指深度学习网络的输入不是雷达回波数据，为初始低分辨力图像、低信噪比图像、不完整图像。根据深度学习网络在雷达成像中的特点，将间接成像分为增强成像和恢复成像进行介绍。Fig.2 Imaging results of NUDT using different methods图2 采用不同方法对“NUDT”的成像结果1089太赫兹科学与电子信息学报第 21 卷2.2.1 增强成像增强成像指引入深度学习方法来提高成像的质量，包括图像去噪、高质量成像和超分辨力成像。1）图像去噪深度学习网络的输入是低信噪比图像，输出为高信噪比图像。Chen 等22提出了一种深度学习用于雷达成像的 CNN 网络，该网络的输入是孔径编码成像结果在不同信噪比下的图像，输出是成像图像，代价函数是误差最小函数。文中，样本图像是孔径编码成像结果在信噪比分别为：-30 dB、-15 dB、0 dB、15 dB 和 30 dB 的图像，期望图像为孔径编码成像结果。孔径编码成像结果加噪后作为样本输入到 CNN 网络中，CNN 的输出图像与期望图像进行比较，训练 CNN 网络。成像过程，将有噪的孔径编码成像结果输入到 CNN 网络，滤除伪散射点和颗粒背景噪声。图 4 是基于卷积神经网络的太赫兹孔径编码成像原理图。图 5 是由经过训练的 CNN 对验证目标进行成像演示，经图像结果直观分析：CNN 网络输出的噪声水平得以明显改善。2）高质量成像传统的信号处理方法用于雷达成像时，存在某些优势，也存在某些不足，将神经网络方法与这些信号处理方法结合起来，组合成深度学习网络，保持传统信号处理的优势，消除其缺陷，提高雷达成像的质量和效益。Chen 等26提出了一种深度神经网络(Deep Neural Networks，DNN)，将维格纳-威利分布(Wigner-Ville Distribution，WVD)、短时傅里叶变换(Short Time Fourier Transform，STFT)的时频分析方法与深度神经网络结合起来，既能保持 WVD 高分辨、STFT 交叉项干扰少的优势，又能提高成像的分辨力。同样，在压缩感知(Compressive Sensing，Fig.3 Real imaging of aircraft model using different methods图3 采用不同方法对飞机模型的实测成像Fig.4 Schematic diagram of MF(Matched-Filtering)-TCAI based on Convolutional Neural Network(CNN)图4 基于卷积神经网络的太赫兹孔径编码成像原理图1090第 9 期李晓帆等：基于深度学习的雷达成像研究进展CS)成像中，成像结果具有超分辨、无旁瓣干扰的特点，但存在稀疏表示不准确、图像重建效率低的不足。Cheng 等27将压缩感知与深度神经网络结合，构建 CS-CNN 网络，用于雷达成像。图 6 是采用压缩感知方法和CS-CNN 方法在不同信噪比下对伦敦玛丽女王大学(Queen Mary University of London，QMUL)标识的成像，其中(a)、(b)和(c)分别表示信噪比为 0 dB、10 dB 和 20 dB 时采用压缩感知方法的成像结果；(d)、(e)和(f)分别表示信噪比为 0 dB、10 dB 和 20 dB 时采用 CS-CNN 方法所成的图像。从成像效果上看，CS-CNN 方法保持了压缩感知的稀疏采样和高分辨力的优点，对噪声、目标稀疏性和采样率等环境变化具有很强的鲁棒性，优化过程计算效率高。还有将深度学习方法与短时傅里叶变换28、快速反投影(Fast Back Projection，FBP)成像29等方法组合，也能实现性能优化。深度学习也用于提高运动目标的成像质量。目标运动所成的雷达图像散焦现象严重，图像会受到强背景杂波的污染。Lu Z 等30构建了一种距离多普勒算法和卷积神经网络的改进的 u-net 网络结构来实现 SAR 运动目标再聚焦成像。首先，利用距离多普勒算法对回波数据进行预处理，得到的模糊 SAR 图像作为卷积神经网络的输入数据。其次，根据 SAR 成像特点，对原始 u-net 网络结构进行改进，提取输入数据的结构信息，提供良好的目标重建效果。训练后的网络可以在不同的方位角速度下聚焦运动目标。图 7 是改进的 u-net 网络结构。图 8 是一艘方位速度为 15 m/s 的运动船舶的成像结果，其中(a)为 RDA 算法得出的图像，散焦严重，(b)为经 u-net 网络得出的图像，(c)为理想散射点模型的图像。通过图像对比，采用深度学习网络所成的图像，能消除成像过程的杂波。该方法不需要估计运动参数，不需要进行迭代运算，直接训练多目标的隐式成像模型，在成像质量和效率方面取得了显著的改进。Song 等31提出了一种卷积神经网络，通过运Fig.5 Imaging presentation by the trained CNN for the validation target图5 由经过训练的CNN对验证目标进行成像演示Fig.6 Reconstructions of the QMUL logo under different SNR values for CS and CS-CNN methods图6 CS和CS-CNN方法在不同信噪比下QMUL标识的重建1091太赫兹科学与电子信息学报第 21 卷动补偿，能准确确定运动成像的峰值位置。3）超分辨成像超分辨力(Super Resolution)成像是指将观测到的低分辨力图像经处理，重建出相应的高分辨力图像。在光学图像处理中，通过在 Timofte 数据集(包含 91 幅图像)和 ImageNet 数据集上训练，得到的超分辨率卷积网络(Super Resolution Convolutional Networks，SRCNN)、深 度 递 归 卷 积 网 络(Deeply-Recursive Convolutional Networks，DRCN)、高效率亚像素卷积神经网络(Efficient Sub-Pixel Convolutional Neural Networks，ESPCN)、视频高效率亚像素卷积神经网络(Video-ESPCN，VESPCN)和高分辨生成对抗神经网络(Super-Resolution Generative Adversarial Networks，SRGAN)深度学习网络，能实现超分辨力成像32。Zhang Y 等23将这种超分辨成像技术运用到雷达成像中，提出了一种修改的复值卷积神经网络(Modified Complex-Valued Convolutional Neural Network，MCV-CNN)深度学习网络。这种 MCV-CNN 深度学习网络输入端，是回波信号经傅里叶变换的低分辨力图像，期望图像是高分辨力图像，通过网络输出图像与期望图像的比对，调整 CNN 网络参数。成像阶段，将雷达回波信号经 FFT变换，输入到 CNN 网络，能得到超分辨力图像。图 9 是 MCV-CNN 的总体架构。图 10 是采用 RDA 和 MCV-CNN 方法所成图像的最强散射中心剖面图。从图10 可以看出，采用 MCV-CNN 方法所成图像边带抑制更好。CNN 神经网络的输入均为雷达回波所成的初始图像，输出均为高质量、高分辨力图像，图像去噪的样本是通过加噪的方式生成，期望图像为加噪前的图像；增强成像的样本是雷达回波生成的低质量、低分辨力图像，期望图像为雷达回波信号通过传统的成像方式获取。2.2.2 恢复成像采样不完全，或采样的过程中，只抽取了其中一部分数据，深度学习能用欠采样数据或部分抽取数据，恢复完整图像。文献24在压缩感知逆合成孔径雷达(Compressed Sensing Inverse Synthetic Aperture Radar，CS-ISAR)成像模型中建立了一种交替方向乘子法网络(Alternating Direction Multiplier Method Network，ADMMN)构架，用Fig.7 Network structure of improved u-net 图7 改进的u-net网络结构Fig.8 Imaging results of a moving ship with azimuth velocity of 15 m/s图8 一艘方位速度为15 m/s的运动船舶的成像结果1092第 9 期李晓帆等：基于深度学习的雷达成像研究进展于欠采样雷达回波数据的恢复成像。具体地，在 CS ISAR 成像模型中，使用交替方向乘子法求解稀疏假设时采取分裂变量的策略，将凸优化迭代求解过程映射到一个多级的神经网络，构建出交替方向乘子法网络。该网络通过训练欠采样的 ISAR 测量数据与高质量目标图像之间的映射关系，实现 ISAR 欠采样数据成像。其中，训练样本为一组欠采样的 ISAR 回波测量数据，目标图像(期望图像)是 ISAR 回波数据矩阵经过距离多普勒算法得到的聚焦好的 ISAR 图像。图 11 是 ADMMN 网络构架图。采用仿真卫星数据和实测飞机数据，2 种数据的采样率分别为 25%和 10%。在卫星数据成像实验中，相比于正交匹配追踪法(Orthogonal Matching Pursuit，OMP)和贪婪卡尔曼滤波(Greedy Kalman Filter，GKF)成像方法，ADMMN 在相对均方根误差(Relative Root Mean Square Error，RRMSE)指标上分别降低了 49.8%和 26.5%；在飞机数据成像实验中，相比于 OMP 和 GKF，在 RRMSE 指标上分别降低了 68.7%和 74.9%，成像效果好，且能对采样率为 10%的飞机目标测量数据成像。图 12 是采样率为 10%的实测飞机数据采用不同方法成像结果。汪玲等33构建了 CV-DNN 复数深度神经网络，实现欠采样或不完整信息下的 ISAR 成像。生成对抗网络(Generative Adversarial Networks，GAN)用于雷达的恢复成像。基本的生成对抗网络由一个生成网络(Generator)和一个判别网络(Discriminator)组成，生成网络将生成具有拟合真实样本高度复杂分布的数据，判别网络以真实数据与生成数据为输入，判别其是真实数据还是生成数据。Guo 等34以 MSTAR 数据集图像作为真实 SAR 图像，提出了一种端到端的生成对抗网络，其生成网络由反卷积网络实现，判别网络由卷积网络实现，将生成网络的输出图像与真实 SAR 图像作为判别网络的输入，经判断网络和生成网络的比较更迭，生成重构图像。图 13 为 GAN 模型的网络结构，图 14 为真实图像与光线追踪模拟方法 GAN 生成图像比较。图中显示 0处和Fig.11 Framework of ADMMN图11 ADMMN网络构架图Fig.10 Profiles of the strongest scattering center图10 最强散射中心剖面图Fig.9 Overview of the MCV-CNN architecture图9 MCV-CNN架构1093太赫兹科学与电子信息学报第 21 卷45处真实图像与 GAN 生成图像，表明在训练集仅提供少量的少数角度的真实图像，GAN 网络能生成包含全部角度的图像，且生成的图像与训练集中真实图像无明显差异。文献35将可控生成对抗网络 CGAN 用于雷达图像生成。CGAN 的生成模型和判别模型均采用卷积神经网络设计，采用卷积核大小为 55；CGAN 的判别模型、生成模型的网络结构都是由输入层、卷积层、全连接层组成，只是生成模型的卷积层为解卷积层，也称为反卷积层，标签 y 都是在第一个全连接层加入，图像大小为128128。将欠采样数据作为生成网络的输入，生成网络输出的重构信号与原始真实样本集作为判断网络的输入，通过对判断网络和生成网络的交替迭代，优化更新，直到网络收敛，得出重构图像。与压缩感知的稀疏成Fig.13 Network structure of the GAN model图13 GAN模型的网络结构Fig.12 Images obtained by performing different methods on measured aircraft data图12 实测飞机数据采用不同方法成像结果1094第 9 期李晓帆等：基于深度学习的雷达成像研究进展像34相比，能避免重构过程带来的高复杂度，进而提高成像的效率。3深度学习雷达成像的若干开放性问题深度学习用于雷达成像，其研究跨越深度学习和雷达成像 2 个专业领域。深度学习能否用于雷达成像，深度学习的样本、标签、泛化以及数据集，如何建立和实现，很多从事雷达成像的研究者对此有些疑惑。在此，针对深度学习用于雷达成像所碰到的一些问题进行探讨。3.1 深度学习雷达成像的可行性1）理论上，深度学习能实现雷达成像从系统的角度来说，深度学习包含输入、输出和模型 3 部分。输入是样本，输出是样本所对应的标签，模型是输入和输出的对应关系，此对应关系可用复杂函数来表示，即：Y=F(X)(3)式中：X为样本；Y为标签；F()为样本到标签的函数关系。深度学习通过大量的样本数据，调整函数关系的参数，得出正确的标签。深度学习的训练过程，是调整深度学习网络参数的过程。雷达成像也可以看成一个系统，系统包含输入、输出和系统模型，输入用雷达回波信号或回波信号的其他形式，比如回波信号经傅里叶变换后的初始图像，输出是所成的图像，系统模型为输入回波到输出图像的对应关系，这种关系可用复杂函数表示。从数学表达上来看，深度学习模型与雷达成像模型有着相似的表示。根据通用近似定理(Universal Approximation Theorem，UAT)36-37，如果一个前馈神经网络具有线性输出层和Fig.14 Comparisons with real samples and ray tracing(the order of the samples in each row was random)图14 真实图像与光线追踪模拟方法GAN生成图像比较1095太赫兹科学与电子信息学报第 21 卷至少一层隐藏层，只要给予网络足够数量的神经元，便可以实现以足够高精确度来逼近任意一个在 n 维实数的紧子集(compact subset)上的连续函数。即一个包含足够多隐含层神经元的多层前馈网络，能以任意精确度逼近任意预定的连续函数。深度学习网络能拟合任何复杂的函数，能建立实现雷达成像的架构。2）深度学习用于雷达的直接成像，调整相应的参数，能使网络收敛，该网络能进行成像15；深度学习用于雷达的间接成像，神经网络的输入是图像，输出也是图像，像光学图像的深度学习网络能用于光学图像的处理一样，深度学习网络可实现多种雷达图像增强的应用，如去噪16、去冗余38、高分辨力20,39-40、超分辨力23、抑制旁瓣19等。3.2 深度学习雷达成像的样本雷达成像的数据是复数数据，雷达回波中点目标，成像后只能是一定幅值的点位置与之对应，通过在雷达回波中采用加噪的方式增加样本数据是不可行的，加噪后生成的点目标与真实点目标是不一致的。深度学习用于雷达成像，可以考虑实现端对端的成像，即神经网络的输入是表示图像的回波数据或回波信号的初始图像，输出是所成的图像。样本是雷达回波信号或回波信号的初始图像，标签是期望图像。训练过程中，雷达回波信号或回波信号所成的初始图像经深度学习网络，所生成的图像与期望图像进行比对，如不满足代价函数条件，调整深度学习网络参数，直至满足条件，从而实现深度学习网络的参数整定。测试过程为雷达成像过程。雷达成像的样本获取，可以采用两种方式：1）点目标在散射点模型中，在目标成像的区域，随机产生点目标，雷达回波数据为点目标的数据，期望图像是该点目标在目标成像区域的图像。深度学习网络所成的图像与点目标对应的期望图像进行对比，确定代价函数，不断修正网络参数直至收敛。在雷达实际分辨力的条件下，目标成像区域可生成有限个点目标，将这些点目标在不同位置进行排列组合，可产生大量的回波数据；每一组回波数据代表一个样本，回波数据所表示的图像为期望图像。此时，深度学习的标签不是回归中的类别，而是期望图像。期望图像也可以是传统成像方法所得到的图像。为更具体地说明训练阶段“样本”的建立以及“样本”与“标签”对应关系，截取图 2 中“T”图案部分为例：在成像区域“T”图案由 13 个点目标组成，根据雷达体制以及成像场景，13 个点目标能生成一组雷达回波数据，“T”图案为期望图像；雷达回波数据经深度学习网络生成的图像与期望图像的比对中，不断修正深度学习网络参数，在均方误差最小下收敛。此时，一组雷达回波数据为一个“样本”，这组雷达回波数据对应的期望图像为一个“标签”。2）仿真图像或实测图像电磁仿真软件可产生大量的仿真数据，通过实测的方式，也能得到目标的雷达回波数据。这些数据，可用于训练深度学习网络。其中，样本为一组表示目标状态的回波数据或回波数据所生成的初始图像，标签为目标状态的期望图像。可考虑利用传统成像算法对回波数据进行处理所得出的图像，作为期望图像；从理论上，深度学习网络所成的图像不可能优于期望图像质量，但可以实现快速成像。在点散射模型下，能生成大量的样本图像；采用仿真图像或实测图像作为样本图像，在训练过程中，增加迭代次数，可通过少量的有代表性的样本图像，就能实现网络训练。3.3 深度学习雷达成像的网络架构用于雷达成像的深度学习的网络有深度神经网络34-35以及改进的深度神经网络，如 CVCNN15、MCV-CNN23，也有深度神经网络与传统成像方法相结合所组成的网络，如 CS-CNN27、快速反投影卷积神经网络(Fast Back Projection-Convolutional Neural Networks，FBP-CNN)29、全卷积神经网络(Fully Convolutional Neural Networks，FCNN)41；循环卷积网络 DNN42-43、深度残差网络39、DeepImaging25、自动编码器38、u-net 网络16,44也用于雷达成像。不同的网络架构，其网络的参数数目不同，网络的复杂性不一样，会影响网络的收敛性。3.4 深度学习雷达成像的泛化雷达成像机制不同，应用场景不同，电磁照射的角度不同，所成的像将有很大的区别，设想将深度学习训练后的网络应用于多个雷达系统进行雷达成像是不现实的。可以考虑在某一种场景下，某一雷达系统，通过一定的样本训练后的网络，只应用于该雷达的成像，这就是深度学习网络在雷达成像中的泛化。1096第 9 期李晓帆等：基于深