基于SE-TCN的一维低采样卫星帆板温度遥测数据插补方法.pdf

第 40 卷第 6 期2023 年 11 月中 国 科 学 院 大 学 学 报Journal of University of Chinese Academy of SciencesVol.40NovemberNo.62023航天系统部委预研基金(2019ZFC1504201)资助 通信作者,E-mail:acumen_zhang 文章编号:2095-6134(2023)06-0810-11基于 SE-TCN 的一维低采样卫星帆板温度遥测数据插补方法 许凯凯,张锐(中国科学院微小卫星创新研究院,上海 201203;中国科学院大学,北京 100049)(2021 年 12 月 7 日收稿;2022 年 4 月 6 日收修改稿)Xu K K,Zhang R.Interpolation method for temperature telemetry data of one-dimensional low-sampling satellite panel based on SE-TCNJ.Journal of University of Chinese Academy of Sciences,2023,40(6):810-820.DOI:10.7523/j.ucas.2022.032.摘 要 针对因入境时间短、组帧错误等原因导致的卫星帆板温度遥测数据缺失问题,提出一种基于引入注意力机制的时间卷积网络(SE-TCN)的自回归预测方法。温度遥测数据可看作是具有较强规律性的渐周期信号,采用 SE-TCN 对历史数据到未来数据的映射进行拟合完成缺失值的插补,同时为表征对实际缺失数据集的插补效果,增加评价指标的计算方式,有效解决了使用物理模型仿真和统计学方法插值偏差过大,及无法计算实际插值效果的问题。与长短时记忆网络和时间卷积网络等模型相比,SE-TCN 在测试集和实际缺失数据集上均得到了更好的插值效果。关键词 遥测数据;时序数据;缺失值插补;时间卷积网络;低采样中图分类号:TP391 文献标志码:A DOI:10.7523/j.ucas.2022.032An interpolation method for temperature telemetry data of one-dimensional low-sampling satellite panel based on SE-TCN XU Kaikai,ZHANG Rui(Innovation Academy for Microsatellites,Chinese Academy of Sciences,Shanghai 201203,China;University of Chinese Academy of Sciences,Beijing 100049,China)AbstractThis paper proposes an autoregressive prediction method based on time convolutional network with attentional mechanism(time convolution network with squeeze and excitation,SE-TCN),to solve the problem of missing telemetry data of satellite panel temperature due to short entry time,framing error,and other reasons.Temperature telemetry data is considered to be a strong regularity of periodic signal,so this paper adopts the SE-TCN model to map from historical data to the data in the future,which completes the missing value interpolation and effectively solves the problem that the interpolation deviation of the physical model and statistical method is too large.At the same time,in order to characterize the interpolation effect on the actual missing data set,the calculation method of the evaluation index is added in this paper.Compared with long short-term 第 6 期许凯凯,张锐:基于 SE-TCN 的一维低采样卫星帆板温度遥测数据插补方法memory network and time convolutiion network models,SE-TCN has a better interpolation effect on both the test set and the actual missing data set.Keywords telemetry data;time series data;missing value interpolation;time convolution network;low sampling 卫星帆板作为卫星整个生命周期的能源提供部件,在卫星的健康状态评估中占有非常重要的比重。根据对 20032021 年 91 颗卫星在轨典型故障案例的分析,供电分系统出现故障的比率在所有分系统中排名最高,占比 44%,其次是推进分系统和控制分系统,分别占比 26%和 16%1。因此通过分析卫星帆板相关指数来判断卫星帆板当前的健康状态就显得至关重要。而卫星帆板温度遥测数据就是可以直接反映当前帆板工作状态的具体指标之一,该指标主要受到太阳、地球、卫星本体 3 方面的影响,具体包括太阳入射角、地球反照率、卫星本体温度等因素。卫星在发射升空进入轨道之后,就会按照预先设置的特定轨道严格恪守物理学定律进行周期性运动。即使考虑到轨道摄动、近地卫星受到大气层影响而降低高度、卫星执行任务时引起的姿态改变,也可以将其看作是渐周期性运动,这是本文采用自回归神经网络对卫星帆板温度遥测数据进行缺失值插补的根本原因。本文采用的卫星帆板温度遥测数据采样周期为 256 s,遥测数据缺失情况主要是从连续缺失几个点到连续缺失 1 轨乃至 2 轨,为将缺失值尽可能多地插补出来,本文采用根据历史数据预测未来 2 轨的方法构建神经网络。目前的时序缺失数据的插补方法已经比较完备,按照插补函数中残差存在与否主要包括确定性插补和随机性插补两个方法2,其中确定性插补方法又包括最近邻插补3、多项式插补4、基于距离权重的插补5、基于信号分析的插补如傅里叶分析等6;随机性插补方法又包括回归插补方法4、自回归插补方法7、机器学习插补方法如 ANN 神 经 网 络(artifical neural network,ANN)8、基于数据驱动的插补方法如 K 近邻9、基于 Kriging 的插补方法等2,10。按照插补变量的维度又可以分为单变量插补方法和多变量插补方法,常见的单变量插补方法包括直接删除法、基于统计学的插补方法如均值插补、基于机器学习的插补方法等,其中基于机器学习的插补方法又包括回归插补4、K 近邻插补9、极大似然插补、多重插补等,多变量插补方法包括主成分分析插补11、基于概率矩阵分解的插补等12。本文使用的模型是属于机器学习插补的范畴,涉及的卫星帆板温度遥测数据则是单变量,因此也属于单变量插补。传统的确定性插补方法在面对缺失数据较少以及主要缺失点分布在光滑缓变区域时较为有效,一旦数据点缺失比较多且主要分布在短期剧烈变化的区域,插补效果就会很差,而随机性插补方法面对这一问题就会表现出其优越性。Babu 和 Sure13使 用 自 回 归 移 动 平 均 模 型(autovegressive integrated moving average model,ARIMA)和 ANN 的混合模型对诸如太阳黑子和用电价格的时间序列进行预测插补,进一步提高了模 型 的 预 测 精 度,取 得 了 较 好 的 效 果。Hundman 等14使用长短时记忆网络(long short term memory network,LSTM)对卫星遥测数据建模预测,并提出自适应阈值算法以达到卫星异常数据检 测 的 目 的。王 少 影 等15使 用 随 机 森 林(random forest,RF)、支持向量机(support vector machine,SVM)、人工神经网络 ANN 3 种机器学习模型对若尔盖高寒湿地生态系统研究站 2016 年感热、潜热以及净生态系统交换通量序列进行插补,取 得 了 很 棒 的 插 补 效 果。Raubitzek 和Neubauer16提出一种分形插值方法以改进神经网络对困难时间序列数据的预测。本文处理的遥测数据连续缺失较多,从连续缺失几个点到连续缺失 1 或 2 轨的情况都比较常见,且连续缺失点在光滑缓变区域以及短时剧烈变化区域均有分布,因此采用确定性插补方法效果不理想。目前在时序数据插补领域应用研究中,LSTM、ANN 等神经网络是使用较为广泛的方法,但是却具有模型训练困难、模型训练时间长、梯度不稳定等缺点。为达到较好的缺失插补效果,本文采用加入了注意力机制的时间卷积网络(time convolution network with squeeze and excitation,SE-TCN)。目前时间卷积网络(time convolution network,TCN)17已在音频合成18、单词语言建模19、机器翻译20等领域取得优良效果,但其在多步预测任务中存在短期剧烈变化处模型 特 征 表 征 能 力 不 足 的 问 题,因 此 采 用118中国科学院大学学报第 40 卷squeeze-and-excitation networks21中的通道注意力机制对 TCN 进行改进,以增强 TCN 网络的特征提取能力22。1 基本理论1.1 帆板温度物理模型 根据真实的太空环境,能量守恒定律,以及有限差分理论,帆板温度物理模型的表达式如下所示23c(t)t+=Q1(t)-Q2(t)+Q3(t)+Q4(t)+Q5(t)+Qi(t),(1)其中:Q1(t)表示卫星帆板在 x 和 y 方向的热衰减对帆板各处温度的影响,Q2(t)表示卫星帆板向外热辐射损失的热量,Q3(t)表示太阳对卫星帆板的热辐射带来的热量,Q4(t)表示地球对帆板的反照热辐射带来的热量,Q5(t)表示地球对帆板的红外热辐射带来的热量,Qi(t)表示来自卫星本体的热量。它们的具体计算公式如下,公式中各个符号的物理含义详见表 1。Q1(t)=xx(t)y()+yy(t)y(),Q2(t)=(4(t)-4amb(t),Q3(t)=s1syQs(t)xcos(s(t)dxdy,Q4(t)=s0syQs(t)xX1dxdy,Q5(t)=s1-04syQs(t)xX2dxdy.(2)图 1(a)是卫星帆板的物理模型,对应式(1)和式(2)。设置初始值后,经过多次迭代,温度将趋于稳定,稳定状态是吸收和辐射之间的平衡。仿真结果如图 1(b)所示,从一段时间的仿真结果可以看出,在较短时间范围内,帆板温度数据具有很强的规律性和周期性,但是物理仿真对于缺失值的插补至少有两点不足。其一,从式(1)和式(2)来看,在计算过程中存在多次微分积分运算和参数调整,导致有限元网格优化计算成本高、难度大;其二,物理建模并未考虑到影响温度变化的所有因素,插值的准确度并不高,理论计算和实际的遥测数据会因为环境的不同而有所差异。考虑到物理模型插值的效果,采用物理建模的方法对帆板温度遥测数据进行填补并不可行。同时由于仿真数据在短时间范围内的渐周期性,采用针对时序数据的神经网络对缺失值进行插补具有可行性。1.2 时间卷积网络模型 之前介绍了多种基于机器学习的时间序列插值方法,如 ARIMA、ANN、SVM、LSTM、TCN、SE-TCN 等等,考虑到本文处理的卫星帆板温度遥测数据的渐周期特性,使用 SE-TCN22可以解决ARIMA、ANN 等模型的周期描述性不强带来的对历史数据的信息提取不足、LSTM 等模型的训练周期长、TCN 模型对时序数据剧烈变化区域特征提取能力弱等问题。1.2.1 因果卷积 TCN 网络基于两个基本准则17:其一,因果卷积网络输出的结果与输入具有相同的长度;其二,网络没有从未来到过去的信息“泄露”,即yt仅依赖 x0,xt计算获得,而不依赖于未来的输入 xt+1,xT。表 1 卫星帆板温度物理模型中符号及其解释Table 1 Symbols and explanations in the physical model of satellite sail temperature符号物理含义符号物理含义太阳能吸收率帆板厚度0地球的反照率帆板密度s(t)阳光和被照表面之间的角度c帆板比热容X2地球的红外辐射角系数X1反照率系数普朗克常数t时间xx 方向上的热传导系数yy 方向上的热传导系数(t)帆板表面温度amb(t)环境温度Qi(t)来自卫星本体的热量Qs(t)来自地球的热量s太阳辐射角系数表面发射率不确定项s积分区间,表示帆板照射面218第 6 期许凯凯,张锐:基于 SE-TCN 的一维低采样卫星帆板温度遥测数据插补方法图 1 卫星帆板温度物理模型及其仿真Fig.1 Physical model and simulation of satellite sail temperature1.2.2 膨胀卷积 膨胀卷积是为解决简单因果卷积感受野能力有限,从而随着网络层数的增加,每层的感受野只能线性增加带来的网络复杂、层数高、难以训练等问题。TCN 引入了膨胀卷积17,可以使感受野大小成指数式增长。对于一维输入时间序列 x R Rn以及滤波器 f 0,k-1R R,空洞卷积在 t时刻的结果如下F(t)=(xdf)(t)=k-1i=0f(i)xt-d i.(3)其中:d是膨胀因子,k是滤波器大小,t-di表示历史数据的方向,xt-d i表示输入序列x在时刻t之前的第di个分量。每个卷积层的感受野计算公式如下receptive field=(k-1)d+1.(4)可以选择较大的滤波器大小 k 或者增加膨胀因子 d 来增加感受野。第 i 层的膨胀因子通常为O(2i)。关于膨胀因果卷积网络架构可见图 2。1.2.3 残差连接 残差连接是训练深层网络的有效方法,它使得网络以跨层的方式传递信息,而且可以防止网络过深导致出现梯度消失的问题17。残差块包含两层的卷积以及非线性映射,在每层中还使用权重正则化和 Dropout 层来正则化网络以防止深层网络的过拟合,此外还包含 1 1 卷积,其作用是降维,目的是为了两层相加时特征图数量相同。1.3 注意力机制 注意力机制是计算机视觉领域常用的模块,图 2 因果膨胀卷积网络架构Fig.2 Dilated causal convolution network architecture它的提出是为解决在卷积池化过程中特征图的不同通道所占的重要性不同而带来的损失问题21。在传统的卷积池化过程中,默认特征图的每个通道是同等重要的。而在实际的问题中,不同通道的重要性是有差异的。注意力机制模块(squeeze-and-excitation,SE)包括 3 个部分:压缩(squeeze)、激励(excitation)和权重调整(scale)。TCN 残差模块和 SE-TCN 残差模块的对比结果如图 3 所示。图中 TCN 残差块输出的特征图维度设为W H C,经过全局池化层的压缩操作之后,输出维度变为 1 1 C,得到当前特征图的全局压缩特征量。接下来是激励操作,通过两层全连接的 Bottleneck 结构得到特征图中每个通道的权值,并将加权后的特征图作为下一层网络的输入。第 1 个全连接层含有 C/r 个神经元,输入维度为318中国科学院大学学报第 40 卷图 3 TCN 和 SE-TCN 残差块对比Fig.3 The comparison of TCN residual block and SE-TCN residual block1 1 C,输出维度为1 1 C/r,其中 r 是一个缩放参数,这个参数的目的是为减少通道个数从而降低计算量。第 2 个全连接层含有 C 个神经元,输入维度为 1 1 C/r,输出维度为 1 1 C。最后是权重调整操作,将激励操作输出的特征图维度调整到和原特征图维度相同,即将维度从 1 1 C 调整到 W H C。2 遥测数据及模型结构2.1 遥测数据 图 4 展示了遥测及仿真数据的相关统计特性,其中图 4(a)是时间跨度一年半的卫星帆板遥测数据全览及某一段时间局部图,采样周期为256 s,卫星绕地球 1 圈即 1 轨会采样 23 24 个点,一天大概会产生 15 轨遥测数据。数据缺失具有以下几种情况:连续缺失 12 个采样点;连续缺失 3 个采样点至半轨;连续缺失半轨至 1 轨;连续缺失 12 轨。针对连续缺失 12 个采样点的情况,一般发生在数据较为平滑的区域,可以采用线性插值或者样条插值的办法进行初步填补,使得处理后的数据遥测尽可能少地出现间断点,为之后尽可能多地构建数据集样本做出贡献。至于连续缺失 3 个点至 2 轨的情况,不能简单使用统计学方法进行插值,因为连续缺失点较多,再使用样条插值等方法就会引入大量误差,使得插值后的曲线完全不符合历史数据走向,因此有必要引入时间卷积神经网络对缺失的数据进行插补。图 4 遥测数据一览和遥测及仿真数据傅里叶变换Fig.4 Overview of telemetry data and Fourier transform of telemetry and simulation data2.2 模型结构 从直观上来分析,卫星围绕地球公转,而地球围绕太阳公转,公转可以理解为周期性运动,卫星帆板温度主要受到太阳、地球、卫星本体的影响。卫星在阳照区未执行任务的时候姿态稳定,为让帆板最大程度获取太阳能,帆板表面和太阳入射光是垂直关系,在执行任务的时间段才会有短暂的姿态改变,而在地影区卫星也是姿态稳定的,所以卫星姿态改变对温度变化造成的影响可以忽略。图 4(b)前 2 幅图分别是帆板温度仿真数据和帆板温度遥测数据对应的傅里叶变换,可以看418第 6 期许凯凯,张锐:基于 SE-TCN 的一维低采样卫星帆板温度遥测数据插补方法到这 2 幅图都是由主要的几个峰和一些幅度较小的信号量组成,遥测数据傅里叶变换中频率为 0 附近的几个频点是由于遥测数据的缺失造成的,可以忽略。这从数据的频域上进一步反映了帆板温度数据属于和时间密不可分的时间序列。通过以上分析,可以认为帆板温度遥测数据是与时间密切相关的渐周期性时间序列,可以采用处理时间序列效果较好的时间卷积网络进行建模。卷积神经网络建模本质是找到从一段历史时序数据到一段未来时序数据的映射函数,帆板温度数据相邻两轨的数据由于时间上连续,间隔时间较短,差异也比较小。如果直接使用前一轨作为模型输入,后一轨作为模型输出,从而建立映射模型,那么模型纳入考量的历史数据太少,即感受野太小,模型过于简单,模型对于训练集和测试集的拟合程度都不会好,造成欠拟合。为增加模型复杂度,在模型层与层之间的滤波器个数 k 和扩张因子 d 一定的情况下,可以通过增加输入维度,即增加输入层感受野来达到目的。而且,从图 4(b)中仿真数据和遥测数据的离散傅里叶变换来看,在误差允许范围内,排除幅度较低的高频信号,确定信号频域右边界,就可以将帆板温度数据看作众多正余弦信号的叠加。此外,图 4(b)中第3 幅图可以看到,长周期低频信号量信息较为丰富,尽可能多地增加输入层维度,卷积神经网络也将尽可能多地纳入长周期的信号和多轨短周期的信号,使得神经网络针对不同频率段的历史信息都能进行学习。但是如果模型过于复杂,就会造成训练时间长、训练资源占用高、模型过拟合等情况。构建模型结构时需要考虑造成数据缺失的原因(主要包括组帧错误和入境时间短)带来的影响。组帧错误是随机发生的,造成的影响仅限于出现时间或者温度维度上的离群值,把离群值剔除即可,一般会带来零星采样点的缺失。入境时间短是造成数据缺失的主要原因,会造成遥测数据缺失几个零星的采样点到 2 轨不等,在极少情况下,会造成连续多轨的缺失。由于本文处理的帆板温度遥测数据的基本缺失场景是连续缺失最长不超过 2 轨数据,为尽量补齐缺失数据,设定模型输出维度为 2 轨。模型输入需要取模型输出序列之前的一段连续时间序列,而帆板温度遥测数据一天大约 15 轨数据中能连续的数据只有 7 轨左右。考虑到遥测数据缺失的特点、尽可能多地增加感受野、模型复杂度等因素的影响,取模型输入为连续 5 轨的数据。确定了模型输入输出维度之后,接着根据 1.2 节的计算公式初步确定所需残差块的最小数目,残差块数目越多,代表模型结构越复杂。为使得模型更好的拟合数据集,需要调节残差块数目以得到拟合最好的模型。模型在最后一个残差块后面加了 Flatten 层,把最后一个残差块输出的高维数据“碾压”成一维数据,而Flatten 后面的全连接层在整个卷积神经网络中起到“分类器”的作用,再将上述一维数据映射成 2轨的未来数据,本文中 SE-TCN 模型结构如图 5所示。2.3 算法流程 算法流程主要包括 3 个部分:数据预处理、模型的训练、使用训练好的模型进行预测插值。图6 是算法流程图。1)数据预处理卫星帆板遥测数据时间上和温度值上离群值的去除、时间上的去重、采样相位的偏移矫正。按照神经网络模型的输入输出维度,对上面处理好的数据进行数据集的构建。2)模型的训练构建模型并初始化,加载训练集进行训练,训练次数达到目标迭代次数或者模型对训练集的拟合程度达到目标时,得到初步训练好的网络模型。使用测试集对初步得到的模型进行泛化能力评估,即评价指标达到目标范围内,认为模型训练完成,否则回到第步。3)使用训练好的模型进行预测插值对于遥测数据中的缺失部分,根据模型的输入维度,读取缺失数据之前一定长度的历史数据,载入模型中将会输出一段完整的插值序列。计算不完整的缺失数据和完整的插值数据之间的评价指标,以判断实际插值的效果。图 5 本文的 SE-TCN 模型结构Fig.5 SE-TCN model structure of this paper518中国科学院大学学报第 40 卷图 6 算法流程Fig.6 Algorithm flow3 实验结果3.1 评价指标 为评价模型的性能,引入机器学习回归任务中常用的评价指标,分别是平均绝对误差(mean absolute error,MAE)、均 方 根 误 差(root mean square error,RMSE)和 相 关 系 数(related coefficient,R)24-25。为计算测试集的评价指标,需要用到 L1、L2范数的概念,Lp(x)=xp=mi=1xip()1p.(5)式(5)是向量 x 的 Lp范数的定义,其中,x=(x1,x2,xm),m 表示向量 x 的维数。MAE、RMSE、R 3 种评价指标以及均方差(mean squared error,MSE)的计算方法分别由下式给出。其中,N表示测试集样本个数,M表示样本真实值和预测值的维数,y R RNM和y R RNM分别表示测试集对应的真实值和预测值,yi R RM和yi R RM分别表示第 i 个样本的真实值和预 MAE=Ni=1Mj=1yij-yijNM=Ni=1yi-yi1NM,MSE=Ni=1Mj=1yij-yij2NM=Ni=1yi-yi22NM,RMSE=Ni=1Mj=1yij-yij2NM=Ni=1yi-yi22NM,(6)R=Cov(y,y)Var(y)Var(y)=Ni=1Mj=1(yij-y)(yij-y-)Ni=1Mj=1(yij-y)2()Ni=1Mj=1(yij-y-)2(),618第 6 期许凯凯,张锐:基于 SE-TCN 的一维低采样卫星帆板温度遥测数据插补方法测值,yi=(yi1,yi2,yiM)T,以及yi=(yi1,yi2,yiM)T。Cov(y,y)表示测试集样本中真实值与预测值之间的协方差,Var(y)表示测试集样本中真实值的方差,Var(y)表示测试集样本中预测值的方差,式(6)中的y 和y-由下式给出,y=Ni=1Mj=1yijNM,y-=Ni=1Mj=1yijNM.(7)分别表示 y 和y 的均值。模型在经过测试集的评估之后,如果泛化能力达到了要求,即评价指标 MAE、RMSE、R 在设定的精度范围内,那么训练好的模型就可以用来生成实际缺失的数据,对缺失的帆板温度遥测数据进行插补。为对实际的插值效果进行评估,需要定量的计算,但是由于实际数据的缺失,无法像在测试集中计算 3 个指标一样计算范数 L1(yi-yi)与 L2(yi-yi)。假定帆板温度遥测数据有一段缺失,取缺失数据之前连续的时序数据构成模型输入 xu,如下所示,xu=(xu1,xu2,xuD)T,(8)其中 D 表示模型输入序列的长度,同时取实际的缺失数据序列 yu,如下所示,yu=(yu1,yu2,yuM)T=(,yu(k+1),yuM)T.(9)其中 M 表示模型输出序列的长度,k 表示序列中缺失值的个数,yu前面 k 个缺失值使用 表示。模型输入 xu后会生成一段预测的用以插值的序列yu,如下所示yu=(yu1,yu2,yuM)T.(10)为计算实际缺失序列 yu与模型输出序列yu之间的差异,引入带缺失值的范数 Lp,用来表示yu和yu都存在的部分之间的差异。即经过插值填补之后,缺失序列 yu中原本就存在的 M-k 个值与插补序列yu相对应的 M-k 个值之间的差异,Lp用来计算缺失序列和完整序列之间的差异大小,定义如下Lp(x)=xp=Mv=k+1xvp()1p.(11)MAE=Nu=1Mv=ku+1yuv-yuvNM-Nu=1ku=Nu=1yu-yu1NM-Nu=1ku,MSE=Nu=1Mv=ku+1yuv-yuv2NM-Nu=1ku=Nu=1yu-yu22NM-Nu=1ku,RMSE=Nu=1Mv=ku+1yuv-yuv2NM-Nu=1ku=Nu=1yu-yu22NM-Nu=1ku,R=Cov(y,y)Var(y)Var(y)=Nu=1Mv=ku+1(yuv-y)(yuv-y-)Nu=1Mv=ku+1(yuv-y)2()Nu=1Mv=ku+1(yuv-y-)2().(12)y=Nu=1Mv=ku+1yuvNM-Nu=1ku,y-=Nu=1Mv=ku+1yuvNM-Nu=1ku.(13)其中 x=yu-yu。在引入改进后的针对计算缺失数据和完整数据之间差异的范数计算方法之后,那么 MAE、MSE、RMSE、R 的计算方法也将会有变化,如式(12)和式(13)所示。用 yu和yu分别表示实际缺失数据集中第 u 个样本对应的真实标记和模型输出,并用 ku表示 yu中缺失值的个数,v 表示 yu和yu中的第 v 维,N 和 M 分别表示实际缺失样本集的样本数目和 yu、yu的维度,Nu=1ku表示实际缺失样本集对应的真实标记矩阵中缺失值的个数,y 和y 分别表示实际缺失样本集对应的真实标记矩阵和模型输出矩阵,y-和 y-分别表示两矩阵均不缺失数据处的各自的均值。3.2 仿真结果分析 本文模型采用 SE-TCN 对从连续 5 轨的历史718中国科学院大学学报第 40 卷数据到未来连续 2 轨时序数据的映射进行拟合。图 7 SE-TCN 插补效果图及其训练损失函数曲线Fig.7 SE-TCN interpolation effect diagram and its training loss function curve相关训练集、测试集也据此进行构建。图 7(a)是使用 SE-TCN 模型对 2 轨(含)以下的某缺失场景进行预测插补的效果图,这类插补场景占据所有缺失场景的 98.64%;图 7(b)则是递归使用 SE-TCN 模型对某多轨(2 轨以上)缺失场景进行预测插补的效果图,这类插补场景占据所有缺失场景的 1.36%。图 7(c)是 SE-TCN 训练过程中的损失函数曲线,橙黄色虚线和蓝色实线分别代表随着训练批次的增加,训练集和验证集分别对应的损失函数曲线。可以看到随着训练批次的增加,两者的损失函数都以近似指数的形式下降。图 8是不同模型的插值效果对比。其中图 8(a)是针对某 2 轨缺失场景的不同模型插值效果对比,从图8 不同模型的插值效果对比及多轨绝对误差扩散情况Fig.8 Comparison of interpolation effects of different models and multi track absolute error diffusion图中结果分析可以看出 SE-TCN、TCN、LSTM、物理模型的插值效果依次降低,其中物理模型由于建模时未能全面考虑太空干扰因素,插值效果最差;图 8(b)是针对某多轨缺失场景(5 轨)的不同模型插值效果对比,图 8(c)则是该场景下的绝对误差扩散图。由于物理仿真结果同神经网络对比差距太大,此处只对 3 种神经网络进行插值对比,因为模型结构是针对绝大多数的缺失场景818第 6 期许凯凯,张锐:基于 SE-TCN 的一维低采样卫星帆板温度遥测数据插补方法构建的,模型输入输出长度确定,即根据历史 5轨数据预测未来 2 轨数据。那么在多轨缺失场景下是通过递归调用模型对缺失值进行插补的,每次模型的输出都将作为下一次模型输入的一部分。在这种情况下,随着多轨插补的进行,误差会逐渐积累。但是由于多轨缺失场景占比很少,多轨插补带来的累计误差并不大。相比于 SE-TCN 和 TCN,LSTM 的多轨插补劣势明显,其误差扩散更快,而 SE-TCN 估计误差比TCN 更小,多轨插补效果更好。针对 2 轨(含)以下的缺失场景和多轨缺失场景,SE-TCN 均表现出良好的插值效果。3.3 模型参数及不同模型插值效果 表 2 为 SE-TCN、TCN、LSTM 3 个模型的参数,其中 TCN 除了不含有 SE 模块以外,其余参数和 SE-TCN 相同。SE 模块仅有一个缩放参数 r,而1.3 节的W H C,其中W 在本模型中为常值1,因为这是计算机视觉中 SE 模块在二维时序场景下的应用,H 代表模型输入长度,即5 轨采样点个数,C 表示经过残差块之后每个采样点的维度大小,是个变量。表 3 表示 LSTM、TCN、SE-TCN 3种模型在测试集和实际缺失数据集上的评价指标值,测试集相关指标计算方式由式(6)和式(7)确定,实际缺失数据集相关指标计算方式由式(12)和式(13)确定。对比不同模型分别在测试集和实际缺失数据集上的评价指标,可以看到使用SE-TCN 模型进行卫星帆板遥测数据插值具有良好的效果。与 LSTM 和 TCN 模型相比,SE-TCN在测试集上的评价指标 R 分别提升 2.59%、0.06%,MAE 分别降低 65.85%、12.28%,RMSE分别降低 42.94%、2.17%;SE-TCN 在实际缺失数据集上的评价指标 R 分别提升 2.93%、0.04%,MAE 分别降低 56.35%、12.43%,RMSE 分别降低35.42%、0.47%。表 2 不同模型的参数Table 2 Parameters of different models模型参数值参数值SE-TCN模型输入维度115模型输出维度46网络第 i 层扩张因子 d2i每层的滤波器个数 k3优化器adam损失函数mse学习率10-4迭代次数 epoch100残差块数目6SE 模块参数 r12TCN不含 SE 模块,其余参数和 SE-TCN 相同LSTMLSTM 层数7每层输出维度50优化器、损失函数、学习率、迭代次数与 SE-TCN 相同表 3 不同模型在 2 个数据集上的评价指标Table 3 Evaluation indexes of different models on two data sets数据集模型RMAERMSE测试集实际缺失数据集LSTM0.962 710.892 715.565 6TCN0.987 04.240 59.077 9SE-TCN0.987 63.719 68.881 3LSTM0.953 211.654 416.800 3TCN0.980 75.808 910.901 7SE-TCN0.981 15.087 010.850 04 结束语 本文采用引入注意力机制的时间卷积网络SE-TCN 对卫星帆板温度遥测数据进行插值填补。与卫星帆板物理模型仿真插补方法、传统统计学插补方法如线性插值和样条插值、常见的时间序列处理模型如 LSTM、TCN 等比较,获得了较好的插值填补效果。遥测数据进行插值填补之后可以得到较为完整的数据,方便对该时序数据进一步分析统计,进而对下一步的研究打下基础。参考文献 1 王亚坤,杨凯飞,张婕,等.卫星在轨故障案例与人工智能故障诊断J.中国空间科学技术,2022,42(1):16-29.DOI:10.16708/ki.1000-758X.2022.0002.2 Lepot M,Aubin J B,Clemens F.Interpolation in time series:an introductive overview of existing methods,their performance criteria and uncertainty assessmentJ.Water,2017,9(10):796.DOI:10.3390/w9100796.3 Sibson R.A brief description of natural neighbour interpolation M/OL John W&Sons.Interpreting Multivariate Data.In:Barnett,V.,Ed.New York,1981:21-36 2022-03-13.https:www.scirp.org/(S(i43dyn45teexjx455qlt3d2q)/reference/ReferencesPapers.aspx?ReferenceID=1553046.4 Gnauck A.Interpolation and approximation of water quality time series and process identification J.Analytical and 918中国科学院大学学报第 40 卷Bioanalytical Chemistry,2004,380(3):484-492.DOI:10.1007/s00216-004-2799-3.5 Knotters M,Heuvelink G B M.A disposition of interpolation techniques R/OL.Wageningen,Holland:Wettelijke Onderzoekstaken Natuur&Milieu,2010 2022-03-13.https:edepot.wur.nl/139504.6 Dutta R S C,Minocha S.On the phase interpolation problem:a brief review and some new resultsJ.Sadhana,1991,16(3):225-239.DOI:10.1007/BF02812044.7 Carrizosa E,Olivares N A V,Ramrez