卫星遥测数据实时压缩算法设计与实现.pdf
《卫星遥测数据实时压缩算法设计与实现.pdf》由会员分享,可在线阅读,更多相关《卫星遥测数据实时压缩算法设计与实现.pdf(6页珍藏版)》请在咨信网上搜索。
1、第 44 卷第 5 期2023 年 9 月Vol.44,No.5Sept.2023遥 测 遥 控Journal of Telemetry,Tracking and CommandWebsite:卫星遥测数据实时压缩算法设计与实现史礼婷1,张骞2,程科文1,吕海全1(1 航天行云科技有限公司 武汉 430040;2 宁波天擎航天科技有限公司 宁波 315100)摘要:为了满足多星并行遥测数据处理和海量数据高并发分析的性能需求,便于后续进行数据挖掘、智能预警,本文提出并实现了一种卫星遥测数据实时压缩算法。针对遥测数据的特点,提出了遥测自适应分类方法,采用改进型 RLE(Run Length Enc
2、oding,行程编码)压缩和增量压缩结合的算法,结合数据库技术,实现了遥测数据的压缩。在某型号卫星研制项目中,采用了该算法进行数据压缩,统计分析表明:该算法起到了很好的压缩效果。关键词:遥测数据;压缩算法;自适应分类;改进型RLE;增量压缩中图分类号:TP301.6;V557+.3 文献标志码:A 文章编号:2095-1000(2023)05-0022-06DOI:10.12347/j.ycyk.20230510002引用格式:史礼婷,张骞,程科文,等.卫星遥测数据实时压缩算法设计与实现 J.遥测遥控,2023,44(5):2227.Design and implementation of r
3、eal-time compression algorithm on satellite telemetry dataSHI Liting1,ZHANG Qian2,CHENG Kewen1,LYU Haiquan1(1.Leobit Technology Co.,Ltd.,Wuhan 430040,China;2.Ningbo Tianqing Aerospace Technology Co.,Ltd.,Ningbo 315100,China)Abstract:In order to meet the requirements of multi-satellite parallel telem
4、etry data processing and high-concurrency analysis for massive data,facilitateing data mining and intelligent warning,this paper proposes and implements a real-time compression algorithm for satellite telemetry data.Based on the characteristics of telemetry data,a telemetry adaptive classification m
5、ethod is proposed,using an improved RLE compression and incremental compression algorithms combined with database technology to achieve compression of telemetry data.In the development project of a certain type of satellite,this algorithm was used for data compression,and statistical analysis shows
6、that this algorithm has achieved good compression results.Keywords:Telemetry data;Compression algorithm;Adaptive classification;Improved RLE;Incremental compressionCitation:SHI Liting,ZHANG Qian,CHENG Kewen,et al.Design and implementation of real-time compression algorithm on satellite telemetry dat
7、aJ.Journal of Telemetry,Tracking and Command,2023,44(5):2227.引 言近年来,商业航天呈现出爆发式增长。新一代“千星星座”乃至“万星星座”的空间星座系统启动建设1,以Oneweb、Starlink等为代表的商业航天公司,均推出了巨型星座计划2,3,利用卫星为社会提供更加精准、高效的信息通信服务。同时,随着运载能力不断提升,卫星发射越来越密集。2021年5月,猎鹰-9火箭首次实现“一箭十发”,迈过火箭重复利用常态化的关键一步,给全球航天发射市场带来巨大冲击,而随着“星链”卫星的密集发射,在人类历史上首次实现千颗以上规模卫星的快速部署4。随
8、着卫星数量的不断增加,卫星测试技术也迎来了新挑战,其中最为重要的两点是:一,卫星由以往的单颗卫星定制研制模式逐渐转变为模块化、批量化研制;二,卫星测试更为趋向于自动化、通用化、批量化、并行化5。面对数以千计的卫星以及不断增长的遥测数据流,传统的数据处理方案难以应对。不但要满足多卫星并行批产基金项目:湖北省军民融合重点研发计划项目(2020BIB003)收稿日期:2023-05-10 修回日期:2023-07-012023 年 9 月遥 测 遥 控测试、发射、在轨运营的基础要求,而且要满足数据实时分析、预警等高性能使用需求。卫星遥测时序数据是以数据流的形式呈现的,具有传输度快、数据量大和数据维度
9、高等特点6,这些特征给实时数据处理和传输带来了非常大的挑战。如何高效存储、处理和响应这些数据流,以满足实时监控、快速反应和预警需求是地面站面临的难题。因此,在面临卫星遥测数据的实时处理时,需要考虑如何实现高效的数据存储、实时处理和即时响应的策略。其中,卫星遥测数据实时压缩是提高实时数据处理性能的一种有效方法,它可以降低信息传输速率、降低通信信道带宽,降低对数据存储介质的要求7,8,便于后续进行数据挖掘、预警,大大提高了海量遥测数据实时处理性能。基于以上应用需求,本文针对遥测数据的时序性、数量大和种类多的特点,提出了一种遥测数据实时压缩处理算法。在遥测自适应分类处理的基础上,采用RLE压缩和增量
10、式压缩结合的方法,结合了数据库存储/缓存技术,在某卫星研制项目中,验证该算法的数据压缩性能。1遥测数据特点1.1时间序列卫星在运行过程中,星载计算机会按周期采集卫星内部各个单机或分系统的运行状态数据,按 CCSDS(空间数据系统咨询委员会)格式进行分包存储9,形成遥测数据。在轨运行阶段,卫星会在经过地面站测控弧度期间,进行遥测数据下发;而地面测试阶段,除了无线信道传输之外,还会通过星地通道实时下发CCSDS遥测数据,便于研发人员对卫星状态进行实时监控。无论在哪个阶段,遥测数据均为基于时间序列生成的结构化数据。1.2数据量大、种类多随着运载能力的增强、卫星星座应用需求的增加,对多颗卫星的并行处理
11、的性能要求日益提高。与此同时,单通道无线数据传输能力也在逐渐增强,地面需要实时处理的遥测数据越来越庞大。在地面测试阶段,一天下发遥测数据量级达GB甚至TB。卫星的遥测参数可能多达上千个,参数种类也很多,系统复杂;卫星飞行空域广,通信距离远 ,加之遥测参数的格式编排复杂,这样就对遥测系统的数据采集、传输、解调提出了很高的要求10。2遥测数据压缩根据信息论的基本概念,数据压缩技术可以分为无损数据压缩和有损数据压缩两大类11。在航天遥测系统中,遥测数据对于航天器飞行轨道的确定、故障的定位处理具有重要意义,地面测控站需要接收完整准确的航天遥测数据12,因此,在航天遥测系统中,采用无损数据压缩算法对航天
12、遥测数据进行处理。常规的无损压缩算法包括霍夫曼编码、行程编码、算术编码和LZ系列编码。其中,霍夫曼编码和算术编码都是基于统计模型的压缩编码方法,LZ 系列编码是基于字典的压缩编码方法13,14。目前,已有很多对压缩技术的应用研究。文献12采用改进字典搜索方式的LZW算法(串表压缩算法)和RLE算法(游程编码算法)结合,采用FPGA实现遥测数据无损压缩。文献15将RLE算法与LZW算法相结合,并且提出删除使用频率较小的字典分支对字典进行更新。文献16提出融合LZW与霍夫曼编码的联合压缩算法,即先对数据进行LZW压缩,再进行霍夫曼编码,仿真结果验证了改进算法的有效性。文献17对LZW算法的FPGA
13、硬件实现方案进行研究,将LZW算法的字典划分为多个小字典,并且在硬件实现时采用并行搜索方式。文献18提出了一种航天器分包遥测压缩算法,将RLE应用到分包遥测数据压缩中。上述文献均采用多种压缩编码方式结合的方式实现数据压缩,大多应用于星载遥测数据压缩,对于地面遥测数据的压缩处理较少涉及。为达到实时快速压缩的效果,本文以经典的无损压缩算法RLE编码思想为基础,结合遥测数据的特点和数据库技术,提出了遥测自适应分类方法,采用改进型RLE压缩算法和增量压缩结合的方法实现遥测数据的压缩。2.1遥测压缩方法设计行程编码又被称为游程编码,行程长度(RL,Run Length)是指字符(或者信号采样值)构成的数
14、据流中各字符重复出现而形成的字符串的长度19。其基本思想是对于连续出现y次的重复数据b,使用yb 来 表 示19,例 如:aaaabcccccdddee,则 可 用23第 44 卷第 5 期史礼婷等,卫星遥测数据实时压缩算法设计与实现4a1b-5c3d2e来代替。该算法思想简单,压缩速度快,但是对于重复次数大于2的数据才能起到很好的压缩效果,例如:完全不重复的数据abcde,用1a1b-1c1e来代替反而会造成数据膨胀。因此,在应用过程中将RLE算法进行改进,对于频繁变化的数据,不再记录重复长度,从而避免数据膨胀。通过对卫星遥测数据进行分析发现,数据主要分为二类:一是状态量,在固定的数值内变化
15、,如记录开/关、运行模式、存储区编号等;二是数值型,数值变化范围较广,如电流、电压、温度等需要公式计算的数值,或是版本号、指令码、计数、地址等十进制/二进制/十六进制。在这些遥测数据中,有些会随着时间缓慢变化,如电流、电压、温度等测量值;而有些数据,在短期内,会处于相对固定的数值。在设计遥测数据压缩算法时,应充分考虑遥测数据的特点。本文提出的遥测数据压缩处理算法数据流如图 1所示,包括数据接收、数据预处理、数据自适应分类、数据压缩、数据存储和数据分析几个步骤。其中,遥测自适应分类和数据压缩为压缩算法核心,具体说明如下:自适应分类:数据挖掘分类方法有决策树分类、贝叶斯分类、神经网络分类、支持向量
16、机分类20。本文采用决策树分类思想,建立决策树模型如图2所示,根据数值变化偏移距离进行分类。首先建立数据临时字典,存放历史数据集,通过对实时数值和历史数值进行比较,得到数据偏移值。根据偏移值进行自适应分类,若偏移量为0,则为重复数据,放入改进型 RLE 压缩处理类中;若偏移量不等于0,则决策是否为状态量,若为状态量,则放入增量压缩处理类中,不为状态量,则放入其他遥测处理类中。遥测数据主要分为三类进行数据压缩:(1)改进型RLE压缩:按RLE算法思想进行快速压缩,根据时间序列特点,算法中的行程长度L选定为时间窗口,重复数据按时间窗口压缩成一条数据存储。(2)增量压缩:由于此类数据数值随时间不断变
17、化,不宜采用RLE压缩处理。但是此类数据只在固定数值范围内变化,针对数值变化特点,采用时间增量式压缩方法,记录各个状态量增量时间的方式进行数据压缩,将多个时间点的数据压缩成一条数据进行记录。(3)其他遥测量:按数据产生时间对单条数据进行处理,避免了RLE算法导致的数据膨胀问题。2.2压缩算法实现为保障实时处理的性能,采用多线程多级缓存并行处理的思路进行算法实现,对遥测数据的压缩处理包括数据预处理、数据解析、数据自适应分类这几个步骤,流程图如图3所示。图中的相关步骤均采用独立线程进行处理,充分利用数据队列和Redis数据库进行缓存,提高算法处理性能。压缩算法流程具体说明如下:数据预处理:为实现多
18、星数据并行处理,地面需要部署多个数据监听节点,通过无线/有线链路多路同时进行数据接收。接收到的数据信号经过滤波、放大、解调等处理后,需要经过数据预处理,才能有效地筛除因噪声、干扰或信号衰减而引起的误码。预处理主要通过数据解扰和CRC校验(循环冗余校验)实现。数据加解扰有助于保障航天系统的安全和保密性,系统采用密钥解密算法进行数据解扰后,利用多项式对数据进行特定算法运算,产生CRC校验码,比较CRC校验码的正确性即可快速检验数据的正确性。图1遥测数据压缩处理数据流Fig.1Data flow diagram for telemetry data compression processing图2自
19、适应分类决策树Fig.2Adaptive classification decision tree242023 年 9 月遥 测 遥 控 数据解析:通过数据预处理之后的数据原码,将实时放入数据解析线程。数据解析线程根据已配置好的CCSDS遥测协议,对数据实时进行工程值解析。解析之后的数据,是带有时间标记和解析方式分类的数据工程值,以Key-Value形式存在内存中,形成临时Hash数据表,其中Key以遥测代号作为关键字,Value记录数据起始UTC时间和工程值。自适应分类:接收到实时遥测解析数据集后,需要查询历史遥测Hash表中对应数据,实时计算数据偏移量,根据决策树模型进行自动分类,若偏移量
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 卫星 遥测 数据 实时 压缩 算法 设计 实现
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。