相控阵天气雷达数据压缩技术.pdf
《相控阵天气雷达数据压缩技术.pdf》由会员分享,可在线阅读,更多相关《相控阵天气雷达数据压缩技术.pdf(10页珍藏版)》请在咨信网上搜索。
1、Jun.2023METEOR(HNOLOGY2023年6 月356第51卷第3期Vol.51,No.3象技科相控阵天气雷达数据压缩技术胡林宏1周红根?沈邦跃F3,4曾强宇3,4*(1吉林省气象探测保障中心,长春130 0 6 2;2 江苏省气象探测中心,南京2 10 0 41;3成都信息工程大学电子工程学院,成都6 10 2 2 5;4大气探测重点开放实验室,成都6 10 2 2 5)摘要相控阵天气雷达较新一代天气雷达在时空分辨率上有明显的优势。随着探测能力的提高,相控阵雷达数据量急剧增长,数据传输和存储问题凸显。现有天气雷达数据压缩算法可以减少传输和存储的数据量,但现有算法并未充分考虑相控阵
2、雷达特点,数据压缩率有较大提升空间。本文提出时空预测的相控阵雷达数据压缩算法(PARDC),使用径向预测压缩数据相关允余。使用CHATOR雷达数据对PARDC的算法性能进行评估,试验结果表明PARDC较通用的压缩算法压缩率性能大约提升了2 4%。关键词天气雷达;数据压缩;预测编码;相控阵雷达中图分类号:P412.25D0l:10.19 517/j.16 7 1-6 345.2 0 2 2 0 38 1文献标识码:A引言天气过程观测数据是气象业务预报与服务的基础。天气雷达是大气探测的重要手段,是监测和跟踪天气过程的主动探测系统。中国气象局已经建设了新一代天气雷达(CINRAD)业务网,用于灾害性
3、天气监测、短时临近预报、人工影响天气等业务应用,在防灾减灾方面发挥了重要作用,取得了非常明显的社会经济效益1-7 。CINRAD雷达探测性能与美国天气雷达WSR-88D相当,业务运行至今已有20年,面临更新换代。CINRAD雷达基于单偏振和机械扫描体制,探测能力有以下不足8-12 :空间分辨率较低,距离分辨率为1km,难以精细化观测中小尺度天气过程;体积扫描时间56 min,对中小尺度强对流系统跟踪能力较弱;降水粒子相态识别能力不足,降水估测误差较大;非气象回波识别能力不足,多用途能力有限。为提高天气雷达的探测能力,美国对天气雷达网中的业务雷达开展了双线偏振升级改造,探测能力明显提高,同时发展
4、相控阵天气雷达解决天气雷达时间分辨率低的问题。美国计划使用基于ATD技术的多功能相控阵雷达MPAR替代WSR-88D雷达作为下一代天气雷达13MPAR雷达每小时产生的数据量超过2 0 0 GB,2019年第99届美国气象年会相控阵雷达专题上首次提出相控阵天气雷达数据量过大已经影响其业务化应用14。2 0 19年,美国国家环境信息中心(NCEI)各类数据的存量和增量均达到可观的量级,数据传输和分发年增量达到1PB,数据采集年增量达到7 9PB15,探测技术的进步使得气象数据传输和存储问题凸显。近2 0 年,天气雷达技术发展经过了多普勒天气雷达一双线偏振天气雷达一相控阵天气雷3个阶段。本文研究相控
5、阵天气雷达数据压缩方法,研究成果也适用于我国正在升级改造的双线偏振天气雷达。CINRAD的VCP21体积扫描模式规定6 min内扫描9个仰角,由于时空分辨率较低,对危害性强的中小尺度强对流天气过程观测能力不足。例如,龙卷的生消周期往往低于5min,甚至有些龙卷只持续数十秒,时间分辨率限制了CINRAD对中小尺度对流天气系统发生、发展的跟踪测量。相控阵天http:/气象科技中央引导地方科技发展自由探索项目(2 0 2 0 ZYD051)、国家自然科学基金项目(U20B2061)、上海区域合作基金项目(QYHZ202102)和中国气象局大气探测重点开放实验室课题(2 0 2 2 KLA03M)共同
6、资助作者简介:胡林宏,男,196 6 年生,高级工程师,研究方向气象装备,Email:547 6 97 0 98 q q.c o m收稿日期:2 0 2 2 年9月12 日;定稿日期:2 0 2 3年3月2 9日*通信作者,Email:z q y c u i t.e d u.c n357胡林宏等:相控阵达数据压缩技术第3 期气雷达具有高时空分辨率,适用于精细化观测,使用数字波束成形技术,可根据需要灵活选择波束数量,同时扫描多个仰角,完成一次体积扫描只需要几十秒。但由于相控阵雷达成本较高,现阶段才开始逐步应用于气象业务。成都信息工程大学在江苏省建设了基于CHARTOR系列相控阵雷达的龙卷协同观测
7、网。表1对比了CINRAD雷达和CHATOR-XPARD雷达性能指标和数据量,其中CHARTOR-XPARD雷达是由成都信息工程大学和南京恩瑞特公司研制的X波段双线偏振相控阵天气雷达。表1CINRAD雷达和CHATOR-XPARD雷达性能和数据量对比CHATOR-数据量提升CINRADXPARD倍数(约)极化方式水平极化双极化天线类型抛物面相控阵工作频段SX探测距离/km460100距离分辨率/m1000305波束宽度/()10.71.4体扫时间/s360(9层)50(2 4层)19数据精度(反射率)0.5 dBz0.1 dBz2数据产品Z,V,WZ,Zdr,V,W,3phv,pap,Kdp注
8、:Z表示反射率、V表示速度、W表示速度谱宽、Zar表示差分反射率、phv表示相关系数、ddp表示差分传播相位、Kdp表示差分传播相移率,下同。表1可以看出,相控阵雷达较CINRAD探测性能上大幅提升,数据时间分辨率、空间分辨率、精度和产品类型上都有了很大提高,也使得雷达数据量大幅增加,相控阵雷达一天数据量约2 8 8 7 6 8 GB,较CINRAD提高百倍以上。目前天气雷达数据压缩研究主要集中在CINRAD数据,而雷达探测技术经过了双线偏振和相控阵两次技术进步,数据压缩技术未能跟上雷达技术发展,成为制约先进天气雷达业务化应用的技术瓶颈。天气雷达基数据是应用最广泛的数据,根据还原后的数据与原始
9、数据是否一致,可以将数据压缩算法分为有损压缩和无损压缩两种。有损压缩会丢失原始数据中的一些信息,所以在通常情况下,有损压缩算法的压缩率会比无损压缩算法压缩率高。有损压缩的优势是具有更大的压缩率,根据需求保留需要的数据而舍去不需要的数据,很大程度地降低了数据量,提高了压缩率,但是选择了压缩率的同时,其数据的有效性降低,大量的有效数据丢失,无法恢复原始数据,有损压缩是不可逆的。无损压缩的优势是尽可能地保留了所有有效数据,可以恢复原始数据,保留数据的完整性,但是相比于有损压缩,压缩率远不如有损压缩。在选择无损压缩或者有损压缩时,需要根据不同环境要求来决定。在天气预报、回波分析等终端业务应用中,对雷达
10、数据定性分析时,对雷达数据的精度相对较低,可使用有损压缩的方式来处理雷达数据;但是对雷达数据定量分析时,对雷达数据精度要求较高,这时则采用无损压缩的方式来处理数据,对于原始数据的保存一般也采用无损压缩的方法16 现有天气雷达数据压缩方法类似图像压缩,对数据的相关允余进行压缩。潘志刚等17 使用量化技术压缩数据余信息,提出了一种可变比特率BAQ算法,对不同的数据分块可自适应选择量化比特率。黄云仙等18 在阶梯量化基础上引人预测编码,使用MED预测编码实现天气雷达数据压缩,性能优于通用数据压缩算法。陈璐等19 根据用户需求裁剪雷达数据,提出了天气雷达数据混合压缩算法,包括预压缩、有损压缩和无损压缩
11、三部分。Mc-Carroll等2 0 1针对WSR-88D雷达的基数据,裁剪雷达径向末端的无效数据,并在径向上使用差分编码,实现天气雷达数据无损压缩。ZENG等2 1 提出了基于时间和空间预测的天气雷达数据的无损压缩算法DPRC压缩算法,使用预测技术降低了雷达数据的相关性,实现了双线偏振雷达数据的无损压缩,克服了通用无损压缩算法压缩率低的缺点,为高分辨双线偏振雷达组网提供了技术支持。陈威等2 2 分析基数据小波变换域系数分布,对小波变换的分解方式和零树编码方式进行了改进,设计了基于小波零树算法的压缩算法。Mahapatra等2 3 利用等高线方法对天气雷达数据进行高速数据压缩,基于等高线的数据
12、压缩算法具有灵活可靠的压缩特性。现有的天气雷达数据压缩算法主要集中在新一代天气雷达和双线偏振天气雷达上,相控阵天气雷达近两年才开始应用于气象业务,大多处于试验阶段。针对相控阵天气雷达的扫描体制,研究雷达数据压缩算法是相控阵天气雷达业务化应用函待的技术问题。358象第51卷技科1相控阵天气雷达基数据特性相控阵天气雷达区别于常规的业务雷达的抛物面天线的扫描机制,采用平面阵列天线与点扫描机制,使用宽波束发射、多波束接受技术,大幅度提升了观测效率和精细程度2 4。新一代天气雷达完成一次体扫需要6 10 min,而相控阵天气雷达能够将一次体扫时间控制在小于1min,由于多波束技术的使用,相控阵雷达能同时
13、探测多个仰角,大大提高观测的时效性2 5。龙卷、冰電、暴流持续时间较短,通过相控阵雷达来进行观测,能够更加完整地记录天气过程从发展到结束的过程,更有效地对这些小尺度极端天气过程进行精细化监测预警。相控阵天气雷达体扫时间短、数据更新快,且距离分辨率较新一代天气雷达分辨率从1km提高到30 m,这使得距离库间的相关性更高。对比相控阵雷达和CINRAD雷达数据主要有以下不同2 6-2 9:在距离分辨率上,相控阵雷达数据精度大幅提升,使得同样区域内相控阵雷达数据呈现更高的方差,通过预测算法产生的数据残差幅度波动更大,这使得在分块选择时应使用更小的分块;相控阵雷达在俯仰角度上的分辨率也更高,同时由于多波
14、束技术的使用,数据在俯仰上的相关性更高,而CINRAD俯仰数据存在机械扫描导致的时延,数据在PPI上的相关性更高,这种特性差异导致了在预测模式设计时,相控阵雷达数据压缩算法需要考虑俯仰数据相关性的利用;相控阵雷达由于快速扫描机制,体扫时间为1min左右,而CINRAD雷达体扫时间为6 min,体扫时间减小使得体扫间的数据相关性提升,相控阵雷达数据压缩算法需要考虑体扫间数据相关性的利用。相控阵天气雷达基数据存储文件格式如下:文件包括文件头和数据块,文件头中又包括了文件标识、站信息、性能参数、探测参数和其他信息等内容。头文件中的大部分信息相对固定,通过差分编码能有效压缩头文件。在数据块中基数据以径
15、向为单位存放,径向数据是雷达在一个方位角的观测数据。基数据是包含基本参量(回波强度Zh、径向速度V.、速度谱宽W),双极化雷达还包含极化参量(差分反射率Zar、相关系数phv、差分传播相位d,等)。1.1天气雷达基数据的无效数据天气雷达体扫数据中有大量无效数据,在雷达信号处理中,当数据的值超过编码阈值或是对应区域没有天气过程时,该部分的距离库使用无效数据表示。从径向尾部(远离雷达方向)逆向到第1个有效值的无效数据部分称为拖尾无效数据。拖尾无效数据在本文提出的压缩算法中,在预处理阶段直接丢弃,可以减少数据量和压缩编码时的计算复杂度。图2 展示了CHARTOR-XPARD雷达的体扫数据样本的无效数
16、据分布。试验数据使用位于江苏省兴化市的CHARTOR-XPARD雷达探测降雨和晴天过程探测的数据,展示了一个仰角层的无效数据和拖尾无效数据的比例。该雷达一个仰角包含36 0 个径向,每个径向有16 6 7 个距离库。拖尾无效数据是指从一个径向的最后一个数据(远离雷达方向)开始,朝雷达方向的第一非无效数据之间的所有无效数据。从图1可以看出,相控阵天气雷达数据中的无效数据占很大的比例,其中大部分无效数据是拖尾无效数据。丢弃拖尾无效数据不会损失天气雷达回波数据的信息,解码端从头文件中获取整个径向的长度,通过补充无效数据实现原始数据的无损重建。拖尾无效数据在晴天回波中约占45%,有天气过程的回波中约占
17、2 3%,去除拖尾无效数据能有效减少后续处理的计算量和数据量。1.2天气雷达基数据的穴余性天气雷达回波数据中存在较大的空间穴余。根据天气雷达的工作模式,在空间位置接近的径向间存在很强的相关性,这是由于有天气过程的区域在雷达数据表示中存在一定的连续性,相邻距离库之间大概率出现相同或是近似值。WSR-88D雷达的基数据传输时,使用了4-bitRLEformat编码压缩这种空间穴余。相控阵天气雷达由于使用数字波束形成技术,可以同时使用多个波束对不同的仰角进行探测,而传统机械扫描雷达只能在一个仰角扫描完成后,调整雷达仰角进行下一个角度的扫描。相控阵雷达同时多仰角扫描的特点使得仰角间数据的相关性较高,便
18、于使用预测编码进行数据压缩。预测编码通过运动预测,在参考顿中搜索和当前块最相似的块,当前块和搜索到的块之间的位置差构成运动矢量,通过传输运动矢量和残差数据替代原始数据,实现数据压缩。参考和当前块相关性越高,得到的残差数据能量越低,其零阶熵小于原始数据,从而降低数据在编码时的平均码长,实现数据压缩。359胡林宏等:相控阵天气雷达数据压缩技术第3 期XHXKZ_2001年8 月2 0 日2 2:2 92.0 反射率dBz10095(a)70(b)无效数据总数7565拖尾无效数据数目600.850555025450.64035030250.4-252015-50100.25-750-50.0-100
19、-20-100-75-50-250255075100050100150200250300350距离/km径向编号XHXKZ_2001年8 月12 日2 2:1551.0反射率dBz10095(c)707565600.850555025450.6-/4035030250.4-252015-50100.25-750无效数据总数-50.0拖尾无效数据数目-100-20-100-75-50-250255075100050100150200250300350距离/km径向编号图1CHARTOR-XPARD雷达一个仰角的无效数据分布统计:(a)降水过程反射率PPI,(b)降水过程的无效数据分布,(c)晴天
20、的反射率PPI,(d)晴天的无效数据分布2相控阵天气雷达数据压缩算法2.1PARDC算法流程PARDC算法适用于基数据中基本参量和极化参数压缩算法,算法流程如图2 所示。编码器1预测编码仰角内预测1雷达数据预处理仰角间预测模式选择焰编码体扫间预测1解码器解码数据后处理运动补偿焰解码压缩码流图2PARDC压缩算法流程首先分别读取雷达体扫数据中文件头和数据块信息。文件头信息中,当前仰角和下一个仰角的文件头信息大部分是相同的,通过两个文件头差分,得到残差数据大部分为零。将残差数据通过算术编码能有效减少数据量。数据块中,首先将数据按照各基本参量和极化参数进行分类,分类后去除拖尾无效数据。然后将数据进行
21、映射,使数据的值分布在0,2 55区间,反射率映射方法如式(1)所示:R+10R255Rmax-Rmin+0.5(1)其中,R表示映射之后的反射率数据,R表示原始反射率数据,Rmax表示反射率数值范围最大值,Rmin表示反射率数值范围最小值,因为雷达数据反射率取值范围为一10 7 0,Rmax等于7 0,Rmin等于一10。其余雷达参数也可以根据其取值范围进行映射。算法适用于雷达基数据中的所有反射率、径向速度、谱360象第51卷技科宽和极化参数,各种参数预处理后再进行预测编码。在预处理中,将雷达各种类型产品数据映射至0,255上,利用公式(2)作为通用公式,表示如下:D一ID255minD0.
22、5(2)DmaxDmin其中,D为映射之后的数据,其中,D为原始数据,Dmin为数据范围的最小值,Dmax为数据范围的最大值,原始数据减去最小值,再除以数据范围大小,就得到该值所在区间的比例位置,乘以2 55便将该数据等比例映射至0,2 55 区间内。在后处理中,将数据反映射至原始的取值范围可以恢复原始数据,这种操作在后续处理中,数据类型是整数,便于预测和后续编码。数据反映射公式(3)如下:D=D(D m a x-D m i n)/2 55+D m i n(3)其中,D表示恢复的原始数据,D为映射数据,Dmin为数据范围的最小值,Dmax为数据范围的最大值。不同于双线偏振雷达使用的基于径向预测
23、算法2 1,相控阵雷达数据以44的块为处理单位进行预测。每个块由相邻的4个径向和每个径向上的4个距离库构成。块的大小会影响预测的精度,在数据分布均匀的部分使用较大的块(通合并相邻的4X4块构成8 8 或16 16 块)进行预测可以减少运动矢量的编码消耗,而细节丰富的区域使用44块进行预测以提高预测精度减少残差数据的编码消耗。选择块大小需要平衡残差数据和运动矢量的编码消耗。PARDC算法根据编码消耗,确定分块模式。2.2预测编码预测编码模式使用仰角内预测、仰角间预测和体扫间预测3种模式(图3)。参考块当前块仰角2体扫2仰角1体扫1(a)(b)(c)图3PARDC算法预测编码模式:(a)仰角内预测
24、,(b)仰角间预测,(c)体扫间预测图3中黑色块表示当前需要压缩的块ij,灰色块是已经完成压缩参考块。图3a仰角内预测是指参考块和当前块位于同一层仰角,即在同一个PPI在当前块附近范围内进行预测;图3b仰角间预测是指参考块在之前已经完成压缩的前一个仰角的PPI内,和当前块在空间邻近的位置进行预测;图3c体扫间预测是指参考块在已经完成压缩的前一个体扫内,和当前块在空间邻近的位置进行预测。这3种预测模式的设计基于雷达数据的相关性,仰角内预测是在相邻的同仰角径向间搜索与当前块最相似的块来替代当前块;仰角间预测是在相邻的不同仰角切面间搜索与当前块最相似的块来替代当前块;体扫间预测是在之前体扫数据中与当
25、前块位置相邻的区域内搜索与当前块最相似的块来替代当前块。预测的精度取决于数据之间的相关性,相关性越强,预测后的残差数据的能量越小,能达到的压缩效果越来。预测编码过程如式(4)所示Cinj=Uinj.kyij+rij(4)预测编码是在灰色块区域中通过运动搜索找到和当前块最相似的块yij,i 和y.的位置偏差使用运动矢量uijk表示,ri;表示块i,和yi,”的对应位置距离库的差值即残差数据。搜索和当前块最相似的块yi”是通过将当前块i.在参考块区域内和每一个块进行比较,得到SAD值最小的块为y”,SA D 值计算方法如式(5)。33SADi.j=22/i,(m.n)-yr.,(m,.)+M(v.
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 相控阵 天气 雷达 数据压缩 技术
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。