气象基础信息一张图设计和实现.pdf
《气象基础信息一张图设计和实现.pdf》由会员分享,可在线阅读,更多相关《气象基础信息一张图设计和实现.pdf(10页珍藏版)》请在咨信网上搜索。
1、陈京华,肖文名,张强,等.气象基础信息一张图设计和实现.应用气象学报,2 0 2 4,3 5(2):2 4 7-2 5 6.D O I:1 0.1 1 8 9 8/1 0 0 1-7 3 1 3.2 0 2 4 0 2 1 0气象基础信息一张图设计和实现陈京华 肖文名 张 强*杨和平 张志强 曹 磊 陈 楠(国家气象信息中心,北京 1 0 0 0 8 1)摘 要气象基础信息一张图作为气象数据资源与行业间数据融合的应用示范,通过构建时空联动的气象大数据应用基础,解决多源气象数据融合应用服务问题。气象基础信息一张图基于高分辨率气象网格数据空间化处理、长序列海量网格数据任意时空范围检索以及气象数据与
2、三维地形融合服务3项关键技术,实现多源异构时空数据的统一接入、处理、存储、管理和服务。气象基础信息一张图整合基础地理、自然资源、生态环境、社会经济、气象五大数据资源,面向不同气象应用场景,通过动态组合构建专题服务,实现多源数据快速服务和高效应用。气象基础信息一张图为2 0 2 2年北京冬奥会及冬残奥会的圆满举办等国家重大活动、2 0 2 1年郑州“72 0”特大暴雨气象预报复盘服务以及气象数据的社会化服务共享提供应用服务保障,在服务“生命安全、生产发展、生活富裕、生态良好”方面提供有效支撑。关键词:气象基础信息一张图;大数据;数据服务;地理信息引 言随着大数据、云计算、互联网和社会经济快速发展
3、,信息化进程不断深入,一张图工程逐渐成为地球系统科学领域研究的热点。一张图指将地理、资源、环境、生态、经济和社会等要素统一表示在地图上,利用地理信息技术和大数据技术,构建信息化地图系统,实现各领域数据的共享和交换,提升政府决策的科学性和准确性。一张图已广泛应用于农业、水利、林地、矿山等领域1-4。通过构建国土一张图,在整合土地资源数量、质量、结构及空间布局基础上,与遥感影像和监测信息进行集成化系统管理,提高国土资源监管质量和效率5。通过构建水利一张图,实现统一数据模型、统一基础数据、统一数据交换,为水利信息共享与应用提供来源权威、标准统一、持续更新的水利数据支撑6。气象与地理数据的结合可追溯到
4、1 9世纪2 0年代,德国布兰德斯将气象数据绘入地图,制作完成全球第1个集地理信息与气象信息为一体的天气图7。近年国外针对气象和地理数据的融合应用进行积极探索与研究,例如德国的N I N J O(源于德语气象词汇N i e d e r s c h l a g 降水、J a h r 年度)预报平台集成开放地理空间信息联盟(O p e n G e o s p a t i a l C o n-s o r t i u m,OG C)地图服务8,美国的高级天气交互预报系统2(A d v a n c e d W e a t h e r I n t e r a c t i v e P r o c e s s
5、 i n g S y s t e m 2,AW I P S 2)提供多种气象数据与地理信息叠加分析功能9,欧洲中期天气预报中心提出到2 0 3 0年发展无缝隙地球系统模式和创造数字孪生地球的战略目标,加快发展地球系统科学,实现自动化、智能型、无缝隙预报服务已成为世界气象发展的新趋势1 0。在气象系统内部,研究人员不断探索将气象与地理可视化技术相结合,取得较多研究成果。广西气象局通过地理信息系统(g e o g r a p h i c a l i n f o r m a-t i o n s y s t e m,G I S)技术,综合分析与处理雷达观测数据、卫星遥感图像等,为抢险救灾、森林环保活动
6、等提供更为科学的依据1 1;国家气象中心的面向移动计算的气象数据交互分析与显示系统,通过二维、三维一体化的数字地球引擎,能够在不同维度视图2 0 2 3-1 2-0 8收到,2 0 2 4-0 1-2 4收到再改稿。资助项目:气象信息化系统工程(发改投资2 0 2 12 3 1号),中国气象局青年创新团队(CMA 2 0 2 3 QN 0 8)*通信作者,邮箱:z h a n g q c m a.g o v.c n 第3 5卷 第2期 2 0 2 4年3月 应 用 气 象 学 报J OUR NA L O F A P P L I E D ME T E O R O L OG I C A L S C
7、 I E N C E V o l.3 5,N o.2 M a r c h 2 0 2 4间快速切换,为全新渲染方法的引入奠定基础1 2。这些系统为气象业务工作带来一定便利,但存在以下4个方面问题:在数据服务种类方面,气象观测数据和气象服务产品种类多,气象大数据云平台提供服务的气象数据产品包括1 4大类1 9 9 1种。用户在查找使用气象数据时,由于通过地理空间检索气象数据的手段匮乏,导致无法确定研究区域内气象数据产品的可用情况。在数据服务时间序列方面,气象数据产品具有时间序列长的特点,地面观测数据连续几十年不间断,全球大气再分析能够提供过去4 0年的产品,数据量从1 00 T B到1 02 T
8、 B。然而,用户的研究范围通常为局部区域,对数据的精细化要求高。一方面是海量的长序列气象数据产品,另一方面是精细化的长序列数据服务需求,因此气象数据服务缺少通过地理空间定位长序列网格数据并提供精细化图像和数据产品服务的方式。在数据服务融合分析方面,当突发事件来临时,决策层需要的是综合统计信息。例如一场台风过程结束,需要向决策层快速提供面降水量、受灾范围、住宅区、商场、学校、交通、受灾人口数量等信息1 3-1 4。业务工作需要将多源数据持续不断纳入统一的地理信息平台,进行融合计算、统计、制图,改变数据与统计系统分离、统计信息与制图系统分离的现状。在数据服务规范化方面,气象数据与地理信息叠加,要求
9、所使用的地图必须遵循国家标准,地图涉及领土主权,一点不能错1 5,来源不明的地图,国界、省界、岛屿、道路等往往不符合国家规定。针对地图服务,需要从顶层设计,在气象系统内部统一使用经国家审核的地图。气象基础信息一张图(简称气象一张图)是基于地理信息系统和其他相关技术,将气象数据与地理、环境、社会经济等多种数据整合到一张统一的地图上,提供全面的气象信息和数据支持,帮助决策者更好地了解气象情况和相关风险,提高决策的科学性和准确性。气象一张图是在气象大数据云平台(国家气象信息中心研发的面向全国气象部门提供数算一体的数据服务平台)提供的虚拟服务器、空间数据库和底层数据环境基础上完成建设。气象一张图为全国
10、极端天气事件应急、国家重大活动保障、天气会商和日常业务运行提供基于地理空间检索的气象数据服务,是气象大数据云平台数据服务方式的扩充,能够实现基于事件的时间属性和空间属性,提供气象数据检索、统计分析、地理制图以及提供图层接口等一站式服务。1 气象一张图架构1.1 数据组织与存储气象一张图涵盖的数据种类包括基础地理、自然资源、生态环境、人口经济、气象5大类,其中气象数据来自气象系统内部,其数据组织方式与气象大数据云平台保持一致(分为1 4大类),以适应用户在数据使用上的行为习惯。对于地面、高空、海洋、辐射、农业气象等站点类气象观测数据,气象一张图对其经纬度进行空间化处理并存储为空间数据类型,即将经
11、纬度值转换为空间数据库可以识别的数据格式。气象一张图使用的观测数据从气象大数据云平台实时获取。对于实况和预报模式数据,气象一张图采用离散化处理、空间化管理的方式,使用气象大数据云平台空间库进行存储。数据组织和处理流程如图1所示。多源数据处理对国内气象数据、行业交换数据、全球气象数据等资源进行空间化处理并提取元数据,基于气象大数据云平台提供的空间数据库构建多源空间数据存储。气象信息服务基于多源数据处理后的结果,面向各类气象应用场景,提供二维和三维地图服务、融合分析服务、数据检索及制图服务等。对提供服务的资源进行基于气象系统授权证书的方式管理,用户的下载和访问在后台进行实时记录。1.2 系统逻辑架
12、构气象一张图主要由数据层、处理层、存储层、服务层、应用层构成,总体框架如图2所示。数据层包括基础地理数据、自然资源、生态环境、人口经济、气象5大类数据资源,其中基础地理数据来源于国家基础地理信息中心,自然资源和生态环境数据来源于生态环境保护部共享交换,人口经济数据来源于国家统计局,气象行业数据来自气象系统内部。处理层包括各类数据标准化清洗、处理和管理功能。在空间化处理方面,气象站点类型数据在气象一张图中仅对元数据信息进行空间化转换,气象格点类型数据采用降维处理方式:经过离散化处理,将二维数据降成一维数据,采用多线程批量入库方842 应 用 气 象 学 报 第3 5卷 式写入空间库。基础地理数据
13、通过空间库自带的转换工具,直接将地图数据导入到空间库。自然资源、生态环境、人口经济数据通过开发算法,写入空间库。存储层是系统运行的基础环境,由气象大数据云平台提供系统运行所需虚拟服务器、网络环境、存储资源。气象大数据云平台提供数据存储所需P o s t-g r e S Q L数据库、E l a s t i c分布式存储数据库、R e d i s内存数据库等不同类型存储资源1 6-1 8。图1 数据组织和处理流程F i g.1 D a t a o r g a n i z a t i o n a n d p r o c e s s i n g p r o c e s s图2 系统组织架构F i g
14、.2 S y s t e m o r g a n i z a t i o n a l s t r u c t u r e942 第2期 陈京华等:气象基础信息一张图设计和实现 服务层提供系统运行所需基础服务,以及其他业务系统使用的标准图层服务,主要包括气象站点检索服务、高分辨率格点数据服务、三维地形服务、全文搜索服务、专题分析服务、组件化服务等。气象一张图对站点数据的空间检索是基于空间化后的站点元数据信息进行,将检索到的台站号,按照气象大数据云平台发布的接口,实时获取观测数据。对于省、市、流域等通用区域,采用主动缓存的方式对实时站点数据进行预处理,以提高数据检索和可视化效率。应用层基于数据服务
15、提供数据展示功能,面向灾害分析、决策分析、资源利用等应用场景,提供气象专题、突发事件三维制图、气象要素统计分析、气象要素三维可视化、空间分析接口与示例等功能,同时提供系统运行监控功能,确保系统服务和应用正常稳定。1.3 技术应用架构气象一张图主要由数据存储技术、服务端技术、传输层技术和前端技术构成。数据存储底层组件,如空间数据库等,均由气象大数据云平台提供,数据存储技术根据数据结构、数据量和更新频率,采用混合存储技术架构,综合采用P o s t g r e S Q L数据库、E l a s t i c 分布式存储数据库、R e d i s内存数据库和本地文件存储,其中P o s t g r e
16、 S Q L提供空间检索服务,E l a s t i c提供文本向地理空间转换检索服务,R e d i s提供省、市、流域等通用区域的缓存服务。服务端技术选用J a v a为编程语言,采用S p r i n g b o o t和S p r i-n g c l o u d后端框架,使用M y b a t i s为持久化存储,以J 2 E E工程的方式进行开发1 9。传输层前后端交互技术,采用J S ON、OG C标准服务协议,R S E S T f u l l服务 协 议 和W e b s o c k e t消 息 格 式 作 为 传 输 层 技术2 0-2 2。前端技术以HTML+J S技术为
17、核心,采用V u e+E l e m e n t-U I为 前 端 框 架 进 行 系 统 开发2 3。2 气象一张图功能简介2.1 用户交互界面气象一张图用户交互界面分为左侧数据选择区、右侧统计信息展示区、页眉位置核心功能菜单区以及屏幕中央地图展示区,页面效果见图3。数据选择区分为基础地理、自然资源、生态环境、人口经济、气象5个部分。同时,数据选择区提供文本检索功能,方便用户快速检索需要查询分析的数据集。信息展示区提供空间检索后的分析数据,例如用户打开中国地面小时数据图层,气象一张图自动统计全国范围自动气象站数量、最大值、最小值、平均值等信息,并提供台站元数据导出功能。图3 气象基础信息一张
18、图网站首页F i g.3 M e t e o r o l o g i c a l b a s i c i n f o r m a t i o n o n e m a p w e b s i t e h o m e p a g e052 应 用 气 象 学 报 第3 5卷 2.2 地理空间检索地理空间检索是气象一张图的核心功能,可按照省、市、县、乡镇四级行政区名称对基础地理、自然资源、生态环境、人口经济、气象共5大类数据进行检索,支持按照点、线、圆形、矩形、不规则多边形以及缓冲区检索,也支持按照站名、站号、流域名检索,可支持2 5 0 0万个兴趣点检索。用户在左侧数据选择区选定数据层,气象一张图
19、支持多图层统计分析功能,右侧统计区实时展示统计信息。以上查询统计对气象实况和预报网格数据同样适用。用户可以开启站点数据和网格数据可视化功能,方便比对站点数据和网格数据。2.3 图层管理为规范地图使用,国家气象信息中心通过气象一张图进行地图服务统一发布,共发布1 6 4 2个图层服务,内容涵盖基础地理、自然资源、生态环境、人口经济、气象共5大类,供气象系统用户使用。图层服务通过后台发布系统进行配置,能够实时发布和动态调整。用户既可以在气象一张图首页左侧数据选择区点选图层进行地理空间分析,也可以通过图层接口进行调用,真正做到所见既所得。气象一张图提供图层管理组件,通过鼠标拖动实现图层上下调整、图层
20、显示隐藏、图层标注等功能。2.4 图形制作气象一张图提供完整的二维和三维制图功能,可以打印图层的任意区域,系统自动标注经纬度边框,提供默认图名、图例、制作单位等信息,用户还也可以自定义修改。针对三维场景制图,用户可以自定义调整三维水平角和俯仰角,实现最佳分析画面的图像打印。气象一张图还可以进行气象数据实时统计、地理空间分析和制图一体化服务,针对灾情分析、应急救援等场景实现一站式服务。2.5 场景应用针对特定服务场景,气象一张图打造典型应用服务栏目,先后建成川藏铁路专题、长江经济带专题、高温专题、面雨量专题以及站点数据质量检验专题。每个典型应用建设过程充分考虑应用场景空间范围、时间尺度、关联的气
21、象数据、人口、经济以及灾情隐患点等信息。典型应用采用组件开发方式,可以按照用户需求,实现快速搭建并动态调整应用中的服务项目。2.6 接口服务气象一张图的接口分为数据服务类、图层服务类和功能服务类。数据服务接口为用户提供气象站点地理空间统计分析服务,用户可以输入省、市、县、乡镇以及各种不规则多边形坐标串,数据服务接口将查询统计结果以G E O J S ON格式返回给客户端。图层服务为用户提供预制的符合OG C标准的地图瓦片,通过图层接口服务实现气象系统内部地图标准化。功能服务为用户提供通用的地理分析功能,如距离量算、面积量算、坡度量算等。3 气象一张图核心设计与实现3.1 高分辨率气象网格数据空
22、间化处理为了能够将高分辨率网格数据实时快速地应用于任意位置检索场景,气象一张图采用北斗网格位置码技术进行编码2 4,将二维经纬度坐标值转换为一维北斗短位置码,在数据库中用普通索引替代空间索引,以节省索引创建时间。北斗网格位置码是一种基于北斗卫星导航系统的全球区域位置标识编码,也称为北斗导航网格码。它是国家北斗系统组织研发的全球区域位置标识编码,可以解决信息的整合和共享问题,为跨部门、跨行业的信息整合和共享提供统一的空间索引。北斗网格位置码还可以解决物体间相对时空关系的计算延迟问题,提高计算效率。高分辨率气象网格数据空间化处理技术数据处理过程如下:离散化处理高分辨率气象实况网格数据。解析气象实况
23、网格数据,得到气象要素值的二维矩阵并将其转换为一维气象要素矩阵,获取网格空间分辨率、数据时间、要素代码、起始经度、起始纬度、观测要素网格行列数。根据二维气象实况数据的网格大小,按照从西经到东经、从低纬度到高纬度顺序计算生成一维索引矩阵。将一维索引矩阵中每个存储单元定义为箱体,每个单元的存储值即为每个箱体的编号。用P o s t g r e S Q L数据库管理气象要素一维矩阵和一维索引矩阵。创建数据表,命名为“要素代码_资料时间_t m p”,定义为非日志记录表。采用批量入库的形式将气象要素一维矩阵和一维索引矩阵写入表“要素代码_资料时间_t m p”,将一维索引矩阵所在列定义为主键列,对主键
24、列创建普通索引。根据二维气象实况网格数据大小,计算用于生成字典表的一维矩阵。通过循环计算方式得到每个气象实况网格数据所在位置的经纬度坐标。高分辨率气象实况网格数据的检索处理过程。客户端对百兆级气象实况网格数据精细化152 第2期 陈京华等:气象基础信息一张图设计和实现 服务发起请求,根据请求类型得到箱体编号。高分辨率气象网格数据空间化处理技术通过经纬度值转换为一维箱体编号值,实现空间位置存储向空间标识存储的转变。通过空间降维的方法实现用普通索引取代空间索引,从而有效降低索引创建时间,减少数据存储量。3.2 长序列海量网格数据任意时空范围检索对网格数据文件的应用和服务主要为两种方式。方式1是快速
25、解析处理现有G R I B、N C文件,文件索引信息通过数据库管理,服务过程中通过索引快速定位文件所在磁盘物理位置,直接基于网格数据文件进行服务。方式2是解析处理G R I B、N C等文件,将气象网格数据解析存储在关系型数据库,对外进行应用服务。方式1被称为粗放的网格数据服务,通常整个网格文件范围与用户的研究区域不一致,需要用户进行二次加工。方式2随着时间序列的增加,网格数据量急剧增加,关系型数据库难以满足长序列网格数据存储管理和高效应用的需求。通过将网格数据复杂的二维存储对象模型转换为一维数组存储模型,结合北斗网格位置码箱体概念,可极大提升网格数据查询检索效率,北斗网格位置码技术的引进为长
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 气象 基础 信息 一张 设计 实现
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。