省级交通大数据平台中数据资源规划设计_张震.pdf

河南科技Henan Science and Technology计算机科学与人工智能总798期第4期2023年2月省级交通大数据平台中数据资源规划设计张震1马继骏2肖瑞洁3王子昂2董佳兵1（1.郑州大学电气与信息工程学院，河南郑州450001；2.河南省交通运输调度指挥中心，河南郑州450000；3.郑州大学计算机与人工智能学院，河南郑州450001）摘要：【目的】目前，交通运输行业各个系统间的信息孤岛问题严重。通过数据资源规划和数据库设计，建设大数据平台数据资源体系，从而实现对交通运输行业数据资源的统一规划、组织、管理、存储和深度利用，加强各类信息间的分析及服务，解决交通运输行业信息资源缺乏整合共享的问题。【方法】交通运输行业数据体系设计主要包括数据资源规划、数据资源体系设计、数据治理和数据交换这四部分内容，数据资源体系是在数据资源规划的基础上，根据数据的属性和用途的不同，将其归纳形成服务于各业务应用系统的基础数据库、业务数据库、主题数据库和共享数据库，从而明确不同数据资源间的组织和管理方式。【结果】数据治理是通过对公路、水路交通运输行业数据资源进行综合管控，保障数据的准确性、一致性、完整性、可用性和安全性。【结论】数据交换负责行业内不同层级部门之间跨部门数据交换，解决跨部门、跨业务的数据共享问题。关键词：交通运输；数据资源规划；数据资源体系；数据治理；数据交换中图分类号：TP311文献标志码：A文章编号：1003-5168（2023）04-0019-06DOI：10.19968/ki.hnkj.1003-5168.2023.04.004Data Resource Planning in Provincial Transportation Big Data PlatformZHANG Zhen1MA Jijun2XIAO Ruijie3WANG Ziang2DONG Jiabing1(1.School of Electrical Engineering,Zhengzhou University,Zhengzhou 450001,China;2.Henan ProvincialTransportation Dispatching Command Center,Zhengzhou 450000,China;3.School of Computer and Artificial Intelligence,Zhengzhou University,Zhengzhou 450001,China)Abstract:Purposes At present,the problem of information island between various systems in the transportation industry is serious.Through information resource planning and database design,the data resource system of big data platform is constructed,so as to realize the unified planning,organization,management,storage and deep utilization of data resources in the transportation industry,Strengthen theanalysis and services between various types of information to solve the lack of integration of informationresources in the transportation industry.Methods The data system design of transportation industrymainly includes four parts:data resource planning,database design,data governance and data exchange.The data resource system is based on data resource planning.According to the different attributes anduses of the data,it is summarized into the basic database,business database,subject database and收稿日期：2022-12-30基金项目：2019年河南省交通运输厅科技计划项目“河南省交通运输行业信息资源目录管理及标准检测平台关键技术研究”（2019G3）。作者简介：张震（1966），男，博士，教授，博士生导师，研究方向：信息与通信工程、大数据技术；马继骏（1972），男，硕士，主任，研究方向：信息化；肖瑞洁（1996），女，硕士，研究方向：计算机应用、大数据技术；王子昂（1994），男，本科，助理工程师，研究方向：交通工程；董佳兵（2000），男，硕士生，研究方向：大数据技术。20第4期shared database serving each business application system.So as to clarify the organization and management of different data resources.Findings The data governance is to ensure the accuracy,consistency,integrity,availability and security of data by comprehensively controlling the data resources of the highway and waterway transportation industry.Conclusions Data exchange is responsible for cross-departmental data exchange between different levels of departments in the industry,and solves the problem of cross-departmental and cross-business data sharing.Keywords:transportation;data resource planning;data resources system;data governance;data switching0引言目前，我国信息化建设总体上处于由网络应用向集约化整合与协同应用过渡的阶段，按照“统一建设、统一管理、资源共享、弹性扩展”的总体要求，统筹交通运输行业业务及其发展趋势，对交通运输行业的数据资源体系进行统一规划，从而确保各业务单位的数据资源有序归集，形成“一数一源、一源多用”的数据管控体系，并打造数据资源中心1-2。同时，依托大数据平台来建设交通运输行业的数据交换平台，形成数据服务中心。建设大数据平台数据资源体系3，加强各类信息间的分析及服务，从而解决交通运输行业信息资源缺乏整合共享的问题。1问题分析1.1难以及时全面地掌握交通运输行业的运行动态目前，各省对交通运输行业的业务管理工作，如对企业、车辆、场站、从业人员、运营服务、客运量等的管理，主要采用传统的方式定期开展。数据统计主要以人工的方式下达通知，并以月、季、年为周期进行统计，难以获得每日或实时的统计数据，对异常运力、交通量变化的预警分析能力差，难以准确全面地掌握交通运输行业的总体运行状况。1.2交通运输行业信息资源缺乏整合共享，难以有效支撑跨业务、跨行业、跨区域的协同和综合应用大多数应用系统在建设时只是为了解决领域内某些具体或局部问题，各系统基本上是相互独立的，运政、维修、公路、执法等信息资源分散在省厅及市交委的相关业务局（处）内部，条块分割明显，“信息孤岛”现象严重。由于交通运输的各类信息资源未能进行有效整合和共享，导致相关数据无法协同应用于业务管理工作中，从而造成业务管理工作存在一定的漏洞，导致业务办理效率低下。1.3交通运输行业缺乏统一的综合出行信息服务平台目前，虽然建成了部分信息服务系统，但同一服务信息是由多个APP提供的，造成信息不统一、动态信息服务覆盖范围窄等问题。要加强信息资源的整合利用和数据挖掘分析，在交通信息资源互联互通的基础上，大力建设公众综合出行信息服务系统，为广大乘客提供及时、准确、一站式、全方位的综合交通信息服务。2需求分析及建设目标2.1需求分析2.1.1行业管理部门的需求。资源整合与行业监管需求。要整合并及时获取运管、执法、维修、公路、城市公交、出租等交通信息资源，为开展相应的统计分析提供数据支撑，从而能及时掌握省内交通行业的宏观运行态势，为行业的监管决策提供依据。业务协同需求。要实现与省级运政、信用、综合执法等系统的互联互通和道路运输户、车、线、人等数据的共享交换。政务信息服务的需求。要将掌握的各类交通政务信息资源进行梳理分析，并及时向社会公众发布。2.1.2交通运输企业的需求。业务办理需求。方便办理各类行政许可事项，并通过电话、网站等方式及时了解办理状态和行政许可结果。场站运营需求。要能便捷地查验到进入客运站的客运车辆、驾驶员及线路牌信息，为客车的安全进站管理提供数据支撑。客运企业。要能实时获取公路的路况信息、客流信息，以及铁路、航空等运输方式的班次和运输量信息。地铁运营企业。要及时发布突发事件信息，从而获取应急调度资源的支持。2.1.3社会公众的需求。出行需求。要使公众能够便捷地获取到公交运行信息、航班信息、张震，等.省级交通大数据平台中数据资源规划设计第4期21铁路信息等，便于公众合理地安排出行。行车需求。能实时显示路况，并发出行车提示信息，优化驾驶者的出行路线，并实时进行路径引导提示。2.2建设目标2.2.1建成交通运输行业基础性、规范性和战略性的数据资源中心。要全方位掌握交通运输行业数据资源的构成，建设交通运输数据资源的目录体系，从而形成交通数据资源“地图”。采集整合基础性和全行业共享的基础数据，用于构建交通运输行业的规范性基础数据库4。实现业务系统数据的按需存取、快速应用，形成行业战略性数据资源的汇聚及治理，建成数据资源中心。2.2.2建成交通运输行业数据交换共享与综合分析的服务中心。依托政务大数据平台及行业数据交换整合平台，建成省级全行业统一、权威的数据交换中心，为各厅直单位之间、厅与各厅直单位之间、厅与政府相关部门之间、部省之间的数据交换提供可靠、安全的通道。根据数据管理要求，确保各相关单位按需、有序地依授权进行数据交换。应用大数据技术来分析信息资源，建设大数据应用服务中心，建设综合信息查询服务系统和业务综合分析系统这两个典型大数据应用系统5。3交通运输行业数据体系设计交通运输行业数据体系设计包括数据资源规划、数据资源体系设计、数据治理和数据交换等。其中，数据资源规划主要用于识别支撑交通运输行业业务管理所需的数据，并按照数据的实体属性、用途和关联关系，对数据实体进行分析、筛选、聚类、归并6。数据资源体系设计是根据数据资源规划的结果，以及数据资源的属性和用途，归纳形成各业务领域的基础数据库、业务数据库、主题数据库和共享数据库，从而实现对数据资源的有序组织和管理。数据治理主要是对数据的获取、处理和使用进行监管，从而确保数据资源的唯一性、准确性、完整性、连贯性和及时性7。数据交换主要满足行业内外部门对不同时效（实时和非实时）数据的交换需要。3.1数据资源规划参考交通运输行业“十三五”规划发展要求，以战略思维、全局视野对交通运输信息化的各方面、各层次、各要素进行顶层设计，同时参考银行、通信公司、国家电网等成熟的行业信息化统筹设计方法，对交通运输行业信息化建设进行自上而下的统一信息资源规划，在此基础上将行业数据按照业务本质特征进行组织和优化，从而形成全行业分类清晰、互为支撑、框架稳定、保障有力、适应性当前和未来信息化发展的数据资源框架。数据资源规划是从公路水路交通运输全行业业务管理和对外服务的角度出发，梳理各条业务线信息化管理和对外服务所需的数据，明确数据组织、采集和管理方式。业务需求是信息化建设的直接驱动力，公路水路交通运输信息化数据资源规划是基于业务需求分析来展开的，主要体现在以下三个方面。站在全行业角度，分析全行业所涉及的各条业务线管理流程及业务管理过程中所需的及产生的数据资源。分析各条业务线在哪些节点与其他业务存在相互关联关系，需要与其他业务线共享哪些数据。判断当前业务的未来变革趋势，分析变革后的业务需要哪些数据资源。3.2数据资源体系设计数据资源体系是在数据资源规划的基础上，根据数据属性和用途的不同，将其归纳形成服务于各业务应用系统的基础数据库、业务数据库、主题数据库和共享数据库，明确不同数据资源间的组织和管理方式。数据资源体系的设计是为了搭建交通运输数据资源体系框架，制定数据组织、管理、交换的技术路线，为部署在大数据平台上的各业务应用数据资源制定管理规则，不负责具体的数据资源采集、入库和整合。该部分工作在搭建的数据资源框架体系中，由各业务应用系统在建设时按需采集、整合。数据资源体系建设的内容包括数据库设计和数据资源形成。根据数据特点和应用特点的不同，将支撑当前交通运输行业业务管理和对外服务的数据资源分为行业基础数据库、业务数据库、主题数据库和共享数据库。交通运输行业数据资源体系的总体框架如图1所示。基础数据库是以各业务局掌握的管理对象属性数据为主，必要时可获取其他部门的相关信息，从而形成关于同一管理对象权威、完整的数据链。例如，驾驶员的基础数据包括驾驶员姓名、身份证号码、从业资格证号、性别、照片、住址、联系电话、经营范围、准驾车型、初领驾证日期等。业务数据是在管理对象基础数据的基础上，随着管理过程的叠加而形成的过程数据。以驾驶员为例，其业务数据包括所属的企业信息、年审信息、稽查信息、信用张震，等.省级交通大数据平台中数据资源规划设计22第4期评价信息、超限或超载处罚信息。根据主题分析维度，通过对基础数据库、业务数据库和行业内外数据的采集、整合，形成主题数据库。主题数据库主要用于对历史数据进行统计分析。共享数据库是为了满足非实时数据交换而建立的数据库，包括行业内共享数据库和行业外共享数据库两部分。3.3数据治理数据治理域是通过对公路、水路交通运输行业的数据资源进行综合管控，从而保证数据的准确性、一致性、完整性、可用性和安全性。数据治理是为了规范数据标准、提高数据质量和保证数据安全而建立的政策、组织、流程、技术保障体系，同时负责大数据平台数据资源运维及大数据分析平台的运维8。交通运输行业数据治理域的总体框架如图2所示。由图2可知，交通运输数据治理的主要内容包括三部分。治理对象。包括各业务领域形成的基础数据库、主题数据库、业务数据库、共享数据库。治理支撑。在公路、水路交通运输行业的信息化建设过程中，为保证数据的可靠性和一致性，实现对数据资源的有效管控，要从管控组织、管控流程、管控工具和评价考核出发进行建设，四项工作内容相互作用、相互支撑。治理任务。主要是实现数据治理的具体途径（方法），包括数据资源目录与数据管理系统、数据标准符合性检测系统、数据质量审计系统、数据交换管理系统、数据共享管理系统、数据开放管理系统。3.4数据交换数据交换负责行业内不同层级部门间跨部门的数据交换，解决跨部门、跨业务的数据共享，包括实时数据交换、非实时数据交换9。为了满足大数据平台建设中所涉及的跨区域、跨行业、跨部门间的互有共享交换信息资源的需求，通过建立数据交换共享机制，形成系统间的数据共享10。交通服务公路车辆工程企业航线航道场站船舶班线港口码头交通运输综合统计公路养护统计港口统计城市客运统计道路运输统计公路管理航道管理道路运输管理综合政务其他数据综合政务道路运输管理公路管理航务管理共享数据库主题数据库业务数据库基础数据库图1公路水路交通运输行业数据资源体系总体框架张震，等.省级交通大数据平台中数据资源规划设计第4期23大数据平台对内、对外的数据交换共享服务从实现逻辑上来说，主要分为非实时数据交换，如人、车、户等基础信息的交换，以及实时数据交换，如车辆的位置、速度信息等业务数据。非实时数据交换采用数据交换与整合系统，实现数据的自动提取与转换。实时数据交换采用 ESB（Enterprise ServiceBus）企业服务总线技术来实现，通过消息服务的方式来实现不同应用间的通信与实时数据建设的整合11。3.4.1数据采集。数据采集要求。应用系统数据采集时要遵循谁的业务管理范畴谁采集，谁采集的数据谁负责审核和录入，以及一数一源、一源多用的原则。应用系统数据采集要符合 交通信息基础数据元 及相关应用系统的标准规范。应用系统主要依托智能设备、移动终端等载体，并以信息化的方式对交通数据资源进行采集。数据更新要求。应用系统数据更新要遵循“谁采集、谁更新”和“增量更新”的原则，按照相关技术标准将更新或新增的数据进行数字化和结构化处理后，同步更新和共享。3.4.2数据交换技术实现流程。交通运输行业应用系统的数据交换包括数据推送或拉取、数据传输、数据清洗（第一次）、数据入库、数据共享、数据清洗（第二次）、数据建设等环节。交通运输行业应用系统数据交换的总体框架如图3所示。数据推送。原则上，数据提供单位要按需抽取可共享的数据资源，并主动推送给数据交换前置机。也可按数据使用单位的数据使用需求，将源数据库按需镜像成数据子集或定制成用户视图，由数据使用单位推送到交换前置机。交通运输行业数据提供单位要共享交换的数据资源目录。数据提供单位要提供数据交换信息表，并配合大数据平台运维单位，通过比对数据交换信息表和实际数据交换情况，来验证数据的完整性和正确性。数据传输。大数据平台运维单位依托全省交通运输行业统一的数据交换与整合系统，将前置机上可共享的数据资源传输到大数据平台原始库中。大数据平台原始库作为数据提供单位，可提供共享数据资源的副本，其数据结构与数据提供单位的源数据结构一致。在数据交换过程中采用 HTTP 传输协议。数据清洗（第一次）。大数据平台运维单位负责对原始库中的数据进行初清洗，包括去重、去脏数据，并基于交通信息基础数据元标准和应用系统相关数据资源标准规范，对共享数据进行标准化处理。数据入库。大数据平台运维单位负责对初清洗的数据进行入库，从而形成省级层面的标准化、“一数一源”的基础数据库和业务数据库。数据共享。大数据平台运维单位按照数数据交换管理系统数据共享门户及共享管理系统数据目录及数据管理系统数据开放门户及开放管理系统数据标准符合性检测系统数据质量审计系统组织流程工具评价考核业务数据库共享数据库基础数据库主题数据库治理对象治理支撑治理任务图2交通运输行业数据治理总体框架示意图张震，等.省级交通大数据平台中数据资源规划设计24第4期据使用单位授权的数据共享需求，负责将清洗后的基础和业务数据按需抽取到数据共享区。数据清洗（第二次）。主要对没有相关数据元标准，且各相关单位有共同需求的数据资源，由系统开发商按需抽取共享区数据，按照业务应用系统的使用要求进行第二次数据清洗，从而形成各自业务应用系统业务数据库。数据建设。对变化频繁、时效性较强的交换共享数据，由应用系统开发商按照ESB企业服务总线要求将数据以服务的方式定义成接口，以便数据使用单位按需调用。通过网络传输连接认证、传输过程数据加密处理等方式来实现数据建设安全。4结语通过建设大数据平台数据资源体系，能有效解决交通运输行业各系统间的“信息孤岛”问题。交通运输行业数据体系设计包括数据资源规划、数据资源体系设计、数据治理和数据交换。数据资源体系是在数据资源规划的基础上，根据数据的属性和用途的不同，将其归纳形成服务于各业务应用系统的基础数据库、业务数据库、主题数据库和共享数据库，明确不同数据资源间的组织和管理方式。数据治理域是通过对公路、水路交通运输行业数据资源进行综合管控，保障数据准确性、一致性、完整性、可用性和安全性。数据交换负责行业内的不同层级部门间跨部门的数据交换，解决跨部门跨业务的数据共享问题。参考文献：1 赵孟伟，周汝胜，张爱华.基于云计算公共服务平台的交通运输信息系统集约化建设急需解决的问题分析 J.物流科技，2015（12）：147-150.2 赛迪智库.我国大数据产业发展展望 J.软件和集成电路，2017（12）：51-53.3 韩轩.大数据时代政府信息管理研究：以延津县为例 D.新乡：河南师范大学，2018.4 谢云驰.交通云数据安全与隐私保护研究 D.南昌：华东交通大学，2019.5 王珩，王海宁，刘畅，等.大数据技术在指挥信息系统中的应用与发展 J.指挥信息系统与技术，2015（2）：5-9.6 丁然，任鹏.综合运输服务信息平台构建 J.物流技术，2016，35（05）：1-5.7 王珲，周汝胜，周杰，等.基于FEAF方法体系的交通运输信息化顶层设计研究 J.物流技术，2015（22）：117-120.8 李宏宇.船联网跨区域数据资源整合与管理体系的研究 D.西安：长安大学，2014.9 周鸣.广西云计算大数据应用平台构建研究 J.中国管理信息化，2018（14）：130-132.10 许庆超.新疆交通运输资源目录体系的研究与开发 D.乌鲁木齐：新疆大学，2019.11 章兵，魏永，郑春着.基于ESB的电网GIS平台与生产管理系统集成实现与应用 J.能源与环保，2017（10）：204-207.数据推送数据传输数据共享数据清洗（第一次）数据入库数据清洗（第二次）数据建设应用系统建设单位（未迁入大数据平台或交通厅外其他政府部门）大数据平台在建大数据平台信息化工程图3交通运输行业应用系统数据交换总体技术实现流程张震，等.省级交通大数据平台中数据资源规划设计