交通大脑综合解决方案设计探讨.pdf
《交通大脑综合解决方案设计探讨.pdf》由会员分享,可在线阅读,更多相关《交通大脑综合解决方案设计探讨.pdf(5页珍藏版)》请在咨信网上搜索。
1、C o m m u n i c a t i o n&I n f o r m a t i o n T e c h n o l o g y N o.5.2 0 2 3通信与信息技术2 0 2 3 年第5 期(总第2 6 5 期)交通大脑综合解决方案设计探讨汪雪松,唐俊峰科大讯飞股份有限公司,安徽合肥2 3 0 0 0 0摘 要:交通大脑的一种综合解决方案能够提升交通信息化和智慧化能力。首先,建设大数据基础平台系列,作为工具支撑交通数据采集和存储等功能;其次,依据行业标准和自定义标准制定数据标准规范体系,在此基础上设计从数据源到数据服务的一体化数据架构;随后,面向具体业务设计详细的数据流程,并结合数
2、据特征等选用恰当的大数据组件;最终在数据底座基础之上,实现交通态势分析、交通信号优化等算法应用,辅助解决实际问题;与此同时保障数据的安全性。关键词:交通大脑;综合解决方案;实践应用中图分类号:T P 3 9 9文献标识码:A文章编号:1 6 7 2-0 1 6 4(2 0 2 3)0 5-0 0 7 4-0 51 前言2 0 1 9 年交通运输部下发数字交通发展规划纲要,要求加快交通运输信息化向数字化、网络化、智能化发展,许多地区逐步建设起交通大脑等应用系统,其中京沪等一线城市率先探索,据有关数据,杭州交通大脑截至2 0 2 2 年已实现1 8 0 0 余个灯控路口的联网控制,针对1 0 0
3、0 余个路口安装地磁流量检测器;通过融合联网数据自动预警路口拥堵、失衡等并下发自动配时方案;在主城区建成绿波带道路3 0 0 余公里,绿波带高峰均速3 3.8 k m/h,同比提升9?。然而,由于缺乏顶层设计与统一指导,各地建设交通大脑的功能与能力参差不齐,存在需求不明晰、系统不完整、应用落地难、投入产出比低等一系列问题,使得建设成效普遍不及预期3。其中最主体的模块即交通数据为例,由于对应业务繁多、多源异构、量级大、流转链路长、实时性要求高、涉及大数据组件多等特征,一旦缺乏良好的顶层设计,会直接降低交通大脑应用成效。结合已有平台建设中的问题和经验提出一种综合解决方案。首先要设计并开发好基础工具
4、,即实现数据采集、接入、存储、计算等功能的大数据基础平台,由系列子平台构成;其次,站在业务全局角度,按有关国标和公安部部标及自定义标准,制定数据标准规范体系,并搭起从源头数据接入到对外提供A P I 的整体数据架构;再从具体业务角度出发,结合数据特征、业务需要、经济效益来设计详细的数据流程并选用恰当的大数据组件;最终实现交通态势分析、交通信号优化等算法应用;同时从数据跨网段流转、数据链路监测等角度保障数据的安全性。2 交通大脑综合解决方案2.1 大数据基础平台围绕着数据资源汇聚、存储、计算、共享、可视化的主线,交通大脑大数据基础平台由十余个子平台构成,并可按需部分选用。以部分子平台为例,用于“
5、汇聚”的数据集成平台,适配多种集成来源和集成目的,提供任务管理、监控分析等功能,构建高效、易用、可扩展的数据传输通道;用于“存储”和“计算”的存储与计算平台,基于第三代H a d o o p框架研发,提供可靠、安全、容错的集群能力,使交通大脑能够对海量数据进行存储、计算和查询;同时针对实时场景专门制作了实时计算平台;用于“共享”的数据共享平台,能够通过数据交换功能实现数据传输和共享并在门户统一呈现;用于“可视化”的可视化分析平台,支持对数据进行简易的拖拽、配置、菜单和工具条等动作,以熟悉且直观的交互方式构建报表。除此之外,还有目录管理平台、数据资产管理平台、调度平台、安全平台等,可结合具体业务
6、场景选取子平台并组合使用。收稿日期:2 0 2 3 年1 月1 1 日;修回日期:2 0 2 3 年8 月2 6 日7 4解决方案交通大脑综合解决方案设计探讨2.2 数据标准与数据架构交通数据主要来自交通信息发布设备和交通监测设备,如信号机、诱导屏、电警卡口、地磁线圈等,同时,公安天网数据、浮动车等互联网数据等也是不可或缺的,这些需要从“六合一”三台合一”情指勤督一体化等平台获取。实践来看,交通数据有以下显著特点:多元异构,数据来源于各类交通感知设备与软件系统,包括视频图像、文本、j s o n、二维表等多种形式;量级大,例如合肥市拥有数万套移动执法记录仪等视频采集设备,日均接入数千万条过车数
7、据与近百万条交通违法数据;存储周期长,按规定,路况、过车数据通常需存储一年、三年;实时性要求高,例如过车数据上传集成指挥平台通常要求一分钟内完成,而交通死锁、溢出等突发事件更需要立刻精准感知;一次写入多次读取,例如城市路况数据作为客观数值不会再被修改,但作为其他诸多算法模型的源数据会被多次查询。要利用起数据,首先要制定好规范并落实,以保障数据质量4。可从行业标准和自定义标准两方面着手。前者包括国标、公安部部标、行业协会团体标准等,例如交通运输信息资源目录体系是按照行业、管理对象、业务类型等对数据进行归集,从全局视角将数据划分为若干大类,可指导建立组织、人员、车辆、路网、交通服务等主题库;道路交
8、通管理信息代码明确指出一百余项交通行业标准,可指导建立道路、事故、违法等行业编码规范,同时包含数据一致性检测等数据校验方法。然而,普适的行业标准更多是提纲挈领的作用,或者说,在全局视角上保障各地各单位的交通大脑有一定的共通性和可比性。在具体建设时,还需结合业务来自定义更具体的诸如数仓设计规范、字段命名规范等,例如以库名加表名形式实现数据逻辑分层、权衡英文命名过长而拼音首字母命名简洁但易用性差的特点制定字段名,用以弥补行业标准在细节处的缺位。通过宏观中观的行业标准和微观的自定义标准,共同构成交通大脑数据标准规范体系。在数据标准规范基础上,交通大脑数据架构便相应设计,自底向上依次为数据源、原始数据
9、、数据资产、数据服务四层。其中,数据源层对接入的初始数据落盘保存、不做任何修改;原始数据层则对源数据进行清洗并按业务领域的简单分类归集;数据资产层是经由数据治理与算法模型得到的有明确业务含义的数据集合;最后,数据价值需通过提供服务来体现,可统一采用A P I 形式。该架构是从业务角度出发,相应的,从技术角度可结合常用的数仓规范将其分为O D S、D W D、D W S 等层,两者本质上一致。数据体系架构见图1,该架构中,数据资产层是主体,也是最有价值之处。而数据资产尚无官方的统一定义与范围界定,这里结合交通业务将其细分为:主题库,是能够标识交通要素主题对象的多维数据集合,从较高层次对诸多交通对
10、象进行抽象,包含组织、人员、车辆等;专题库,是围绕特定交通业务管理单元而设计的数据集合,包括交通违法、施工占道、公共安全服务等;指标库,是一个个单点的量化指标数据集合,包括用于评价业务成效的指标、用以指示算法效果进而指导调优模型的指标等。数据服务数据体系架构幽网服务路口裂务境点服务过车服务主题库专顾库指标库数据资产交通违法族工占道公共安全服务运行效率通行能力原始数据车辆数据驾决员数据警员数据道路交通数据事故数据数据源集成指挥平台六合一平台政务外网平台网平自图1 交通大脑数据体系架构2.3 数据业务流程与组件选型为设计交通大脑数据流转的完整链路,首先需识别出关键数据及采集计算存储等任务。考虑到交
11、通数据种类繁多,尤其来自电警卡口等设备的过车数据的接入是交通业务的核心,不仅数据量级大,而且要求延时小,因此数据流程围绕着数据接入、即数据集成平台和设备接入平台来设计,并通过消息中间件K a f k a 进行解耦合,同时考虑到算法模型需从不同源头获取数据并将计算结果存入合适组件。这里的数据集成平台,用于标准化数据接入,设备接入平台则需适配一些非标准协议,用于各物联网设备产生数据的接入。数据流程主要模块见图2:有储关系型数据库非关系型数据库存猪描入擅入算法模型公安同有关平台O B S 存储露委数据集成平台k a f k a设备接入平台共享入第三方鼓据(共享)第三方数据(来源)物联同设备图2 交通
12、大脑数据业务流程(1)物联网设备采集的数据,经由设备接入平台接入并简单清洗后,先转存到K a f k a,再经由数据集成平台落盘到数据库,同时业务端应用程序也可从K a f k a 集群中消费数据。这些数据包括电警卡口拍摄的过车和违法数据,地磁、线圈、雷达等检测的流量数据,互联网路况数据等。(2)数据集成平台负责直接对接第三方,包括接入第三方数据和向第三方共享数据,同时可将从第三方接入的数据和通过K a f k a 接收的源自设备接入平台的数据,持久化存7 5通信与信息技术2 0 2 3 年第5 期(总第2 6 5 期)储到关系型数据库O r a c l e 或非关系型数据库H B a s e
13、 和E l a s t i c s e a r c h 等处。注意设备接入平台并不直接与各数据库连通,这是出于降低耦合度的考虑。(3)各算法模型按需选用不同组件,例如实时数据通过K a f k a 获取、离线数据存储在H B a s e、元数据存储在O r a c l e。具体到某个算法,例如路况预测算法,它同时需要来自K a f k a的实时路况数据、来自H B a s e 的历史路况数据和来自O r a c l e的静态路网结构数据,在完成预测后,一方面将结果转存到K a f k a 用于后续算法的输入,同步的将预测值落盘到H B a s e。前装感知设备数困库k a k a数天平电警知企
14、坐A企业B企业厂高5 0 双厂南物取网协议其完协议设备接入平台节点踩0 0 6B 5y 0图3 过车数据接入示意这里以过车数据接入为例做具体阐述,见图3。交通态势感知设备多种多样,包括不同类型设备、同类型设备不同厂商、同类型设备同厂商不同协议等,因此设计了一个独立的设备接入平台,专用于海康、大华、宇视等主流摄像机厂商及其不同协议的数据接入。在此设计下,具体数据流程为:首先将电警卡口生成的过车数据接进来;由于涉及图片,在解析报文后,一方面将图片上传云存,同时多线程的将图片U R L 和经由视频图像算法解析出的结构化字段转存到K a f k a进而上传公安网有关平台;此外,设备接入平台可按需从数据
15、库读取各设备备案信息、并将设备心跳等状态检测数据实时更新入数据库,还能够反向对各设备进行校时、重启等指令管控。前述数据流程的落实,涉及大数据传输、存储、计算等多类任务,且每类任务都有诸多常见的、优缺点与适用场景不同的组件,需结合业务来针对性选择。例如,大数据传输组件主要考虑源端和目的端数据类型、传输频率、数据量级等,大数据计算组件则应区分离线、准实时、实时等不同场景。这里以大数据存储组件为例进行详细阐述。选型交通大脑的大数据存储组件,首先要分析各组件的特性。例如E S(E l a s t i c s e a r c h)是当前最好的分布式全文检索数据库,适用多条件查询和精确查询;H B a s
16、 e 具有快速读写和可扩展特性,能实现基于范围的扫描查询,适合存储海量时序数据;C l i c k h o u s e 契合多维度指标或即席查询多的场景;M o n g o d b 适合无严格事务要求的各类数据等。结合业务来看,量级大且应用广的路况数据、过车数据是关键,需要支持大量级数据、适合精确查询、读写性能高的存储组件,建议选用E S 和H B a s e,此选型下有三种具体方案:H B a s e 存储;E S 存储;H B a s e 与E S 混合存储,即前者存储记录、后者存储前者行键。其中,路况数据每日新增数亿条且需存储一年,优选H B a s e,因其存储成本较低且能支持海量数据
17、的简单条件查询,假如使用E S 则成本过高、且单次查询结果太大会给集群造成压力;过车数据每日新增数千万条且存储期限为三年,更适合E S 按日建索引来存储,因为H B a s e 难以支持多条件查询,不符合业务需求,并且试验发现以P h o e n i x为H B a s e 建二级索引的方案效果不佳,在数据量过大时很容易系统崩溃;此外,模拟H B a s e 与E S 混合存储的方案,发现其对路况和过车数据均引入了额外复杂度,性能未有显著提高,且加大空间占用,因此不予采纳。决定组件后,还需对每项数据梳理其使用场景,以此决定具体存储策略。例如路况数据,通常是查询某一分钟的全城区数据,或查询某地理
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 交通 大脑 综合 解决方案 设计 探讨
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。