交通管控大数据分析研判系统.docx
《交通管控大数据分析研判系统.docx》由会员分享,可在线阅读,更多相关《交通管控大数据分析研判系统.docx(31页珍藏版)》请在咨信网上搜索。
1、交通管控大数据分析研判系统设计方案目 录1 系统概述51.1 系统背景51.2 系统意义51.3 研发原则61.4 系统内容72 需求分析82.1 业务需求82.1.1 面向交通管理的大数据业务需求82.1.2 面向交通安全的大数据业务需求82.2 功能需求82.2.1 基于大数据的在线统计和离线分析需求82.2.2 基于大数据的车辆特征分析需求82.2.3 基于大数据的违法事故分析需求92.2.4 基于大数据的勤务快速处置需求92.2.5 基于大数据平台的车辆特征二次识别需求92.2.6 基于大数据平台的技战法需求92.3 性能需求102.3.1 高并发实时数据采集需求102.3.2 海量数
2、据存储需求102.3.3 分布式流处理需求102.3.4 车辆二次识别需求103 架构设计103.1 总体应用架构103.2 软件框架结构113.3 网络部署架构123.4 数据流结构123.5 关键技术路线133.5.1 Hadoop技术133.5.2 Spark技术143.5.3 车辆特征二次识别技术154 功能设计154.1 功能结构图154.2 功能模块154.2.1 首页164.2.2 实时预警184.2.3 信息查询194.2.4 统计分析244.2.5 技战法274.2.6 车辆布控294.2.7 系统设置304.2.8 运维管理315 数据库设计315.1 数据库ER模型315
3、.2 数据库表316 接口设计316.1 接口分布图(接口关联图)316.2 接口详细说明317 系统特色327.1 优化交通大数据集中存储能力327.2 提升交通大数据分析研判能力327.3 提升交通案件侦破能力327.4 提升交通监管能力321 系统概述1.1 系统背景随着经济迅猛发展,机动车辆不断增加,道路交通拥堵、交通肇事现象也越来越严重。交通管理部门部署了大量交通监控设备对道路交通情况进行监控,这些设备24小时不间断捕获过车数据和图像数据,产生了海量的历史记录。在此情况下,如何利用先进的技术手段,对交通监控设备采集的海量的、格式多样的数据进行深度分析应用,对海量数据进行查找、关联、比
4、对等处理,实时发现其中潜在的问题并预警,成为当前迫切需要解决的问题。主要体现在以下两个方面:一是交通管理部门的现有系统还处于结构化数据处理模式架构体系中,要实现对城市道路交通的整体运行状况、车辆出行规律等方面以日、月甚至年为时间粒度进行数据分析还存在不足。二是交通管理部门的现有系统在对这些具有逻辑关联的海量多源异构数据处理过程中,数据存储结构、处理种类、处理效率等方面仍存在不足,不能满足持续扩大的交通管理数据规模以及对数据深度快速挖掘和应用需求。 交通管控大数据平台构建了一个支持横向扩展,具有分布、并行、高效特点的大数据处理平台的体系架构。综合运用云计算、云存储、并行数据挖掘、图像识别等技术,
5、开展数据的存储、挖掘、联动、分析。通过将电子监控设备的数据、图像等异构的数据资源接入大数据处理平台,通过分布式存储和并行数据挖掘,提供在线实时分析模式和离线统计分析模式两种应用模式,对交通管理的各类大数据全方位地进行实时和离线分析处理。可以将隐藏于海量数据中的信息挖掘出来,可全面掌握道路通行情况,为策略制定、分析研判、行动部署提供依据,大大提升综合管理的集约化程度。1.2 系统意义(1)信息查询和预警分析借助在线实时分析、离线统计分析和数据共享等手段,通过接口与集成指挥平台等各个业务系统关联,高效开展交通管理工作。例如通过分析一段时间内的过车信息进行查询分析对比,确定该时期造成交通拥堵的主要原
6、因和发展趋势,对交通拥堵的发生进行一定的预测和判断,并采取相应的管控措施控制诱发交通拥堵的原因,科学预防交通拥堵。(2)多维度布控打击违法犯罪通过车辆特征二次识别比对,可对特定车辆的局部特征进行提取分析和建模,在车辆号牌信息缺失(套牌、遮挡号牌或无牌)情况下,按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合布控报警,准确快速地实现特定车辆追踪与锁定,获取车辆真实行踪,将有价值的图片数据提供给公安刑侦部门,为侦破交通肇事逃逸案、利用机动车作为犯罪工具的刑事案、以及抢劫出租车等恶性案件提供线索和证据,为刑侦部门确定线索侦查破案提供支持。(3)大粒度的数据分析为决策提供支持通过交通流大数据采集
7、存储、流量查询分析,车辆特征研判、车辆轨迹分析等深度应用,系统不仅仅可以实现对车辆和人员的分析研判,通过大量数据的积累和变化规律进行深度的信息挖掘,帮助决策者和管理者提供有价值的线索信息,同时结合车驾管数据库,开展交通信息综合分析研判。1.3 研发原则项目建设总体上坚持“结构上的整体性、技术上的先进性、使用上的稳定性、经济上的合理性、实施上的安全性、操作上的友好性、升级上的可拓展性”原则,建设综合信息的统一管理、展示、控制平台,制定安全可靠的集成规范,完成各业务系统的智能协调联动功能,实现资源集成、数据集成、业务集成、控制集成和展现集成。1、实用性原则项目采用技术和解决方案应该具有很强的实用性
8、,系统建设应始终贯彻面向应用、注重实效的方针,坚持实用、经济的原则。2、先进性原则采用先进、成熟的方法和技术,各种先进方法和手段应该充分考虑阜阳市社会可行性、法律可行性、管理可行性、技术可行性。既注意概念、技术和方法的先进性,又要注意成熟性。使项目能反映当今的先进水平,并具有一定的发展潜力。3、资源共享信息资源共享是本项目的主要项目目标之一,需要注意本项目与业主方已建智能交通信息化成果之间的信息互联与资源共享。4、可持续性系统设计采用合理的、有弹性的架构,并预留有一定的接口,保证系统能进行不断的完美和扩展。5、开放性和标准性注意遵循相关的技术标准和行业标准,并采用合理的系统架构,不采用垄断技术
9、,保证系统的开放性和标准性。6、可靠性和稳定性从系统结构、技术措施、设备性能、系统管理、厂商技术支持及维护能力等方面着手,确保系统运行的可靠性和稳定性,达到设计的最大平均无故障时间。7、安全性和保密性在考虑信息资源的充分共享的同时,注意对信息的保护和隔离,采用系统安全机制、数据存取的权限控制等方案解决系统安全性问题。8、扩展性和易维护性采用先进的软件工程理论、良好的系统设计,以及分层和代理的方法等方法,保证实现的系统层次清晰、模块合理,接口协议开放,保证系统的扩展性和易维护性。1.4 系统内容交通管控大数据平台由5类服务器组成,包括:数据接入服务器、数据库服务器、流处理服务器、二次识别服务器、
10、应用服务器。(1)数据接入服务器:统一接入卡口、电警过车数据和过车图片,并按大数据架构统一转换管理。(2)数据库服务器:管理节点作为主服务器,管理Hadoop文件系统的命名空间和客户端对文件系统的访问操作。可进行节点安装、配置、服务配置等,对Hadoop服务器进行实时状态检测。数据节点管理存储的数据,支持PB级数据和图片存储和数据索引管理。(3)流处理服务器:基于Spark的大数据云计算技术,支持高速查询和低延时的统计能力,实现亿以上的过车记录大数据量秒级检索能力。(4)二次识别服务器:于大数据下深度学习的图像识别技术,支持车辆号牌、品牌型号、车身颜色、车辆型号等信息关联比对。(5)应用服务器
11、:部署交通管控大数据平台系统软件和数据发布软件。2 需求分析2.1 业务需求2.1.1 面向交通管理的大数据业务需求随着城市交通拥堵问题顽固化、复杂化和多样化,交通管理工作面临着从事后分析向事前研判预警拓展、从历史统计向在线分析挖掘拓展、从简单应用向综合服务评价拓展的内在需求发展方向。并对管辖范围内的车辆出行规律等方面以日、月年为时间粒度进行实时和历史统计分析,并对现有信息开展任意范围内的快速检索和实时统计分析,并将结果可视化显示。2.1.2 面向交通安全的大数据业务需求管理路面违法、假/套牌、肇事车辆、黑车等重点布控车辆、维护交通安全和事故处理是交管部门的另一项行政管理职能。基于大数据系统,
12、通过大量历史数据对涉案车开展比对,形成对涉案车辆行为的分析及涉案车辆的匹配分析,为精确打击违法行为提供证据,按照车辆特征进行布控,有效提升现有违法查处的精准打击和查缉布控能力。2.2 功能需求2.2.1 基于大数据的在线统计和离线分析需求以总量统计、信息查询等业务数据检索的后台软件模块为支持,通过大数据系统备份或抽取历史数据资源,重构数据结构,并为每一种应用添加算法模块,实现对大批量信息检索及统计分析的实时处理。2.2.2 基于大数据的车辆特征分析需求 以基于海量卡口数据获取车辆出行OD,挖掘车辆通勤出行行为,分析车辆通勤行为特征与交通拥堵相关性分析,研究拥堵路段车流集散、车辆属地属性发展变化
13、规律。准确统计道路交通、卡点进出车辆流动情况,为合理调配警力、提高车辆管理水平提供科学依据。2.2.3 基于大数据的违法事故分析需求基于大数据系统进行违法和事故数据的关联分析,从不同视角研究违法和事故成因,定期将交通违法、事故的相关驾驶人特征与车辆特征进行分析,按类掌握违法、事故中高发、易发的驾驶人与车辆,为重点管理的群体提供数据支撑。通过大数据平台对交通违法、事故数据及属性开展关联分析,定期将违法、事故与驾驶人特征,包括培训考试过程、工作单位、家庭背景等因素,与车辆特征,包括品牌、车型、营运性质、号牌属地、车身颜色、车辆保养等因素,与道路特征,包括道路类型、线性、天气、时间、环境、设施等相关
14、联的,集中分析掌握违法、事故中高发、易发的驾驶人、车辆和道路,为管控提供最为真实的资料和依据。2.2.4 基于大数据的勤务快速处置需求在岗执勤民警通常负责的是一个区域的交通管理工作,很难掌握管辖区域内所有路口路段的实时交通状况。基于对过车流量特性的大数据分析,可为交管人员分析管辖区域内交通流量情况,为在岗执勤民警提供更加准确的拥堵点,有助于交管人员日常勤务安排和以及上下游及时联动和快速反应。2.2.5 基于大数据平台的车辆特征二次识别需求过车图片里面包含了很多信息,这些信息是卡口设备本身无法有效识别出来的信息,例如车辆品牌、车辆型号等。基于大数据系统的车辆特征二次识别技术从根本上克服了传统车辆
15、检索只能按照号牌进行单一查询的功能缺陷,实现了按照车辆品牌、型号、颜色、类别以及局部特征等自定义组合查询和模糊查询强大功能。在不改变现有卡口设备的情况下,就能够挖掘出更多的车辆特征,便于实现更多应用,有效利用了现有卡口设备,降低不必要的卡口重建投入。2.2.6 基于大数据平台的技战法需求 通过过车图片、行驶行为特征分析和人员、车辆档案关联分析,确定各类涉案人员/车辆的详细信息。以全库精细搜索和模糊查询,实现一定时间内经过各采集点特定车辆行车轨迹分析,记录轨迹路线信息并在GIS地图中进行可视化展示和报警,形成行驶轨迹数据的高速检索。对同一辆车在多个监控点出现的轨迹进行时空分析,实现对任意时间和地
16、区范围内重点车辆行驶规律的分析研判,并预测一定时间内高概率出现的区域。2.3 性能需求2.3.1 高并发实时数据采集需求采用Kafka消息队列,良好兼容Hadoop系统,可通过SQL访问,延迟在2秒内。2.3.2 海量数据存储需求采用Hadoop和HDFS文件系统,具备PB数据级别的在线存储能力,数据容量可动态扩展。2.3.3 分布式流处理需求采用Spark Streaming,支持分布式数据集上的迭代作业,每一个批次的数据的时间间隔在100ms。2.3.4 车辆二次识别需求可检测200万、300万、500像素的图片,单张图片处理速度平均为0.1S,单台日处理最多为80万张,检测正确率85%。
17、3 架构设计3.1 总体应用架构交通管控大数据分析研判平台分为数据层、采集层、处理层、存储层、应用层等层次架构。系统总体结构如下:采集层:通过设备系统接口或稽查布控系统接口,通过kafka消息总线接入所辖范围内的设备上报的车辆通行文本信息、图像信息、设备状态信息。处理层:系统通过Spark流计算模块,对海量过车数据进行二次比对分析,流计算模块根据系统设置的报警条件,可实时进行多种比对计算。存储层:包括Hadoop数据库,用于存储海量结构化数据和非结构化数据。可通过动态增加节点,提升吞吐能力,扩展存储、查询、分析性能。应用层:包含实时预警、信息检索、信息查询、统计分析、技战法分析、车辆布控等功能
18、。3.2 软件框架结构3.3 网络部署架构平台部署在公安网内,设备专网数据通过边界交换平台进入公安网,数据库服务器、流处理服务器、二次识别服务器可根据数据量规模动态调整。如下图所示:3.4 数据流结构平台通过Kafka消息总线汇聚各类道路交通信息、通过Spark进行实时流计算,通过HBASE/HDFS进行分布式存储,通过MapReduce进行分布式计算,通过应用服务器的数据接口,将结果分发给集成平台和各类基础应用系统,进行信息检索和分析研判。如下图所示:3.5 关键技术路线平台采用X86架构通用服务器、“云计算-分布式”架构,实现实时流式计算、分布式数据存储、高性能并发读写以及分布式计算机分析
19、挖掘。与六合一、PGIS、等平台有机结合、一体化应用。流数据处理软件支持Kafka消息队列,良好兼容Hadoop系统,可通过SQL访问,延迟在2秒内;高可靠、高容错、高扩展、高吞吐、充分利用系统资源。支持小批量处理模式,每一个批次的数据的时间间隔可以短至500毫秒。系统数据库服务器操作系统可选用UNIX、WINDOWS,数据库采用Oracle,要求10g以上版本。应用服务器操作系统可选用WINDOWS、UNIX、LINUX,应用中间件采用Tomcat或WebSphere,Tomcat要求版本6.0以上,WebSphere要求6.1以上版本。系统技术实现架构采用JAVA;具体应用上采用以B/S多
20、层架构的分布式应用架构。3.5.1 Hadoop技术Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。优点如下:Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、
21、高效、可伸缩的方式进行数据处理。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理PB级数据。此外,Hadoop 依赖于社区服务,因此它的成本比较低,任何人都可以使用。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:Hadoop带有用Java语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 交通 管控大 数据 分析 研判 系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【天****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【天****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。