大大数据可视化分析报告平台介绍.doc

大数据可视化分析平台一、背景与目的基于邳州市电子政务建设的基本支撑环境，以基本信息资源库（人口库、法人库、宏观经济、地理库）为基本，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及有关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时理解我市发展的综合状况，及时掌握发展动态，为政策拟定提供根据。充足运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合既有数据资源，结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理，法人与地理，实现基本展示与分析，融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为都市管理、产业升级、民生保障提供有效支撑。二、政务大数据平台 1、数据采集和互换需求：通过对各个委办局的指定业务数据进行汇聚，将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。涉及数据互换、共享和ETL等功能。2、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大，数据类型繁杂，数据需要持久化的存储和访问。不管是构造化数据、半构造化数据，还是非构造化数据，通过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具有高可靠性、迅速查询能力。3、数据计算分析需求：涉及海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增长，需要数据平台具有线性扩展能力和强大的分析能力，支撑不断增长的数据量，满足将来政务各类业务工作的发展需要，保证业务系统的不间断且有效地工作。4、数据关联集中需求：对集中存储在数据管理平台的数据，通过对的的技术手段将这些离散的数据进行数据关联，即：通过度析数据间的业务关系，建立核心数据之间的关联关系，将离散的数据串联起来形成能体现更多含义信息集合，以形成基本库、业务库、知识库等数据集。5、应用开发需求：依托集中数据集，迅速开发创新应用，支撑实际分析业务需要。6、大数据分析挖掘需求：通过对海量的政务业务大数据进行分析与挖掘，辅助政务决策，提供资源配备分析优化等辅助决策功能，增进民生的发展。采用新型MPP数据库+Hadoop的融合架构，使用MPP解决PB级别的、高质量的构造化数据，同步为应用提供丰富的SQL支持能力;使用Hadoop解决海量半构造化、非构造化数据，从而满足顾客多种数据的解决需求。智慧政务：基于分布式计算、存储框架，面向政府不同价值的数据源，通过采集、存储、建模、挖掘等大数据技术，在社会保障、公共安全、人居环境、劳动就业、文化教育、交通运送、综合治税、消费维权、精确扶贫等领域开展大数据应用，优化公共资源配备，提高公共服务水平。协助政府增进经济发展、完善社会治理、提高政府服务管理能力、服务改善民生，哺育壮大新兴产业。如下图所示的政府综合决策分析系统，运用大数据分析平台，采集并分析多种部门共享上传的业务数据，为政务部门提供决策支持。如下图所示的政府效能监察大数据系统，通过对各类政务服务事项，全市各个部门单位的政府网上办事流程进行多维度，高效的及时监察、分析，从而对办事效率低下的职能部门和审批人员实现高效监督；找出设立不合理的办事流程，增进政府办事流程的优化。实现政府部门网上办事多维度的数据分析挖掘，秒级呈现效果，让决策者一目了然发现问题，提高政府的服务水平。基本信息融合应用展示分析基于政务大数据平台开发或构建的各类系统如四大基本库系统、业务主题库系统，通过政务大数据平台信息枢纽的作用，各系统不需要再与任何政府部门业务系统对接，而直接从政务大数据平台关联形成数据，为政府业务办理提供支撑。三、视频云构造化分析系统视频云构造化分析系统可实现视频中车辆和活动目的的构造化信息提取，提取属性丰富，精确度高；支持智能构造化分析后文本信息和图片信息的存储和检索；支持动态扩容，智能分析性能随着设备数量增长呈线性增强；支持第三方原则视频流的接入和智能分析应用；支持本地录像的智能分析；系统自带IE界面，提供智能检索、数据记录、布控报警、任务管理、资源管理、集群管理、系统校时、日记查询等功能。1.车辆大数据分析车辆图片以图搜图车辆以图搜图是基于图片的搜索模式，通过图片建模后特性向量的比对分析，并且在被搜索图片中选择特性区域进行二次比对，从图片库中检索出符合条件的图片，并根据相似度返回比对成果。精确率比单纯建模后特性限量比对高50%。过车数据解决服务过车数据解决涉及过车数据检索、智能研判、OD分析、记录分析等几大类。过车数据检索过车数据检索是通过全文检索技术，对海量过车数据进行迅速检索，支持精确查询、模糊查询、多条件组合查询。支持千亿过车数据中秒级查询到成果。过车数据检索具体涉及如下功能：一般过车查询支持根据模糊条件、组合条件进行过车信息的查询。可选的条件涉及卡口、车牌、车型、时间段等。针对只懂得部分车牌信息的车辆可以输入“*”代表多位，“？”代表一位号码，进行模糊匹配。违法车辆查询支持根据组合条件进行报警车辆的查询，违法车辆涉及超速行驶、闯红灯等车辆，可选条件涉及卡口、时间段等。未辨认车辆查询支持根据组合条件对未辨认车辆进行查询，未辨认车辆涉及非机动车辆、没有车辆通过确拍照的、只抓拍下部分车牌的车辆、对的抓拍却未辨认出的车辆，可选条件涉及卡口、时间段等。布控报警查询支持对布控的车辆及布控产生的报警进行查询。异常牌照查询支持根据组合条件对异常牌照的车辆进行查询，异常牌照涉及假牌、套牌等，可选条件涉及卡口、时间段等。红名单查询支持对红名单车辆进行状况。行车轨迹查询支持根据行车轨迹对过车信息进行查询。2.智能研判智能研判是通过对海量过车数据的分布式计算分析，迅速挖掘出其中有价值的信息。智能研判具体涉及如下功能：行车轨迹智能研判车辆轨迹智能研判功能涉及对精确目的、模糊目的两类车辆进行轨迹智能研判。精确目的车辆轨迹智能研判：分析特定车辆在一段时间内通过多种信息采集点形成的行车轨迹，在PGIS上重现该车辆的行车路线。“特定车辆”是指查询者明确该车辆的车牌号码，至少清晰车牌号码中绝大部分字符及精确的排序位置，在查询过程中也可辅以精确的车身颜色或车型等其他特性信息缩小系统筛选范畴。“特定车辆”行车轨迹出目前信息平台的PGIS地图上，单击任一采集点的卡口图标，能重现当时车辆被捕获抓拍的高清照片。若查询者确认该车辆为嫌疑车，则可启动布控报警与实时跟踪功能，当该车下一次穿过任意卡口（或卡口式电子警察）时，系统将自动报警并提示监控人员，同步该车在未拦截之前，PGIS地图上将实时显示其后续穿过的卡口位置、行车轨迹、趋势方向等信息。模糊目的车辆轨迹智能研判：当侦查或目击者提供的车辆特性信息不明确时，结合有限的车辆特性信息和车辆逃逸方向，综合目击者发现它的时间段、有限的车辆特性信息、逃逸方向范畴内的卡口等客观条件进行检索查询，在PGIS上勾勒出同步满足上述条件的所有车辆的行车轨迹，在查询过程中也可辅以精确的车身颜色或车型等其他特性信息缩小系统筛选范畴。为侦查办案工作进一步开展提供参照根据，例如：提供这些有关车辆的高清照片，其中涉及清晰的车牌号码、车辆轮廓特性（车型、车品牌）、驾驶员面部特性等。短时通过车辆智能研判短时通过车辆智能研判是通过区间测速功能，对通过区间的时间在设定阈值内的车辆进行研判。短时通过车辆智能研判一方面有助于将长期超速行驶的车辆纳入治超名单，通过安装在街面的LED信息发布屏对其进行公示、警告；另一方面有助于公安交通管理部门记录分析哪些路段发生超速行驶的次数最多，以辅助决策与否需要对这些道路进行加强管理，消除潜在的交通事故隐患。跟车关联智能研判跟车关联智能研判是针对刑侦时犯罪团伙车辆常常结队活动的特点，对犯罪嫌疑车辆进行信息查询时，根据车牌省份地区分析其相邻车辆号牌，挖掘出有关联的车辆，为办案提供线索。根据犯罪嫌疑车辆的车牌号码、车牌种类、车辆通过时间、分析时间间隔、路口名称及车道号这几种条件筛选出与犯罪嫌疑车辆有关联的车。选定车牌号码、时间段、路口等信息，通过设定的跟车间隔时间大小，分析出与此车辆关联的其她车辆过车信息。套牌嫌疑智能研判套牌车辆智能研判功能重要涉及基于车辆多种特性交叉比对的研判分析和基于行程时间的研判分析两大类。基于车辆多种特性交叉比对的套牌车辆智能研判：综合分析车辆号牌、车型、车身颜色等车辆特性，自动发现套牌车辆，由于车牌号码辨认精确率最高，选择车牌号码为基准参数。例如：在都市内发现车牌号码一致，但车型不同，或者车牌号码一致，但车身颜色不同，那么其中1辆一定是套牌车，在认定过程中将借助来自车管库的登记信息。基于行程时间的套牌车辆智能研判：在PGIS地图上，以卡口、卡口式电子警察布点较密集的路段为中心划定几种区域，区域之间设定期间差，对多种区域内的通行车辆进行交叉比对，如果发现车牌号码相似的车辆，那么其中1辆一定是套牌车，在认定过程中将借助来自车管库的登记信息。其原理是在现实环境中同一辆车从一种区域跨度到另一种区域的行程时间不也许不不小于设定的时间差。频繁出入车辆智能研判频繁出入车辆智能研判是分析一段时间内车辆通过某一种或某几种卡口的频度，当频度不小于设定值时，觉得该车辆活动异常，并可显示车辆的活动轨迹。该信息可用于车辆预警，同步提供记录报表，支持打印、保存及数据导出。区域碰撞智能研判区域碰撞智能研判是运用数据碰撞技术来加速车辆特性信息的提取工作，例如在两个卡口或两个区域的所有卡口之间进行数据遍历，找出符合检索条件的车辆。根据嫌疑人会用类似的手段持续作案的动机原理，当在一定期间范畴发生作案手段类似的案件，对于指定的两个或两个以上区域范畴内的所有卡口为基点，在指定的时间范畴内，通过遍历搜索的方式，碰撞搜索并精拟定位具有相似车牌号码的机动车，可以迅速发现不同区域涉案嫌疑车辆之间的关联性。初次入城智能研判在选定期间段和路口时，查询所有初次通行选定路口的车辆的过车信息，对于任意车牌号码只记录初次通行的一条过车信息。选定路口名称、车牌号码、时间段，分析得到该时间段内选定的车牌号码初次通过该路口时的过车信息。违法多发时间段智能研判通过对特定期间段内违法车辆的记录分析，可分析出哪些时间段内交通违法事件较多，如国庆期间、大型活动期间等。根据分析成果，有助于公安交通管理部门在这些时间段内，做出相应的对策。违法多发地点智能研判通过对特定地点的违法车辆记录分析，可分析出哪些地点交通违法事件较多。这些分析成果有助于公安交通管理部门找出违法多发地点，以辅助决策与否需要对这些道路进行加强管理，消除潜在的交通事故隐患。3.OD分析支持过车数据的OD分析，涉及区间测速、车辆诱导等。区间测速支持卡口与卡口间车辆的区间行驶速度测算，通过两个卡口之间距离除以车辆穿过两个卡口的时间差来计算车辆在区间通行的平均速度（平均速度公式：V区间=S区间/T区间）。车辆诱导车辆诱导是根据车流量记录、区间测速而计算出哪些路段繁忙，哪些路段空闲，并实时将这些信息显示在道路的LED屏上，根据深浅不同的颜色来标记道路的繁忙限度，协助司机判断走哪条路更加合理。4.记录分析记录分析涉及如下功能：车流量记录顾客可以按卡口单位、卡口名称、车辆类型、卡口车道进行流量记录，车流量记录可以涉及如下查询条件：按卡口使用单位查询、按卡口名称查询、按车辆车型查询、按卡口车道查询、按所选时间模式进行查询。车流量记录可以按照五种时间模式（年、月、周、日、自定义时间段）自动生成3D柱状图形式的报表（年报表、月报表、周报表、日报表、时间段报表），并且报表可以导出和打印。记录成果可以作为平常道路交通诱导和交通优化管理的根据，以便顾客定期对交通状况进行解决和总结。系统可以对车流量状况，进行数据分析，对路段堵塞、车流量异常减少、增多、断流等状况可进行智能判断并报警。车道平均速度记录顾客可以按卡口单位、卡口名称、车辆类型、卡口车道进行车速记录，记录成果可以作为平常道路交通诱导和交通优化管理的根据，以便顾客定期对交通状况的解决和总结。同步，对于超速频繁的路段，公安交通管理可加强管理，消除潜在的交通事故隐患。车头时距分析支持根据开始时间、结束时间对一种或多种路口进行车辆的车头时距进行记录分析，生成记录报表，支持根据需要生成柱状图，饼状图，对记录成果支持图形和报表的导出。车头距离分析支持根据开始时间、结束时间对一种或多种路口进行车辆的车头距离进行记录分析，生成记录报表，支持根据需要生成柱状图，饼状图，对记录成果支持图形和报表的导出。车道时间占有率记录支持根据开始时间、结束时间对一种或多种路口进行车道占有率记录，生成记录报表，支持根据需要生成柱状图，饼状图，对记录成果支持图形和报表的导出。车辆违法记录支持根据开始时间、结束时间和路口/卡口对车辆违法状况进行记录，生成记录报表，支持根据需要生成柱状图，饼状图，对记录成果支持图形和报表的导出。车牌辨认率记录支持根据开始时间、结束时间对一种或多种路口进行车辆牌照辨认率的记录，生成记录报表，支持根据需要生成柱状图，饼状图，对记录成果支持图形和报表的导出。 漏传数据记录支持根据开始时间、结束时间对一种或多种路口、下级卡口平台漏传的卡口过车数据进行记录，生成记录报表，支持根据需要生成柱状图，饼状图，对记录成果支持图形和报表的导出。