基于雷视融合的数字高速公路感知系统设计及关键技术研究.pdf

中国科技期刊数据库 工业 A 收稿日期：2023 年 12 月 21 日 作者简介：唐鑫年（1985），男，汉族，广西河池人，大学本科，广西智能交通科技有限公司，工程师，主要从事信息技术开发，系统集成，高速公路建设管理及数字化、智能化研究。-100-基于雷视融合的数字高速公路感知系统设计及关键技术研究 唐鑫年 潘洪强 程贵星 吴 崑 韦 榛 广西智能交通科技有限公司，广西 南宁 530022 摘要：摘要：基于雷视融合的交通感知系统成为当前数字高速公路建设的主流方案。本文对雷视融合交通感知系统的总体框架进行了设计，并提供了多场景适配的感知设备部署方案，对该感知系统中核心功能进行了简要说明。同时对系统中雷视融合检测、车辆轨迹拼接两大关键技术进行了阐述。最后结合工程实践应用，对该套感知系统的应用效果进行了介绍。本文系统采用了 4D 成像雷达结合枪机、球机视频检测设备，解决了精细化感知能力不足，实时连续感知能力偏弱、监测人力投入大等问题，从架构上为高速公路数字化建设和车路协同自动驾驶的落实提供了可靠性解决方案。关键词关键词：数字高速公路；雷视融合；4D 成像毫米波雷达；车辆轨迹拼接 中图分类号：中图分类号：U491 0 引言 我国高速公路发展已取得令世界瞩目的成绩，其中高速公路通车里程已连续十年位居世界第一1-2。高速公路作为国家交通运输体系的重要组成部分，承载着城市之间人员与货物的流动需求，是区域经济稳定发展的总要基石。此外，相比其他道路场景，高速公路有着道路封闭、运行独立、软硬件基础良好等特性，适宜数字技术和新型智能系统的试验、落实和应用，同时为车路协同、自动驾驶技术的应用落地和商业推广提供了优先场景3。在当前数字经济发展机遇期，传统行业积极引入数字技术进行产业变革，交通运输领域陆续出现“数字交通”、“数字道路”、“数字高速”等业内热词，显示着数据驱动的数字化发展模式与技术实现路径在交通领域逐步深入，并落实到具体高速公路场景上。作为“数字交通”、“数字道路”的进一步延伸，“数字高速”更加聚焦到高速公路道路本身，注重对高速公路基础设施的数字化改造与智能化管理，强调从数据源出发到场景应用的链条式建设模式。其中全面的交通感知能力是数字高速建设的重要前提，要对高速公路场景中的“人-车-路-事件-环境”进行全面、智能、实时、准确地检测，及时主动感知异常情况，才能为数字高速后续自主决策、应急指挥、精准管控、精细服务等应用提供数据支撑。目前，高速公路运行监测虽然得到了长足发展，但仍存在监测区域有限、感知盲区较多、雨雪雾夜间检测不佳、事件检测不及时等情况，影响高速公路数字化建设的进程。前端视频设备探测距离短，受天气、环境、光线影响严重，尽管机器视觉技术的发展一定程度缓解了部分问题，但视觉结构化成本较高。因此以视频图像为主的高速公路交通运行监测系统，存在精细化感知能力不足，实时连续感知能偏弱、监测人力投入大等情况。而毫米波雷达是利用无线电进行探向、测距、测速，相比视频、激光雷达等光学探测设备，不受天气、环境、雨雪、灰尘等影响，具备探测距离远、全天候、高精度、多目标跟踪等属性。而毫米波雷达中的 4D 成像雷达，有着更加丰富的 4D 高分辨率点云信息，可以对目标进行更加精准地测距、测速、测角和测高，可以提供更为精准连续的轨迹跟踪和人车非的识别分类，能够更好地适配数字高速车路协同应用场景，支持自动驾驶超视距感知，提供车辆实时高精度位置信息等多维数据。但雷达由于自身技术特性限制无法目标特征化信息识别，如目标颜色、车辆车牌等。而视频监控能够利用较为成熟的图像识别算法来弥补这一缺陷。因此，近年来，毫米波雷达与视频监控的一体化部署建设模式逐步成为当前高速公路交通运行监测系统的主流方案。基于高速公路信息化现状，本文提出了一种 4D 成像雷达融合视频图像的数字高速感知系统设计方案。中国科技期刊数据库 工业 A-101-该方案以 4D 成像雷达感知为主，采集高速路交通动态数据，包括实时单车轨迹、交通态势以及交通事件等；采用边缘计算技术，通过构建统一时空坐标基准，将雷达与视频画面结构化进行融合，形成全要素感知一体化，适应各类复杂环境，达到全天候广域化感知，并联动球机，对事件进行及时取证；同时以边缘计算为核心，将连续雷达群组进行感知视野拼接融合，从而构建全天候、实时、高精度、广域的高速公路交通感知网络。1 系统方案 数字高速公路感知系统，是基于信息化管理的基础上，以雷视融合为技术核心，建设高速公路交通感知系统，将原来粗放式监测数据细化到毫秒级车道级的轨迹数据，面向“监测-分析-联动-处置-发布”等业务应用，输出针对性数据，从而提升高速公路智慧化管理水平。1.1 总体框架 基于雷视融合的数字高速感知系统总体架构，从下至上主要分为四个部分：设备层，是指所有布设于公路外场端的设备，包括前端感知设备、边缘计算设备、诱导灯系统、信息发布设备等，其中前端感知设备主要有 4D 成像雷达、视频监控设备、气象环境监测设备，信息发布设备有情报板、车道级诱导灯。网络层，用于边缘端与边缘端、边缘端与中心端的数据传输，即：路侧组网与中心组网；为满足计算时延要求，常见的传输通道可以使光纤专线、5G 公网。支撑层，又称中间件层，是指面向通用服务，形成的专业化数据处理或运营的组件或子系统。公路 BIM，用于展现道路三维虚拟结构以及设施静态属性数据；大数据平台，用于结构化与非结构化数据的离线或在线处理；物联网平台，为了便于管理外场多类机电设备而建立的统一化接口监测系统；交通仿真引擎，基于雷视感知数据，并融合交通仿真技术，对交通流历史回溯、实时在线、预测仿真。应用层，面向具体业务、具体场景所实现的有效解决方案与功能，主要包括三维全景展现、设备可视管理、交通全息监控、道路态势管理、交通运行控制、应急救援处置、智慧养护、车路协同等。图 1 数字高速公路感知系统构架图 图 2 数字高速公路感知系统网络拓扑图 图 3 感知系统部署方案 1.2 感知设备部署 路侧感知技术的应用是数字高速公路建设中不可或缺的一环。不同的感知设备有着不同的设计原理和工作机制，在不同的场景中表现出不一样的性能。本文根据高速公路现有道路设施条件、不同道路场景、不同传感器的特性，提供感知系统部署方案。1.2.1 方案一：同向布设 单台雷达安装在路侧杆件上（可利旧安装），实施单向检测部署模式。为保障车辆轨迹连续性，相邻杆件之间的直线控制距离在 400m 之内（成像雷达的检测距离为 500m），若遇到坡道、弯道等环境，相应缩减设备之间的部署距离，宜在 250300m。该方案横向检测范围覆盖单向（即车道数4 车道）。如图 3 中方案一中国科技期刊数据库 工业 A-102-所示。每个杆件标准安装 1 台 4D 成像雷达、1 台结构化枪机、1 台球型摄像机。4D 成像雷达检测面向车尾，检测去向车辆，安装高度为 68 米；枪机面向车尾、检测去向车辆，与 4D 成像雷达同高度安装；球型摄像机，安装高度为 812m，覆盖前后共 400 米的范围。该方案采用每4台成像雷达配置1台边缘计算设备的部署模式。1.2.2 方案二：背靠背布设 2 台雷达背靠背安装在中央隔离带 T 型杆上（可利旧安装），实施双向检测部署模式。为保障车辆轨迹连续性，相邻杆件之间的直线控制距离在 900m 之内，若遇到坡道、弯道等环境，相应缩减设备之间的部署距离，宜在 500700m。该方案横向检测范围覆盖双向（即车道数8 车道）。如图 3 方案二所示。每个杆件标准安装 2 台 4D 成像雷达、1 台结构化枪机、1 台球型摄像机。4D 成像雷达支持双向 8 车道检测，安装高度为 68 米；枪机面向车尾、检测去向车辆，与 4D 成像雷达同高度安装；球型摄像机，安装高度为 812m，覆盖前后共 400 米的范围。该部署模式采用雷达背靠背安装方式，杆件下存在感知盲区。为保证检测连续性，本方案开发了盲区补全轨迹拼接算法并在实际工程项目中得到验证。该方案同样采用每 4 台成像雷达配置 1 台边缘计算设备的部署模式。图 4 其他场景部署方案 1.2.3 其他场景部署方案 本文对出口匝道、入口匝道、收费站等其他场景，结合场景交通流特征及管控需求，提供针对性部署方案（如图 4 所示）。其部署要求如下：出口匝道布设要求：在出口匝道前方主线布设雷视一体机，覆盖前方道路以及分流区域；在匝道上游布设雷视一体机，覆盖分流区及匝道，形成融合。入口匝道布设要求：在入口匝道前方主线布设雷视一体机，覆盖前方道路以及合流区域；在匝道上游段布设雷视一体机，覆盖匝道及合流区，形成融合。高速收费站布设要求：在收费站出入口处部署雷达设备，对出入口车队进行监测（具体部署如图 5 所示）。图 5 收费站出入口雷达部署方案示意图 1.3 感知系统功能 1.3.1 雷枪车牌车型拟合 雷达与枪机融合，充分发挥结构化枪机的视频感知能力，能够识别车辆特征信息，如车牌、车型、车身颜色等，同时结合雷达对于目标位置、速度感知的优势，让感知到的车辆目标信息更加全面，上层平台可应用程度更高。1.3.2 雷达车辆轨迹拼接 基于边缘计算单元，利用多雷达目标接力技术实现车流轨迹拼接，可以捕获车流的类型、位置、速度等，实现运行轨迹记录完整、精细、有效的记录；前端的车辆轨迹拼接工作主要包括两个部分：一是场景化节点的拼接：包括连续路段的车辆轨迹拼接，由前端边缘计算单元完成；二是边缘计算设备之间的轨迹拼接可由相邻的边缘计算设备或后端系统平台完成。1.3.3 雷球事件联动抓拍 基于雷达监测的实时轨迹数据，对南北主路路段的个体车辆行为、群体车队行为进行分析研判，比对不同行为特征，得出相应交通事件信息能够实现交通拥堵、违规变道、停车、逆行、超高速、超低速、占用应急车道等多种异常交通事件的精准监测，输出事件的定位坐标和时间，管控平台能够依据事件坐标和时间调取球机输出视频监控画面，作进一步分析确认，实现交通运行动态全事件监测。2 关键技术 2.1 雷视融合检测技术 单一传感器均存在一定的劣势，如视频监控设备，中国科技期刊数据库 工业 A-103-元数据坐标是像素坐标系，是二维坐标，缺少深度，同时受限于光照、环境影响严重；而 4D 成像雷达直接获取目标点云信息，可以对目标进行更加精准地测距、测速、测角和测高，但缺乏目标属性、纹理特征，在交通应用中，难以识别车牌和车型等信息。因此多传感器的数据融合技术成为当前数字高速公路建设和车路协同应用落地的必要手段。综合考虑项目现场条件、道路场景、业务需求等，本文提供分为两个阶段的雷视融合检测技术。一是时空同步阶段，二是融合阶段。2.1.1 时空同步 雷达与视频信息融合的基础是保证多传感器的时空同步7。一般情况下，毫米波雷达和视频采集的工作频率不一致，坐标系迥异，同时高速场景下的车速较快，两个设备之间存在一定的时间差异和空间差异，很容易造成后续误检和漏检，因此有必要对设备做时空同步处理。图 6 轨迹融合拼接示意图 时间同步 首先是设备间的时间同步操作。若检测设备支持硬同步，即通过脉冲的方式，在特定的时间出发采集，使得雷达和视频图像能够同步8。但可硬同步的设备情况相对较少，本文采用自适应时间同步算法对雷达和视频采集后的信息数据进行时间同步处理。即不需要雷达与视频的时间戳一直，只要保证两个设备最新帧时间戳的差值低于一定阈值，即可作为融合对象。空间同步 雷视融合技术中空间同步的关键是坐标系的转换9。空间同步主要涉及毫米波雷达坐标系、大地坐标系（世界坐标系）、相机坐标系、像素坐标系 4 个坐标平面的转换。本文主要以大地坐标系（世界坐标系）为基准，构建毫米波雷达坐标系-大地坐标系、像素坐标系-相机坐标系-大地坐标系的转换矩阵。2.1.2 数据融合 目前数据融合共分为三个层次：数据层、决策层和特征层10。其中数据级融合是基于雷达和视频检测到的数据进行关联融合，随后进行特征提取和分类从而实现目标检测，具备较高的可靠性。而后决策级融合是基于雷达和视频的检测结果进行融合，适用于雷枪车牌车型拟合场景。最后特征级融合是提取雷达的特征信息，与图像特征进行融合，一般 3D 毫米波雷达由于其特征稀疏，难以与视觉图像从特征层次进行整合，而 4D 成像雷达其点云数据丰富，有着较显著的特征优势，与视觉图像可以形成特征级融合，可适配车路协同自动驾驶场景中更高的检测要求。2.2 车辆轨迹拼接技术 相比断面数据，高精度且连续的轨迹数据记录了交通参与者的连续运动信息，对于交通驾驶行为的研究有着较高的价值11，此外实时的轨迹数据对于车路协同自动驾驶的实施落地有着较大的推动作用。由于定点传感器检测范围有限，为此，本文提出了基于雷视融合的高速公路全域车辆轨迹拼接跟踪技术，通过4D 成像雷达对车辆轨迹的跟踪提取，结合车辆轨迹特征分析，构建匹配跟踪算法，同时采用车牌数据进行校验，获取目标路段全域的轨迹数据集。拼接示意图 6 所示，当车辆进入几台雷达检测范围的重叠部分，即轨迹接力区时，边缘计算设备会根据车辆的距离信息（根据经纬度计算得到的距离）和速度信息（雷达检测到的目标的实时速度）进行判断，如果两目标距离和速度的阈值小于预设值，则判断两个目标为同一目标，此时边缘计算会将前一台雷达（即拼接拓扑关系中数据的发出方）检测到的车辆信息继承到后一台雷达（即拼接拓扑关系中数据的接收方）检测到的同一目标上，继承的信息包括车辆的 ID（边缘计算单元赋予）、车型、车长，由于车辆目标距前一台雷达的距离较远，检测结果较为稳定。3 工程应用实例 某数字高速公路示范工程应用：选取 2.4km 示范点，采用 4D 成像雷达、枪型摄像机和球型摄像机、边缘计算单元等前端设备，融合高精度地图，构建了交通感知系统。交通检测设备覆盖单向所有车道，双向布设，相邻设备预留 50 米以上重叠区，用于拼接。设中国科技期刊数据库 工业 A-104-备安装于路侧杆件，高度 6m，雷达设备背靠背安装，节省杆件，每个杆件间隔 400m，即单向 2.4/0.4=6 个杆件，共计 12 套 4D 成像雷达、6 套枪型摄像机、6 套球型摄像机。该感知系统需对目标路段全线进行全程全域化覆盖，在静态道路方面，覆了盖包括各个行车道、应急车道、匝道等场景，兼容直道、弯道等多种复杂情况；在动态交通方面，满足各类交通流的要求，如大货车比例高、平均车速高、交通拥堵交通流密度高等各种极限状态下的交通流实时监测；在环境适应性方面，能够适应高速公路外场高低温、高湿度、抗静电、抗雷等恶劣天气，在建完后系统运行稳定。在工程应用效果中，其交通数据采集精度95%，定位精度为 0.2 米，交通事件检测精度95%（其中停车事件捕获率为 98%），雷达与视频的车牌拟合精度达到 98%，车辆轨迹拼接的成功率达到 95%。4 结语 雷视融合技术在数字高速公路建设过程中的应用，能够有效解决精细化感知能力不足，实时连续感知能力偏弱、监测人力投入大等问题。本文以 4D 成像雷达为核心，融合定点的结构化枪机和球型摄像机，根据需求和场景可选取对应的设备部署方案，实现路段全域交通流实时的监测跟踪，可以精准捕获每一辆车毫米级亚米级的运动轨迹（车辆类型、位置、速度、方向、车牌等）。同时基于雷达的实时轨迹数据，对车辆行为特征进行分析，快速识别对应交通事件，并融合视频结构化特征，实现事件主体车辆车牌、特征的检测识别，为后续处置提供证据链。本文提出的基于雷视融合的数字高速公路感知系统设计方案，可有效解决当前高速公路存在的问题，为高速公路未来数字化、智慧化的建设和车路协同自动驾驶场景应用落地提供高可靠的解决方案。参考文献 1陈泽芳.2023 年中国智慧高速行业发展现状分析：行业市场规模将突破 1200 亿元，年增长率约为 13%EB/OL.中研网，2023-10-16.https:/ 2022 年底综合交通运输网络总里程超 600 万公里EB/OL.人民日报,2023-02-27.http:/ Rvid,Remeli V,Szalay Z.Towards Raw Fusion of Camera and Sparse LiDARJ.Remote SensingGeoscienceLidar,2019(1).11Dhatbale R,Chilukuri B R.Deep Learning Techniques for Vehicle Trajectory Extraction in Mixed TrafficJ.Journal of Big Data Analytics in Transportation,2021,3(1).12王俊骅,宋昊,景强等.基于毫米波雷达组群的全域车辆轨迹检测技术方法J.中国公路学报,2022,35(12).