基于路侧多机视频目标关联与轨迹拼接的车辆连续轨迹构建方法.pdf

交通信息与安全2023 年3 期第 41卷总 244期基于路侧多机视频目标关联与轨迹拼接的车辆连续轨迹构建方法*刘超1,2罗如意3刘春青1,2吕能超1,2（1.武汉理工大学智能交通系统研究中心武汉 430063；2.武汉理工大学交通与物流工程学院武汉 430063；3.湖北交投科技发展有限公司武汉 430034）摘要：针对单个相机覆盖区域有限的问题，本文提出了通过路侧多个相机获取车辆连续轨迹数据的方法。在路侧端布置多台固定相机采集视频数据，采用直接线性变换算法解决相机外参造成的画面畸变问题；通过全时域抽帧提取图片训练样本，采用YOLOv5训练车辆检测模型；针对偶发的车辆漏检情形，通过完整性检查可以筛查出此类情况并修复；针对连续多帧漏检或误检导致的目标关联问题，通过异常轨迹核查算法及数据修复工具解决；针对相机斜下方区域的车辆轮廓变形问题，采用车辆检测轮廓修复算法解决车辆在不同路段检测框大小不一的问题；提出了基于车辆质心坐标匹配的方法实现相邻机位间的车辆轨迹拼接。基于上述多机视频目标关联与轨迹拼接方法，在多机位时间同步下构建了覆盖武汉珞狮路高架桥的车辆连续轨迹数据集，轨迹数据集验证结果表明：数据集涵盖从畅通到拥堵的各种交通状态，包含多段分合流区域，数据集连续时长达到3.5 h，覆盖区域1.41 km；车辆检测模型的召回率达到93.23%，准确率达到98.51%，F1分数为95.80%；数据集包含主路及各处匝道汇入的轨迹共25 734条，其中覆盖道路全域的完整长轨迹15 004条。本研究丰富了路侧多机视频目标关联与轨迹拼接方法，有助于路侧宽域车辆连续轨迹构建及交通管理与控制。关键词：智能交通；交通视频处理；长时宽域；轨迹拼接；车辆目标关联；透视变换中图分类号：U491.4文献标识码：Adoi:10.3963/j.jssn.1674-4861.2023.03.009A Method for Developing Continuous Vehicle Trajectories throughTarget Association and Trajectory Splicing Based onVideo Data from Multiple Roadside CamerasLIU Chao1,2LUO Ruyi3LIU Chunqing1,2LYU Nengchao1,2（1.Intelligent Transportation System Research Center,Wuhan University of Technology,Hubei Wuhan 430063,China;2.School of Transportation and Logistics Engineering,Wuhan University of Technology,Wuhan 430063,China;3.Hubei Communications Investment Technology Development Co.,Ltd Wuhan 430034）Abstract:A method for developing continuous vehicle trajectories through multiple roadside cameras is proposedto address the limited coverage of a single camera.This study sets up multiple fixed cameras on the roadside to col-lect video data,and solves the problem of image distortion caused by camera extrinsic parameters through directlinear transformation algorithm.Training samples are evenly extracted from images of all time periods and road ar-收稿日期：2022-10-25*国家自然科学基金项目（52072290）、国家重点研发计划项目（2020YFB1600302）、湖北省杰出青年基金项目（2020CFA081）资助第一作者简介：刘超（1998），硕士研究生.研究方向：交通信息与安全.E-mail: 通信作者：吕能超（1982），博士，研究员.研究方向：智能网联交通、智慧公路等.E-mail:80eas,and a vehicle detection model is trained using convolutional neural network YOLOv5.For the occasionalmissed vehicles,an integrity check method can be used to screen missing vehicles and get the problem fixed.Incases where a vehicle is missed or falsely detected in multiple consecutive frames,the target association problem issolved through the use of checking algorithm for abnormal trajectory and data repair plugin.A repair algorithm isproposed to solve the problem of deformation of vehicle profile in the areas diagonally below the camera,whichsolves the problem of varying detection box sizes for the same vehicles traveling at different road segments.And amethod for vehicle trajectory splicing between adjacent cameras is proposed based on the centroid coordinates ofvehicle.The development of continuous vehicle trajectory dataset among continuous multiple cameras is achievedunder the premise of time synchronization among multiple cameras.By using the methods of target associationand trajectory splicing mentioned above,a continuous vehicle trajectory dataset covering Luoshi Road Overpass inWuhan has been developed using a time synchronization method for different locations.Study results of track dataset show that:the dataset covers various traffic flow states from free-flow to congested,including multiple diver-sion and merging areas.The dataset has a continuous duration of 3.5 hours and covers an area of 1.41 km.Studyresults of the vehicle detection model show that the recall rate of the model is 93.23%,the precision rate is98.51%,and theF1score is 95.80%.According to the data self-inspection results,the dataset contains a total of25 734 trajectories from the arterial roads and ramps,including 15 004 trajectories covering the entire road.Themethod proposed in this study provides a technical framework for target association and trajectory splicing of videodata from multiple roadside cameras,and a way of developing continuous vehicle trajectories for better traffic man-agement and control.Keywords:intelligent transportation;traffic video processing;continuous long time and wide range;trajectorysplicing;vehicle target association;direct linear transform0引言长时、宽域、高精度的车辆连续轨迹数据集是进行道路交通流特性、微观驾驶行为特性等研究的基础。例如，交通瓶颈1的产生与消散、交通波2的传递、交通冲突的演变都需要连续长时空的车辆轨迹数据作为支撑。朱顺应等3认为现在交通冲突的观测往往是某个区域内的短期观测，很难观测到事故发生前后的冲突变化过程。迫切需要真实环境下长时间、大范围的相互作用车辆精确连续轨迹追踪的数据获取手段。通常研究人员采用2种方式来获取真实环境下车辆轨迹数据：基于车载检测器采集的自然驾驶数据集，例如，Wu 等4和 Bagdadi5采用了 VTTI 的100辆汽车自然驾驶数据进行验证交通冲突度量指标的研究。通过车载定位单元，如GPS、北斗可以获取连续的车辆位置信息，此外通过车载检测单元还可以采集包含车辆油门、刹车、转向盘在内的操作信息，相较于单一的车辆位置输出，信息更为丰富，不足之处在于只能采集车辆自身数据和周边有限范围车辆数据，在实际应用场景中，难以保障观测范围内所有车辆均搭载高精定位单元且被采集到，且车辆位置信息的精度难以满足一些微观驾驶行为的研究需求；现场观测采集数据，这种方式可以采集到全域车辆轨迹数据，因此应用广泛，采集的手段也多种多样。早期，线圈检测器6被用来进行数据采集，进而用于交通管理，但这种方式采集的数据信息量有限，仅能获取到车辆存在及时间占有率等信息。采用微波雷达7、激光雷达8、视频检测器9等传感器进行数据采集成为主流，上述传感器大多安装于路侧或门架，可以供电保障设备长时间运行，采集到连续长时的数据。然而单个传感器的有效覆盖范围有限，为此，王俊骅等10提出了1种基于毫米波雷达组群的全域车辆轨迹跟踪技术方法。通过雷达组群间的车辆轨迹特征分析及匹配拼接，实现跨设备车辆轨迹的持续跟踪，构建了全时全域的车辆轨迹数据集。但受限于毫米波雷达特性，当车辆排队停车情况下无法被检测到，且无法直接获取车辆尺寸信息。视频数据具有采集方式简单、蕴含信息丰富11等特点，近年来应用广泛。无人机操作简便、可以垂直俯拍，因此广泛应用于拍摄交通视频数据12-13。业内知名的视频数据集包括德国亚琛工业大学汽车工程研究所发布的HighD数据集14，其采用无人机航拍方式覆盖道路区域420 m，数据集包括来自6个地点的累计11.5 h测量值和110 000车辆。冯汝怡等15采用南京市快速路无人机拍摄的开源航拍视频构建了航拍轨迹数据集。尽管无人机是正下方俯拍视角，可以获得较好的车辆识别效果，但受限于无人机基于路侧多机视频目标关联与轨迹拼接的车辆连续轨迹构建方法刘超罗如意刘春青吕能超81交通信息与安全2023 年3 期第 41卷总 244期的续航，只能采集到离散的分段视频片段。采用路侧固定相机拍摄的方式可以采集到连续长时的交通视频数据。业内著名的NGSIM数据集16采用的即是固定相机拍摄的方式，覆盖区500640 m，包含4个路段车辆行驶数据，累计时长2.5 h。受限于当时的技术条件，一方面识别精度不高，且没有进行长时的观测；另一方面由于视角原因，输出检测框坐标与车辆实际位置有偏差，因此存在错误或缺失的数据片段。交通管理部门可以通过路侧安装的监控相机获取高速公路节点、城市交叉口等关键区域的交通视频数据，进而服务于交通管理与控制工作。例如，通过高速路侧监控视频进行交通事件检测17；通过收费站处架设的监控相机进行特征识别，为车辆收费稽核工作提供关键信息18；通过交叉口电子警察数据统计断面过车信息，根据车头时距的分析结果进行交叉口通行效率评价19等工作。以上工作往往基于车辆特征识别结果、断面行车数据或宏观交通流信息，对全域精细轨迹信息的挖掘工作不够深入。总体而言，视频轨迹数据集构建的核心方法包括车辆目标检测与目标关联。在车辆目标检测方面，YOLOv520具有检测速度快和准确性高的特点，被广泛应用于视频目标检测工作中；在车辆目标关联方面，常用的方法为匈牙利匹配算法21。这是1种利用增广路径求二分图最大匹配的算法，根据上1帧车辆状态估计下1帧车辆的位置。该算法存在一定局限性，在车辆出现漏检的情况下可能产生轨迹误关联的情况。基于深度学习的目标跟踪方法22成为研究的热点，但往往难以满足实时性处理的要求。路侧固定相机相较于无人机可以突破设备续航的限制，从而获取连续长时的视频数据。但是大多数情况下路侧固定相机只能以倾斜视角进行拍摄。由此产生了画面畸变的问题，导致坐标标定困难，难以建立图像像素坐标与真实道路尺寸间的转换关系。对畸变图像进行校正23-24的核心在于像素插值方法的选取及转换参数的确定。同时，由于车辆自身也会被拉伸变形，若不解决这种尺寸变化问题，在进行相邻机位间拼接时会存在较大的误差，对车辆轨迹的精度与可靠性造成影响。针对上述问题，本文提出1种基于多机视频构建连续长时域轨迹数据集的方法。针对路侧倾斜视角导致道路变形的问题采用直接线性变换算法25（direct linear transform，DLT）进行校正，同时建立图像像素与真实道路尺寸间对应关系。对神经网络YOLOv5进行训练增强车辆识别并输出检测框坐标。提出1种考虑漏检情况的跨帧轨迹关联方法，针对关联后轨迹数据进行问题轨迹检查及问题帧判断，制作工具软件修复问题帧数据后重新关联。在得到轨迹数据基础上提出检测框修复方法，解决车辆因距相机较远，轮廓检测框形变大带来的精度差问题。在各机位时间同步的前提下建立跨机位轨迹拼接算法。该方法适用于路侧固定多机位的车辆识别及轨迹关联，并能实现跨机位轨迹数据的拼接，从而形成连续长时域轨迹数据集。研究成果可为道路交通流理论、交通冲突演变、交通瓶颈产生消散机理等需要连续长时域真实轨迹数据的研究提供必要的数据集支撑。1目标关联及轨迹拼接方法通过多台路侧高位的相机采集连续长时间的道路视频数据，然后通过对该视角下车辆识别数据进行修复，还原车辆真实位置信息，通过对多传感器间数据进行拼接构建连续长时域覆盖的轨迹数据集。总体框架分为数据预处理、车辆目标检测、轨迹关联、轨迹拼接等部分。每个部分具体包含以下关键内容：图像透视变换：通过透视变换算法对畸变图像进行校正，建立图像像素与实际尺寸间对应关系，同时确定每1个机位在全域的坐标转换关系；车辆目标检测：通过YOLOv5进行训练，用于路侧高空倾斜视角下的车辆目标检测；轨迹关联：建立跨帧目标匹配关联算法，建立数据临时缓存区，修复因漏检、误检造成的轨迹异常问题；轨迹拼接：利用相邻机位重叠区轨迹点信息，编写跨机位轨迹拼接算法，构建连续长域的轨迹数据集。1.1图像透视变换路侧固定机位视频采集相较于无人机航拍能采集连续长时间的数据，但由于路侧大多是倾斜视角，画面会出现透视畸变。因此有必要对变形的图像进行透视变换，使得输出的车辆检测框像素坐标更能够体现车辆真实物理坐标位置。采用DLT算法来进行图像透视变换。该算法的核心是建立原始图像像素与处理后图像像素间转换关系矩阵，计算见式（1）（2）。X=(l32l23-l22)u+(l12-l13l32)v+l12l23-l13l22(l31l22-l32l21)u+(l11l32-l12l31)v+l11l22-l12l21Y=(l21-l31l23)u+(l31l13-l11)v+l21l13-l11l23(l31l22-l32l21)u+(l11l32-l12l31)v+l11l22-l12l21u+l11X+l12Y+l13l31X+l32Y+1=0v+l21X+l22Y+l23l31X+l32Y+1=0（1）82ROT=|l11l12l13l21l22l23l31l321（2）式中：X，Y为图像转换后像素点坐标；u，v为转换前原始像素点坐标；ROT为求解的进行图像变换的系数矩阵。通过透视变换后的图像，能够在像素坐标中体现目标的物理坐标。在进行多机位轨迹拼接的情况下，结合道路实际情况确定每1个机位转换后像素点X，Y对应的统一全局坐标。1.2车辆目标检测YOLOv5作为目前主流的卷积神经网络目标检测算法，在目标检测领域具有速度快和准确性高的优势，得到了广泛应用。根据模型深度和宽度的不同，YOLOv5算法包括s，m，l，x这4种模型，4种模型复杂度逐渐增加，模型精度也逐步提升。本研究对于车辆检测的精度较为关注，因此采用模型精度最高的YO-LOv5x模型进行车辆目标检测，主要包括训练数据集制作、车辆检测模型训练和车辆目标检测3个步骤。在训练数据集方面，路侧高空定点拍摄的方式获取数据，跨越的道路区域长，跨越的时间范围广，且经过DLT变换处理，存在车辆拉伸现象。现有公开数据集难以反映此类数据特征。因此，需要考虑车辆特征、光照条件变化、道路拥堵情况等因素来进行样本制作；在车辆检测模型方面，为了提升模型的精度、泛化能力和鲁棒性，在进行模型训练时对数据进行在线增强，通过Mosaic数据增强26对数据集中图像进行随机缩放、裁剪等操作，并通过调整图像饱和度、模糊度、色调等来增加训练样本数量及模型输入的复杂性。1.3车辆轨迹关联首先对单个机位的检测结果进行轨迹关联。由于车辆目标检测中存在漏检、误检等问题，在进行车辆轨迹关联时需充分考虑。本研究考虑车辆运动学原理进行跨帧轨迹关联，基于上1帧车辆坐标与车速预测当前帧车辆出现位置，检索当前帧检测框数据进行跨帧关联。轨迹关联的基本思路见图1。针对偶发的车辆目标漏检或误检的情况设计1种数据临时缓存区机制。当发生漏检情况时，基于缓存区内当前帧预测值补齐轨迹点信息；当发生误检的情况时，错误的轨迹点会新建为1条轨迹，形成孤立杂点，通过筛查滤除。具体的关联思路如下。1）确定当前帧，逐个对目标进行判断，每个目标与缓冲区中当前帧预测位置关联，或者新建作为新轨迹的起始帧。2）若能与缓冲区中当前帧预测位置关联上，则判定为同一目标，同时进行车速计算，基于当前帧位置与车速预测车辆下1帧出现的位置，存入缓冲区。3）若不能与缓冲区内任意1个预测值关联，则判定为新轨迹。作为轨迹的起始帧，本研究中基于道路车流密度分方向对初始帧车速进行假设，进而预测下1帧车辆位置。4）若缓存区内有1个目标没有在当前帧第i帧找到关联目标，则基于数据临时缓存区的预测值补齐当前帧目标信息，若超过2帧，即第i+2帧仍未找到关联目标，则认为轨迹结束于第i-1帧；若在2帧内找到关联目标，则利用预测值进行缺失帧的补齐，通过这种方法能解决偶发的车辆某帧漏检的问题，见图2。5）关联轨迹检查，逐条轨迹分析。检查是否存在连续帧轨迹点位置异常跳变情况及是否存在轨迹不完整情况。误检的情况易形成孤立杂点或影响正常轨迹关联。通过完整性检查可以筛查出此类情况并修复。通过以上关键步骤，可得到每个机位视频中车辆连续轨迹。1.4跨机位轨迹拼接在路侧倾斜视角下车辆检测框大小为拉伸后车辆的大小，见图3。这种偏差造成同一车辆在不同位置检测框大小不一，相邻2个机位间拉伸方向不一致时严重影响了轨迹拼接的可靠性，且质心变化也可造成车速等参数不准确。即使是位置较高的航拍无人机垂直向下拍摄，在图像边缘区域也会出现这种检测框变形。因此有必要在进行轨迹关联读取第i帧所有轨迹点数据开始对第j个轨迹点进行关联判断与缓冲区内上 1 帧所有轨迹点的预测值进行关联匹配与预测值关联是否判定同一辆车，轨迹点关联j=j+1新建轨迹，作为轨迹起点预测该点在第i+1 帧的位置，存入缓冲区补充到对应轨迹第i帧数据中图1目标关联框架Fig.1Targetassociationframework基于路侧多机视频目标关联与轨迹拼接的车辆连续轨迹构建方法刘超罗如意刘春青吕能超83交通信息与安全2023 年3 期第 41卷总 244期后对车辆的检测框坐标进行修复，进而提升轨迹拼接的可靠性。检测框的修复原理见图3。MN区域位于相机视角正下方，选择该区域长度时须确保每辆车至少在该区域出现10帧。理论上，检测框越小越贴近车辆真实尺寸大小。但是考虑到偶发的检测框偏小的情况，提取每辆车质心在该区域内的所有轨迹点，计算这些轨迹点的检测框的长、宽，选择下30%分位值，该值更能反映车辆的真实尺寸。矩形框X反映了车辆真实尺寸，矩形框Y反映了被拉伸后检测框的尺寸。对于OM区域的车辆可以根据靠近相机的基准点P进行检测框修复；对于ND区域，由于处于路段边缘，检测框可能并不完整。而该区域由于位于相机下方，Q点检测是可靠的，因此基于Q点补全车辆坐标。ODMN相机正下方区域PYXQ图3检测框修复说明Fig.3Instructionfor repairingdetectionbox宽域轨迹的构建可以通过对多机位图像进行拼接后识别实现。在高空固定倾斜视角下，存在图像边缘处车辆被拉伸变形的问题，因此不宜采用图像拼接后识别的方式。在对车辆检测框坐标进行修复后，通过对多机位轨迹数据进行拼接的方式构建长域轨迹具有更高的可靠性。由于相邻机位间存在足够的重叠区，在进行了多机位对时及车辆检测框坐标修复等工作的基础上，根据相同帧车辆质心坐标进行跨机位车辆轨迹拼接。遍历当前机位的每条轨迹，逐条进行轨迹拼检测框顶点坐标检测框质心坐标目标当前帧车速（矢量）目标下 1 帧预测位置缓存区数据结构i-3 帧i-2 帧i-1i-1i-1i-1i-1 帧iiii第 i 帧有目标匹配iiii第 i 帧第i帧无目标匹配i-1i-1i-1i-1i-1 帧根据i-1、i推算根据i、i推算由i-1补齐i由i-1补齐i根据i、i推算根据i-1、i推算第i+2 帧仍无目标匹配当前轨迹终结图2临时缓存区机制Fig.2Temporarybuffermechanism选择第i号机位的数据读取第j条轨迹存在唯一轨迹点匹配第i+1 号机位匹配车辆第帧后轨迹信息加载到第i条轨迹后面是j=j+1j=j+1拼接后轨迹记录第i号机位第j条轨迹，及匹配轨迹数（0/大于 1）否提取第i+1 号机位Fij这 1帧所有轨迹点信息提取第i条轨迹倒数第 5帧帧号Fij及质心坐标开始图4轨迹拼接框架Fig.4Trajectorysplicingframework84接。多机位轨迹拼接的基本思路见图4。选定1条轨迹时，提取该轨迹倒数某 1 帧的帧号及质心坐标。遍历下游相邻机位该帧所有的车辆数据，是否存在车辆质心坐标与该车质心坐标距离在设定阈值内，存在时视为同1辆车。合并下游机位匹配车辆在该帧后的轨迹数据到当前机位匹配车辆轨迹数据后。考虑到道路车流量特别大时可能出现错误关联或关联不上的情况，在轨迹拼接时同步对可能存在的问题进行筛查并记录轨迹信息以备查验。当 1号、2号机位完成轨迹拼接后，再与3号机位进行轨迹拼接，依次完成全域轨迹拼接。2路侧多机视频采集及数据处理2.1数据采集及预处理选择武汉市珞狮路高架快速路作为现场观测对象，搭建长时宽域轨迹数据集。该路段的卫星地图见图5。在路侧因地制宜固定了6台相机进行观测，相邻机位间保留有重叠区域。6台相机覆盖了八一路至马房山隧道这一段道路，有效范围共计1.41 km，道路类型为城市快速路。视频录制规格为4K30 Hz，最终选取14：3018：00时段，6台相机均有效的视频构建长时宽域轨迹数据集。图5观测区域卫星地图Fig.5Satellitemapof observationarea通过对视频帧进行下采样方式构建10 Hz的轨迹数据集，即每秒保留10帧图像，在进行了机位间对时的前提下每3帧抽取1帧图像。最终，每个机位提取了128 000帧连续有效图像。从抽帧后原始图像中提取感兴趣目标区域4个顶点的像素坐标，目标区域的实际尺寸由卫星地图和道路标线设计规范确定。基于4个顶点前后像素值，依据式（1）解算出像素转换参数矩阵。在本研究中，转换后的图像每像素代表实际距离0.1 m。以包含交织区的3号机位为例，3号机位选取了长为205 m、宽25.1 m的区域作为目标区域。转换后图片像素大小为2 050 px251 px。2号机位原始图像见图6（a），透视变换后见图6（b）。相邻机位间转换后图像保留 150 像素的重叠（a）原始帧图像（b）透视变换后图像图6透视变换结果Fig.6Resultof directlineartransform基于路侧多机视频目标关联与轨迹拼接的车辆连续轨迹构建方法刘超罗如意刘春青吕能超85交通信息与安全2023 年3 期第 41卷总 244期区域，以确保车辆在相邻机位重叠区被完整检测到，为后续的轨迹拼接提供条件。6 个机位变换后图像拼接可以构成完整道路图像，图像像素大小为14 100 px385 px，见图7（a）。相邻机位道路应能完好拼接上，这里展示1处道路衔接段，见图7（b）。（a）道路全域图像（b）相邻机位衔接段图7珞狮路高架桥图像Fig.7Imageof LuoshiRoadOverpass2.2车辆检测识别综合考虑车辆特征、光照条件变化、道路拥堵情况等因素，从采集的6机位视频中均匀选取1 684张图像进行车辆样本制作，使用labelimg工具标注车辆目标，并将车辆类别标签统一为Car，最终共得到20 000个车辆正样本，因数据采集路段背景环境复杂，从多机位原始图像中均匀抽取200张图像制作负样本。针对大型车辆较少导致的样本不均衡问题，通过对包含大型车辆的图像进行离线数据增强，对大型车辆样本进行扩充，最终共得到24 000个车辆正样本。将数据集按8 2的比例划分为训练集和测试集，部分车辆样本数据见图5。图8车辆数据集样本Fig.8Vehicledatasetsamples基于windows10操作系统进行车辆检测模型训练，处理器型号为i7-11700K，内存为64 GB，GPU型号为 NVIDIA GeForce RTX 3080Ti，显存为 16 GB，使用开发框架为Pytorch1.7.0，CUDA10.2。鉴于本研究采集的数据存在路牌遮挡、车辆畸变模糊的问题，在特征提取主干网络中添加卷积注意力模块27（convolutionalblockattentionmodule，CBAM），聚焦图像关键信息，降低复杂背景带来的干扰。模型训练过程中参数设置见表1。表1模型配置参数Tab.1Model configuration parameters训练参数名称训练轮次数图像批次大小初始学习率最终学习率图像输入尺寸/px参数值20080.010.26406402.3单机跨帧轨迹关联模型输出的数据结构包含帧号及对应帧的车辆检测框左上角、右下角2处顶点的像素坐标，单机位数据汇总后为5列的txt文件，数据结构见表2。表2检测后输出数据结构表Tab.2Data structure after detection列号12345数据说明帧号XleftYleftXrightYright图9桥下被检测车辆Fig.9Detectedvehiclesundertheoverpass86由于观测的对象为快速路高架桥，桥下的车辆以及被误识别为车辆的道路设施在轨迹关联中会形成杂点，见图9。因此，通过区域判断滤除桥下的车辆检测框，通过检测框大小滤除被误识别为车辆的道路标志。车辆目标检测原始输出形式为图像坐标系下坐标，而图像坐标系以左上角为原点，而世界坐标系以左下角为原点。对清洗后的检测框坐标数据进行镜像处理，即在本研究中统一采用世界坐标系。轨迹关联出现的问题主要包含3类：偶发的车辆漏检导致关联不上；误检的情况形成孤立杂点；错误关联导致轨迹中断。本研究中在轨迹关联这一步通过预测值补齐缺失帧的方式基本解决了第类问题。针对第、类问题，利用MATLAB编写了检查工具程序，对每条轨迹进行自动检查。除去开始和结束时段，正常的没有问题的轨迹应是完整的，即从路段开始位置持续到结束位置，且连续帧在0.1 s间隔内车辆不会产生很大的位移。基于以上2条准则进行异常轨迹筛查：连续帧之间质心纵向跳变超过40像素或横向跳变超过15像素认为异常跳变。轨迹长度短于道路长度与车长的差值认为轨迹不完整。并在筛查出问题轨迹后判定问题帧。通过编写工具程序检查修复少数车辆识别错误的问题。在工具程序中，当键入“a”时进入检测框坐标添加模式，只需点击车辆左上方、右下方2个顶点，即可将该检测框坐标补充进初始轨迹点数据集，键入“d”时，进入检测框删除模式，只需在需要删除的检测框内部点击一下即可在原始轨迹点数据中删除该检测框数据，示例见图10。图10数据修复插件示例Fig.10Exampleof datarepairplugin以3号机位为例，进行轨迹关联后，得到轨迹21 444条，其中异常轨迹1 434条，包含孤立杂点形成的轨迹995条。通过修复程序处理原始轨迹点的识别问题后进行重新关联，最终得到轨迹20 432条。经过程序筛查，没有轨迹连续帧异常跳变及轨迹中断的情况。其余各机位初步关联后轨迹情况见表3。异常轨迹主要由识别问题引起，车辆误检或检测框连续帧间位置跳变大导致轨迹关联问题。一些车辆从匝道驶入或驶离高架桥也会变现为轨迹不完整，在检查修复时可排除此类情况。针对每个机位的异常轨迹均进行了检查、修复，最终得到连续的行车轨迹。2.4多机轨迹拼接为保证大多数车辆能够在跨机位时仍有完整目标，相邻机位间选择保留15 m的重叠区。即各机位图像进行 DLT 变换后，相邻机位图像纵向上存在150像素重叠区。根据各机位在全域的位置确定机位间坐标转换关系，将单机位的局部坐标转换为全局坐标，而后执行多机位的轨迹数据拼接。跨机位轨迹拼接遵循的是从下游向上游机位进行拼接的原则。可能存在3类异常情况：上1个机位某条轨迹在下1个机位找不到关联轨迹；上1个机位能与下1个机位不止1条轨迹关联上；下1个机位某条轨迹没有被上1个机位轨迹关联上。尤其是在车流量大，密度高的情况下可能会出现拼接不上或错误拼接的情况。因此，在本研究中，在拼接的同时进行上述3类问题的筛查，并记录异常拼接的情况及轨迹信息来核查问题。值得说明的是，在开始和结束时段，一些轨迹点开始或结束于路段中间，这部分轨迹不能进行拼接是正常的情况。在本研究中进行跨机位拼接后检查的情况见表4。表4轨迹拼接结果Tab.4Trajectory splicing result单位：个机位1223344556问题35387516031问题02060问题9162236017由表4可见：在进行了多机对帧、检测框坐标修复等步骤的前提下，相邻机位间轨迹拼接效果良好，几乎不存在轨迹错误关联的情况，而轨迹未能关联上的情况多由开始及结束时段车辆轨迹不完整或车辆换道质心横向坐标跳变较大引起。本研究针对检查出的问题编写代码进行了拼接修复，解决了此类基于路侧多机视频目标关联与轨迹拼接的车辆连续轨迹构建方法刘超罗如意刘春青吕能超表3关联后轨迹统计Tab.3Trajectory statistics after association机位123456轨迹总数20 40817 27021 44421 69021 47425 382异常轨迹9231 0781 4341 5951 5081 23387交通信息与安全2023 年3 期第 41卷总 244期问题，最终得到连续的行车轨迹。2.5车辆轨迹滤波在完成机位间拼接后通过卡尔曼滤波28对轨迹数据进行平滑处理。由于车辆目标检测轮廓因图像质量和识别因素影响，存在一定跳动，会对车辆速度、加速度、车头间距、车头时距等参数计算带来影响。特别地，对于单帧跳变较大的情况，卡尔曼滤波并不能很好地去处理。因此，本研究选择剔除单帧跳变的坐标值，基于相邻轨迹点信息进行插值，然后对轨迹进行滤波的方法。轨迹点滤波前后对比见图11。-100010020030040050060018161412108原始轨迹滤波轨迹纵向坐标/m横向坐标/m轨迹滤波图11轨迹滤波Fig.11Trajectoryfiltering这里展示了1辆从1号机位驶入，从3号机位匝道驶出的车辆的轨迹。可以看到元轨迹在78 m的位置轨迹点发生了较大幅度跳变，此外，车辆坐标在其他地方也存在小幅的波动。通过滤波前后轨迹对比可以发现，滤波在一定程度上消减了这种影响。3轨迹数据集结果评估3.1车辆检测效果分析3.1.1模型精度评估采用准确率（Precision）和召回率（Recall）及F1值作为车辆目标检测的评价指标，计算见式（3）（5）。RPrecision=TPTP+FN（3）Precision=TPTP+FP（4）F1=2RRecallRPrecisionRRecall+RPrecision（5）式中：TP为被正确识别的车辆目标；FN为漏检的车辆目标，FP为误检的车辆目标，召回率RRecall反映模型能够正确检测到车辆数量的性能，准确率RPrecision反映模型将目标检测为车辆的正确率，F1分数为整体评价指标，分数越高代表模型在准确率和召回率间平衡的效果越好。使用测试集图像对模型精度进行评估，模型召回 率 为 93.23%，准 确 率 为 98.51%，F1分 数 为95.80%。将训练好的模型应用于本研究采集的6机位多帧图像，白天和傍晚环境条件下车辆检测效果见图12，结果表明：本研究构建的路侧高空车辆检测模型在不同光照条件、不同交通流状态下均能达到较好的检测效果。3.1.2检测框位置精确性评估在进行目标检测时，常采用IoU（intersec-tion-over-union）来评估目标检测位置的精确性，计算见式（6）。IoU=ABAB（6）式中：A为车辆真实位置坐标；B为输出检测框坐标。IoU值在0,1之间，值越趋近于1表示检测框位置精确性越高。由于本研究中并没有通过搭载高精定位的车辆在路段进行测试，来评估车辆检测框与车辆真实位置的匹配度。因此，组织人员均衡地从6机位选取了120张图像，覆盖所有时段，手动给车辆添加检测框坐标，见图13（a）。将结果与模型输出的车辆检测框坐标文件对比，计算IoU值，评估本研究中检测框位置的准确性。最终计算得到IoU（a）白天小流量（b）傍晚大流量图12检测效果示意图Fig.12Schematicdiagramof detectioneffect88值为93.17%。这表明在本研究中，检测框位置具有较高的精确性。3.2多目标追踪准确度多目标追踪准确度（multiple object tracking accu-racy，MOTA）指标常用来评估多目标跟踪的准确度，计算见式（7），它的值越趋近于1表示追踪效果越好。PMOTA=1-FN+FP+IDSWGT（7）式中：FN为漏报数；FP为误报数；IDSW为轨迹误关联情况；GT为轨迹点总数。