基于视频分析的车辆跟踪与行为识别研究毕业设计.doc

毕业设计（论文）报告纸 编号 毕业设计题 目基于视频分析的车辆跟踪与行为识别研究本科毕业设计（论文）诚信承诺书本人郑重声明：所呈交的毕业设计（论文）（题目：基于视频分析的车辆跟踪与行为识别研究）是本人在导师的指导下独立进行研究所取得的成果。尽本人所知，除了毕业设计（论文）中特别加以标注引用的内容外，本毕业设计（论文）不包含任何其他个人或集体已经发表或撰写的成果作品。作者签名： 年 月 日 （学号）： 毕业设计（论文）报告纸基于视频分析的车辆跟踪与行为识别研究摘 要随着世界科技水平与科学生产力的普遍提高，汽车已经成为最常见的交通工具，道路交通安全的形势也愈加严峻。交通安全的保障不仅仅需要驾驶人员素质的提高，还需要道路交通管理部门的严格监督和交通法规的有效执行。目前，基于视频分析的道路交通管理系统正日益取代人工管理方式，成为当今计算机视觉领域研究的热门。本文利用数字图像处理技术，就车辆压双黄线行为的检测和识别工作，按步骤进行了详细论述。首先，利用均值法进行背景建模，再用背景差法提取出运动前景，并通过形态学处理技术对前景进行初步优化处理；其次，提出自定义“感兴趣区域”的观点，将双黄线区域标记为“感兴趣区域”；最后，对“感兴趣区域”中的运动前景部分进行检测和加框提醒，实现对压双黄线车辆的检测和识别。本文提出的算法简单可行，且成功实现对违规车辆的识别，具有重要的实际意义，对交通管理事业也有一定的参考价值。关键词：视频分析，车辆跟踪，行为识别，背景建模 Research on vehicle tracking and behavior recognition based on video analysisAbstractWith the development of the worlds scientific and technological level and the scientific productivity, cars have become the most common means of transportation. Traffic safety situation is even more serious. To guarantee the traffic safety , not only needs the improvement of drivers quality, but also needs the strict supervision and effective implementation of traffic laws by traffic management. At present, the traffic management system based on video analysis ,increasingly replacing manual management mode, has become a hot research point of computer vision field. In this paper, by using the technology of digital image processing, the vehicle detection and recognition of the cars which pressed double amber lines are discussed according to the steps in detail.Firstly, we use the average method for background modeling to get the background. Then use the background subtraction method to extract the moving foreground and preliminarily optimize the foreground through morphological processing; secondly, present the viewpoint of the custom region of interest and mark the double amber lines area as the region of interest; finally, detect and frame to remind the moving objects in the region of interest. Then the vehicles which pressed double amber lines will be detected and recognized.In this paper, the proposed algorithm is simple and feasible. And the implementation of identification of illegal vehicle has important practical significance, also has some reference value to the traffic management.Keywords: video analysis; vehicle tracking; behavior recognition; background modeling目 录摘 要iiiAbstractiii目 录iii第一章 绪论- 3 -1.1 研究背景及意义- 3 -1.1.1 研究背景- 3 -1.1.2 研究意义- 3 -1.2 国内外研究现状- 3 -1.3 本文主要研究工作- 3 -1.4 章节安排- 3 -第二章 车辆检测技术- 3 -2.1 常用方法分类- 3 -2.2 常见背景差分法- 3 -2.2.1 基于均值法和中值法的背景提取- 3 -2.2.2 自适应背景更新的背景提取- 3 -2.2.3 基于混合高斯算法的背景建模- 3 -2.3 本章小结- 3 -第三章 行为识别技术- 3 -3.1 个体车辆行为识别- 3 -3.1.1 轨迹聚类- 3 -3.1.2 模型建立- 3 -3.1.3 模型匹配- 3 -3.1.4 其他方法基于实际场景信息的异常检测- 3 -3.2 交通流异常检测- 3 -3.3 本章小结- 3 -第四章 基于视频分析的车辆跟踪与行为识别算法设计- 3 -4.1 运动前景提取- 3 -4.1.1 均值法背景建模- 3 -4.1.2 背景差法提取前景- 3 -4.2 车辆前景处理- 3 -4.2.1 树枝噪声滤除- 3 -4.2.2 车辆分体现象处理- 3 -4.2.3 行人噪声干扰处理- 3 -4.3 车辆行为识别- 3 -4.3.1 提取 “感兴趣区域”- 3 -4.3.2 利用 “感兴趣区域”识别- 3 -4.3.3 算法优化- 3 -4.4 本章小结- 3 -第五章 压双黄线行为识别实验- 3 -5.1 实验设计- 3 -5.1.1 实验目的- 3 -5.1.2 实验内容- 3 -5.2 实验结果- 3 -5.2.1 运动前景提取- 3 -5.2.2 车辆前景优化- 3 -5.2.3 压双黄线行为识别- 3 -5.3 结果分析- 3 -第六章 总结与展望- 3 -6.1 工作总结- 3 -6.2 未来展望- 3 -参考文献- 3 -致 谢- 3 - 34 -第一章 绪论1.1 研究背景及意义随着科学技术的发展，世界生产力水平普遍加强，汽车这种本来很奢侈的交通工具也变得随处可见。诚然，汽车给很多人带来了便捷，但随之而来的是日益严重的交通拥堵和交通事故问题。城市的道路规划有限，而汽车的数量却在逐年猛增，用有限的道路去容纳不断增长的车辆，这就给城市规划和交通管理带来了巨大的压力。1.1.1 研究背景目前我国的交通状况主要有以下几个问题：车辆过多导致交通堵塞，城市道路设施无法满足车辆需求；不恰当的道路规划，造成资源浪费；驾驶员整体素质较低，交通违章现象严重；车辆监管和惩处力度不够等。据交通局发布的消息，截至2012年6月底，我国机动车保有量已超过两亿辆1。机动车市场的迅猛发展造成道路资源迅速消耗殆尽，目前全国已有多个城市实行机动车单双号限行，尽管如此，许多城市在上下班高峰期仍然出现严重的拥堵现象。机动车的迅速增加还带来了交通事故的直线上升，统计显示在2001年到2010年这十年里，有近90万的交通事故，在这些交通事故中，有80%85%都是因为车辆违章驾驶造成的，这些违反交通规则的行为统称为车辆异常行为2。车辆异常行为危害极大，必须有效地制止这一问题。智能交通管理系统（Intelligent Transport System ，ITS）应运而生，它是一种新型有效的交通管理方式。ITS起源于美国，早在上世纪80年代美国就开始了相关技术的开发和利用。欧洲、日本等发达国家也紧随其后，相继投入了大量的资金和人力进行研发，目前全球正在形成新的ITS研究热潮，ITS产业也得到迅速发展。ITS的研究与应用离不开交通监控，如何有效地对车辆进行检测跟踪与行为识别是其中的关键。传统的交通监控手段主要是通过在道路上安装摄像头，将拍摄的视频讯号传至监控中心，利用人工方式进行分析，显然这种方式工作量大，耗时费力。而利用红外线、地感线圈等进行判断的方式虽然实时性好、准确性高，但施工力度大、后期维护复杂且成本较高，同样具有很大的局限性。随着科学技术的发展，计算机的处理能力逐步提高，智能视频处理技术的广泛应用也成为可能，渐渐有取代车辆检测传统方法的趋势。通过对视频中车辆进行目标检测与识别3，进而分析其行为，判断出交通异常情况，从而对潜在交通事故发出预警，最后利用适当的交通控制方式，可以有效减少和避免交通事故的发生。并且即使有交通异常发生，也能快速地自动检测，使管理人员能及时采取措施，解决问题从而避免更大范围的人员及财产损失。1.1.2 研究意义显然，对车辆检测和异常行为识别的研究与应用不仅能缓解交通压力，提高道路运行效率，而且可以有效避免交通事故产生，对于促进安全社会、和谐社会的建设有着积极的推动作用。同时，对于与之相关的技术也有一定的促进作用，尤其是对计算机视觉技术的其他研究领域，因为其主要技术相关性大，所以对车辆跟踪技术的研究可以为其他技术的发展方向提供引导，同时也为其他技术提供了基础技术上的保障，使得各种技术在相互推动中共同发展。现在的车辆跟踪技术在车辆上的应用其实只是车速保持，而不是自动识别路面上的车辆情况，也不能自动控制车辆的变速和变向4。当车辆跟踪和行为识别技术成长到一定阶段后，不仅交通局的管理会变得简单，自动驾驶也将成为可能，人们的生活质量将得到极大的提高。通过基于视频分析的车辆检测和跟踪技术，能够对闯红灯、违章变线、车道逆行等违章驾驶行为进行记录，可以极大地减少交警的工作压力，让他们有更多的精力实施对这些违章驾驶人士的惩罚教育。同时还能带动驾驶人员素质的提高，对安全驾驶理念的推广有着极为重要的作用。1.2 国内外研究现状上世纪90年代初，随着车辆的逐渐普及，以及车辆普及所带来的交通堵塞和交通事故问题的加剧，交通管理技术得到越来越多的重视。加上智能交通系统（ITS）的诞生，使得交通管理愈加趋向自动化、智能化。以美国为代表的各个发达国家和组织都致力于现代交通管理所需技术的研发，极大地推动了智能交通管理系统的发展和应用。目前国际上知名的交通系统有：美国ISS公司的AUTOSCOPE系统、比利时路畅公司的TRAFICON系统、澳大利亚的最优自动适应交通控制系统（SCATS）以及新加坡的高速公路监控和信息诱导系统（EMAS）等5。目前美国AUTOSCOPE系统占据了大部分市场份额，它能提供交通流量、速度、占有率、车辆分类和排队长度等多种信息。至于国内，虽然交通状况急剧恶化，但是国内自主研制的智能交通管理系统并没有完善起来，因此主要还是引进国外的产品，引进最多的是澳大利亚的SCATS系统5。国内自主创新的产品较少，并且应对复杂道路能力差，很难广泛运用。目前国内对基于视频分析的车辆跟踪研究还处在实验的阶段，研究成果2主要有：基于自适应的贝叶斯概率背景更新算法，基于运动矢量场时空滤波的车辆检测算法，小波图像分析检测法，基于混合差分的检测法，基于形态学的运动检测法等。这些方法有其优越的地方，也有一些不足之处需要研究人员去解决。而在车辆异常行为分析方面，成果虽不如车辆跟踪那么丰硕，但也展现了蓬勃的生命力：北京交通大学通过车辆轨迹聚类分析对车辆异常行为进行了检测分析；中山大学智能研究中心对基于视频的车辆轨迹模型的交通事件自动监测方法进行了研究并制定了合理的检测算法6；浙江工业大学对基于全景视觉的车辆异常行为检测技术进行了研究7，对闯红灯等行为进行检测试验8，并取得了一定的实验成果。1.3 本文主要研究工作利用数字图像处理技术，对监控视频进行帧处理，建模得出背景模型并分割出运动前景，再利用形态学处理技术方法对所得前景结果进行优化，结合运动目标的形态特征去除行人、树枝和阴影等噪声，最后联系实际情况设定“感兴趣区域”，对目标进行预初设定的行为识别。1.4 章节安排本文将按照算法操作的流程依次在后面的章节进行论述。其中，第二章和第三章将分别论述车辆检测和行为识别技术的一般方法；而第四章则是本文采用的算法思路的详细介绍；第五章将呈现本文算法的实验结果；第六章是对本文算法的总结和展望。第二章 车辆检测技术车辆检测是整个智能交通管理系统实现的基础和核心。其中车辆跟踪依赖于对运动车辆的正确检测，而车辆异常行为识别也是基于检测到的结果进行分析的。而目前车辆检测方法的研究也是成果最多的，本章将对这些方法进行简要的介绍。2.1 常用方法分类常用的运动车辆检测方法可以分为：帧差法，光流法，背景差分法，拓展的EM算法，基于形态学的场景变化检测法和能量运动检测法等。光流法不需要预知场景的信息就能独立检测出运动物体的信息，故而不受环境的制约，适应性很强。但是光流法的算法都比较发杂，且抗噪性能低，所以一般很难运用于实时监测。帧间差分法通过将相邻连续的三帧图像两两差分，可以实现从中检测出运动物体。显然，这种方法具有较好的自适应能力，但是对于参与运算的视频帧的选取时机要求比较苛刻，由于运动目标速度变化的影响，这种方法还需要不断改变最佳阈值来获取最佳效果，这样就加大了本身的量化噪声，降低了鲁棒性，不利于车辆的定位跟踪。运动能量法能消除背景中抖动的像素，如树枝和水纹，还能凸显特定方向的运动目标。这种方法适用于各种复杂的环境，同样有很强的自适应能力，但是对于运动目标的分割仍然不是很精确。拓展的EM算法主要有基于小波模历史图像的检测方法9。小波模历史图像法是为了提高检测精确度和稳定性而提出来的，它将图像小波分解后对低频和高频进行不同的处理，投影变换后利用EM算法原理，将投影曲线边缘与原始目标通过迭代结合，从而达到检测的效果。这种方法能有效解决阴影粘滞问题，并且检测结果比较精确。基于形态学的场景变换法主要有基于不变矩图像匹配检测法10和基于运动矢量场时空滤波检测法11等。前者主要是针对工厂流水线上的工件进行判别，对工件进行一系列变换处理后，利用目标不变矩阵和模板不变矩阵的相似程度进行判别归类。这种方法对车辆跟踪检测有很大的借鉴意义。后者结合了光流场和帧差法的特点，提出在检测过程中引入辅助信息的新思维，这种方法利用运动模式分类和运动适量场的信息，只需简单的运算就可以得到运动目标的一个大概信息，只要再结合实际地点的先验知识和辅助设置，就能很好实现运动物体的检测。该方法既简单准确性又高。背景差分法包括均值法、中值法、混合高斯模型法以及在其基础上衍生出来的各种方法。背景差分法的基本思想是将图像中的像素分为前景和背景，前景就是系统想要检测的目标，其他部分就是背景，只要将背景有效的提取出来，就可以通过求图片与背景的差值来获得所需的目标信息。背景差分法运算简单且速度快，其局限是只适用于静止状态的摄像机所获得的视频信息。下面主要介绍4种常见的背景差分法。2.2 常见背景差分法2.2.1 基于均值法和中值法的背景提取均值法和中值法12是背景差分法的最基本的方法，是一种基于时间轴的滤波方法。因为提取背景时不能保证场景中没有运动目标的存在，所以将运动目标当作噪声，均值法就是利用时间的累积性将噪声的影响无限减小，通过取长时间（相对于运动目标存在场景中的时间而言）均值即能有效滤去运动目标所带来的噪声。中值法是用中值来代替均值，同样能达到滤除运动物体的目的。但是两者相较而言，均值法计算更简单，而中值法效果更好。两者同样有着不可忽视的缺点，那就是他们只适用于摄像机静止且外部条件理想的状况，如果外部扰动较大，那么提取出来的背景将会有很大的噪声误差。2.2.2 自适应背景更新的背景提取目前运动目标检测的方法有很多，但大多都存在着受天气状况、视野范围、目标复杂等因素的影响，例如上述均值法和中值法，如果外界条件不稳定，那么背景就无法适应变化的环境，产生很强的噪声干扰。自适应背景更新法13能有效避免这方面的问题，可以说它是对上述两种方法的优化。其第一步是用均值法得到一个初始背景，通过设定阈值来验证每一像素点是否是背景像素点，通过学习和自适应不断改变背景模板，使之适应多变的环境带来的背景变换问题。而背景自适应的条件是有光照的改变或者有交通堵塞的情况。自适应背景更新法主要用于复杂环境中运动目标的提取，具有适应性强的特点。但是这种方法在实际操作中存在透视变形和噪声污点过大的缺点，仍然需要改进。目前存在的一种改进方法是基于贝叶斯概率算法14的自适应背景更新法，它是利用统计学的原理将图像中的像素进行静态动态背景分类，并结合两种背景实现背景与前景的分离。由于它还具有很好的学习和自适应更新能力，能很好地适应各种复杂的场景。实验结果表明，虽然仍存在着阴影干扰的问题，但该方法抗环境干扰能力强，检测准确率高，具有实时性好、鲁棒性好的特点，有很大的发展潜力。2.2.3 基于混合高斯算法的背景建模基于混合高斯算法的背景建模是基于统计模型的一种背景提取方法。因为在应对复杂多变的环境时会产生多峰分布，而单高斯算法只能处理单峰分布，故此时需要一种其他方法来替代单高斯算法模型。混合高斯算法是在单高斯算法模型的基础上发展而来的，它使用多个高斯模型来表达图像中的像素点。混合高斯算法背景建模具有实时性好、适应性强、鲁棒性好等优点，在环境变化较大的情况下尤其适用。混合高斯算法有两个重要参数：（滑动平均值）和（滑动方差）。是为了构建定期更新的背景模型，其计算公式为：式中：参数是指t时刻的像素值；是学习率，反映了滑动平均值对当前帧的适应速度，值越大，适应速度越快。对每个像素都计算出滑动平均值，就能构建出背景模型。而对于混合高斯算法，它需要多个滑动平均值，即对每个像素进行两个模型维护，这样就能确定背景像素点灰度值的范围，若某个像素灰度值不在该范围内，则认为它是前景像素。计算公式如下：同一起构成一个高斯模型，通过该模型可以判断某像素属于它的概率，并制定出合适的阈值。混合高斯算法还有一个很重要的特点，就是对上述高斯模型的更新。当模型被匹配不够频繁，算法会释放该背景模型；反之，若某前景像素匹配生成的高斯模型之后被频繁匹配，该模型会被判定为背景模型15。图2.1为时混合高斯算法提取出的前景。图2.1 =0.01时混合高斯算法提取出的前景另外，混合高斯算法是一种实时更新背景的算法，当有车辆速度较慢或者停止运动时，该算法会丢失目标，不能实现连续跟踪。目前另有一种针对混合高斯模型法进行优化的轮廓提取算法16，可以在混合高斯算法的基础上用数学形态方法进行处理并寻找轮廓，用算法拟合轮廓后再用图形矩提取轮廓质心。这种方法能更有效地滤除噪声和提取目标轮廓。2.3 本章小结本章主要介绍了车辆检测常用的几种方法，对每种方法的原理进行了简要分析，并给出了优缺点评价。从本章的论述中可以清晰了解到各种方法的适用条件，这给后期在车辆检测的方法选择上提供一个参考的依据。第三章 行为识别技术类似于车辆的检测技术的分类，车辆的行为识别大致可以分为：个体车辆异常行为识别和交通流异常检测两个方面。个体车辆异常行为识别一般运用轨迹模型的方法，而交通流异常检测通常是通过对交通流参数进行监督，设定阈值判断异常发生与否。3.1 个体车辆行为识别目前，对个体车辆的异常行为识别一般是通过基于轨迹进行分析识别的。基于轨迹的异常行为识别方法较多，常用的有决策树、隐马尔可夫模型，神经网络、支持向量机、贝叶斯等。Piciarelli等学者采用决策树的方法，将运动车辆轨迹分段作为树的节点，用概率匹配区分异常事件17，其特点是可以在线学习，但是构造精度高、规模小的决策树是该方法的核心内容，其更适用于小规模的样本数据集。Kamijo等学者基于隐马尔可夫模型的方法创建了交通异常检测系统18，该系统使用隐马尔可夫链学习每个车辆的行为模型，使用跟踪系统的输出来识别目前的事件。其利用单个车辆的特征，这种方法相对有效，并且部分实时。但是当大量的车辆和行人出现在检测区域时，跟踪算法将会消耗更多的计算机资源，从而导致系统崩溃。Micheloni等学者将任意异常事件描述为一组事件单元的时空关系组合图19，每个事件单元可通过一个神经网络分类器进行分类，事件分类器是由若干简单神经网络集成的复合分类器，如果简单分类器过拟合将对整个分类效果产生较大影响。Piciarelli等学者采用支持向量机检测交通异常20，但是算法的时间复杂性较高，难以实现实时操作，并且需要确定最佳核变换函数及其相应的参数。传统轨迹分析方法主要考虑的是轨迹的空间特性，因而对异常行为识别的能力较弱，只能识别较为简单的异常行为。胡宏宇等学者通过轨迹空间分布学习提取运动目标的典型运动模式，提出了基于Bayes分类器的轨迹空间运动模式匹配方法，进而检测异常交通行为21。但在异常行为识别过程中没有提出面向更复杂异常行为的识别方法，因此异常行为识别能力受到了限制。李明之等学者提出了利用目标的空间位置、运动速度、运动方向和大小尺寸等特征参数描述轨迹，并基于Bayes最优化的方法对轨迹进行联合匹配和边缘匹配，然后根据匹配情况调用行为识别数据库对目标行为进行识别22。该方法采用传统k-means算法进行轨迹聚类，不能解决非凸性聚类问题。3.1.1 轨迹聚类在车辆检测成功的基础上，对个体车辆行为的识别主要是通过对其轨迹的分析完成的。轨迹分析最终的处理结果是完成对轨迹的聚类23，具体实现步骤如下：i. 对检测出的车辆进行跟踪并描绘其质心，得到目标车辆的一系列运动轨迹点，这些轨迹点中包含车辆的运动信息和位置信息；ii. 对轨迹的一些特征进行统计分析，如方向角等方向特征；iii. 根据轨迹的特征计算出轨迹的相似性度量；iv. 最后由轨迹的相似性度量对轨迹进行聚类；但是初步聚类效果往往不佳，故需要根据轨迹自身进行差值处理或冗余度去除，甚至是二次聚类处理。值得注意的是，聚类方法同样有很多：划分聚类、层次聚类、基于密度聚类、基于网格聚类等。要尽量选取合适的方法，以得到最佳效果。经过上述四个步骤的处理，能够很好地得到聚类轨迹，之后的工作就是运动模型的建立。3.1.2 模型建立模型建立的方法也有很多，但是一般采用典型轨迹进行运动模型描述。典型轨迹能很好地反映该类轨迹的特征，是一类轨迹最鲜明的表现。典型轨迹主要是通过对该类轨迹样本的一个拟合获得24。单一的拟合曲线并不能代表整段的特点，为了能够获得较好的典型轨迹，可以对轨迹样本进行分段拟合，最后再加以合并，就能得到整段轨迹的典型轨迹，且能最大程度的消除误差。最终优化完的典型轨迹并不是一系列的点，而是一个能反映该类行为特性的曲线，即该类行为的典型模型。而在轨迹模式学习方法的设计上，目前使用的机器学习算法主要有三类：基于神经网络的方法、基于支持向量机的方法和基于无监督聚类的方法。Johnson等学者采用自组织特征映射神经网络的方法对轨迹空间模式学习进行建模25，基于神经网络的方法网络构建较为复杂，学习速度较慢，且在学习过程中需要大量的数据学习参数，设定 网络结构权重。Piciarelli等学者将轨迹表示成可变长序列，然后利用支持向量机的方法进行聚类26，此方法需要提供较多的样本数据，且聚类的数目由样本数据的种类决定，不能真实地反映交通目标的实际运动模式。基于无监督聚类的方法在运动模式学习的研究中应用最为广泛。传统的聚类分析方法受限于非凸形状的样本空间，当样本空间不凸时，传统聚类算法会陷入局部最优。近年来，谱聚类算法作为一种新颖的聚类方法受到广泛关注。Atev等学者将谱聚类的方法引入目标轨迹运动模式学习中27，由于采用了多特征属性描述轨迹，使得运算复杂度较高。胡宏宇等学者利用谱聚类的方法对轨迹进行聚类28，能够做到自动获取聚类数目。这两种方法不能充分利用样本点分布所隐含的先验信息，从而不能构造很好的相似矩阵。当其面临复杂样本数据点集时，无法得到理想的聚类结果。3.1.3 模型匹配利用上述典型模型，对检测到的车辆轨迹进行模型匹配，就可以实现对该车辆行为的识别。模型匹配的原理比较简单：首先设定一个阈值，观察检测到的轨迹是否在典型模型周围浮动，并且差在设定的阈值内，如果是，则认为该模型匹配，这样就得出了该检测轨迹的行为。阈值的类型有两种：一种是轨迹点与典型模型的位置差，另一种是对轨迹进行概率判断，阈值设定为某一概率值。匹配过程的重点是阈值的设定，需要选取一个合适的阈值，使匹配结果既不存在误判，也没有漏判。为了保证阈值的有效性，一种比较有效的方法就是对典型模型进行模式学习。模型匹配次数的增多，意味着车辆样本轨迹也在增加，因此模式学习时间越长，典型模型越能代表该类行为的特征，匹配结果也会更加精确。3.1.4 其他方法基于实际场景信息的异常检测基于实际场景信息的异常检测，适用于对转向、变向、变道等涉及道路标线的行为的识别。其实现步骤简单，首先是要对实际场景进行处理，将道路的标线、边界提取出来，之后利用3.1.1小节中得到的车辆运动轨迹，将其余道路信息进行对比，识别出其位置关系，从而直观地辨别出目标车辆的行为。3.2 交通流异常检测交通流异常的检测主要是基于感兴趣数据监控的异常检测，实现对交通拥挤、道路堵塞等现象的检测。交通流异常检测关注的数据主要是交通流的三个参数：交通流量、交通流速度和交通流密度。这三个数据能很好地表征交通流的大部分现象，因此只要监控好这三个数据利用一定的算法进行比较判断，就能得到相应数据下的交通流情况。具体算法可以分为三种：基于模式识别的算法、基于统计技术的算法和基于交通流模型的算法。基于模式识别的算法是一种比较算法，直接利用测量值与设定阈值的比较来判断最终的交通流情况，当某参数值超出设定阈值，则判定某种对应现象的发生。其结果较为精确，但是能判断的情况较少。基于统计技术的算法主要适用于对突发状况的检测，因为只有交通流发生较大的突变，才会引起统计算法值的显著波动29。该算法思路很好，但是可能会造成异常现象的误判，且能检测判断的现象较少。基于交通流模型的算法与轨迹模型类似，利用预测的数据模型进行匹配，从实现交通流情况的检测3031。显然，该算法能检测的交通流情况较多，但是模型的建立比较复杂。3.3 本章小结本章以车辆的行为识别为介绍对象，将车辆的行为分为个体车辆行为与交通流行为两种进行分析。简要论述了个体车辆异常行为的一般思路，同时介绍了交通流异常检测的几种方法，并就每种方法的优缺点进行了评价。为后期车辆行为识别算法的设计提供了参照，有利于后期算法的选择和优化。第四章 基于视频分析的车辆跟踪与行为识别算法设计同一般车辆跟踪和行为识别算法流程一样，本文算法流程分三个步骤：运动前景提取、车辆前景处理、车辆行为识别。运动前景提取是为了得到初始运动前景，而车辆前景处理则是为了滤除行人、树枝等噪声，降低算法复杂度并使后期车辆行为识别结果更加准确。4.1 运动前景提取本文运动前景提取采用的方法是背景差分法：首先利用均值法背景建模得到背景，之后利用视频帧同背景作差即可得到运动前景。4.1.1 均值法背景建模均值法是几种背景建模方法中最简单的一种，它能利用时间的累积将噪声的影响无限减小，其算法思想简单，处理速度快，虽然对环境要求比较高，但当环境变化不复杂时，均值法背景建模同样能获得比较优越的结果。均值法背景建模，首先，读取视频帧序列，其次对多幅图像进行叠加，然后求取其平均值，该平均值即为所求的背景建模结果。算法实现流程如图4.1所示：图4.1 算法流程4.1.2 背景差法提取前景如第二章中所述，混合高斯算法背景建模虽然实时性、适应性、鲁棒性好，但是因为它是实时更新背景，很容易丢失车速缓慢或暂时停止的车辆，所以在交通管理系统中不太适用。本文采用均值法背景建模，将得出的背景同视频帧进行背景差法提取前景，该方法简单常用，效果主要取决于背景建模的好坏。4.2 车辆前景处理车辆前景处理是对运动前景的优化，去除行人、树枝等噪声，从而加快处理速度并使之后的处理更加精确。本文对运动前景主要有以下三个处理：树枝噪声滤除、车辆分体现象处理和行人噪声滤除。4.2.1 树枝噪声滤除如图4.2所示，其中(a)图为二值化处理后的运动前景，可以看出其中有很多树枝噪声，这些噪声在需要注意的区域之外，但却增加了图像运算量，降低了处理速度。为了提高处理速度，降低计算的复杂度，可以设定一片“感兴趣区域”（如图3.2中(b)图），实现“感兴趣区域”外树枝等杂乱繁多的噪声的滤除，大大提高运算速度。(a) (b)图4.2 树枝噪声滤除实现4.2.2 车辆分体现象处理现象描述：车辆分体现象是由于车体外表反光产生倒影以及外界阴影噪声干扰，使得背景差法获得的运动前景并不是连通区域，这样在后期进行车辆标记时就会发生车辆解体现象，如图4.3所示。图4.3 车辆标记解体现象解决方法：首先通过膨胀操作和腐蚀操作对二值化运动前景进行处理，去除细小噪声，填补细小缝隙。为了减小开运算导致的缝隙变大和闭运算导致的细小物体放大所带来的影响，应合理运用开、闭运算。虽然开、闭运算对车辆分体现象有一定的修补效果，但如果车体缝隙过大，即使进行多次开、闭运算，也不能很好地解决该问题，反而会产生巨大的失真。此外还需要解决车体内部的空洞所造成的影响，所以在上述开运算的基础上，本文对运动前景进行了以下两步操作：i. 通过查找轮廓寻找出运动前景中的所有轮廓。ii. 对查找出的轮廓进行绘制，绘制时填充所绘轮廓。联系之前的开运算，虽然开运算不一定能将缝隙完全填补完整，但却有很大的几率将缝隙两边连接起来，成为一个整体连通区域，再经过上述两个步骤后，就能很好地填补连通区域内部的空隙，从而达到解决车辆分体现象的目的。如图4.4所示：(a)图为假设的连通区域，(b)图为经过上述填充轮廓处理后的结果。(a) (b)图4.4 查找并填充轮廓后结果4.2.3 行人噪声干扰处理现象分析：通常在道路上，运动物体不仅仅只是车辆，还会夹杂着行人、电动车等其他运动物体，在上一节所述提取运动前景时，不可避免地会把行人、电动车等其他不相关物体一同提取出来，使行人、电动车等成为交通视频处理分析中的噪声，如图4.5所示：图4.5 行人噪声解决方法：从图4.5中能很直观地看出来，加在行人身上的红色提示框与加在车辆上的红色提示框明显不一样大，从实际物体来分析也是一样，即使是最小型的车辆也比行人、自行车的体积大很多，在视频中相同位置所占面积也会较大一些。据此，本文通过对所加红色提示框的面积进行判断过滤，只添加面积符合要求的红色提示框。具体步骤如下：i. 选择视频中最普通最小型的车辆进行跟踪，均匀提取出有该车辆出现的视频帧。ii. 依次对每一幅图像中的该目标车辆的位置信息进行记录，包括红色提示框的：上边线纵坐标Y、纵坐标高度Y、横坐标长度X、面积S=X*Y。iii. 作出面积S关于纵坐标Y的拟合曲线，并算出其近似趋势线方程。该方程即为所求红色提示框面积模型，只有面积大于该计算结果的轮廓才会被加红色提示框。但是为了防止实际面积的起伏带来的漏判，通常需要在方程后面减去一定的量以增加鲁棒性。为了后期处理的方便，本文将符合面积要求的提示框区域标记成感兴趣区域，并将它们复制到另外一张同等大小的全黑图像中，这样可屏蔽不符合面积要求的连通区域，达到滤除行人、电动车等噪声的目的。如下图4.6中所示：(b)图为(a)图中滤去加框面积小于4000的轮廓的结果。(a) (b)图4.6 滤除加框面积小于4000的轮廓的结果4.3 车辆行为识别本小节以越双黄线行为为分析对象，将分为以下几点进行论述：4.3.1 提取 “感兴趣区域”车辆越双黄线行为的判断属于个体车辆的异常行为分析。对个体车辆的异常行为分析通常需要锁定某一目标车辆，对其进行跟踪分析。然而，运动中的车辆各项特征总是在不断变化，需要用复杂的特征匹配才能实现连续跟踪。而且在越双黄线行为分析中，由于该行为是小概率事件，对个体车辆进行跟踪分析会浪费大量资源，增加算法的复杂度。本文利用“感兴趣区域”，把关注的焦点放在静止的双黄线上而不是每一个车辆上，使得算法的复杂度大大降低。本文将双黄线定义为“感兴趣区域”，算法只对“感兴趣区域”内的变化起作用，不考虑其他区域的变化。此“感兴趣区域”与一般感兴趣区域不一样，一般的感兴趣区域是一个矩形区域，或者是行和列连续序列的范围，可以通过公式描述出来。然而双黄线有弯道，用公式表达比较困难，本文利用图像运算的溢出处理原理进行自定义“感兴趣区域”。对于双黄线的提取，可以综合比较ESLRGU（分别为：色调、饱和度、亮度、红色、绿色、蓝色）等颜色参数，从而分离出双黄线。这种方法适用于非固定场景，但是编程算法比较复杂，并且会因为外界天气、光线变化，很难找到一个具备普适性的比较公式。而道路上的监控摄像头一般都是固定的，因此视频中双黄线的位置也是固定的。本文假设摄像头理想固定，先在背景中标记出双黄线的轮廓，之后再进行提取工作。4.3.2 利用 “感兴趣区域”识别自定义“感兴趣区域”是利用图像运算对溢出现象的处理方法进行识别工作的，具体可以表达为一个公式：d=a-(a-b)。如图4.7所示，假设(a)图是