基于深度学习的以图搜图方法在高速监控中的应用.pdf

技术：基于深度学习的以图搜图方法在高速监控中的应用黄国林，汪庆明，李学岭，王永虎，张家旺，宋治伟（山东易构软件技术股份有限公司，山东济南）摘要：随着计算机视觉技术的 发展，一种基于深度学习特征模型的 以图搜图方法出现。传统的图像检索方法主要通过人工提取图像中的低级特征，由于 实际监控现场环境复 杂，传统方法往往表现不佳。基于深度学习的以图搜图方法能够提取出图像中的高级特征，能 够 有效克服光线强弱、角度变换带来的 影响。目前，此方法已经广泛应用于电商推荐、视频检索、图像去重 等 场景，但在高速公路视频 监控场景下，以图搜图方 法还未 发挥出它应有 的价值。本文深入探讨以图搜图方法在高速公路监控中的应用，挖掘其在智慧高速信 息化建设领域的应用价值。关键词：交通 监控；深度学习；特征检索为了保证高速公路平稳高效地运行，高速公路运营单位在各进出口、路段门架安装了 大量摄像头，一线城市每天能够生成上百万甚至千万张流水图片。这些图片信息作为视频中的抓拍关键帧，相较于视频，已经缩小了规模，但长时间的图片存储仍然是不小的体量。并且目前的图片信息只能够保存抓拍时间等外部信息，缺乏基于图片内容的索引，所以资料的实用性不高。因此，如何将这些庞大的图片信息有效利用起来，成 为当下亟待解决的问题。、实现方案（一）研究方向从世纪年代开始，有关图像检素的 研究就开始了，大致分为以下三个方向。、基于图像外部信息基于图像外部信息即根据图像的文件名或目录名、路径名、链路、标签以及图像周围的文本信息等外部信息进行检索，这是图像搜索引擎采用最多的方法。在找出 图像文件后，图像搜索引擎通过査看文件名或路径名，确定文件内容，但这取决于文件名或路径名的描述程度。、基于图像内容特征描述这是一种语义层次的匹配。需要人工对图像的内容（如 物体、背景、构成、颜色特征等）进行描述并分 类，给出描述词。检索时，将主要在这些描述词中搜索检索词。这种査询 方式比较准确，一般来讲可以获得较好的 査准率。但需人工参与，劳动强度大，因而限制了可处理的图像数量，并且需要一定的规范和标准，效果取决于人工描述的精确度。、基于图像形式特征的抽取由 图像分析软件自动抽取图像的颜色、形状、纹理等特征，建立特征索引库，用户只需将要査找的图像的大致特征描述出来，就可以找出与之具有相近特征的图像。这是一种基于图像特征层次的机械匹配，特别适用于检索目标明确的查询要求（例 如对商标的检索），产生的结果也是最接近用 户要求的。但这种较成熟的检索技术主要应用于图像数据库的检索，在网上图像搜索引擎中应用这种检索技术还具有一定的困难。本文的以图搜图实现方式采用深度学习模型提取图像中的特征并构建索引库，与第三种类似但也有所不同。（二）算法原理、模型设计深 度学习是一种特殊的机器学习方 式，其特殊之处在于算法模型通过大量数据的 训练迭代优化，能够主动 学习到特征。相比传统的机器学习和特征工程的方法，深度学习不再人工干预特征的选取，模型能够学到更高层 的、抽象的特征信 息，取代人工选取的 浅 层低级特征。在视觉 方向上，卷积神经网络（）常被用作特征提取器，处于整个算法模型中的主干位置（），结 合不同的 分类器（）或者检测头部（）去 完 成图像分类任务 或者目标检测 任务。基于深度学习的以图搜图类 似人脸识别、行人任务，保证分类准确性 的同时也生成图像特征编码（），具备一定的辨别能力。近几年，领域深度学习模型飞速发展，榜单冠军不断刷新更高的精度，考虑到准确率、模型大小以及部署等问年增刊（总第期）丨中 国交通信息化 题，本文釆用作为主干网络，逐步调参优化得到最优的特征模型以实现以图搜图。深度 残差网络（）由等人于 年提出，要 解 决 的 是深度 神 经网络的“退化（）”问题，即使用浅层直接堆叠成深层网络。这个退化不是由于过拟合引起的，不仅难以利用深层网络强大的特征提取能 力，而且准确率会下降。由许多残差块组成，残差块由多个级联的卷积层和一个组成，将两者的输出值累加后，用于 解决继续增加层数后训 练误差变得更大的问题，核心在于把输入再次引入到结果，将经过网络 映射为（），通过激活层得到残差块的输出。多个残差块可以串联起来，从而使网络加深到更深的层次，借此从图片中提取到更多有价值的信息。、特征分类器本文 重新设计了分类 器，分类器主要包含两个 层和其中第一层接收主干网络输出的特征图，将其 转 换为维 度 的特征，输出的特征在 模型部署 之后作为直接拿来使用；第二个层将维特征分类映射到数据集中对应的车辆类 别上，通过函数计算出每个车辆类 别对应 的槪率值。同样为了加快收敛，分类器中两个 层使用凯明初始化，通过设置合理的方差，使得网络前向传播或者反向传播的时候，输出和前传的梯度比较稳定，由此获得更好的收敛效果。、损失函数 和交叉熵函数（）是深度学习图像分类任务中常见的组合方式。这种方式在 分类数较少的情况下是没有问题的，比如、等数据集都是几十个类别。但是如果 要训练一个特征模型，在大规模图片数据中区分开某个对 象和其他对象，需要训练上万组分类，这样任务的难度就好比由猫狗识别升级为识别各个品种的猫，是一种细粒度分类。然而在实际环境中，任务难度提升得远不止如此。在高速路段上同品牌同颜色同年同款车有较高的出现几率，车辆唯一不同的可能就是车 牌号、驾驶员着装，以及车内饰物。为此本文优化了损失函数，以训练算法模型的区分能力。本文函数采用 和 结 合 的方式，以两个函数的和作为损失。接收的输出值能够训练出一个较好的分类器，但是我们要的不仅仅是得到较高的分类准确性，还要拉近类内距离、拉开类间距离，使得模型具有更好的区分和判别能力。使用训 练好的模型推理部分图片，并将提取到的特征映射到三维球面上，可以更清晰地看到类内紧凑及类间拉开距离的效果对比。和特征映射对比如图所示。图 和 特征映射对比（三）以图捜图架构基 于深度学习的车辆以图搜图架 构主要包括两部分：车辆特征向量底 库 构 建 和车辆目标检索。车 辆特征向量底库的构建需要接收部分高速路段在一段时 间内龙门架上的监控抓 拍图，将图 中所有的车辆提取特征保存到底库中。车辆目标检索过程需要提供一张车辆图片，提取特征后与底库中的特征通过向量相似度方 法进行比对，最后将近似目标按照相似度由高到低的顺序展示出来。为了应对高速现场复 杂的情况，本文设计了车辆目标检测对齐、特征提取预处理及特征搜索引擎等模块，来解决在特征向量底库构建以及车辆搜索的过程中遇到的实际问题。、车辆目标检测对齐高速一般是多车道且车流量 比较密集，所以高速路段龙门 架上的摄像头拍摄 的车辆往往是前后多个，有时候甚至能够拍摄到对向车道车尾或者车身局部。想要得到准确 的搜索结果就必须进行以下步骤：（）使用目标检测算法对抓拍图中的车辆进行检测定 位，将车辆逐个裁剪出来，得到多个图片，每个图片中仅有一辆车。（）对于尺寸较小或者显 示不全等低质量的图片数据进行剔除。这些车辆在行驶过程中在距离较近的时候，还会被抓拍到一次，所以本次剔除不会产生个别车辆遗漏的风险。（）筛选过的图片在特征提取之前做一次 变换，即车辆对齐。为此本文重新设计了目标检测 算法，检测车辆本身的同时能够标记车头、车灯、车牌、车标、后视镜等关键部位，然后通过相似变换让车辆正面进行对齐。这能 够有效解决由于车辆拍摄角度不同带来的相似度差异。（）为了统一尺寸标准以适应模型 的输入 大小，图片在进入特征模型推理之前还需要等比缩放填充，填充的目的是保证图片中主体目标的原始比例。、车辆特征提取处理在模型推理结束后会生 成的特征，采用余弦相似度量，计算当前车辆特征与其他车辆特征的相似度，如公式（）技术所示：？（由公 式可以看出，每比对一次相似度，需 要计 算两个特征向量内积，以及各自的模长，再进行除法运算。如果每次有一条特征向量跟特征库内百万条做比较，那么模长计算是重复的。因此，本文釆用特征预处理方法，将特征预先除以各自的模长，然后在计算相似度的时候，只需要计算内积即可。简化后的公式不仅能使得相似度 计算在上速度大大提升，还能借助进行大批量并行计算，大大提髙了计算效率。计算如公式（）所示。、车辆特征搜索引擎在特征库规模较小的情况下，我们可以借助写入文件的方式暂存特征，或者写入常用的关系型数据库。但是一天几百万存储天累计上亿的特征数据量难以维护，并且在比对査询时需要耗费较长的时间。为了解决大规模特征库存储及查询效率等问题，本文引入搜索引擎，来管理深度学习模型提取到 的所有特征。创建于 年，专门 用于存储、索引和管理深度神经网络和其他机器学习（）模型 生成的大规模嵌入向量，不用于现有的关系型数据库。是自下而上 设计的，用于处理从非结构化数据转换而来的嵌入向量。支持多种索引构建方式，其中 是一种基于量化的索引方式，能够在特征向量库内部进行聚类。每次 会先跟聚类的局部中心进行匹配，然后再匹配当前簇的所有节点。这样合理设置聚类个数，能够使搜索时间成倍地缩短，并且在准确性和査询速度之间寻求理学习率等 策略。经过多次实验发现，能够在网络训练初期起到热身作用。由于神经网络在刚开始训练的时候是非常不稳定的，因此刚开始的学习率应当设置得很低很低，这样可以保证网络能够具有良好的稳定性和收敛性。余弦退火学习率调整策略能够使学习率周期性变化，避免了学习率长期处于过大或者过小的状态。综合实验结果得出调参策略：在前五个使用随后使用余弦退火 策略直到训练结束。在训练过程中 曲线会随着学习率的余弦周期 变化一般在第二个周期达到最佳。余弦退火算法效果如图所示。：图余弦退 火 算法效果（二）预训练策略为 了加快训练过程，本文使用预训练的模型。预训练模型中的参数从极为庞大的数据中训 练得来，更好地学到了真实世界中的普遍特征。比起在自己的数据集上从头开始训练参数，在预训练模型参数基础上继续训 练的方式要快一些，同时模型也会有更好的泛化效果。预训练过的模型曲线攀升更快且达到的高度也更高。使用预训练模型前后对比如图所示。想平衡的场景。二、训 练和部署为了使 算法模型在高速公路场景下达到最好的 表现，本文在高速实景下采集图片，制作训练集；同时为了使模型训练出较高的区分度，本文借鉴人脸识别、行人等方向的经验，将单个车辆通过的图片搜集起来作为一个分类，累计整理类别万多。按照：划分数据集，划分为训练集、验证集和测试集，进行训练评估。训练过程中釆取如下策略，加快训练速度并提高模型精度。（一）学习率策略本文在训 练过程中发现，固定学习率往往不能很快地收敛，并且有一定几率导致梯度 爆炸值为。于是本 文 调研了等 ：图使用预训练摸型前后对比（三）模型部署高速路上密集的车流量会在短时间内生成很多抓拍图片。为了应对高并发量并提升服务器中每张的利用效率，本文借助进行模型量化推理。该框架内部包 含多种算子合并计算的策略，同时根据不同硬件做出针对性优化，能够显著提升计间 隔调整学习率、指数衰减调整学习率、余弦退火调整学习率及算效 率。同时支持、和三种计算模式，其中能 摊顧（雜期）中化 够在损失极少精度的情况下实现性能翻倍，能够在性能和精度之间做到较好的权衡，将训练好的模型转到推理，需要借助开放神经网络交换工具（）进行中转，但是由于版本 以及算子实现方式的不同等各方面原因，模型在转换时会出现不兼容的情况。比如在中去掉一个向量维度为的部分，可以使用、等函数操作，但是在中只有等少数操作且当前版本只支持静态维度，这样在网络最后池化层转全连接的时候，会出现模型转换不兼容的情况。为此本文借助底层技术开发了一个算子，能 够同时实现维度转换以及全连接网络层的计算。对于来讲，这只是一个自定义网络层，输入输出维度均为自定义，有权重的话也需要写入进去，内部计算相当于一个黑盒，需要额外实现封装到中。这样将完整模型导出之后，分别在和？设置相同的输人值，逐一验证输出。如果没有误差则说明算子编写成功。三结束语本文提出的基于深度学习的以图捜图方法，通过提取图像更抽象的高层特征，配合髙效的推理工具和强大的搜索引擎，在高速公路视频监控场景下展现出来极强的车辆搜索能力。通过一段时间的试运行，本文所使用的方法能够在车牌遮挡或者无车牌情况下实现车辆搜索、路径还原等，有效解决了部分高速公路偷逃费行为。但是由于实际现场环境十分复杂，也会存在个别情况下识别不佳的情况。随着深度学习技术的不断发展、道路监控硬件的提升，基于深度学习特征模型的以图捜图在高速公路监控中会得到更加广泛的应用。雜雜：（潇威（上接第页）（三）软制软件控制是无延时分布式系统一个极重要的功能，也是必须具备的一个功能。无论是何种系统，其基础一般是硬件、网络架构，而软件应用是其具体特质实用性的体现。随着软件技术的进步，可视化的数据信息管理平台成为一个成熟系统必备的依托。信号切换、预监回显、多用户登录、权限管理仅仅是无延时分布式系统基本的软件控制功能？、信号切换。图像处理拼接显示、多路屏管理的所用功能都可以通过软件控制中输入输出信号的切换来实现。、预监回显。预监囬显是软件控制中一个实用的功能，它可以在控制软件上对输入信号、输出信号进行核实。切换前预览功能，有效避免信号错误调用，切换后回显显示单元的内容，有利于整体控制和管理大屏。、多用户登录。无延时分布式系统软件可以允许多用户登录。每一个授权用户均可以登录系统内自己职责范围内的坐席主机或其他授权设备（比如维护服务器、矩阵平台等进行所需的操作。多用户登录是集中办公需要经常使用的软件控制功能，在指挥调度大厅、监控中心等智能化联合办公场所应用较多。、权限管理。软件控制中的权限管理是多 用户登录和应用系统的前提，模块化的权限管理设置和软件功能可以清晰界定各账户组的权限，对不同设备不同功能可以设置不同的优先级别。六、结束语无延时分布式系统伴随网络通信技术、硬件控制技术的发展而不断发展，无延时体现了用户对即时性的要求，分布式则针对网络化、数据化的趋势。系统在对用户拼接、坐席、一体化矩阵平台的核心应用需求分析的基础上，实现了指挥中心、调度大厅、监控室等各功能要素区集中、独立的分区分权智能管控，具有广泛而切实的应用前景。参考文献丨王超华 分布式 场景应用方 案 ：沈建伟高速公路信息中心分布 式可视 化信 息 管理系统的研究和实现信息技术与信 息化，扣（丨幻：丨责任编辑：郭潇威