基于深度学习的雾霾天气下的车牌号码识别方法.pdf

第 39 卷 第 2 期2024 年 2 月Vol.39 No.2Feb.2024液晶与显示Chinese Journal of Liquid Crystals and Displays基于深度学习的雾霾天气下的车牌号码识别方法杨云*，王静，姜佳乐（陕西科技大学 电子信息与人工智能学院，陕西 西安 710021）摘要：针对雾霾天气下车牌识别存在的精确度低、漏检等问题，提出了一种基于深度学习的雾霾天气下的车牌号码识别方法。首先用AOD-Net算法对车辆图像进行去雾预处理。然后，基于YOLOv5网络设计一种车牌检测网络ACG_YOLOv5s。ACG_YOLOv5s是在 YOLOv5s网络的基础上，融入 CBAM 注意力机制，提高模型的抗干扰能力；引入自适应特征融合网络 ASFF，根据模型自适应学习到的权重赋予网络不同特征层不同比重的权值，从而突出重要特征信息；使用 Ghost卷积模块替换传统卷积，在保证模型效果的同时减少了网络训练过程中的参数量。最后通过 LPRNet对检测到的车牌图像进行识别。实验结果表明，改进后的 ACG_YOLOv5s网络车牌检测准确率达到 99.6%，LPRNet识别准确率达 96%且内存占比小。实验证明 AOD-Net算法和 YOLO 算法结合可更加有效地检测雾霾天气下车牌图像中的车牌号码。关键词：车牌号码识别；AOD-Net算法；YOLOv5网络；注意力机制中图分类号：TP391 文献标识码：A doi：10.37188/CJLCD.2023-0123Method of vehicle license plate recognition in haze weather based on deep learningYANG Yun*，WANG Jing，JIANG Jiale（School of Electronic Information and Artificial Intelligence，Shaanxi University of Science and Technology，Xi an 710021，China）Abstract：A deep learning based license plate number recognition method is proposed to address the issues of low accuracy and missed detection in license plate recognition under haze weather.Firstly，the AOD-Net algorithm is used to pre-process the vehicle image for defogging.Then，a license plate detection network ACG_YOLOv5s is designed based on YOLOv5 network.ACG_YOLOv5s integrates CBAM attention mechanism on the basis of YOLOv5s network to improve the model s anti-interference ability.An adaptive feature fusion network（ASFF）is introduced，which assigns weights to different feature layers of the network based on the weights adaptively learned by the model，thereby highlighting important feature information.The traditional convolution is replaced with Ghost convolution module and the number of parameters during network training is reduced while ensuring model performance.Finally，LPRNet is used to recognize the detected license plate images.The experimental results indicate that the 文章编号：1007-2780（2024）02-0205-12收稿日期：2023-04-06；修订日期：2023-04-19.基金项目：国家自然科学基金（No.61971272，No.61601271）；国家重点研发重点专项（No.2019YFC1520204）Supported by National Natural Science Foundation of China（No.61971272，No.61601271）；National Key Research and Development Program Project of China（No.2019YFC1520204）*通信联系人，E-mail：第 39 卷液晶与显示improved ACG_YOLOv5s network has a license plate detection accuracy of 99.6%，LPRNet recognition accuracy of 96%，and a small memory footprint.The combination of AOD-Net algorithm and YOLO algorithm can more effectively detect license plate numbers in license plate images under haze weather.Key words：license plate number recognition；AOD-Net algorithm；YOLOv5 network；attention mechanism1 引言随着我国经济社会的发展，车辆数目迅速增长，给交通管理带来了巨大的挑战。车辆的车牌号码识别现已成为智慧交通系统的重要一环，在缓解交通压力问题上起着至关重要的作用。车牌识别技术主要应用于城市交通、高速公路、停车场及小区出入口等。随着机动车数量的持续增长，公路运输负荷越来越重，与交通有关的治安和刑事案件逐年上升。为了有效遏制城市内车辆乱停、闯红灯、逆行等违章行为，城市内各个路口大力安装检测系统，而车牌识别系统是其重要组成部分，可应用于交通违法行为的检测，更加方便道路管理以及更好地满足刑侦、治安等业务的需求。我国高速公路发展迅速，将车牌识别技术应用于高速公路便于进行收费管理，同时便于交警对违反交规的车辆进行监控。停车场和小区出入口的车辆管理仅靠人工记录是非常困难的，车牌识别技术的应用可以节省人力、提高效率。目前的车牌检测、识别模型有着较好的效果，但应用在雾霾、雨雪等场景下往往会出现大量漏检。因此研究复杂场景下的车牌识别十分必要。目前已有的车牌检测方法主要包括传统的识别方法和基于深度学习的识别方法。传统的识别方法流程主要包括：对彩色图像进行灰度化、滤波处理、边缘检测1、车牌的粗定位、车牌细定位、字符分割以及字符识别。通过人工提取车牌特征实现车牌识别的方法受环境影响大，且识别准确率低2。相比于传统的检测方法，基于深度学习的算法提高了车牌识别的鲁棒性，不仅在停车场、高速公路等简单场景下有良好的检测效果，而且在车牌倾斜、图像模糊等复杂情况下也有更加稳定的鲁棒性。目前目标检测主要以单阶段目标检测和双阶段目标检测为主。双阶段目标检测先对目标进行定位，然后进行识别，因此检测精度较为准确，但很大程度上降低了检测速度。单阶段目标检测将目标定位和识别过程相统一，更适合对目标进行实时检测3。郝达慧等4用 YOLOv5 网络进行车牌检测，并设计 LPCRNet网络对车牌字符进行识别，车牌检测准确率达98.6%，字符识别准确率达88.9%。杨杰等5提出了雾霾环境下基于 Zynq 的实时车牌识别系统，系统着重强调实时性。田智源等6提出了一种基于自适应去雾算法的雾霾天气下的车牌识别系统，提出一种新型的车牌检测和车牌识别模型且达到了较高的车牌识别率。毛晓波等7提出了基于 PSO-RBF 神经网络的雾霾天气下的车牌识别算法，使用改进的暗原色先验去雾算法对车牌图像进行预处理，然后对预处理后的图像进行车牌定位、字符分割和字符识别。本文采用双阶段目标检测算法，提出了一种雾霾天气下的车牌号码识别方法。使用图像去雾算法对图像进行预处理。设计了车牌检测网络 ACG_YOLOv5s，引入 CBAM 注意力机制、自适应特征融合网络 ASFF 模块以及 Ghost卷积模块来搭建检测网络。最后用 LPRNet网络对检测到的车牌进行识别，从而实现雾霾天气下的车牌号码识别。2 车牌识别流程总体设计车牌检测和识别流程如图 1所示。首先使用 AOD-Net算法对图像进行去雾操作，利用去雾操作可获取更多的车牌特征信息，得到相较于原始车牌图像更清晰的图像。然后使用基于 YOLOv5 改进后的 ACG_YOLOv5s 网络作为车牌检测网络。最后将 ACG_YOLOv5s网络检测出来的车牌输入到车牌识别网络中，对输入图片用AOD-Net算法进行预处理车牌检测车牌识别图 1车牌识别流程总体设计Fig.1Overall design of license plate recognition206第 2 期杨云，等：基于深度学习的雾霾天气下的车牌号码识别方法车牌号码进行识别。3 雾天图片处理AOD-Net（All-One Dehazing Network）算法基于大气散射模型8，是一种基于 CNN 的去雾网络模型9。AOD-Net 模型在无雾的条件下仍具有较好的性能，适合应用于车牌号码识别。在雾霾天气下拍摄的图片质量会因雾霾的存在而受到很大的影响，在很大程度上降低了目标检测的准确率。雾霾天气下，拍摄设备接收到的光源主要来自光源经过空气中悬浮粒子发生散射形成的大气光以及反射光衰减后到达拍摄设备的光。雾天成像的数学模型10如式（1）所示：I(x)=J(x)t(x)+A(1-t(x)，（1）式中：I(x)表示雾霾图片，J(x)表示清晰无雾图片，A 表示全球大气的光照强度，t(x)表示透射率，透射率可以表示为式（2）：t(x)=e-d()x，0 t(x)1，（2）式中：表示大气散射率，d(x)为拍摄目标到传感器的距离。透射率越小意味着雾霾越大，1-t(x)值也会更大，大气光照进入到拍摄设备的光线就越强。由式（1）可得，清晰无雾图片J(x)的计算公式如式（3）所示：J(x)=I()xt()x-At()x+A.（3）AOD-Net算法的模型如图 2所示，AOD-Net包括 K 值估计模块和复原图像模块（清晰图像生成模块）两部分。AOD-Net 将有雾图像输入到 K 值估计模块中。K 值估计模块通过一系列卷积和拼接操作来提取图像中的特征信息进而得到变量K(x)，然后复原图像模块可利用K(x)得到无雾图像。对式（3）进行变形得到：J(x)=K(x)I(x)-K(x)+b，（4）式中，b 是一个常量。联立式（3）和式（4），可得K(x)的值为：K(x)=I()x-A+()A-b t()xt()x()I()x-1，（5）从 式（5）可 以 得 出，K(x)与 输 入 的 有 雾 图 像I(x)、大气光照强度 A 和透射率t(x)有关，K(x)随着输入的有雾图像的变化而变化。AOD-Net算法采用对大气的光照强度 A 和透射率t(x)的联合估计，即将其统一为K(x)变量，通过最小化无雾图像和模型的输出结果J(x)之间的误差而训练模型。K 值估计模块网络结构如图 3所示。网络由五层卷积层和三层连接层构成，采用了多尺度的特征融合方式。卷积层的作用是为了提取图像特征，影响卷积层输出结果的因素有卷积核大小、卷积核个数、步幅和填充。其中步幅是卷积核滑动的像素个数。卷积核会按照一定的规律在特征图上滑动，最后对卷积核的值和特征图对应位置上的像素值相乘相加再叠加偏置项得到特征图的输出。连接层是将多个特征图在通道维度上进行拼接。第一层连接层融合了 Conv1层和 Conv2层特征，将第一层卷积和第二层卷积的输出作为第三层卷积的输入。第二层连接层融合了 Conv2 层和 Conv3 层特征，将第二层卷积和第三层卷积的输出作为第四层卷积的输入。第三层连接层融合了 Conv1层、Conv2 层、Conv3层、Conv4 层特征，即将前四层卷积的输出作为第五层卷积的输入。最后将拼接结果通过 Conv5卷积层来估计 K 值。利用三层连接层将不同卷积层的特征信息进行融合，减少了在卷积过程中的特征信息损失。该神经网络的 5层卷积层卷积K-estimation mouduleK(x)J(x)=K(x)I(x)-K(x)+bAOD-NetmoduleClean images generation module图 2AOD-Net模型Fig.2AOD-Net modelInputConv1 Conv2 Concat1 Conv3 Concat2 Conv4 Concat3 Conv5图 3K值估计模型Fig.3K-value estimation model207第 39 卷液晶与显示核大小分别为 11、33、55、77、33，5 层网络中都各有 3个卷积核，因此 AOD-Net也是一个轻量级网络。复原图像模块将 K 值作为自适应参数由雾霾图像估计清晰图像。利用估计得到的K(x)，再结合输入雾霾图像I(x)和常量 b，可根据式（4）计算出去雾后的图像J(x)。本文首先用 AOD-Net算法对车牌图片进行预处理，抑制雾霾对车牌识别的影响。去除雾霾效果如图 4 所示。从图 4 可以看出，AOD-Net算法抑制雾霾效果显著。去雾后的图像，便于车牌的检测和识别。4 车牌检测网络 ACG_YOLOv5s4.1YOLOv5结构基本原理YOLOv5有YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x五个版本11，这几个模型的结构基本相同，不同的是模型的深度和宽度，即在网络的同一位置，卷积核的个数不同以及卷积层的数量不同。这 5 个版本的模型大小依次递增，YOLOv5相比于 YOLOv3等具有模型小的特点，适合嵌入式设备使用。YOLOv5 包含输入端、骨干网络 Backbone、颈部 Neck层和输出层 4大模块12，其网络结构如图 5所示。YOLOv5 网络输入 640640 的 RGB 图像，如果原图像尺寸不是 640640，则通过缩放将其尺寸变成 640640之后再输入网络。YOLOv5 主干网络包括 Focus 模块、CBL 结构、C3 结构、SPP 结构。YOLOv5 中图片通过Focus 结构会将输入图片的尺寸缩减 1/2，通道扩充为 4 倍。例如输入图片的大小为 3608608，经过切片操作13后，得到 12304304的特征图。CBL结构由卷积、批量归一化和激活函数组成。C3 层包含 CBL 结构和残差结构，能够记录梯度变化，增强网络学习能力。SPP 是空间金字塔池化层，该模块先通过一个卷积模块将通道数减半，然后分别做卷积核分别为 5、9、13的最大池化，将 3 次最大池化的结果与未进行池化操作的特征进行融合。YOLOv5 网络中 Neck 层用于特征融合。随着网络深度的加深，所得特征图的特征信息变强，目标检测效果更好，但是减弱了目标的位置信息，容易损失小目标的信息。YOLOv5采用特征金字塔（FPN）和路径聚合网络（PAN）结构将特征进行多尺度融合，加强了对小目标的检测。FPN 以上采样的方式将深层的特征信息传递融合到浅层，PAN结构以下采样的方式将浅层信息传递融合到深层，使不同尺寸的特征图都包含强语义信息和强位置信息。Head 层是预测输出部分，主要负责对骨干网络提取的特征图进行多尺度目标检测。4.2融合注意力机制注意力机制的核心思想是强调特征图中的重要信息，在深度学习目标检测领域效果显著，在提高模型性能的同时也在一定程度上降低了计算量。混 合 注 意 力 机 制 CBAM14（Convolutional Block Attention Module）采用将空间和通道相结合的方式，相比于只关注通道的 SEnet（Squeeze-FocusCBLC3CBLC3CBLC3CBLSPPC3CBLUpsampleConcatC3CBLCBLCBLC3UpsampleConcatConcatC3ConcatC3ConvConvConv012345678910131216151117201821222319BackboneNeckHeadInput14ConvConvC3=CBLResunitConcatBNLeak reluCBLConvCBLBNLeakreluCBL CBLAddRes unit=图 5YOLOv5网络结构Fig.5YOLOv5 network structure图 4AOD-Net模型的去雾效果对比Fig.4Comparison of AOD-Net model dehazing effect208第 2 期杨云，等：基于深度学习的雾霾天气下的车牌号码识别方法and-Excitation Networks）取得了更好的效果，其结构如图 6所示。空间和通道相结合使目标检测能力在通道和空间维度上得到提升。对于网络中某层输入特征图 F，先根据原特征图计算通道注意力向量MC(F)，输入特征图 F 与其相乘可得中间特征图F，再由F计算空间注意力向量MS(F)，MS(F)与F相乘，得到 CBAM 输出结果F，如式（6）（7）所示：F=MC(F)F，（6）F=MS(F)F.（7）通道注意力模块结构如图 7所示。对于网络结构中某一层特征图 F（设其结构为 HWC），分别对其进行平均池化和最大池化，得到平均池化特征图（11C）和最大池化特征图（11C），减少了单一的池化操作对特征信息的影响。所得两个特征图通过一个共享网络（Shared MLP）得到两部分结果，将这两部分结果相加并通过 Sigmoid 函数可得通道注意力向量MC(F)，计算如式（8）所示：MC(F)=(MLP(AvgPool(F)+MLP(MaxPool(F)=(W1(W0(FCavg)+W1(W0(FCmax).（8）空间注意力模块更关注位置信息，其结构如图 8所示。将网络中某一特征图F（设其结构为 HWC）从空间维度上分别进行平均池化和最大池化，得到两部分结构为 HW1的特征图，然后拼接两部分特征图并进行一次 77卷积操作，最后将结果送入 Sigmoid函数可得空间注意力向量MS(F)，计算公式如式（9）所示：MS(F)=(f7 7(AvgPool(F)；MaxPool(F)=()f7 7()Favg；Fmax .（9）针对 YOLOv5 的 3 层预测输出部分，网络浅层输出的特征图有较大的尺寸适合检测小目标，因车牌图像（9424）相较于输入图片（640640）尺寸较小，通过多次实验发现，将 CBAM 加入到浅层预测输出层之前，可以加强网络在训练过程中对关键特征的提取，抑制不重要的特征信息，达到提高检测目标精度的目的。CBAM 融合到原始 YOLOv5网络的位置如图 9所示。4.3ASFF替换 PANet结构卷积神经网络结构中的浅层特征关注的主要是目标的位置信息，经过不断卷积所得到的顶层特征更加关注语义信息，为了提高目标检测效能就需平衡不同层级的特征图信息。YOLOv5在 颈 部 特 征 融 合 网 络 中 采 用 了 PANet 结 构，PANet 采用双向融合的方式虽可以丰富特征层的语义信息但赋予了不同层的特征图相同的权重。在车牌识别中，车牌图像形状类似，尺寸不会有太大的差异，因此对于浅层网络中尺寸小的特Input featureRefined featureConvolutional block attention moduleChannel attention moduleSpatialattentionmodule图 6混合注意力机制Fig.6Mixed attention mechanismMaxPool、AvgPoolSpatial attention MSFConv图 8空间注意力模块Fig.8Spatial attention moduleFocusCBLC3CBLC3CBLC3CBLSPPC3CBLUpsampleConcatC3CBLUpsampleConcatC3CBAM图 9融入 CBAM 后部分网络结构Fig.9Part of the network structure after integration into CBAMMaxPoolAvgPoolInput FShared MLPChannel attention MC图 7通道注意力模块Fig.7Channel attention module209第 39 卷液晶与显示征图，由于预测的是较大尺寸的目标，所以应赋予其较小的权重，PANet结构不是很好的选择。自适应空间特征融合15（Adaptively Spatial Feature Fusion，ASFF）结构如图 10 所示。ASFF 结构的核心思想是自适应地学习各尺度特征融合的空间权重，通过自适应学习到的权重可对网络赋予不同特征层不同比重的权值，从而突出重要特征信息，且当某层特征图匹配某个目标时不会忽视其他特征图的信息，解决了不同层级的特征图之间特征着重点不一的问题。图 10 中x1、x2、x3分别是来自 YOLOv5 网络的 Head层预测输出部分的 3个特征层，xm n表示xm经过特征缩放以后生成与xn层相同尺寸的特征图。以 ASFF-3 为例，该层得到新的特征如图 10 所示，x1、x2、x3层的特征图分别与来自 3 个特征层上通过训练得到的权重参数3、3、3相乘，再将相乘结果求和即可得 ASFF-3 层的融合特征图。融合公式如式（10）所示：ylij=lijx1 lij+lijx2 lij+ylijx3 lij，（10）由于采用相加的方式，所以要求特征缩放以后的特征图尺寸和通道数都要相同，就需要用到 11卷积调整通道数。ylij表示 l层所求特征图(i，j)位置处的特征，xm nij表示从 m 级调整到 n级所得特征图中映射位置(i，j)处的特征向量，lij、lij、lij表示映射到 l层网络自主训练得到的权重。lij计算如式（11）所示：lij=elijelij+elij+elij.（11）lij、lij、lij是对 YOLOv5 网络的 3 个 Head 层预测输出部分经过特征缩放操作后进行 11 卷积所得，并限制lij、lij和lij之和为 1，且lij、lij和lij0，1。lij、lij和lij这 3 个空间重要性权重通过反向传播自动生成。在 YOLOv5 网络中，3 层检测层所包含的语义信息侧重点不同。浅层检测层更容易识别小目标，所以对于目标较小的车牌图像，浅层检测层应赋其较大的权重，以降低小目标的漏检率。因此本文在 YOLOv5 网络 PANet结构之后引入ASFF模块，加强对小目标的检测。4.4Ghost卷积替换Ghost 卷积16模块与传统卷积不同，其结构如图 11 所示。首先对输入特征图进行少量传统卷积操作得到中间特征图，然后对中间特征图进行线性变化运算得到 Ghost特征图，最后拼接中间特征图以及线性变化运算所得 Ghost特征图得到最终的结果。Ghost 卷积与传统卷积相比，采用将传统卷积和线性变化操作结合的方式，所需计算参数量明显降低；而传统卷积操作是对输入特征图所有通道进行卷积操作，需要计算大量的参数。在不考虑偏置项的情况下，设使用传统卷积所需的网络参数为 p1，使用 Ghost 卷积所需的网络参数为 p2，计算公式如式（12）和式（13）：p1=n c k k，（12）p2=nsckk+(s-1)nsdd，（13）其中：n 表示传统卷积卷积核个数即输出特征图通道数，c 表示输入特征图通道数，k 表示传统卷积卷积核大小，d 表示线性操作卷积核大小，sc。两者参数量之比如式（14）所示：p1p2=n c k kns c k k+()s-1 ns d ds cs+c-1 s.（14）ASFF-1ASFF-2ASFF-3Level 2Stride 16Level 3Stride 8Level 1Stride 32PredictPredictPredict+ASFF-3X13X 23X 33333图 10ASFF网络结构Fig.10ASFF network structureIdentityInputOutputConv123.图 11Ghost卷积Fig.11Ghost convolution210第 2 期杨云，等：基于深度学习的雾霾天气下的车牌号码识别方法设使用传统卷积浮点型计算量为 F1，使用Ghost 卷积的浮点型计算量为 F2，计算公式如式（15）（16）所示：F1=n h w c k k，（15）F2=ns h w c k k+(s-1)ns h w d d.（16）两者浮点型计算量之比如式（17）所示：F1F2=n h w c k kns h w c k k+()s-1 ns h w d ds cs+c-1 s，（17）其中，h和w分别表示原始特征图的高和宽，其它含义同上。当 k 与 d 大小相等时，通过式（14）和式（17）计算得出，Ghost卷积与传统卷积相比，所需参数量和计算量均为传统卷积的1/s。本文用 Ghost 卷积模块替换原 YOLOv5 网络中所有普通卷积模块，在保持模型效果的同时减少了模型的参数。5 车牌识别网络 LPRNetLPRNet（License Plate Recognition Network）用 于 车 牌 号 码 识 别，是 第 一 个 没 有 使 用 RNN（Recurrent Neural Networks）的轻量级网络17，支持识别变长字符车牌，在光线暗、视角差、强光等复杂情况下有较好的鲁棒性。LPRNet网络模型小且高效，适合部署到嵌入式设备上。在车牌倾斜角度大、雨雪天气、强光等特殊环境下，车牌识别成为一项复杂而重要的任务，所以一个强大的车牌识别系统应能够在不同的环境下有较好的适应性。早期的车牌识别过程包含字符分割和字符识别两个阶段。字符分割包括投影分割法、平均分割法等，它以二值化图像作为输入，因此分割质量易受图像噪声、模糊等的影响。而 LPRNet在识别车牌时采用端到端的识别方法，在免于对车牌图像进行分割的同时减轻了网络训练过程中数据标注的工作量，极大提高了训练效率。LPNNet 整 体 架 构 是 CNN（Convolutional Neural Network，CNN）+CTC Loss18，骨干网络以 RGB 图像作为输入。为了利用局部字符的上下文信息，使用宽卷积（113 的卷积核）取代了基于 LSTM（Long Short-Term Memory）的 RNN（Recurrent Neural Networks，RNN）网络。网络最终输出字符序列因网络的输出编码和车牌字符长度存在不相等的情况，而以往将输出编码和字符长度进行对齐可能会导致模型无法收敛，因 此 采 用 CTC Loss（Connectionist Temporal Classification Loss），解决了输入和输出序列未对齐的问题，避免了对车牌图像进行分割而进行端到端的训练。6 实验6.1实验平台在实验中，ACG_YOLOv5s网络训练、LPRNet网络训练环境是 Ubuntu20.04 操作系统、python 3.8 编程语言，使用 Pytorch 深度学习框架，显卡型号为 NVIDIA RTX A4000。两部分实验部分参数设置如表 1所示。6.2数据准备CCPD 数据集主要采集于合肥市，包含的车牌图片中车辆省份主要为皖，所拍摄的图片涉及雨天、模糊、雪天、倾斜等复杂情况。本文 YOLOv5网络实验数据集包括两部分。一 部 分 来 源 于 CCPD2019 数 据 集 中 的 CCPD-weather。CCPD-weather是在雨、雪、雾天气的情况下拍摄的，其部分图片如图 12 所示，选取其中的 5 999张。另一部分是通过在网上搜寻到各个不同省份的带有背景的车牌图片，并利用Python的第三方库 pillow 对该部分数据进行雾霾增强，效表 1网络训练部分参数设置Tab.1Parameters setting in the network training section参数名称学习率批次大小动量因子衰减系数迭代次数参数设置0.01160.80.000 5300211第 39 卷液晶与显示果如图 13所示。这部分数据共 13 857张。CCPD数据集可根据其文件命名规则得到对应的标签。对于没有标签的数据，利用 labelmg 对图片进行标注，生成 xml 文件，然后用 Python 脚本将 xml文件转化成 txt文件。LPRNet部分的数据是根据 CCPD 命名规则将车牌图片在原始带有背景的图片上裁剪出来，同时根据命名规则将图片名转换成车牌字符，除安徽省外其余省份的图片通过在网上搜寻得到，共搜集到 36 715张，同样也对该部分数据进行了雾霾增强。两部分实验都将数据按 8 1 1 划分为训练集、验证集和测试集。6.3网络模型评价指标本文对网络模型的评价指标主要包含精确率（Precision，P）、召回率（recall，R）、各个类别平均精确率（AP）的平均值（mean Average Precision，mAP）。计算公式如式（18）（20）所示：P=TPTP+FP，（18）R=TPTP+FN，（19）mAP=i=1NAPiN，（20）其中：TP 表示真实值为正例且预测为正例的样本数量，FN 表示真实值为正例且预测为负例的样本数量，FP 表示实际负例预测为正例的数量，AP 表示平均准确率，N 为总类别数。mAP 由单类别精确率 AP求和后再求均值得到。6.4实验结果及性能分析在 车 牌 检 测 网 络 训 练 完 成 后，会 生 成 results.csv来保存训练过程中的数据。利用 Origin软件对数据进行可视化展示，精确率、召回率、IOU 阈值为 0.5的平均精准度与训练轮次的关系如图 14所示。消融实验如表 2所示。本文利用检测网络生成的权重文件对测试集进行测试。由图 14和表 2可知，原始的 YOLOv5s模型的 P、R、mAP0.5分别为 96.24%、96.17%、96.2%。改进后的网络模型 ACG_YOLOv5s 相比于原 YOLOv5s 模型 mAP 提升了 3.4%，达到99.6%，且 P 和 R 都有一定程度的提升。YO图 13雾霾增强前后的图像对比Fig.13Comparison of the images before and after haze enhancement图 12CCPD-Weather数据集Fig.12CCPD-Weather dataset图 14训练模型参数对比Fig.14Comparison of training model parameters212第 2 期杨云，等：基于深度学习的雾霾天气下的车牌号码识别方法LOv5s网络在加入 CBAM 注意力机制后，相比于原 YOLOv5s 模型 mAP0.5 提升了 2.43%，因此 CBAM 注意力机制对模型效果的提升发挥了很大的作用。原 YOLOv5s网络在引入 ASFF 模块后，相比于 YOLOv5s 网络 mAP0.5 提升了1.3%。ASFF 模块的引入虽增加了参数量，达到了 10 022 047，但同时提升了模型的性能，因此本文保留了 ASFF 模块，并用 Ghost 模块降低了引入 ASFF 模块带来的参数量增加问题的影响，使得目标检测在维持良好效果的前提下参数的计算量大幅减少。由表 2可以看出，在 YOLOv5s网络中引入 Ghost 模块之后，P、R、mAP0.5 相比于原 YOLOv5s 网络有所下降，但很大程度上减少了参数量。主流检测网络不同算法实验结果对比如表 3所示。由表 3 可知，与 Faster-RCNN、YOLOv3、YOLOv4、YOLOv5S相比，本文的检测准确率和mAP0.5都有一定的提升。本文的权重文件大小是 Faster-RCNN 的 1/24，是 YOLOv3 的 1/17，在提升检测效能的同时减少了模型的内存占比，适合将其部署到嵌入式等设备。本文提出的ACG_YOLOv5s 网 络 模 型 与 原 YOLOv5s 相比，检测速度有所下降，但可满足实际应用的需要。为了避免对定位到的车牌进行分割，本文重新训练了 LPRNet网络，实现了免分割车牌字符识别。用 LPRNet部分的数据集对 LPRNet训练所得模型进行测试，准确率可达 96%。最后分别在无雾和有雾的环境下测试，测试结果如图 15、16 所示。可看出本文方法不仅可识别清晰的车表 2车牌检测部分消融实验Tab.2Partial ablation experiment of license plate detection模型YOLOv5sYOLOv5s+CBAMYOLOv5s+ASFFYOLOv5s+GhostYOLOv5s+CBAM+ASFF+GhostP/%96.2498.6497.5395.8299.63R/%96.1798.5797.4895.8899.58mAP0.5/%96.298.6397.595.8799.6参数量7 185 4307 248 16210 022 0475 982 6147 822 549表 3主流检测网络性能比较Tab.3Comparison of mainstream detection network performance模型Faster-RCNNYOLOv3YOLOv4YOLOv5S本文方法P/%90.3792.4293.7496.2499.63R/%93.2295.3694.9296.1799.58mAP0.5/%89.6391.4293.6496.299.6FPS/（帧/s）43708111080权重文件大小/MB33023548.314.814图 15清晰图像车牌识别结果Fig.15Recognition results of license plate with clear image213第 39 卷液晶与显示牌图像，而且在原始图片使用 AOD-Net 算法对车牌图像去雾之后，图像变得清晰，经过车牌检测网络和字符识别网络可对车牌号码进行正确识别且达到了较高的准确率。7 结论本文提出了基于深度学习的车牌识别算法，可对清晰图像以及雾霾天气下的车牌图片进行检测和识别。先用 AOD-Net算法对图像进行预处理，得到去雾后的图像；然后用 ACG_YOLOv5s网络对车牌进行检测；最后用 LPRNet 对车牌进行识别。对 YOLOv5 网络改进如下：首先在YOLOv5 网络颈部加入 CBAM 注意力机制，提高模型的抗干扰能力，让网络加强对关键特征的提取。其次用 ASFF 模块替换原 YOLOv5 网络中的 PANet结构，赋予 3层输出检测层上的特征图不同的权重，加强对小目标的检测。最后将网络中的传统卷积替换为 Ghost卷积，在保持原模型效果的同时减少网络训练过程中的参数。实验结果表明，ACG_YOLOv5s 相比于原YOLOv5s模型，mAP 提升了 3.4%，可达 99.6%。LPRNet的识别准确率达 96%。两个模型总大小为 15.72 MB，所占内存空间较小。由于本文收集到的 31 省的雾霾天气下的车牌数据相较于CCPD 等大型数据集较少，学习到的车牌字符的特征有限，下一步将继续增加数据集，争取进一步提升车牌的识别准确率。参考文献：