基于深度学习的轻量级道路障碍检测算法.pdf
《基于深度学习的轻量级道路障碍检测算法.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的轻量级道路障碍检测算法.pdf(12页珍藏版)》请在咨信网上搜索。
1、第46卷 第4期2023年8月Vol.46 No.4Aug.2023辽 宁 科 技 大 学 学 报Journal of University of Science and Technology Liaoning基于深度学习的轻量级道路障碍检测算法李正男,赵骥(辽宁科技大学 计算机与软件学院,辽宁 鞍山114051)摘要:道路障碍检测是智慧交通和无人驾驶的重要组成部分。针对道路障碍检算法的参数量过大、占用内存过多、难以在内存和算力有限的设备中使用等问题,本文提出一种轻量级的道路障碍检测算法。在YOLO v4的基础上,使用MobilenetV3作为模型的主干网络,减少模型参数,提高检测速度;改进模
2、型中的PAN结构,将主干网络中更浅层的特征图提取融合,改善小目标检测不佳的问题;在特征融合部分加入ECA注意力机制提升网络整体精度;提出一个新的DBR模块,使网络整体相比之前更加轻便。使用改进后的模型在自制数据集中进行检测,与Mobilenetv3-YOLO v4相比,精度提升5.24,参数量降低35.5%,F达43.8,满足实时应用的技术要求,表明模型可以嵌入到小型移动设备,达到良好的实时效果。关键词:路面障碍检测;轻量级模型;注意力机制;特征融合;深度可分离卷积中图分类号:TP399文献标识码:A文章编号:1674-1048(2023)04-0296-12DOI:10.13988/j.us
3、tl.2023.04.008路面障碍检测作为辅助驾驶功能,可以有效减少交通事故的发生,提高道路的维修效率。目前障碍检测中常用的技术有:毫米波雷达、激光测距仪和计算机视觉。Li等1利用三维激光雷达点云构建的网格图像提取障碍物信息,用于车道特征选择,避免行人和车辆的干扰。该方法利用自适应滑动窗口进行特征选择,利用分段最小二乘法进行道路线拟合,克服各种场景下光照变化、阴影遮挡、行人和车辆干扰等问题。Wang等2提出一种基于激光雷达的RGB图像辅助道路障碍物检测方法,通过增加点特征的数量弥补原始点云的稀疏性和不均匀性。Liu等3提出一种改进的轻量级实时语义分割网络,该网络基于一种高效的图像级联网络结构
4、,利用多尺度分支和级联特征融合单元提取丰富的多层次特征,提高了道路障碍物检测的准确性。但已有的路面障碍检测方法在目前的应用当中存在设备难以达到检测要求、成本过高、实时效果差和对小目标检测不明显等问题。针对以上问题,本文提出一种可实时应用的轻量级YOLO v4(You only look once version 4)模型,选用MobilenetV34作为主干网络,增加特征融合层,改善小目标的检测能力,引入ECA(Efficientchannel attention module)模块5提高模型的检测精度,并提出一个新的DBR轻量模块,使模型更加轻量化。1YOLO v4模型YOLO v46模型结
5、构如图1所示。在输入端使用马赛克数据增强,采用 cmBN(Cross mini-batch normalization)模块和 SAT(Self adversarialtraining)自对抗训练。主干网络使用 CSPDark-net53、Mish激活函数和正则化方法。在特征融合部分加入 SPP(Spatial pyramid pooling)7模块和PAN(Path aggregation network)8结构,在检测头中 使 用 CIOU_Loss(Complete intersection over收稿日期:2023-02-08。基金项目:国家自然科学基金资助项目(61775169);
6、辽宁省自然科学基金资助项目(2020-MS-281,20180551048);辽宁省教育厅科研项目(LJKZZ202-2043)。作者简介:李正男(1998),男,辽宁葫芦岛人。研究方向:机器学习、计算机视觉。通讯作者:赵骥(1974),男,辽宁鞍山人,教授。研究方向:机器学习、计算机视觉。第4期union loss)9作为损失函数,用 DIOU_nms(Dis-tance intersection over union non maximum suppres-sion)作为最后预测框的筛选。图片经过主干网络提取特征后,将不同尺度的特征图送入特征融合网络的 SPP 和 PAN 结构中,进行多尺
7、度的双向融合,最后在不同尺度的检测头中得到检测结果。1.1主干网络作为YOLO v4的主干网络,CSPDarknet53由五个CSP(Cross stage partial)10模块组合而成,每个CSP模块分别包含CBM(Conv batch normaliza-tion mish)模块和残差单元结构。其中残差单元解决了深层网络中存在的梯度消失和梯度爆炸问题,提升网络性能和效率。CSP与残差结构11的结合,解决梯度信息重复的问题,减少参数量的同时增强学习能力。1.2特征融合部分当主干网络完成特征提取后,模型使用特征融合12方式丰富卷积所得到的信息。在特征融合部分,YOLO v4使用SPP和PA
8、N结构进行融合操作,SPP结构可以增加网络对图片信息的感受野,PAN结构可以将不同层次的特征更加充分融合,并得到不同尺度的特征图。模型中的 PAN结构是在 FPN(Feature pyramid network)13结构的基础上添加一个自底向上的金字塔层,FPN将更高层次的语义特征向下传递,而 PAN 在此之上又加入自底向上的位置信息传递,使特征融合更加充分14。1.3检测头YOLO v4在三个特征尺寸不同的检测头中输出检测结果。在检测头中每个网格设置三个锚框,共有九个大小不同的锚框,将锚框和真实框的IOU(Intersection over union)以及分配的网格比较,将不同锚框划分为正
9、负样本。为了样本均衡,根据规则将部分锚框进行损失值计算,然后将真实框在网络中输出并计算损失值,最后得到分类、置信度、框位置和宽高的损失值,并加权求和。边界预测如图 2 所示。预测出偏移量值为(tx,ty,th,tw),根据坐标偏移计算式得到边界框的bx、by、bw、bh,最终输出结果。坐标偏移计算式bx=(tx)+cx(1)by=(ty)+cy(2)bw=pwetw(3)bh=pheth(4)图2边界预测框Fig.2Bounding prediction box图1YOLO v4结构图Fig.1Structure diagram of YOLO v4李正男,等:基于深度学习的轻量级道路障碍检测
10、算法 297辽 宁 科 技 大 学 学 报第46卷式中:cx和cy是特征图中单元网格的左上角坐标;pw和ph是预设的锚框映射到特征图中的宽和高;tx、ty、th、tw为预测出的偏移量坐标;为 Sig-moid函数。2模型改进为了减小网络计算量,使模型更加轻量化,本文使用MobilenetV3代替原本的主干网络进行特征提取操作。在特征融合网络中,丰富融合信息提升小目标检测15效果,加入ECA模块,有利于提高模型整体精度。提出新的DBR模块使模型整体更加轻便。改进后的模型结构如图3所示。2.1轻量级的特征提取网络由于YOLO v4的体积过大、参数过多,对检测设备要求较高,部署到实时设备中存在一些困
11、难,所以本文使用 MobilenetV3 作为模型的主干网络。MobilenetV3 是一个轻量级的网络,计算量小,推理时间短,十分适合路面障碍检测。2.1.1MobilenetV3整体结构MobilenetV3结构如图4所示。网络开头使用一个二维卷积进行操作。瓶颈模块使用线性瓶颈的逆残差结构处理数据。最后由一个批标准化的11的二维卷积,一个77的全局平均池化和两个11不使用批标准化的二维卷积组成,并在倒数第二个11的二维卷积中引入h-swish激活函数,提高模型效率。2.1.2瓶颈模块瓶颈模块结构如图5所示。在残差结构中使用深度可分离卷积和SE(Squeezeand excitation)通
12、道注意力机制。模块中使用11卷积,将低维空间映射到高维空间。在深度可分离卷积提取到足够多的信息后,进入SE注意力机制学习重要的数据特征。最后在不使用非线性激活函数的条件下再次使用11卷积降维。减小计算量的同时,不造成信息丢失。2.2ECA注意力机制在特征融合阶段使用ECA注意力机制提高模型整体检测精度,使模型有重点地学习数据特征。ECA注意力机制如图6所示。ECA注意力机制由全局平均池化、一维卷积和Sigmoid函数组图3改进后的模型结构Fig.3Improved model structure图4MobilenetV3结构图Fig.4Structure diagram of Mobilene
13、tV3 298第4期成。当不同尺度的特征图将要进入融合网络时,输入HWC大小的图像,数据经过全局平均池化层后得到尺度为11C的数据特征,之后使用卷积核为k的一维卷积,在不降维的基础上实现局部跨通道交互,减小模型参数,并且使用 Sig-moid函数使网络更加非线性化。2.2.1局部跨通道交互当特征由全局平均池化层输出进入一维卷积后,一维卷积没有对其进行降维操作,保持原来的通道大小。通道的关注点学习方式=(Wy)(5)式中:W是CC参数矩阵;y是聚合特征;是Sigmoid函数。模块中使用波段矩阵学习通道的关注点,捕获局部的跨通道交互。具体计算式i=j=1kwjiyjiyjiki(6)式中:yi的权
14、重只需考虑yi与其k个相邻的通道之间的相互作用,在一维卷积中权重共享,参数量从kC减小到k;kj表示yi相邻通道的集合。局部跨通道交互通过核大小为k的快速卷积实现,具体为=(C1Dk(y)(7)其中,C1Dk表示一个一维卷积。模块中应用这种方法,仅涉及到k个参数。2.2.2局部跨通道交互覆盖在局部通道交互中模块既实现了轻量化,又保证了局部跨通道交互的有效性。模块不仅可以自动确定交互的覆盖范围,还可以自适应调整各通道间的特征响应值。通道间的交互大小与通道的维度C成正比,在k与C之间存在映射C=(k)(8)其中,(k)为一个线性函数。线性映射是最简单的映射方法,但对于一些特征存在局限性。通道维数通
15、常设为2的指数倍,模型中采用2的指数函数表示非线性映射关系。在ECA中通过扩展线性函数(k),将其引入非线性函数C=(k)=2(k-b)(9)自动卷积核k的计算式为k=(C)=|log2(C)+bodd(10)图5瓶颈结构Fig.5Bottleneck structure图6ECA注意力机制Fig.6ECAattention mechanism李正男,等:基于深度学习的轻量级道路障碍检测算法 299辽 宁 科 技 大 学 学 报第46卷式中:|t|odd表示距离t最近的奇数;和b分别设置为2和1。2.3改进的特征融合层在网络特征提取阶段,层次较浅的网络提取出的浅层特征具有更加详细的细节信息,纹
16、理线条清晰,分辨率也更高。然而在更深层次的网络中,网络提取出的特征具有更大的感受野,可以得到更加丰富的语义信息。为了提高对小目标的检测效果,本文在特征融合阶段提取主干网络中更浅一层的特征图,并将其与原PAN结构中的特征相融合,使网络得到高分辨率特征和更加细微的数据信息,解决新特征层语义信息不够充分的问题。改进前后特征融合模型如图7所示。在原有模型基础上,加入一层新的特征,在主干网络中取出浅层特征,对尺度为104104的特征做卷积操作。将PAN中已经融合完成的特征做上采样,并将取出的104104特征图卷积后进行融合。进入CBL模块做5次卷积后下采样,开始做自上而下的融合操作。再与上采样前5252
17、的特征图做特征融合,并向下做卷积操作。原模型在1313、2626、5252这三层不同尺度大小特征之间进行相互融合(P13、P26、P52)。改进后的模型加入主干网络中更浅一层104104特征图进行融合操作(P13、P26、P52、P104)。充分利用四个不同尺度的特征层进行向上和向下的融合,使特征融合更加充分,增强信息间的交流。图7特征融合部分的改进Fig.7Improvement of feature fusion section2.4提出DBR轻量模块为了使模型整体更加轻便,本文采用深度可分离卷积、Relu6函数和批标准化技术,提出一个新的模块:DBR模块。2.4.1批标准化模型中网络输入
18、来自上一层的输出,并且网络通过反向传播的方式对参数进行调整,即在上一层网络参数发生变化前的输出过程中进行调整,这将导致网络参数的更新与输入的更新存在延迟。在网络层数多的模型中,每层网络的输入与权重值同时发生改变,这种训练比较困难。通常情况下要将学习率设置的很小,但这样将造成模型的学习速率十分缓慢。为了解决这些问题,本文在DBR模块中使用批标准化,使每一层输入中模型都对数据进行归一化处理。当模块经过卷积加入批标准化,可以有效防止网络发生梯度消失和过拟合问题。2.4.2深度可分离卷积深度可分离卷积过程如图8所示。深度可分离卷积包括逐通道卷积与逐点卷积,在逐通道卷积中每一个通道都对应一个特定的卷积核
19、,通道数不发生改变;逐点卷积使用11卷积对逐通道卷积的输出进行融合,并且随着卷积核的数量改变输出通道数量。假设将一个尺寸大小相同的特征图分别放入普通卷积和深度可分离卷积中,当特征图的尺寸为PkPkN,卷积核的大小为Pf PfN,卷积核的数量是M个,在特征图中的每个点都会做一次卷积的情况下,300第4期普通卷积的计算量为PkPkPfPfNM(11)深度可分离卷积的计算量为PkPkPfPfN+NMPkPk(12)显然,深度可分离卷积的计算量小很多。2.4.3模块设计本文提出由深度可分离卷积、批标准化和Relu6组合而成的轻量级模块。深度可分离卷积的特殊结构可大大降低模型的计算量。卷积后,使用批标准
20、化防止网络过拟合及梯度消失,并且加快收敛速度。在模块的末尾处使用Relu6作为模块的激活函数Relu=max(0,x)(13)Relu6=min(6,max(0,x)(14)当Relu6函数的x6时,函数导数为0。Re-lu6函数解决了精度损失问题。在本文的模型中,DBR模块被用于主干网络与特征融合网络的连接处和特征融合网络当中,与原来的CBL模块相比,模型整体变得更加轻便,并且整体精度也有所提升。DBR模块结构如图9所示。3网络训练和实验结果3.1路面障碍数据集本文进行路面障碍检测实验的数据集为自制数据集。确定被检测障碍的种类,使用百度、Google和个人拍摄等方式对数据进行收集,数据集中图
21、片统一为JPG格式。将路面障碍分为路障牌、减速带、路锥和坑洞四类,每个分类有500 张图图8深度可分离卷积Fig.8Depthwise separable convolution图9DBR模块Fig.9DBR module李正男,等:基于深度学习的轻量级道路障碍检测算法 301辽 宁 科 技 大 学 学 报第46卷片,共2 000 张,其中包括小目标、密集、遮挡和昏暗等情况,使用标签标注图片,标签格式为VOC格式。四类障碍的部分数据集如图10所示。3.2实验环境设备的CPU为Intel Xeon E5,内存128G,GPU为NVIDIAGTX TITAN XP,系统为Ubuntu 21.1。图
22、10部分数据集样本Fig.10Sample of partial data set实验过程中,使用冻结训练将主干网络冻结,使网络训练更加高效,保护权值。对实验参数进行调整,输入图片大小设置为416416,训练总轮次共100轮,前40轮设置为冻结训练,一次训练选取的样本大小为16,最大学习率为10-3;后60轮为解冻训练,一次训练选取的样本大小为4,最大学习率为10-4。将整个数据集分为训练集、验证集和测试集,其中,训练集占81%,验证集占9%,测试集占10%。模型训练的损失收敛曲线如图11所示。图中,A为加入改进的融合层,B为加入改进的融合层和ECA模块,C为加入改进的融合层、ECA模块并替换
23、DBR模块。使用预训练权重,模型在经过5轮后,损失值迅速降低。当模型解冻后,损失曲线在40到60轮明显下降,最后损失曲线趋于平稳。模型训练相对理想。图11不同模型的损失曲线图Fig.11Loss curves for different models3.3实验对比3.3.1评价指标使用准确率P、召回率R、平 302第4期均精度Ap、画面每秒传输帧数F和参数量这五项指标对模型进行评估。P、R、Ap计算公式P=TPTP+FP(15)R=TPTP+FN(16)Ap=01P(R)dR(17)式中:TP是正确的目标检测数量;FP是错误的目标检测数量;FN是错误的检测数量以及没有检测到的数量之和。P-R曲
24、线是准确率-召回率曲线。3.3.2轻量级模型的对比表1为不同轻量模型的对比实验在不同IOU阈值下的检测精度。本文使用MobilenetV3做特征提取。与MobilenetV1-YOLO v4相比,MobilenetV3参数量减少2.4%,精度上提高 1.31%。与 MobilenetV2-YOLO v4 相比,MobilenetV3参数量增加2.4%,但精度Ap,50明表1轻量级模型对比实验Tab.1Comparison experiment of lightweight models模型YOLO v4YOLO v4YOLO v4YOLO v4YOLO v4+YOLO v4+本文模型主干网络M
25、obilenetV1MobilenetV2MobilenetV3GhostnetMobilenetV1MobilenetV2MobilenetV3图片大小416416416416416416416416416416416416416416Ap,3086.3386.2486.2771.3686.5687.3887.62Ap,5073.4875.0274.7963.3975.576.9580.03Ap,7049.9250.7940.8032.6646.2450.8250.75参数量41 005 75739 124 54140 043 38939 740 43326 788 04924 900 17
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 轻量级 道路 障碍 检测 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。