基于Ghost改进的YOLOv5轻量化双目视觉无人机避障算法.pdf
《基于Ghost改进的YOLOv5轻量化双目视觉无人机避障算法.pdf》由会员分享,可在线阅读,更多相关《基于Ghost改进的YOLOv5轻量化双目视觉无人机避障算法.pdf(9页珍藏版)》请在咨信网上搜索。
1、第 39 卷 第 1 期2024 年 1 月Vol.39 No.1Jan.2024液晶与显示Chinese Journal of Liquid Crystals and Displays基于 Ghost改进的 YOLOv5轻量化双目视觉无人机避障算法贾一凡1,2,曹天一3,白越1*(1.中国科学院 长春光学精密机械与物理研究所,吉林 长春 130033;2.中国科学院大学,北京 100049;3.西南交通大学-利兹学院,四川 成都 610097)摘要:为解决无人机在室外实际飞行时的自主避障问题,提出一种基于 Ghost改进的 YOLOv5轻量化双目视觉无人机避障算法。首先,引入 Ghost模块
2、改进 YOLOv5中的 CBL和 CSP_X 单元,使用CIOUloss作为回归损失函数,并将非极大值抑制CIOUnms修改为DIOUnms以优化损失函数;其次,对双目相机进行标定和校正;使用 ORB 特征点提取和滑动窗口匹配算法得到检测目标的视差值,再根据视差值和相机内参求解出障碍物的距离信息;最后,根据障碍物的位置和距离实现无人机的自主避障。该避障算法在嵌入式系统中运行的平均 FPS达到 14.3,并用无人机避障飞行试验证实了该算法的可行性;改进后的网络检测平均准确率为 76.88%,与 YOLOv5相比,平均检测精度均值下降 0.37%,但检测时间下降22%,参数量下降 25%。该算法对
3、无人机的自主避障具有重要的应用价值。关键词:目标检测;轻量化;特征匹配;无人机避障中图分类号:TP391 文献标识码:A doi:10.37188/CJLCD.2023-0069Improved YOLOv5 lightweight binocular vision UAV obstacle avoidance algorithm based on Ghost moduleJIA Yifan1,2,CAO Tianyi3,BAI Yue1*(1.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of
4、 Sciences,Changchun 130033,China;2.University of Chinese Academy of Sciences,Beijing 100049,China;3.SWJTU-Leeds Joint School,Chengdu 610097,China)Abstract:To address the issue of autonomous obstacle avoidance during unmanned aerial vehicle(UAV)文章编号:1007-2780(2024)01-0111-09收稿日期:2023-02-21;修订日期:2023-
5、03-29.基金项目:国家自然科学基金(No.11372309,No.61304017);吉林省科技发展计划重点项目(No.20150204074GX,No.20160204010NY);省院合作科技专项资金(No.2020SYHZ0031);中国科学院青促会项目(No.2014192);中国科学院轻型动力创新院重点基金(No.CXYJJ20-ZD-03)Supported by National Natural Science Foundation of China(No.11372309,No.61304017);Key Projects of Jilin Province Science
6、 and Technology Development Program(No.20150204074GX,No.20160204010NY);Provincial and Academic Cooperation Science and Technology Special Fund(No.2020SYHZ0031);Program of Youth Innovation Promotion Association CAS(No.2014192);Innovation Guidance Fund Project of Light Power Innovation Research Instit
7、ute of Chinese Academy of Sciences(No.CXYJJ20-ZD-03)*通信联系人,E-mail:第 39 卷液晶与显示flight in outdoor environments,a lightweight binocular vision-based UAV obstacle avoidance algorithm was proposed utilizing Ghost module to improve YOLOv5.Firstly,the Ghost module was introduced to enhance the CBL and CSP_X
8、 units of YOLOv5,while utilizing CIOUloss as the regression loss function,and optimizing the loss function by modifying the non-maximum suppression from CIOUnms to DIOUnms.Secondly,the stereo cameras were calibrated and corrected,and the ORB feature point extraction and sliding window matching algor
9、ithm was utilized to obtain the disparity value of the detected targets,and the distance information of the obstacle was solved based on the disparity value and camera intrinsic parameters.Finally,autonomous obstacle avoidance of the UAV was achieved based on the position and distance of the obstacl
10、e.The obstacle avoidance algorithm was implemented on an embedded system,an average FPS of 14.3 was achieved,and the feasibility of the algorithm was verified through UAV flight testing.The improved network had an average detection accuracy of 76.88%,which was 0.37%lower than that of YOLOv5,but the
11、detection time and parameter quantity were reduced by 22%and 25%,respectively.This algorithm has significant value for the autonomous obstacle avoidance of UAVs.Key words:object detection;lightweight;feature matching;obstacle avoidance unmanned aerial vehicles1 引言无人机具有长续航、高隐蔽、成本低、不惧损耗、体积小、操作简单等特点,可以
12、代替人去完成更复杂或更危险的特定任务,在军事和民用领域都受到了广泛关注1。随着无人机技术优势的不断积累,其应用领域逐渐扩大到了搜索救援、城市巡检、农业植保以及智能物流等诸多领域2。若要使无人机能够自主完成特定的任务,其避障能力尤为重要。该能力也是无人机产品能否脱颖而出的一项重要指标3。目前的避障识别主要有超声波、激光雷达和机器视觉等方式4。其中,超声波易受干扰,激光雷达成本高昂,因此,机器视觉的方式广受欢迎。机器视觉还可应用于光学领域5中进行全息图像重建6。国内外的研究者针对机器视觉和深度学习在无人机避障中的应用进行了大量的研究和测试,取得了一些有实用价值的研究成果。Xue等7提出了一种基于深
13、度强化学习的方法,使无人机在充满常见障碍物的室内环境中仅通过视觉完成避障任务。Boitumelo 等8使用从相机图像计算出的视差图来定位障碍物,并用一种反应性方法进行无人机避障。Lai等9提出了一种基于深度学习距离估计的无人机避障方案,旨在利用单目相机检测和跟踪来袭的固定翼无人机,进而进行空中避障。袁毅等10先检测障碍物轮廓,再提取障碍物的左右图像特征点并进行立体匹配得到障碍物与无人机之间的实际距离,从而进行安全距离飞行。杨娟娟等11使用改进的 YOLOv3 模型检测障碍物的位置来辅助无人机进行避障决策。基于深度学习的目标检测算法往往对计算机硬件的算力要求较高,在低算力的嵌入式系统中有较大的传
14、输时延,故难以在无人机平台完成实时性的目标检测任务。双目相机具有准确性高、鲁棒性强、成本低等优点,能获取障碍物的距离信息,辅助无人机进行避障决策。本文分析了无人机的室外飞行环境,深入研究了无人机避障的关键技术和目标检测网络轻量化的方法,提出一种基于 Ghost改进的 YOLOv5 轻量化双目视觉无人机避障算法。首先,提出改进的YOLOv5s-Ghost网络模型,提升障碍物检测的速度,减少系统运行的计算量和时间;其次,检测障碍物的 ORB(Oriented FAST and Rotated BRIEF)特征点并进行立体匹配,解算出障碍物的三维坐标及距离信息,为无人机的视觉防撞做准备;最后,结合目
15、标位置和距离信息,绘制出无人机的防撞预测区域,向无人机传达避障指令,从而实现避障功能。本文的无人机自主避障方式具有成本低廉、结构简单、系统鲁棒性高和环境适应能力强等优点,能够使无人机在 020 m 范围内进行安全避障飞行。2 YOLOv5s-Ghost模型建立YOLO(You Only Look Once)系列检测算112第 1 期贾一凡,等:基于 Ghost改进的 YOLOv5轻量化双目视觉无人机避障算法法因其效率高12、检测速度快,越来越受到研究者的喜爱。目前,YOLOv5 网络是 YOLO 系列中 应 用 最 为 广 泛 的 模 型,而 YOLOv5s 是 YOLOv5 网络中参数和浮点
16、运算量最小的版本,检测速度也较快,但仍不适用于嵌入式系统快速检测的需要。为了使网络更轻量化并提高检测速 度,本 文 引 入 Ghost-BottleNeck 与 DarkNet-53 融 合 组 成 新 的 特 征 提 取 网 络 YOLOv5s-Ghost。2.1Ghost-BottleNeck模块传统的深度学习网络在提取特征图时,会存在大量冗余、相似的特征图,但这些特征图对于模型的精度又是不可或缺的,并且都是由卷积操作得到又输入到下一个卷积层进行运算。这个过程中包含大量的网络参数,消耗了大量的计算资源。因此可以尝试使用更低成本的计算量来获取这些冗余特征图,Ghost 模块主要包括以下步骤1
17、3(图 1):(1)使用 1/2的卷积核进行传统卷积操作。(2)使用另 1/2的 33卷积核进行逐通道卷积操作,即 Cheap operations。(3)将两部分的输出进行 Concat拼接。在 常 规 卷 积 FLOPs(Floating Point Operations Per Second)计算中,h是输出的高;w是输出的宽;n是输出维度,即卷积核的数量;c是通道数;k是卷积核的高和宽。本文使用 Ghost 模块对此进行了改进,将常规卷积操作的 n 组卷积核分为 s组,d为 Cheap operations的卷积核,约等于 k,故加速比 rs和压缩比 rc如式(1)、式(2)所示。本文
18、将卷积核分为两组,即 s 为 2,故 Ghost 模块的参数量和计算时间为常规卷积的 1/2。rs=n h w c k kns h w c k k+(s-1)ns h w c d d=c k kns c k k+(s-1)s d ds cs+c-1 s,(1)rc=n c k kns c k k+()s-1ns d ds cs+c-1 s.(2)本文基于 Ghost 模块的轻量化特点,提出Ghost-BottleNeck 模块。如图 2 所示,该模块由两 个 堆 叠 的 Ghost 模 块 组 成,加 入 BN(Batch Normalization)层用于加速网络的收敛速度并且防止过拟合。前
19、半部分引入 Leaky relu激活函数是为了防止训练过程中出现神经元不学习问题;而后半部分没有引入激活函数,是为了使数据在训练过程中保持同分布,从而加快模型的收敛速度。基于 Ghost 模块和 Ghost-BottleNeck 模块对YOLOv5s网络结构中的 CBL模块和 CSP_X进行改进,得到 GBL和 GCSP_X。与原始的 YOLOv5相 比,YOLOv5s-Ghost 模 型 仅 使 用 了 一 种CSP_X 结构,这样可以降低模型的复杂度,并且将梯度变化的信息完整地传递到特征图中,优化了网络的特征融合能力,从而保证了检测的准确率。最终 YOLOv5s-Ghost网络结构如图 3
20、所示。图 1Ghost模块Fig.1Ghost module图 2Ghost-BottleNeck模块Fig.2Ghost-BottleNeck113第 39 卷液晶与显示2.2损失函数本文 YOLOv5s-Ghost 的损失函数 L 主要由回归损失函数 Lloc和分类损失函数 Lcla两部分组成,损失函数的计算公式如式(3)所示:L=Lloc+Lcla,(3)式 中:Lloc利 用 CIOUloss(Complete Intersection over Union)14函数计算,CIOUloss 的计算公式如式(4)所示:CIOUloss=1-CIOU=1-()IOU-D22D2c-v21-
21、IOU+v,(4)其中:IOU 表示预测框与真实框的交并比;D2 表示预测框与真实框两个中心点的欧氏距离;Dc 表示预测框与真实框最小外接矩形的对角线距离;v是衡量长宽比一致性的参数,其计算公式如式(5)所示:v=42()arctanwgthgt-arctanwphp2.(5)CIOUloss相比于传统的 IOUloss,多考虑了边界框中心点的距离信息和长宽比,可以有效地优化两个框不相交和边界框宽高比的尺度情况,使预测框回归的速度和精度更高。在目标检测的后处理过程中,针对单个目标的重复检测问题,往往需要 进 行 非 极 大 值 抑 制(Non-Maximum Suppression,NMS)操
22、作。因为 CIOUloss是在 DIOUloss的基础上添加了影响因子,包含真实框的信息,在训练时用于回归。但在测试过程中,并没有真实框的信息,不用考虑影响因子,因此直接用CIOUloss即可。本文针对真实框与预测框几何中心的位置关系,使用 CIOUloss作为损失函数,但使用 DIOUnms进行 NMS操作,效果明显优于使用传统的 NMS,有效提升了检测精度。3 无人机避障系统设计3.1双目相机标定与立体校正在图像处理领域中,若想得到三维空间中某一点的坐标与二维图像像素点的对应关系,可以利用双目测距原理建立双目相机模型,得到双目相机参数。本文使用张正友标定法15得到相机参数,然后通过 Bou
23、guet立体校正算法将实际双目立体视觉模型转变为理想的平行双目立体视觉模型,消除双目图像在垂直方向的视差,有效改善了立体匹配效果。3.2双目视觉测距3.2.1特征点的提取在背景复杂、噪声明显、目标在视图中快速运动的情况下,用传统的 BM(Block Matching)16算 法、GC(Graph Cuts)算 法17、SGBM(Semi-Global Matching)18算法等都很难得到有效的视差图,且存在对背景信息的冗余计算,不满足测距的实时性,因此采用对待测距目标进行特征点 提 取 与 匹 配 的 方 式 进 行 稀 疏 点 云 的 测 距。SIFT(Scale-Invariant Fe
24、ature Transform)算法在尺度和旋转变换的情况下匹配效果良好19,不会因光照、仿射变换和噪音等因素而变化,但运行时间过慢,不满足实时性需求。本文选用 ORB特征点提取方法,设图像中某一点像素 P 的亮度为 Ip,以像素 P 为圆心,在半径为 3圆上选取 16个像素点,若该圆上超过 12个点的亮度值大于 120%Ip或小于 80%Ip,则像素 P 视为一个特征点,如图 4所示。遍历完图像后,角点可能会大量集中在某一处,因此要采用非极大值抑制为所有角点确定一个得分值 S,表示为 P 与圆上 16 个点的像素值差图 3YOLOv5s-Ghost网络结构Fig.3Network struc
25、ture of YOLOv5s-Ghost114第 1 期贾一凡,等:基于 Ghost改进的 YOLOv5轻量化双目视觉无人机避障算法的绝对值进行求和,计算过程如式(6)所示:s=i=116|Ip-Ii.(6)为了使检测出的特征点能够进行特征匹配,应为特征点添加尺度和旋转的描述。通过构建图像金字塔,并在金字塔的每一层上检测角点的方式可以实现尺度不变性。特征的旋转可以由灰度质心法实现,具体步骤如下:(1)在一个小窗口 B中,定义图像块的矩阵:mpq=x,y BxpyqI(x,y),p,q=0,1 .(7)(2)通过矩阵得到图像块的质心c:c=()m10m00,m01m00.(8)(3)连接图像块
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 Ghost 改进 YOLOv5 量化 双目 视觉 无人机 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。