基于YOLOv5的超市自动取货机器人设计与实现.pdf
《基于YOLOv5的超市自动取货机器人设计与实现.pdf》由会员分享,可在线阅读,更多相关《基于YOLOv5的超市自动取货机器人设计与实现.pdf(7页珍藏版)》请在咨信网上搜索。
1、Computer Era No.11 20230 引言为客户提供快速、便捷和舒适的购物环境是各大商场和超市所追求的目标。本文结合 YOLOv5神经网络识别算法,设计了一款超市自动取货机器人,力求在一定程度上减轻物流行业的压力,提升服务工作效率,同时尽量避免因人群聚集而引起的病毒传播。1 整体设计为使自动取货机器人具有独立决策、并行高效的特点,设计的机器人在树莓派上运行YOLOv5算法。机器人底层硬件控制部分采用了树莓派4B,具有4G内存,搭载64位操作系统Raspberry,给在树莓派上实现YOLOv5算法的目标检测提供了保障。在上层主机上配置 YOLOv5环境,下载源码,使用数据集进行训练。
2、在底层树莓派上配置 YOLOv5运行环境,主机通过 VNC 软件与树莓派建立远程连接,树莓派控制摄像头进行图像获取,并通过无线传输的方式将图像传输给主机。如图1所示。树莓派利用部署在主机上的 YOLOv5模型进行图像识别并返回识别结果,再控制机械臂进行抓取。DOI:10.16644/33-1094/tp.2023.11.005基于YOLOv5的超市自动取货机器人设计与实现*高骏一1,郑榜贵2,王颖雪1,刘楚彤1,柳雨萌1,关景华1(1.北京工业大学樊恭烋荣誉学院,北京 100124;2.北京工业大学信息学部)摘要:设计开发了一款超市自动取货机器人。首先搭建可完成物体识别和运动控制的机器人系统,
3、根据特定的超市环境,研究基于YOLOv5的视觉识别算法,实现目标商品的识别和定位。然后研究目标物体的抓取控制,完成目标物体的搬运。该机器人基于YOLOv5神经网络框架,具有较高的准确性,它既可帮助人们在超市内拾取商品,又可在物流作业线上抓取和搬运货物。关键词:YOLOv5;神经网络;目标检测;自动取货;机器人中图分类号:TP391.4;TP242.3文献标识码:A文章编号:1006-8228(2023)11-22-06Design and implementation of YOLOv5-based supermarket automatic pickup robotGao Junyi1,Zh
4、eng Banggui2,Wang Yingxue1,Liu Chutong1,Liu Yumeng1,Guan Jinghua1(1.Fan Gongxiu Honors College,Beijing University of Technology,Beijing 100124,China;2.Faculty of Information Technology,Beijing University of Technology)Abstract:In this paper,a supermarket automatic pickup robot is designed and develo
5、ped.Firstly,a robot system that canaccomplish object recognition and motion control is built.Then the visual recognition algorithm based on YOLOv5 neural networkis studied to realize the recognition and location of supermarket goods according to the supermarket environment,and the graspingcontrol of
6、 target objects is studied to complete the handling of the target objects.The robot is based on the YOLOv5 neuralnetwork framework with high accuracy,and it can help people pick up goods in supermarkets as well as grasp and carry goods inlogistics operating lines.Key words:YOLOv5;neural network;targ
7、et detection;automatic pickup;robot收稿日期:2023-07-05*基金项目:国家自然科学基金项目(61873008);北京工业大学“星火基金”项目(108000513103);北京工业大学樊恭烋荣誉学院基石项目(108000514122001)作者简介:高骏一(2003-),男,北京市人,本科,主要研究方向:神经网络、自然语言处理。通讯作者:郑榜贵(1972-),男,浙江江山人,博士,讲师,主要研究方向:智能检测、机器视觉。22计算机时代 2023年 第11期机器人的整体设计框架图如图1所示。图1整体设计框架2 软件设计与实现YOLOv5的检测系统主要分为三
8、个阶段:数据预处理,将输入图像缩放到统一的大小(将分辨率调整到448 448,见2.1.3),然后进行数据增强以增加模型的泛化能力。将图像通过全卷积神经网络。利用极大值抑制(NMS)进行筛选以去除冗余的检测框。通过上述流程,结果中会显示最具有代表性的框,且具有较小的误检率和重复率。2.1 YOLOv5工作原理YOLOv5是基于卷积神经网络、网格视角和多尺度预测技术的目标检测技术,它能够快速准确地检测目标物体。YOLO 采用回归方法来解决物体检测问题,使用“端到端”网络,实现了从输入原始图像到输出物体位置和类别的全过程。YOLO主要有以下突出特点1:不像其他目标检测算法采用回归问题+分类问题的检
9、测方式,而是将目标检测当作一个回归问题来处理。YOLO使用单个网络进行目标检测,仅需一次前向传播即可输出图像中所有目标的检测框和类别信息。这种端到端的方法不仅方便了训练和优化网络,同时也提高了检测的速度和效率。2.1.1 网络结构YOLO的检测网络由24个卷积层和2个全连接层组成。卷积层用于提取图像特征,全连接层用于预测目标的位置和类别概率。此外,YOLO采用了多个下采样层来增加网络感受野以提高目标检测的准确性。YOLO 的网络结构受到了 GoogLeNet 分类网络的启发2,但 与 GoogLeNet 不 同 的 是,YOLO 没 有 使 用Inception模块,而是使用1 1卷积层和3
10、3卷积层的简单组合来代替。2.1.2 输出YOLO 的目标检测方法将输入图像划分成一个SS的网格,在每个网格上预测出B个边界框以及每个边界框所属物体的类别概率。当某个物体的中心点位于某个网格中时,该网格就负责检测该物体。每个边界框包含五个信息:中心点坐标()x,y、宽度、高度以及边界框所属物体的置信度3。在卷积神经网络中,B和C的数量是预先设定的。2.1.3 模型训练原理 预训练。YOLO网络的前20个卷积层、1个平均池化层和1个全连接层使用ImageNet1000类数据进行训练4。输入的图像被调整到224224的分辨率。使用步骤1得到的前20个卷积层的网络参数来初始化YOLO模型前20个卷积
11、层的网络参数,然后使用标注数据进行训练。为了提高图像精度,训练过程中将输入图像的分辨率调整为448448。2.2 基于YOLOv5的目标识别2.2.1 系统训练找到相关数据集共 4100 张,其中包含“apple”,“permission”,“orange”等共9类。在运行YOLOv5程序前,需先对数据集进行标签化处理。由于图像标注工具“labelimg”具有速度快,以及可保证数据质量与准确性的特点,最终选择该平台进行数据标注。最终得到有效标签4000个。训练执行前,进行了命令行的参数预设,预设结果如表1所示。表1命令行参数命令行参数命令行参数batchbatchepochsepochswei
12、ghtsweightsdevicedevice设置值设置值4100yolov5s.yamlGPU参数含义参数含义统一输入图像规模数据集参与训练的次数权重文件训练的设备在训练过程中,模型通过反向传播算法计算梯度,并使用梯度下降算法来更新模型的权重参数,以最小化损失函数。本文使用的模型是YOLOv5s,在训练过程中,主要更改的是整个网络结构的权重参数。这包括主干网络和预测头网络。主干网络通过修改各层的权重参数,以获得更全面的特征信息。预测头网络则通过修改各层的权重参数,包括路径聚合和检测头,以提高检测性能,并使其适应于检测不同尺寸的目标。本文利用PyQt5构建了可视化界面,增添了23Compute
13、r Era No.11 2023视频文件识别模块和摄像头实时识别模块。最终可视化界面如图2所示。2.2.2 目标识别从以下评价参数对所得训练结果进行分析:正确率(Accuracy)accuracy=TP+TNTP+TN+FP+FN=NTNtotal其中,T/F表示最终预测是否正确(True/False),P/N表示模型预测结果为正例或为负例(Positive/Negative),TP表示模型预测结果为正例且正确的识别数量,TN,FP,FN含义同理5。下同。由式可知,准确率是最简单、最直观的评价指标。但当样本分布不均时,指标的计算结果会被占比大的类别所主导,从而导致较大的误差。同时,由该公式得到
14、的结果太过于笼统,实际应用中,可能更加关注某一类别样本的情况。精准率(Precision)与召回率(Recall)6precision=TPTP+FPrecall=TPTP+FN很明显,精确率和召回率是一对相互矛盾的指标,一般来说高精准率往往对应着低召回率,反之亦然。精确率-置信度关系图与召回率-置信度关系图则是为更加直观地体现识别结果。为使实验结果更具代表性,本文中使用的各类数据集总数并不一致,其中“pear”和“mongo”等类的数据集数量较少。由图 3可知,对于数据集数量较少的“pear”类和“mongo”类的准确率函数和随置信度(Confidence)的变化波动性极大,而对于“oran
15、ge”等类的函数值较为稳定,且非常靠近1,这表示其精度较高。同时可知在置信度为0.902时即可保证所有类别的识别结果正确的概率为1,其值较为可观。图3精确率-置信度关系图图4召回率-置信度关系图类似地,由图4可知,“pear”类和“mongo”类的召回率函数在相同的置信度条件下的函数值同样较小,“orange”等类的函数值较高。当置信度小于0.96时,可识别较多的目标物体类别。除此之外,在评估中还有精确率-召回率关系图。在该图像中,还涉及到了IoU,mAP两个参数。图2视频检测功能及图片识别功能24计算机时代 2023年 第11期IoU为深度学习模型中的常见评估指标,其常常用来评估性能。该指标
16、表示预测边界框与真实边界框的重叠程度7-8。令A为预测边界框面积,B为真实边界框面积,则IoU计算如下:IoU=A BA B其中,A B表示预测边界框和真实边界框之间重叠区域的面积,A B表示两个边界框所占据的总区域的面积。显然,IoU的值越大,表示检测器的性能越好。mAP(Mean Average Precision),即均值平均精度,表示每个类的AP(Average Precision)的平均值9。在表示时,常常表示为“a mAP b”,其中 a 表示mAP值,b表示IoU的阈值。在精确率-召回率关系图中,其图像与横坐标所围面积即为所求的均值平均精度10。一般地,我们希望曲线可以尽可能的地
17、靠近(1,1)点,即所围面积尽可能地靠近1,这样所得的平均精度最高。如图5所示,本系统的平均精度为0.844,其值较高。图5精确率-召回率关系图图6可视化训练结果我们通过图6可视化训练结果,更加明显地体现上述参数的波动性:上述几个函数随训练轮数的增大,波动不是很大,且体现出稳步上升趋势。损失(loss)函数YOLO使用均方和误差作为损失函数,即计算输出的S S()B 5+C维向量与真实图像对应的向量的均方和误差11。如式所示:loss=i=0S2coordErrori+iouErrori+classErrori在损失函数图像中,通常使用 Box_loss 表示bounding box的损失,其
18、值越小则表示方框越准,式中对应coordError;使用Objectness_loss表示目标检测损失均值,其值越小则目标检测越准,在式中对应iouError;使用Classification_loss表示分类损失的均值,其值越小则分类越准,式中对应classError。由图7可知,无论是在训练集还是在验证集中,随着训练轮数的增大,以上三种函数均体现出较好的函数趋势。图7三种loss函数F1函数YOLO中的F1函数是基于精准度和召回率的综合度量,通过计算它们的调和平均值得到12-13。F1=2 precision recallprecision+recallF1函数的取值范围是 0 至 1,其
19、中 1 表示最佳性能,0表示最差性能。一般而言,较高的F1值表示模型在精确度和召回率之间能够取得良好的平衡。通常越接近1表示其性能越高。如图8所示,在含有“pear”和“mongo”等数据集数量较少的类的情境下,系统的F1函数值仍达到了0.84。对于那些数据集较多的类,其函数值已经达到了0.95左右,与1极为接近,证明系统的性能较高。25Computer Era No.11 2023图8F1函数2.3 机器人控制端软件实现主机通过VNC软件与树莓派建立远程连接,为树莓派安装Opencv与Pytorch。通过文件传输将主机上训练好的pt模块传入到树莓派上,用Linux命令进入到YOLO文件夹中并
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 YOLOv5 超市 自动 货机 设计 实现
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。