基于YOLO＿v3的工件抓取机械臂研究_朱花.pdf

第 卷 第 期 年 月：基于 的工件抓取机械臂研究朱 花，陈 璐，阳 明，刘正超（江西理工大学 机电工程学院，江西 赣州）摘 要：为解决目前传统机器视觉在多样本环境下识别、抓取不准确的问题，基于机器视觉设计一套识别、抓取工件机器人实验装置。该装置通过改进 目标检测算法抓取 种不同种类的工件放于指定位置。算法依据数据增强自制数据集样本扩充，提升算法的鲁棒性，为实现模型轻量化，将 原始骨干网络替换为 ，提升模型检测性能。结合工件的分类和位置信息，以三自由度机械臂为执行系统，通过逆运动学得到角度值；同时通过串口传入单片机控制机械臂末端完成任务。实验表明，基于 结构下不同工件的识别准确率达到了 以上，可用于工业生产和自动化实验的实践教学，具有一定的应用价值。关键词：机器视觉；算法；目标检测；深度学习中图分类号：文献标志码：文章编号：（），（，）：，：；收稿日期：基金项目：国家自然科学基金项目（）作者简介：朱 花（），女，福建沙县人，硕士，副教授，研究方向为机械设计、智能控制。：；：引 言机器人领域随着科学技术的不断发展，其中的识别和抓取技术逐渐成为了现代工业生产的一项重要技术。在新科技、产业革命的背景下，高校学生对于“新工科”的硬件基础即实践教学仪器与课程、应用环境协调性不足。自 和 首先提出将机械手臂控制技术与视觉技术相融合后，王朋强等就已经根据人类双目视觉的基本原理，完成了对机器人手臂的定位与抓取工作。张弛等则设计了一个基于单目视觉的智 第 期朱 花，等：基于 的工件抓取机械臂研究能抓取机器人。对于机械臂的控制，上述大多采用嵌入式、等方式，对于教学实验和较小、较轻的工件类抓取，成本较高。近年来，目标检测算法更新换代，大致分为两大类：一阶段算法（）和两阶段算法（）。其中 包含了（）系列和 系列。整体而言，双阶段算法在精度上要高一些，在速度上，双阶段算法比单阶段要差一些。对于 算法，它的基础网络模型为，其结构为标准卷积层、池化层和全连接层 部分的轮替。基于 的 算法在识别图片时，遍历整张图片使得其权重数目扩大，虽然拟合的能力加强了，但是训练的时间也大幅度增加。本文提出基于 单片机的分拣机械臂，在实际应用中更加轻巧便利。针对 算法检测速度慢且目标工件种类少等特征，将算法的网络结构由 轻量化改为 的结构，删去其中部分标准化卷积，变更为深度可分离卷积，使得模型的计算量和尺寸都大大降低。在此基础上，自制了工件类数据集训练，并且进行各维度的数据增强，对于识别准确度也有较为理想的结果。总体设计方案抓取技术是智能机器人常用的技术手段。本文的研究对象为开源的三自由度机械臂如图 所示，可模拟工业生产人员在工作中实现对各类标准工件的分类和抓取。机械臂实物如图 所示。图 三自由度机械臂模型图 三自由度机械臂实拍 该系统由 控制板、电动机驱动模块、步进电动机、摄像头以及机械臂组成。计算机控制机械臂前端的摄像头采集放置区的工件图像，利用 函数库捕获图像当前帧，通过运行目标检测算法得到目标工件的分类和位置，计算成功后将信息传输给 主控开发板，由主控板按照程序驱动 步进电动机转动进而控制机械臂抓取指定工件并配送到相应的位置。总体系统框图如图 所示。图 总体系统框图.系统硬件方案（）控制系统。系统采用 单片机为主控板。该主控芯片具有 路数字输出、输入口，足够用来驱动系统的 个电动机。（）电源模块。电源采用不同的供给方式，单片机的工作电压为 ，但是在实际应用中，当外接电源为输入 时，工作极不稳定，采用的是 交流电通过 转变得来的 供电，电动机驱动模块的电压为 ，由 的 电池供电。（）驱动模块。个 步进电动机和相应的 驱动器控制机械臂的各个角度，其中 个控制横向旋转，个控制纵向摆动。电动机和 驱动板控制机械臂夹手的抓取动作。在实际操作中，选择将 .插在 板上，作为 的拓展版使用。.有、三轴电动机接口和挤出机、电动机接口。将 的 轴电动机接口的 引脚与 的 引脚相连接，引 脚 与 的 引 脚 相 连 接，引脚与 的 引脚相连接，其余主控板与驱动器、电动机间的连线如图 所示。.系统总体流程整个系统由 主控板控制，当视觉相机在物料间采集到图片时，传输给计算机进行目标检测，经过图像预处理，包括模糊增强、去除噪声等操作进行逐步数据增强，最终返回目标工件的分类信息和位置信息，得到机械臂各关节需要转动的角度，将角度值转换成步进电动机的电流信号，驱动电动机转动，继而驱动机械臂完成抓取操作，至此完成一类工件的分拣，继续下一轮的识别定位。工作流程如图 所示。机械臂抓取控制.目标检测相机采集到的图片利用 算法进行目标检测。算法通过单独的 模型来实现，将输入图片调整为 的大小，进入 网第 卷图 部分硬件连接图图 系统工作流程络后得到 个分支，再经过卷积、上采样、合并等多次反复操作后最终得到 个不同尺寸的预测结果。不同尺寸的结果用于对大、中、小对象的预测。每一个尺寸的预测框有 个参数，分别是由 个位置坐标信息、个类别置信度、个类别预测值组成。这些参数最终就可预测到原图中是否有目标工件并且可以预测出工件的位置信息。网格中蓝色小框为图像预测框，黑色虚线框为先验框，、分别为蓝色框的中心和宽高，、分别为黑色框的宽高，、为当前网格左上角到图像图 先验框与预测框图左上角的距离。令一个网格的宽和长为，即大小归一化。为 函数，可得：（）（）（）（）（）（）.运动控制原理输入目标位置的坐标，经由运动学逆解转换为角度值，将角度值转换成步进电动机的电流信号，以驱使电动机转动，让机械臂末端执行器完成从起始点到目标点的移动。机械臂运动学逆解包含多种解法。在这些方法中，几何分析法和 法应用较为广泛。法将坐标系建立在机械臂的每个连杆上，并在两个连杆上通 第 期朱 花，等：基于 的工件抓取机械臂研究过齐次坐标变换实现坐标变换，在多连杆系统中建立起首、末坐标系的变换关系。几何分析则需要将空间几何参数与平面几何参数一一对应，用几何解法解出运动学，较 法更为直观。本机械臂利用几何分析法求得的运动学逆解进行抓取实验的研究。目标检测后输出的数据可得到，经过与比例值 之间的换算可以得到，即 个轴上目标物体距离镜头 的偏移量，如图 所示。（）正视图（）俯视图图 机械臂不同视角简图 通过（）（）（）（）（）（）得 边之长，依据余弦定理得到 （）（）（）（）（）根据反三角函数得到，（）式中：和 分别为实际大臂、小臂的臂长；和 分别为俯视视角下大臂、小臂的臂长；为目标物与镜头间的直线距离。通过以上各式得到大臂与竖直方向的夹角 ，小臂与大小臂关节处垂直线的夹角 以及底盘转过的 夹角，即可换算成步进电动机的所要旋转的角度值。目标检测算法.算法训练 全称为 ，是计算机视觉领域中著名的模型之一，其通过一系列的卷积操作来实现端到端的目标检测。的性能是基于损失函数而展现的，损失函数没有考虑窗口的大小，在 的训练中检测的准确度是不够的。利用召回率衡量检测到真值对象的概率，对于速度、准确性均高于 版本。和 利用 作为主干网络，增加了逻辑回归用于预测每个边界框的得分，在同等精度的标准上提升了检测速度。（）数据集的准备。选取 张不同标准工件图像数据作为模型测试，进行随机裁剪、水平翻转、颜色晃动、图像模糊、灰度化和随机噪声等数据增强，扩充到 张数据集合库，共计不同工件总数约 个，部分样本数据集如图 所示。对于库中的图像利用 图像标注工具进行标注，标注名称见表，标注结果如图 所示，标注完成后将标注的信息写入 文件，再将其转成符合 算法的 格式数据。实验选择的待检测目标包括自攻和机械螺钉、垫片、普通螺母和六角扳手等。经过对数据集图片标注，得出每张图片中待检测目标的位置及类别信息即先验信息，均为编码 维的向量形式。将网络预测结果与真实先验信息比较，得到两者间的差距，不断反向传播求梯度以降低差距。先判断真实框在图片中的具体位置，进而判断出用哪个网格点进行检测，当真实框和先验框重合度达到一定范围时，被认为是正样本。两者间的差距由预测边界框中心坐标损失、宽高损失、置信度和类别损失组成。其中对于置信度的损失在正样本中与 对比，在负样本中与 对比。个不同维度的 函数 ，（）（）（）（）（）（），（，），（，）（），（），（）（）第 卷图 部分数据集样本表 标注信息工件名称标注信息自攻螺钉 机械螺钉 垫片普通螺母 六角扳手（）数据增强前的标注（）数据增强后的标注图 标注图 （）式中：为中心坐标和宽高损失；为类别损失；为置信度损失；为网格的尺寸；为二值交叉熵损失函数；为预测框内含有目标物体的概率得分；为预测框属于某类别的概率得分；、均为真实值。若（，）处的网格有目标，的值为，的值为；若（，）处的网格无待测目标，的值为，的值为。当 的值足够小的时候，就可认为该模型训练效果较好，具有一定的可行性，可用于后阶段对于某类物品的目标检测。（）实验环境。算法的网络框架为。该 算 法 的 硬 件 实 验 条 件 为：显 卡，为 ，操 作 系 统 为，软 件 插 件 包 含、等，库包含.、.、。（）模型训练。按照 的比例分配训练集和测试集，即训练集为 张图片，测试集为 张图片。其中验证集占训练集的，为 张图片。所有的输入图片像素均为 。在配置训练参数中，通道数（）设置为，锚框（）设置为，、，、，、，、，、，、，、，和，共 种，学习率设置为.间，设置为。所有参数均在 文件中修改并保存。图 为学习率（）.，衰减（）.时的损失曲线图，由图可得总损失逐渐收敛至.以下，类别损失则收敛效果不好，在 .内持续震荡。图 为 第 期朱 花，等：基于 的工件抓取机械臂研究.，.时的损失曲线，在 为 范围内，学习率由 逐渐上升至.，在 为 范围内，学习率逐渐下降至。在 为 时，训练得到最优模型，由图 可见，总损失收敛至.以下，类别损失收敛大约至.。两次图像相比较，可以看出后者损失函数逐渐收敛并且趋于一个比较小的数值。（）总损失图（）类别损失图图 为.时的损失图（）总损失图（）类别损失图图 为.时的损失图.训练实验结果（）目标识别结果。实验过程中，采用基于 的 算法完成对待检测目标的识别，检测效果如图 所示，在学习率为.时，模型预测精度 只达到.，未检测到的工件包含大、小尺寸工件，且大尺寸工件占据一定比例，检测效率不佳，而当学习率调为.时，模型预测精度 提升了.，达到.，大尺寸工件均可被检测到，只有部分小尺寸工件由于边缘模糊等原因容易漏检误检。（）学习率为.时的实验效果（）学习率为.时的实验效果图 不同学习率的实验效果 （）抓取实验结果。实验性能指标分为预测准确度和抓取准确度两类。准确度指标通常用准确率来评价。该工业标准件抓取实验的实验场景为散乱、不堆叠，分布在工作平台。每次将 个以上不同类别的工业标准件无规则置放在平面工作区，视觉相机拍下工作区的图像传输至计算机，经目标检测算法，得出标准件的类别和位置信息，经逆运动学几何运算计算出机第 卷械臂各关节变化的取值，由单片机控制各电动机转动到指定的角度，使机械臂识别到的工件抓取到相对应的物料框，再返回工作区抓取下一个工件。重复上述步骤，将机械臂抓取结果做多次实验并记录（见表）。自攻螺钉、机械螺钉类较大尺寸工件的类别预测效果较好，达到 和 的预测准确率，而垫片这类轻薄的工件在抓取过程中受到其摆放姿态的影响，只达到 的抓取准确率。分析各类工件的预测和抓取结果，发现小尺寸工件类别预测准确率较低，考虑是由于图片拍摄角度、训练样本容量不够充足的原因导致。表 机械臂抓取实验结果实验类别类别预测准确率 目标抓取准确率 自攻螺钉机械螺钉普通螺母六角扳手垫片 结 语研究结果表明，利用轻量化 算法能保证机械臂对标准工件的可靠抓取。在不同学习率下，能训练出不同精度的模型，当学习率为.，衰减为.，且训练 达到 时，损失函数值趋于平稳，其类别预测准确率达到.，能够准确抓取大尺寸工件，具有一定的应用价值。市面上的工业机械臂多采用、嵌入式等控制系统，这类仪器都存在体积大，不易操作等缺点，本机械臂的主控芯片为单片机，具备易于操作，成本不高等优点，可提供教学仪器的一种新尝试，能更好地为实验学习研究而用。后续研究可对工件抓取姿态算法进行进一步的完善，逐步提高对于机械臂准确抓取并识别工件的性能，以满足实际应用要求。参考文献（）：鲍 艳，李鸿儒，张 羽，等“新工科”背景下以自制教仪服务于实验教学的探讨与实践 实验技术与管理，（）：周 静，刘全菊，张 青 新工科背景下实践教学模式的改革与构建 实验技术与管理，（）：王朋强 基于双目视觉的机械臂目标定位与抓取 天津：天津工业大学，张 驰，廖华丽，周 军 基于单目视觉的工业机器人智能抓取系统设计 机电工程，（）：李世杰，左治江，李涵 深度学习机器人抓取系统 中国测试，（）：吴蓬勃，姚美菱，王 拓，等 基于 的垃圾分拣机器人设计 实验室研究与探索，（）：，：，：高明华，杨云秀，许丽金，等 基于 的书画机械手臂设计 实验室研究与探索，（）：王 晴 应用单片机进行多自由度机械臂控制系统设计 兰州石化职业技术学院学报，（）：杨儒骁，马永凌 结合图像识别的 轻型智能机械臂控制系统设计 工业控制计算机，（）：丁加军，顾宏飞，庄刘庆 基于 单片机控制的自动点胶机控制系统设计 机械制造与自动化，（）：何 浪，谢明红，刘驰弋 六自由度机械臂运动学分析与仿真研究 机械工程师，（）：，：，：，（）：邵延华，张 铎，楚红雨，等 基于深度学习的 目标检测综述 电子与信息学报，（）：刘鑫昱 基于 深度学习模型的图像目标检测算法研究 电脑编程技巧与维护，（）：段仲静，李少波，胡建军，等 深度学习目标检测方法及其主流框架综述 激光与光电子学进展，（）：陈亚宇，孙骥晟，李建龙，等 基于深度学习与图像处理的废弃物分类与定位方法 科学技术与工程，（）：（上接第 页），（）：，”，（）：，（）：，（）：，（）：，（）：，（）：，（），：，：，：，