基于虚拟仿真的龙门机器人板材智能分拣系统及方法.pdf

doi:10.3772/j.issn.1002-0470.2023.06.008基于虚拟仿真的龙门机器人板材智能分拣系统及方法丁伟利 杨 庆 张 恒(燕山大学电气工程学院智能控制系统与智能装备教育部工程研究中心 秦皇岛 066004)摘 要 在木门加工生产线上,针对龙门机器人对不同尺寸板材分拣的需求,本文提出了一种基于虚拟仿真的龙门机器人板材智能分拣实验系统。该系统基于 Unity3D 软件平台开发,搭建了龙门机器人分拣任务虚拟仿真场景,并在虚拟仿真实验场景中完成了虚拟数据集采集、相机标定以及手眼标定。针对不同尺寸的板材分拣任务,本文提出了基于板材的矩形角点势自适应识别的智能分拣算法,首先利用目标检测模型在局部区域内对板材进行角点检测,由双目成像原理恢复出的角点三维坐标计算板材尺寸和目标板材的抓取位姿,以此完成木门的分拣。该方法在相机采集图像过程中出现板材被遮挡的情况以及在板材复杂纹理和复杂背景的情况中更为鲁棒。此外,该方法完全在虚拟仿真环境下进行开发测试,不仅节约成本、安全高效而且方便进行多种测试方案的改变,对于向真实场景进行算法迁移和开发具有积极作用。实验结果表明,本文提出的方法可以完成龙门机器人板材智能分拣任务,对设计木工家具制造过程中龙门机器人智能分拣系统具有指导意义。关键词 龙门机器人;虚拟仿真;智能分拣;角点检测0 引 言近年来,随着人力成本的上升和绿色环保要求的加强,制造行业的企业都在追求更加经济、节能、高效的生产模式。龙门机器人作为一类工业机器人,可以将大空间内离散的生产单元和地面物流系统无缝联结,将制造数据直接链接到物联网,可实现互联工厂的智能化生产,是“无人”工厂的主力军。龙门机器人作为一种成本相对较低的自动化系统解决方案,具有机械结构简单、作业区域广泛、负载大和运行稳定等优点。国外对于龙门机器人的研发开始较早、技术较为成熟,知名厂商有德国的 KUKA公司、芬兰的 Cimcorp 公司、瑞典的 Gudel 公司等等。在国家的大力发展和市场的强大需求下,国内也产生了一批知名的机器人公司,如金石机器人、新松机器人、科捷机器人等,其中青岛科捷机器人采用龙门机器人实现了对橡胶轮胎单件搬运及码垛功能,并配合条码或射频识别(radio frequency identifi-cation,RFID)扫描实现物料智能自动分拣功能1。文献2设计了龙门机器人自动分拣系统,实现了从产品的输送、识别、分类、存放以及下一工序上料的整个自动化过程。随着计算机视觉技术的发展,机器视觉技术在工业制造领域中被广泛应用到自动化生产流水线的工件识别、缺陷检测、智能分拣等方面。目前,工业机器人的视觉分拣技术在算法研究和实际应用中都取得了很大进展,其中主要包括基于条形码、基于模板匹配和基于深度学习等方法。文献3提出了基于二维码自动识别的定制式家居智能分拣架构。文献4-8利用工件的形状、轮廓和颜色等特征结合模板匹配方法进行目标工件识别分拣。文献9通过036 高技术通讯 2023 年 第33 卷 第6 期:630-642 国家重点研发计划(2018YFB1308302)资助项目。女,1978 年生,博士,教授;研究方向:虚拟现实,计算机视觉,模式识别;联系人,E-mail:weiye51 。(收稿日期:2021-11-12)支持向量机(support vector machine,SVM)实现对分拣物体的学习识别。文献10引入 Adaboost 算法优化了 BP(back propagation)神经网络,提高了工件的识别准确率。文献11针对杂乱环境提出了对多帧图像进行聚会分割的工件识别方法。王德明等人12提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统,改进了实例分割网络 MaskR-CNN(region-based convolutional neural network),并结合点云信息分割目标点云。在木工加工生产线中,基于计算机视觉的板材智能分拣可以有效提高生产灵活性和智能化程度。随着计算机仿真技术及 3D 建模技术的快速发展,虚拟仿真广泛应用于各个领域,数字孪生技术在工业生产中越来越被重视,它不仅可以更加直观地进行机器人示教,还可以更加安全高效地进行作业方案评估和验证,提高生产效率。Unity3D 是美国Unity Technologies 公司开发的三维仿真引擎工具,具有真实的显示效果、优秀的物理引擎和高度可扩展的接口,是数字孪生系统开发广泛采用的工具。文献13-15利用 Unity3D 虚拟现实引擎开发了汽车拆装和发动机拆装虚拟示教系统,具有结构展示、原理示教等功能,提供了全方位多角度的示教模式,提升了教学效果。文献16基于 Unity3D 引擎的虚拟现实技术实现了对港口煤炭码头的实时监控系统,提供了虚拟现实与数字孪生结合的研究方向。本文使用 Unity3D 引擎开发了龙门机器人智能分拣系统,该系统可以完成虚拟数据集的采集、双目相机标定、手眼标定以及板材智能分拣等功能。针对图像采集过程中板材存在遮挡以及多纹理干扰的情况,本文提出了一种基于矩形角点特征的尺寸测量方法,通过板材边缘的矩形几何特征提取角点并进行三维坐标估计板材尺寸。在龙门机器人末端机械手对目标板材抓取前进行位姿计算,通过解耦位姿的平移和旋转降低旋转量计算过程中的累计漂移,并通过双目立体相机进行平移量计算和构建局部曼哈顿世界进行旋转量计算。1 系统总体设计如图 1 所示,本文系统框架主要分为虚拟场景和分拣算法 2 个模块。龙门机器人板材智能分拣系统在虚拟场景下开发,使用 Unity3D 软件进行虚拟工厂模拟并进行龙门机器人虚拟控制仿真。在龙门机器人末端添加 2 个相机组件创建双目相机模型,在虚拟场景中龙门机器人工作区域内布置标准棋盘格标定板进行双目相机的标定。此外,在 Unity3D中可以从场景物体的 Transform 组件直接获取物体的位置、旋转角等位姿参数,从而利用此组件直接进行龙门机器人末端机械手和相机的手眼标定。另外分拣算法模块主要包括板材检测、尺寸测量以及位姿估计 3 个步骤。本文引入深度学习算法实现板材检测和感兴趣区域(region of interest,ROI)提取以减少复杂背景的影响提高算法鲁棒性。在尺寸测量过程中,针对板材矩形特征进行基于边缘直线的角点计算,并恢复角点三维坐标进而获得板材尺寸信息。在位姿估计过程中,针对龙门机器人 4 自由度结构构建退化 PnP(perspective-n-point)模型,并解耦旋转和平移。其中,由板材的 4 个角点信息构建局部曼哈顿模型,进而计算出旋转量,同时由角点三维坐标计算出龙门机器人末端机械手相对于板材抓取点的平移量。图 1 系统总体框架2 关键技术2.1 虚拟场景开发及虚拟数据集采集本文使用 Unity3D 进行龙门机器人板材分拣场景开发,在龙门机器人工作区域内放置不同尺寸的木门板材模型进行仿真龙门机器人木工加工过程中分拣任务场景,如图 2 所示。136丁伟利等:基于虚拟仿真的龙门机器人板材智能分拣系统及方法图 2 龙门机器人智能分拣虚拟场景 为方便虚拟场景下开发的算法迁移到真实木门加工现场,本文按照实际工厂环境进行 1 1 等比例精细建模以及环境布置,对虚拟场景中的工厂环境模型纹理采用真实工厂中采集的纹理图片。在此场景中可以完成虚拟双目相机的标定以及龙门机器人的手眼标定,并且场景功能中加入手动控制器进行控制龙门机器人运动。在木工加工分拣任务仿真过程中,龙门机器人巡航作业区域对相机视野内的木门板材进行尺寸分类并对任务需求尺寸进行定位完成分拣。本文引入深度学习算法进行板材区域提取,板材检测模型需要提前进行训练,其中需要足够多的带标注的木门板材图片数据集。本文在搭建的龙门机器人智能分拣虚拟场景中进行虚拟数据集的构建,使用虚拟相机在不同姿态和不同背景下拍摄木门板材图片并进行人工标注。使用 SketchUp 软件进行木门的三维建模,通过对现有木门生产工厂中木门板材类别的统计,构建木门数据库包括纹理分类、尺寸分类等。将不同的三维模型放置到虚拟场景中龙门机器人的工作区域内,设置一个虚拟相机为数据集拍摄相机,其中该相机可随龙门机器人进行 4 自由度运动以及使用键盘单独控制其进行俯仰和翻滚等共 6 自由度运动,使用该相机在不同姿态下拍摄工作区域内的木门图片。为增加数据集复杂性以及所训练模型的鲁棒性,在拍摄图片时将木门放置在不同背景下进行数据采集。数据集采集完成后,进行图片的标注工作,其中标注内容为每张图片中的木门矩形区域,该矩形区域刚好包含完整木门图像。至此,数据集构建完成,本文构建的数据集共包含 52 类纹理和 8 类尺寸,共计 2325 张图片,部分数据集图片如图 3 所示。图 3 虚拟数据集2.2 虚拟标定及控制在虚拟场景下完成龙门机器人的智能分拣,首先要完成双目相机模型的标定和相机与末端机械手之间的变换矩阵,即手眼标定。在虚拟场景中使用236高技术通讯 2023 年 6 月 第 33 卷 第 6 期2 个虚拟相机组件组合成双目相机模型,其标定工作包括单相机的内参矩阵和相机间的外参矩阵。相机标定的结果是直接影响机器人视觉测量和定位准确的重要因素。相机采用针孔相机模型(图 4),其内参矩阵表示了相机坐标系与像素坐标系之间的关系,其模型为uv1=sfx0u00fyv0001XCYCZC(1)在虚拟场景中放置棋盘格标定板,使用双目相机拍摄图片,为方便拍摄不同姿态不同角度下标定板的图片,设置按键控制棋盘格标定板进行俯仰、偏航和翻滚 3 个方向的旋转。并使用 Matlab 中的立体视觉标定工具箱进行双目相机模型的内外参标定。图 4 虚拟双目相机模型虚拟场景中的手眼标定工作相比真实场景中的手眼标定更为方便(图 5),在搭建虚拟场景时建立末端机械手和双目相机模型的局部层级,使用 Uni-ty3D 中的 Transform 组件获取末端机械手和双目相机模型在同一坐标下的三维坐标和旋转角度,进而图 5 虚拟手眼关系示意图可以计算出末端机械手与双目相机模型之间的变换矩阵,即手眼标定结果。为方便虚拟双目相机标定和末端机械手手眼标定,在虚拟场景中增设龙门机器人控制器,实现龙门机器人的 4 自由度运动仿真。龙门机器人控制器包括手动控制和期望位姿控制 2 种方式进行运动仿真,其中手动控制方式可根据控制面板上的按钮控制龙门机器人在 X、Y、Z 3 个方向的移动以及绕 Z轴的旋转等动作,而期望位姿控制方式可通过输入目标位置的龙门机器人末端机械手位姿进行运动控制。在木门加工分拣任务中算法模块最终计算出拾取板材的三维坐标和 Z 轴旋转角度并输入龙门机器人控制器进行拾取动作。2.3 智能分拣算法在木门加工生产线上,分拣任务主要针对木门板材的尺寸特征进行分类处理,因此本文根据木门板材的矩形角点特征来进行木门的智能分拣。为快速获取木门板材在图片中区域,本文采用神经网络训练的木门板材检测模型进行木门板材的区域定位,并在局部区域内进行边缘直线提取以及直线交点的计算,如此不仅可以排除复杂背景的干扰而且提高了边缘提取的速度。将计算出的边缘直线交点投影到极坐标系中,并根据矩形角点在极坐标系中的特征进行交点排序,并依次筛选出符合矩形特征的角点。将左右相机拍摄图片中的角点进行顺序匹配计算,恢复出各角点的深度信息,并变换到末端机械手坐标系下,最终可以得到木门板材的实际尺寸和抓取点坐标。本文算法各流程效果如图 6 所示。2.3.1 基于 YOLO v4-tiny 的板材检测YOLO v4 算法是在原有 YOLO 目标检测框架的基础上,结合卷积神经网络领域中的优化策略,从数据处理、主干网络、激活函数、损失函数、网络训练等不同方面进行了优化。而 YOLO v4-tiny 则是对 YO-LO v4 网络进一步精简,是专为低端图形处理器设计的一种架构,在检测速度上有了较大提高的情况下依然能保持较高的检测精度,其在 COCO 数据集上性能比较中,在 RTX1080Ti 显卡达到了 40.2%的AP50,且速度可达到 371 fps17。336丁伟利等:基于虚拟仿真的龙门机器人板材智能分拣系统及方法图 6 木门板材角点检测流程效果图 YOLO v4-tiny 的网络结构如图 7 所示,整体的网络结构共有 38 层,使用了 3 个残差单元,激活函数使用 LeakyReLU,目标的分类与回归改为使用 2层特征,合并有效特征层时使用了特征金字塔(fea-ture pyramid network,FPN)网络。其同样使用了 CSP-net 结构,并对特征提取网络进行通道分割,将经过 33 卷积后输出的特征层通道划分为 2 部分,并取第 2 部分。YOLO v4-tiny 具有多任务、端到端、注意力机制和多尺度的特点,能够同时完成目标的分类与回归,实现参数共享避免过拟合,同时注意力机制对重点关注目标区域进行详细处理提高了处理速度,多尺度的特点通过融合经上采样和下采样的数据特征能够分割出多种尺度大小的目标。图 7 YOLO v4-tiny 网络结构YOLO 检测算法计算预测框时采用的是先验框机制,即预测框是在对先验框的宽高进行调整后获得的。YOLO v4-tiny 检测算法在每个尺度有 2 层网络,每层网络对应 3 个先验框,因此预测 3 种常见尺寸的板材预测框共需要先验设置 6 个先验框。当不同尺寸的木门板材被检测到时,总会有一个最接近的先验框并在此基础上调整宽高。本文采用 K-means 算法对木门板材的虚拟和真实数据集中所有的真实框进行聚类,并得到 6 个先验框。K-means 聚类算法确定先验框的主要步骤如下。(1)在全部的真实框中,任意选出 6 个作为原始的聚类中心,以此表示 6 个类别。(2)计算其他真实框到 6 个聚类中心的距离,并把它们分类到与它们距离最小的聚类中心的类。(3)每个类别中,计算其中所有的真实框坐标的中位值,并以此中位值作为更新的聚类中心。(4)循环进行步骤(2)、(3),直至 6 个聚类中的坐标值能够收敛。对木门板材数据集中的真实框进行 K-means 聚类后,表 1 所示为最终得到的 6 个先验框的宽高值。2.3.2 板材尺寸测量为排除复杂背景和多木门板材的干扰,本文引用深度学习算法的目标检测模型对图片进行区域提取,只对存在木门板材的区域进行角点的提取和尺寸计算。考虑到相机的安装位置会造成采集的图像中木门板材存在遮挡等问题,本文提出了基于板材矩形边缘直线的角点提取方法,不仅可以提取出可能被遮挡的板材角点而且对角点增加了几何约束避免了干扰点的影响。436高技术通讯 2023 年 6 月 第 33 卷 第 6 期表 1 板材数据集先验框尺寸编号123456宽/像素17189181126168261高/像素183356247357330325本文使用 EDLine 算法18对板材区域进行边缘直线提取,使用 ED(edge drawing)边缘检测器可以得到由连续的边缘像素链组成的边缘段。本节对边缘图中的像素链分割成多个直线段,并进行干扰直线段的剔除。采用最小二乘拟合法依次跟踪像素进行拟合,设置最小拟合线段长度作为初始线段,当达到最小拟合线段长度后通过增加像素点进行扩大线段,直到线的方向发生改变。由于在木门加工现场,环境复杂且木门纹理丰富,同一边缘可能会拟合出多条直线段,因此需要对干扰直线段进行剔除。计算直线段之间的距离来剔除同一边缘拟合出的干扰直线段,定义直线段间的距离为d=|Ax2mid+By2mid+C|A2+B2A=y12-y11B=x11-x12C=x12y11-x11y12(2)其中,(xji,yji)表示第 j 条直线段的第 i 个端点坐标,(xmid,ymid)表示直线段的中点坐标。根据木门边缘的矩形特征,相邻边之间互相垂直、对边之间互相平行的特征,计算邻边之间角度的余弦值来筛选具有矩形特征的边缘直线,其公式为cos=|A1A2|+|B1B2|(A1)2+(B1)2(A2)2+(B2)2Aj=xj2-xj1Bj=yj2-yj1(3)其中,表示两直线段之间的夹角,当夹角的余弦值趋于 0 并小于一定阈值时,即可认为两直线段之间相互垂直。通过边缘直线提取可得到每个局部木门的边缘直线段,使用两端点来表示,考虑到木门角点被遮挡等存在边缘直线段不完整等问题,为方便计算直线交点,本文使用斜率和截距表示直线,其表达式为k=y2-y1x2-x1b=y1-(y2-y1)x1x2-x1(4)并使用斜率和截距计算出所有直线的交点,其表达式为x=b2-b1k1-k2y=b1k2-b2k1k2-k1(5)本文通过边缘直线来计算交点,虽然根据矩形边缘直线角度特征进行了初步筛选,但是由于内纹理以及遮挡物等因素的干扰,还是会存在大量干扰交点尤其在木门边缘内。为准确筛选出木门的角点,将所有的交点映射到极坐标下,其表达式为=(xi-x0)2+(yi-y0)2=tan-1|yi-y0|xi-x0|(6)在极坐标系中,使用角度和幅值来描述每个交点,首先按每个点的纵坐标大小进行排序,选取最大值为极坐标系原点。而且木门其余角点在极坐标系下特征明显,如图 8 所示,按照幅值排序并将最大值设置为 P3 点,按照角度排序,其中角度值最大和最小再按照幅值排序,并将其中幅值最大的点分别设置为 P4 点和 P2 点。将筛选的 4 个点进行连接并判断是否符合矩形特征,当其中的点不符合特征时将其排除,并重新进行排序选择,最终筛选出符合矩形特征的 4 个角点。图 8 极坐标系下木门角点特征示意图 最终的板材尺寸测量如算法 1 所示。536丁伟利等:基于虚拟仿真的龙门机器人板材智能分拣系统及方法算法 1板材尺寸测量输入:双目相机左右图像 Image1 和 Image2输出:板材的宽度值 w 和高度值 hLinesi EDLine(Imagei)if d dthreshand lines0 or 90 k,b Lines PointsallInter LINEINTERSECTION(k,b)PointsInter POINTSVERTICALCONSTRAINT(PointsallIter,point),PointsInter PointsCorner LINECORNER(,)end if(XC,YC,ZC)corner STEREOVISION(PointsCorner1,PointsCorner2,Mstereocamera)w,h(Xj-Xk)2+(Yj-Yk)2+(Zj-Zk)2return w,h 本文在虚拟场景中构建双目相机模型,并进行内外参的标定工作,可使用其内外参进行图像特征点的深度恢复,其中双目相机的成像示意图如图 9所示。将左右图像中提取出的角点进行顺序匹配,并根据双目的焦距和基线等参数进行深度恢复,其表达式为z-fz=B-(u1-u0)+(u2-u0)B(7)整理可得:z=fBu1-u2(8)通过双目相机的深度恢复可以计算出木门板材角点在相机坐标系下的三维坐标,并选取 3 个角点进行板材尺寸计算,本文使用板材的高度值和宽度值对木门板材进行尺寸分类。图 9 双目相机成像示意图2.3.3 位姿估计在对目标板材进行尺寸分类后,需控制龙门机器人末端机械手对目标板材进行拾取。本文依据木门板材的矩形特征以及纹理的对称性对板材抓取点位姿进行定义。其抓取点位置为板材的几何中心,可抓取点位姿的平移量为板材几何中心与龙门机器人末端机械手中心的偏移量,可抓取点位姿旋转量为末端机械手坐标系与木门板材坐标系在 Z 轴的旋转。由于在上一小节中已经计算出木门板材角点在相机坐标系下的三维坐标,本文将可抓取点位姿的平移量和旋转量进行解耦。其中平移量可由双目相机进行深度恢复后的角点三维坐标计算得出,木门板材的抓取点在相机坐标系下的三维坐标可由其几何中心计算,其表达式为x=|x2-x0|4+|x3-x1|4y=|y2-y0|4+|y3-y1|4z=z0+z1+z2+z34(9)由此获得的三维坐标可表示为木门板材抓取点与相机坐标系间的平移量,而后可通过上节虚拟手眼标定获得的相机坐标系与龙门机器人末端机械手坐标系之间的变换矩阵计算出木门板材抓取点与末端机械手坐标系间的平移量。由于在工厂环境中采集的图像存在大量结构性信息,尤其在本文算法应用的板材分拣任务中,在图像中提取的板材边缘直线间更具有平行和垂直的关系,因此在每个板材区域内选取板材的 3 个角点构636高技术通讯 2023 年 6 月 第 33 卷 第 6 期建局部曼哈顿世界19坐标系 Mi,通过图像可以观测到相机与当前曼哈顿世界的旋转矩阵 Rmicl,同时可通过手眼标定的相机与机械手末端坐标系间的旋转矩阵 Rracl计算出在局部曼哈顿世界中龙门机器人末端机械手的旋转量 Rmira。Rmira=RmiclRracl(10)其中,龙门机器人末端机械手只存在绕 Z 轴的旋转量,而且为保证成功抓取板材末端机械手与木门板材需要保持平行,在虚拟场景中考虑相机坐标系与末端机械手坐标系 Z 轴对齐,那么木门板材抓取点与末端机械手坐标系间的旋转量可由图片像素坐标系 X 轴与木门板材坐标系 X 轴的夹角表示,其表达式为=arctan|v1-v0|u1-u0|(11)同时,在实际应用中,很难保证相机坐标系与机械手坐标系间 Z 轴对齐,但在手眼标定过程中可获取相机坐标系与机械手坐标系间的变换矩阵,将图片像素坐标投影到与机械手坐标系 Z 轴对齐的平面,同样可以计算出末端机械手最终的旋转量。最后将木门板材抓取点的位姿输入龙门机器人控制器,可完成龙门机器人对木门板材进行的抓取。3 仿真实验3.1 测试数据集该测试数据集与本文木门检测训练的虚拟数据集不同,为验证本文提出的分拣算法在系统工作过程中对板材进行尺寸测量和位姿估计的准确率,本文构建了测试数据集。测试数据集在龙门机器人仿真场景中采集不同尺寸的板材图片并对图片中板材的实际尺寸、角点三维坐标、中心抓取点三维坐标、虚拟双目相机末端姿态进行标注。其中角点和中心抓取点三维坐标为板材角点在相机坐标系下的三维坐标,虚拟双目相机姿态为板材坐标系与相机坐标系之间的三轴旋转量。其中所有的三维坐标及旋转皆可由 Unity3D 中的 Transform 组件获取,在场景中板材四角点以及中心抓取点、相机等位置添加空物体坐标系,并在采集图像时获取各坐标系 Transform组件中的三维坐标和旋转值,通过相对位姿计算将标注信息保存至本地文件,测试数据集信息如表 2所示,测试集图片序列命名为 VDTD(virtual doorstest data)。表 2 测试集信息测试集信息 尺寸分类8宽:80 cm、90 cm、100 cm高:190 cm、200 cm、210 cm纹理分类20板材纹理:15成品门纹理:5序列名VDTD 12、VDTD 3、VDTD 4、VDTD 5标注信息filename、doorpointk、doorcornerx,y,z()4k、doorrotation(,)k图片数量586其中,实验序列 VDTD 12 和实验序列VDTD 3中均为单板材图像,但前者背景相对复杂存在大量图像噪声,后者图像中板材纹理并未参与板材区域检测模型训练数据集的训练;实验序列 VDTD 4 中均为多板材图像,图像中存在 2 3 个板材且其颜色纹理和尺寸大小均不相同;实验序列 VDTD 5 中为置物台场景采集的图片,且包含了 8 类尺寸以及 12种不同板材纹理,其中增加了成品门的纹理。3.2 板材尺寸测量实验及结果在本文构建的系统工作过程中,双目相机安装在龙门机器人末端机械手上并随机械手巡航工作区域,通过双目相机采集图片,当采集的图片中出现板材时通过本文提出的智能分拣算法 1 对其进行分拣。采集完图片后,对图片中的板材进行尺寸分类,本文使用板材的轮廓的宽 w 和高 h 来描述板材的尺寸,并以此构建尺寸测量的评价指标为esize=12n(w-wgroundtruth)+(h-hgroundtruth)(12)其中,esize表示板材尺寸测量的误差,wgroundtruth和hgroundtruth表示板材真实的宽和高。此外,系统在工作过程中,为提高工作效率和减少资源占用,算法只在图像中检测到板材区域时才进行板材尺寸测量,因此在测试集进行板材尺寸测量实验时,尺寸测量成功定义为板材区域成功提取的前提下,尺寸测量误差不大于 5 cm 的情况。尺寸测量成功率定义为736丁伟利等:基于虚拟仿真的龙门机器人板材智能分拣系统及方法r=mn(13)其中,n 表示板材区域成功提取的总次数,m 表示尺寸测量误差不超过 5 cm 的次数。同时,由于双目立体相机的测量精度受到相机的工作距离和双目相机的基线影响,在本次实验过程中虚拟双目相机模型中左右相机的基线距离 B=5.0911 cm。在板材尺寸测量实验中,尺寸的测量误差和测量成功率结果如表 3 所示,其中针对单板材图像尺寸测量的成功率相对较高,但复杂背景的噪声对尺寸测量的误差影响较大。测试集序列在实验过程中的效果图如图 10 所示,其中每列为一个测试集样例处理效果。从图中最后 2 列可以看出,本文提出的算法可以处理图像中板材存在遮挡板材角点或遮挡板材边缘的情况,同时在对复杂背景的处理中,尤其在实验序列 VDTD 5 中采集的图片包含置物台和传输带的情况,首先利用板材检测模型对图像中的板材区域进行提取,其次在区域内进行边缘提取和一系列的板材角点筛选策略使得分拣算法排除了背景的干扰。同样从实验效果图中可以看出,板材角点的计算并不需要对板材边缘进行完整的边缘直线提取,这对板材区域检测模型的精度降低了要求,提高了本文算法的鲁棒性。表 3 尺寸测量结果测试集序列尺寸测量误差/cm尺寸测量成功率VDTD 121.97140.867VDTD 30.47170.860VDTD 40.38570.564VDTD 50.70940.942本文提出的算法对板材区域提取的边缘直线计算交点,并对交点依据板材的几何特征筛选出板材角点。如图 11 所示,对同一板材区域进行交点计算,由于板材自身纹理的影响边缘直线提取出大量干扰直线,本文算法通过对交点增加垂直约束,最终可以准确筛选出板材角点,对边缘直线提取的阈值鲁棒性降低了要求。图 10 实验效果图图 11 直线交点筛选结果 如图 12 所示,测试集序列 VDTD 4 针对多板材区域的图像以及 VDTD 12 和 VDTD 3 中存在误检测的多板材区域的情况,本文算法仍然可以对正确区域进行尺寸测量,对误检区域进行筛选。由表 2 可知,测试集序列 VDTD 4 的测量成功率相对较低,但在尺寸测量实验中对于成功率定义的约束较少,使得实验结果中存在大量误检测结果,不过测试集序列 VDTD 4 的测量误差可以保持在 0.385 cm 左右,836高技术通讯 2023 年 6 月 第 33 卷 第 6 期在系统实验中会增加更多尺寸约束来提高分拣成功率。测试集序列 VDTD 5 为在木工加工生产线场景下采集的图片,尺寸测量的平均误差为 0.7094 cm,尺寸测量的成功率达到 0.942。图 12 多板材区域实验效果图3.3 位姿估计实验及结果本文提出的智能分拣算法在对板材尺寸分类结束后,需要进行对龙门机器人末端机械手的位姿估计以及对目标板材的拾取。其中末端机械手的位姿也可以表示机械手末端与板材中心抓取点的平移偏差和旋转偏差,并作为龙门控制器的输入进行拾取动作,而在 Unity 构建的虚拟场景中并不存在控制误差,所以龙门机器人末端机械手的位姿估计直接影响对板材拾取是否成功。为评价本文提出的分拣算法的定位误差,定义位姿定位误差的评价指标为et=1n0.2D(XY)-D(XY)groundtruth+0.8(zi-zigroundtruth)2e=1ni-igroundtruth(14)其中,et表示位姿估计中平移量的误差,e表示位姿估计中旋转量的误差,D(XY)表示位姿估计中XY 平面的偏差值。在龙门机器人末端机械手对目标板材进行拾取过程中,在垂直 Z 方向上的误差对于拾取是否成功的影响较大。而且由于末端机械手多吸盘的结构设计对于在 XY 平面方向的误差包容性较大,所以在定义平移量误差中分别设置平面 XY方向和垂直 Z 方向不同的影响权重。在 3 个测试集序列上的位姿估计实验结果如表 3所示。平移量的平均误差可以保持在 10 cm 左右,其中平移量误差包括 XY 平面和 Z 方向 2 个误差项,在测试实验中 XY 平面的平移误差均在 50 cm以内,Z 方向的平移误差均在 2 cm 以内,考虑到末端机械手多吸盘的结构设计,该平移量误差可以满足末端机械手的精度要求。另外,本文算法解耦了位姿估计中的平移和旋转,这样一来旋转量的估计可以有效避免平移估计中的累计误差,由表 4 中的旋转量误差也可以看出对于旋转量的计算精度较高,为龙门机器人对目标板材的拾取提供了有利保障。表 4 位姿定位实验结果测试集序号平移量误差/cm旋转量误差/VDTD 121.77520.0638VDTD 310.29500.0169VDTD 410.01620.0140VDTD 59.45350.0324本节进行位姿估计最终可以得到板材坐标系与末端机械手坐标系的相对平移量和相对旋转量,该计算结果可作为偏移量输入龙门机器人控制器进行抓取动作。为直观观测到位姿估计的误差,将测试集 VDTD 12 所有板材坐标系进行归零对齐,并作为世界坐标系恢复估计的末端机械手的平移轨迹和旋转误差,结果如图 13 所示。3.4 系统实验及结果本文基于虚拟仿真场景搭建了完整的龙门机器人板材分拣系统,可对木门加工生产线上的分拣工序进行模拟。其中通过虚拟的双目相机采集图像,936丁伟利等:基于虚拟仿真的龙门机器人板材智能分拣系统及方法(a)平移量误差(b)旋转量误差图 13 位姿估计平移量误差和旋转量误差并通过智能分拣算法模块对板材进行尺寸分类和定位,最后控制龙门机器人完成板材的分拣。由于板材的矩形特征,本文对板材的抓取点进行限定为其几何中心,并在板材抓取点和龙门末端机械手中心设置虚拟空物体,当 2 个空物体距离小于一定阈值以及 x 轴小于一定角度时,系统认定龙门机器人完成拾取。为验证系统性能,本文对分拣系统的抓取成功率和分拣系统运行时间 2 个方面进行评价。系统抓取成功率定义为R=MN(15)其中,N 表示总的抓取次数,M 表示成功抓取次数。定义系统的响应时间为 T,主要包括系统从拍摄图片到成功抓取的总体时间。此外,在虚拟场景中,龙门机器人的抓取时间受设定的运行速度影响且固定不变,本文也统计了分拣算法的具体时间,定义算法运行时间为Ta=Troi+Tcor+Test(16)其中,Troi表示算法模块中板材区域检测的时间,Tcor表示算法模块中板材尺寸分类的时间,Test表示算法模块中位姿估计的时间。最终系统测试结果如表 5、6 所示。表 5 系统抓取成功率实验结果测试集序号RVDTD 121.0000VDTD 30.7674VDTD 40.8181VDTD 50.9053在系统抓取实验中,对机械手抓取策略进行严格控制,在 3.2 节尺寸测量成功的基础上进行尺寸归类。当尺寸测量的误差小于 5 cm 的情况下才进行抓取动作,而且由末端机械手的多吸盘结构可将可成功抓取 XY 平面的平移误差放宽至 70 cm,对垂直方向的误差严格控制在 2 cm 以内。从表 5 中可以看出,对单板材的抓取成功率高于多板材的情况,其中测试集序列 VDTD 12 的抓取成功率达到了100%。而测试集序列 VDTD 3、VDTD 4 和VDTD 5的抓取成功率相对较低,但仍然能够保存较高水平,其原因可能在于序列中板材纹理较弱且与背景区分度较低,而且序列中板材纹理并未参与板材区域检测模型的训练。系统时间的统计结果如表 6 所示,由于测试数据集在时间维度上是离散的,在模型初始化完成后区域提取所需的平均时间在 0.05 s 左右,在连续图片序列输入的情况下区域提取的帧率可以达到20 fps,满足实时性要求。在系统实时作业中本文算法实现尺寸测量和位姿估计平均用时为 0.08 s,满足分拣过程中的时间需求。4 结 论针对龙门机器人板材智能分拣问题,本文提出了一种基于虚拟仿真的龙门机器人板材智能分拣实验系统。该系统基于Unity3D软件平台开发,搭建046高技术通讯 2023 年 6 月 第 33 卷 第 6 期表 6 系统所用时间统计测试集序号系统时间/s区域提取角点提取位姿估计总体流程VDTD 120.05130.01230.00100.0646VDTD 30.04890.02350.00100.0734VDTD 40.04830.02400.00100.0733VDTD 50.05630.04330.00550.1051了龙门机器人分拣任务虚拟仿真场景。经过实验验证,本文基于板材的矩形角点特征提出的板材尺寸测量的方法可对有遮挡、多纹理的板材进行角点提取以及尺寸测量,降低了边缘检测中对阈值的要求,提高了算法鲁棒性。在位姿估计中,本文解耦了平移量和旋转量,使旋转量不受平移累计误差的影响。本文提出方法完全在虚拟仿真环境下进行开发测试,包括虚拟数据集的构建和训练,但该方法可向真实环境进行迁移。虚拟仿真技术可在实验条件受限时方便进行龙门机器人分拣方案确定以及分拣算法的开发和验证等一系列的理论研究测试,而且在一定意义上还可进行示教工作。实验结果表明,本文提出的龙门机器人板材智能分拣系统可以辅助完成算法的开发工作,为后期智能工厂中龙门机器人的数字孪生奠定了基础,可促进家具制造过程中龙门机器人智能分拣系统的搭建。参考文献 1 陶喜冰,李远强,于美森,等.全钢载重胎龙门机器人分拣码垛系统关键技术研究J.中国橡胶,2019,5:35-38.2 王鹏飞.龙门机器人自动分拣系统机械结构设计与研究D.青岛:青岛科技大学,2015.3 熊先青,袁莹莹,潘雨婷,等.基于揉单生产的定制家居自动识别与智能分拣技术J.林业工程学报,2020,5(6):162-167.4 刘振宇,李中生,赵雪,等.基于机器视觉的工业机器人分拣技术研究J.制造业自动化,2013,35(9):25-30.5 包光旋,黄家才,李耀,等.基于视觉的并联机器人智能分拣系统设计与实现J.南京工程学院学报(自然科学版),2021,19(1):7-11.6 徐益国.基于工业流程的视觉分拣系统研究与设计D.西安:长安大学,2019.7 蒋书贤.基于机器视觉的工业机器人分拣系统研究D.成都:西南交通大学,2015.8 朱颖,黎伟健,郭国辉,等.单目视觉智能分拣搬运机器人的设计J.国外电子测量技术,2020,39(10):146-150.9 徐青青.基于机器视觉的工业机器人智能分拣系统设计J.仪表技术与传感器,2019(8):92-95,100.10 何泽强.基于机器视觉的工业机器人分拣系统设计D.哈尔滨:哈尔滨工业大学,2016.11 谢先武,熊禾根,陶永,等.一种面向机器人分拣的杂乱工件视觉检测识别方法J.高技术通讯,2018,28(4):344-353.12 王德明,颜熠,周光亮,等.基于实例分割网络与迭代优化方法的 3D 视觉分拣系统J.机器人,2019,41(5):637-648.13 秦彩宁.基于 Unity 3D 的新能源汽车拆装虚拟仿真J.时代汽车,2021(11):114-114.14 倪萌.基于 Unity3D 的汽车发动机虚拟装配训练考评系统的设计与实现D.北京:北京工业大学,2014.15 翟仕奇,王海涛,孙志丹,等.基于 Unity3D 的发动机虚拟示教系统设计J.装备制造技术,2021(6):124-126,138.16 丁伟利,杨韬,王文锋.基于 Unity3D 的煤炭码头视景仿真监控系统研究与实现J.高技术通讯,2019,29(8):791-798.17 BOCHKOVSKIY A,WANG C Y,LIAO H.YOLOv4:optimal speed and accuracy of object detectionEB/OL.(2021-4-23)2021-11-12.https:/arxiv.org/pdf/2004.10934.pdf.18 AKINLAR C,TOPAL C.ED