基于3D视觉的机器人分拣实验系统研究与设计.pdf
《基于3D视觉的机器人分拣实验系统研究与设计.pdf》由会员分享,可在线阅读,更多相关《基于3D视觉的机器人分拣实验系统研究与设计.pdf(8页珍藏版)》请在咨信网上搜索。
1、D0I:10.13878/ki.jnuist.20230212001赵岚唐国寅温秀兰1号张腾飞 余媛基于3D视觉的机器人分抹实验系统研究与设计摘要针对智能制造工程专业多学科交叉融合特点,开展了基于3D视觉的工业机器人分栋实验系统研究与设计:采用Kinect相机、工业机器人、PC机、末端执行器搭建了系统硬件实验平台;采用支持向量机算法识别目标物体,提出了将中值滤波预处理和最近邻插值修复相融合的空洞毛刺修复方法;针对待识别物体是否重叠相互遮挡设计了基于霍夫变换计算物体中心点位置及基于点云配准的位姿估计定位策略;在上位机交互界面引导下完成机器人分栋系列实验.实验结果表明:该系统能够准确识别快速稳定分
2、栋出特定形状和颜色的目标物体,实验内容涉及机器人、机器学习、图像处理、软硬件设计等多门课程知识与技术,综合性强、开放性好,为智能制造工程专业实验室建设提供了一种综合性创新型实践平台关键词智能制造;机器人3D视觉;支持向量机;点云配准;分栋系统中图分类号TP241.2文献标志码A收稿日期2 0 2 3-0 2-12资助项目国家自然科学基金(5 16 7 5 2 5 9);江苏省产学研合作项目(BY2022076);江苏省研究生科研与实践创新计划项目(SJCX221071)作者简介赵岚,女,博士,讲师,主要研究方向为机器视觉技术、机器人技术温秀兰(通信作者),女,博士,教授,主要从事机器视觉及控制
3、标定技术、精密计量等,zdhxwxl 1南京工程学院自动化学院,南京,2 1116 70引言智能制造是先进制造技术和新一代信息技术的深度融合,代表着我国制造业高质量发展的主要方向.为了适应国际制造业发展新趋势、促进我国制造业转型升级、培养智能制造领域高素质人才,2 0 17年教育部首次审批通过开设智能制造工程专业.智能制造具有引领性、交融性、创新性、跨界性和发展性等内涵和特征 ,涉及创新人才培养理念、培养模式、培养目标、培养体系、课程内容、实践平台、教学方式等一系列必须面对且普遍存在的核心和重大问题.其中,实践教育教学体系是智能制造工程教育的重要组成部分,对智能制造创新人才的培养至关重要 2
4、.如何建设一个能够全方面训练智能制造领域的高级工程人才,让学生能够将所学知识加以实践的综合实训平台,是各高校面临的重大问题 3.文献4 以新工科建设理念为指导,将智能制造生产线和虚拟仿真教学软件相结合,开发设计了“虚实结合”的智能制造虚拟仿真实训教学平台,取得了较好的实施效果.文献5构建了“自动化+数字化”为核心的汽车轮毂设计及生产智能制造实训平台,以解决高校智能制造工程专业缺乏系统化实践教学平台的问题.为提升学生综合创新实践能力,文献 6 研究设计了基于双目视觉的双臂协作教学机器人本文研究设计了基于3D视觉的机器人分实验平台,实验内容涵盖与智能制造密切相关的机械与机器人技术、机器视觉与图像处
5、理算法、传感器与控制技术、软硬件设计等,设计了抓取不同类型物体的多种末端执行器,能够实现对不同颜色和形状物体识别与分栋.1机器人分栋实验系统总体设计针对智能制造工程新专业综合实验教学平台紧缺、学生综合创新实践能力急需提升的迫切需求,本文设计了基于3D视觉的机器人分抹实验系统,系统总体设计方案如图1所示.Kinect相机采集待分栋物体现场输出彩色和深度3D图像,通过USB2.0传送至计算机,上位机软件经系统初始化、物体识别、物体定位和通信,输出分抹目标物体的颜色、形状和位姿信息.上位机软件与工业机器人控制器CS8C通过RS232串口通信方式传递目标物体信息,控制器通过PLC控制机械臂运动及末端执
6、行器完成分栋任务:南京信息工统大学学报(自然科学版),2 0 2 3,15(5):6 0 4-6 11Journal of Nanjing University of Information Science&Technology(Natural Science Edition),2023,15(5):604-611上位机软件USB;2.01系统初始化相机Fig.1 Overall design scheme of the experiment system1.1硬件实验平台设计机器人按照关节连接方式不同分为串联机器人和并联机器人 7 .在自动化工业生产中,串联机器人结构设计简单、运动空间范围大
7、并且成本较低,广泛应用于3C、焊接、码垛等领域;并联机器人具有刚度大、承载能力强和末端件惯性小等优点,多应用于高速和大承载力场合.考虑本实验的实际使用场景及需求,机器人选择小型串联史陶比尔TX60六自由度机械臂,视觉传感器选择Kinect相机,它由彩色相机和深度相机组成,通过计算光飞行的时间来获取目标深度信息 8 系统硬件实验平台组成如图2 所示.Staubli机器人末端执行器标定模板图2 机器人分栋硬件实验平台Fig.2 Hardware experiment platform for robot sorting该实验平台设计了气动吸盘和MHZ2-32D气动二指夹爪两种末端执行器,学生可自主
8、选择完成对不同颜色和形状的圆柱体、长方体塑料块和齿轮的识别与分栋.1.2分栋系统软件架构目前常用操作系统有Windows、U NI X、Li n u x 和Mac OS X,考虑到学生对操作系统熟悉程度以及创建快捷人机交互界面需求,本实验系统选择Windows操作系统、编译环境VS2010,使用MFC上605位机平台进行软件开发.系统使用开源计算机视觉未端执行器分栋串物体识别物体定位图1实验系统总体设计方案库(OpenCV)和点云库(PCL)作为基础库,其中:口PLC控制器机信通OpenCV处理彩色图片和深度图片信息生成点云数械臂Kinect相机上位机控制系统据,PCL用来处理点云数据,估计分
9、栋目标物体的位姿信息.软件设计采用模块化编程思路,整体架构如图3所示,包含系统初始化、功能测试和主程序运行三大模块.系统初始化操作主要完成分栋系统标定和通信参数设置.采用棋盘标定法完成深度相机的内外参数标定、手眼标定及相机配准.通信设置用来测试和保存串口号、波特率、数据位和发送方式等基本参数.功能测试模块包含深度修复、物体识别、位置确定和姿态估计4部分,是分抹系统算法的核心部分:主程序运行模块将各个功能模块及与工业机器人控制器通信等集成在一个系统程序进程中,通过与机器人控制器CS8C通信来控制机器人完成分抹作业开始系统初始化功能测试模块7通信设置系统标定Fig.3Overall archite
10、cture of the system software2系统标定为了完成对相机视野内的目标物体定位任务,需要明确相机像素坐标系到系统世界坐标系之间的转换关系,将物体中心点的像素坐标转换成世界坐标系中的坐标,即完成Kinect相机的内外参数标定、手眼标定等工作.2.1相机内参数标定及配准本文采用模型通用性较好的张正友标定法对相机参数进行标定工作 9,即将黑白方格个数为10 7、每一方格为2 9 mmx29 mm的标准棋盘格作为标定模板,采集现场环境下相机视野内足够多的彩色图片和景深图片,通过标定程序分别计算彩色摄像头和景深摄像头的内参数矩阵.为了将深度图像和彩色图像对齐,使彩色图像拥有深度信息
11、,需要完成相机的配准工作,即计算彩色相机和深度相机之间的旋转矩阵和平移矩阵使深度图像与彩色图像统一到一个坐标系中.主程序运行深度修复物体识别图3系统软件整体架构位置确定姿态确定机器人分栋结束赵岚,等.基于3D视觉的机器人分抹实验系统研究与设计606ZHAO Lan,et al.Robot sorting experiment system based on 3D vision.2.2相机外参数标定深度图像对比原图图像质量有了明显的提升.相机外参数标定的目的在于确定相机坐标系与世界坐标系的映射关系,将物体从相机坐标系转换到系统的世界坐标系.为了缩短系统运算时间,在进行外参数标定时选择与相机坐标系
12、平行的棋盘所在的工作桌面来建立相机系统的世界坐标系.2.3系统手眼标定机器人分栋系统手眼标定的目的是建立机械臂所在的基坐标系与相机坐标系之间的关系,标定精度决定了机械臂是否能够到达指定的位置.常见的手眼标定有眼在手外标定即Eye-to-Hand 和眼在手内标定即Eye-in-hand10.本实验系统相机安装于工作区域上方固定位置,所以采用眼在手外方式进行手眼系统标定,获得相机到机器人基坐标系之间的映射关系.3图像预处理图像预处理的目的在于增强有用信息的可检测性和最大限度地简化数据,消除图像中无关的信息,以提高物体识别与定位的精度及分抹的可靠性.3.1深度图像修复Kinect相机深度数据获取采用
13、PrimeSense公司发明的激光散斑(laserspeckle)技术,即通过红外光照射到毛玻璃得到随机衍射斑点,再进行立体编码生成对应深度图,通过不同深度值来表示物体到相机的距离.若分栋目标物体表面非常光滑,激光散斑会发生镜面反射导致Kinect接收不到返回照射在物体表面上的激光散斑.若分栋目标物体的材质为吸光材料,则会吸收相机发射的激光散斑,导致空洞现象产生.同时,由于Kinect发射的是随机斑点,当激光斑点打在物体上时,虽然整个物体上面都均匀分布散射斑点,因斑点具有随机性,目标物体边缘处红外散斑并非均匀分布,在获取图像深度值时,在物体边缘处深度值会缺失,从而造成边缘毛刺产生 .空洞和毛刺
14、将影响点云数据处理结果,需要进行修复处理.本文提出了将中值滤波预处理和最近邻插值修复相融合的空洞毛刺修复方法.首先通过中值滤波算法修复深度图像中小区域空洞毛刺点,再经最近邻插值法修复较大区域的空洞毛刺噪声点,修复效果如图4所示.为了进一步比较修复效果,表1列出了原图、中值滤波图和本文方法的峰值信噪比(PSNR)和信噪比(SNR).由图4和表1可见,经中值滤波处理后的深度图像比原图图像质量有较小的改善,但经本文提出的修复算法处理后的a.原图Fig.4Results of depth image inpainting表1不同方法深度图像修复结果Table 1 Depth image inpaint
15、ing performanceof different methods指标原图PSNR15.46SNR11.813.2图像裁剪Kinect相机拍摄的是整个视野范围图像,输出的原始彩色图片和深度图片像素均为6 40 48 0,而标定板所在的桌面区域即分栋区域远小于输出图片,因此需要裁剪其他多余信息,提取感兴趣区域(R e g i o n o f I n t e r e s t,R O I),通过 OpenCV裁剪函数来提取指定像素范围的图像.3.3图像分割为了进一步减少图像处理所需时间,采用图像分割算法去除ROI 的背景信息并提取目标物体,将所需分抹的物体与工作平面分离.本文采用基于边缘的分割方
16、法,以Canny边缘检测算子为主体,引人分水岭算法实现对彩色图像的ROI区域背景的准确分割.4物体识别与定位机器人能否在系统工作区域内准确地识别与定位目标物体,是机器人分栋实验系统的关键环节.4.1物体识别支持向量机(SupportVectorMachine,SVM)是根据统计学习理论中结构最小化原则以及VC维(Va p n i k-Ch e r v o n e n k i s D i me n s i o n,VC 维)理论提出的.SVM算法适合处理小样本、非线性、高维数和局部最优解等问题 12 .本实验系统分栋对象为不同形状和颜色的物体,使用SVM分类器进行物体识别,考虑到分对象均为规则几
17、何形状,为了提高系统实时性、减少程序计算量,形状识别采用边缘信息进行特征表述,颜色识别采用颜色特征直方图表述,物体识别流程如图5 所示.b.中值滤波图4深度图像修复效果中值滤波15.5311.92c.本文方法本文方法17.8412.62南京信息工统大学学报(自然科学版),2 0 2 3,15(5):6 0 4-6 11Journal of Nanjing University of Information Science&Technology(Natural Science Edition),2023,15(5):604-611训练样本98 98.9997.5 96.8 97.8载人形状训练图
18、片载人颜色训练图片边缘特征表述直方图特征表述确定核函数和确定核函数和其他参数其他参数训练形状支持向量训练颜色支持向量图5 物体识别流程Fig.5Flow chart for object recognition分别对2 0、5 0、10 0 和15 0 张圆柱体、长方体和齿轮物体的样本图片进行测试,实验中物体轴线与工作台面垂直摆放,其识别成功率如图6 所示,平均为96.6%,标准差为1.40,说明物体识别算法准确性与稳定性都很高,能够满足实验要求.4.2物体定位机器人控制器采用点到点运动形式,在驱动机械臂末端到达指定点完成分栋动作时,需要将末端位姿点坐标(x,y,z,R,R,R)传送给机器人控
19、制器,实现物体定位.本系统设计了两种位姿估计策略如图7 所示.当被分抹物体独立摆放时采用策略一,即姿态设定为机器人零位状态,采用霍夫变换计算中心点位置.针对有重叠相互遮挡的物体采用策略二,即采用基于点云配准计算物体位姿.4.2.1基于霍夫变换的位置确定本系统待分抹目标物体为规则形状,因此采用霍夫变换检测图像中的直线和圆,其中直线检测采用累积概率霍夫变换,圆检测采用霍夫梯度法.实验607物体识别圆柱体100开始载人原始图片提取ROI区域获取测试图片完成识别功能结束长方体95.995.2.9680%/率唱Y6040200深度图像深度数据修复过程如图8 所示,采用霍夫变换方法检测二值化后齿轮95.1
20、94.7 95.62050样本数量/张图6 样本识别结果Fig.6 Sample identification results策略彩色图像霍夫变换确定最小包围轮廓廊确定中心点位置确定指定姿态物体位姿确定图7 物体定位设计Fig.7Object positioning design100策略深度图像彩色图像物体点云点云直通滤波计算点云法向量点云分割模板点云SAC-IA粗配准ICP精配准NDT精配准1505,28)a.原图b.裁剪图图8 基于霍夫变换的位置计算Fig.8 Position calculation based on Hough transformc.灰度图d.边缘提取e.图形包围f.
21、中心计算赵岚,等.基于3D视觉的机器人分抹实验系统研究与设计.608ZHAO Lan,et al.Robot sorting experiment system based on 3D vision.图片中的直线和圆,用矩形和圆拟合目标物体边缘,系统初始化根据包围矩形和圆形,计算其中心点并显示在图片上.图8 d边缘提取后右侧图未能得到完整图,原因是图像获取时光照不均匀,导致右侧图边缘亮度不够,与背景色接近,边缘提取不完整.解决该问题常用的方法是在图像预处理阶段对图像进行增强或者滤波,使得物体的边缘更加明显。4.2.2基于点云配准的位姿估计点云配准时首先将获取的原始点云数据进行直通滤波,再计算点
22、云法向量,将法线方向一致的归为一类点云数据,由最近邻查询点产生协方差矩阵C:(p:-p)(p:-p)T,C=k台C.7,=入,7,j e(0,1,2),式中,k是离p;点最近邻点的数目,p表示最近邻点的三维质心,入,是协方差矩阵C的第j个特征值,可是第j个特征向量.点云分割时先用欧几里得分割法对点云数据进行预处理,将单个分栋目标分离出来,对于有重叠部分的点云使用基于法线和基于颜色两种区域生长法进行分割.点云配准时首先对点云数据采样,获得原始点云和目标点云;接着采用采样一致性初始配准算法(Sample Consensus Initial Alignment,SAC-IA)13 进行粗配准,将经过
23、 SAC-IA粗配准后的点云作为新的原始点云,目标点云保持不变再经迭代最近点算法(It e r a t i v e Cl o s e s t Po i n t,ICP)【14 进行精配准及正态分布变换(Normal Distribution Transform,NDT)精配准 15 ,使原始点云数据最大限度地接近目标点云数据,输出配准结果即原始点云数据相对于目标点云数据的旋转和平移矩阵,完成姿态估计实验,5机器人分栋系统实验及结果分析5.1分栋系统测试实验分栋实验系统软件初始界面包括“系统初始化”、“功能模块测试”、“开始”“停止”和“结束”按钮.5.1.1系统初始化实验系统初始化实验模块如图
24、9所示,分为系统标定和通信实验两部分.系统标定用于完成相机内外参数标定和手眼标定.通信模块用于设置通信相关参数及测试机器人控制器与上位机之间通信是否正常.根据界面提示,载入Kinect相机视野范围内的X本步骤设置系统的相关参数:主要是设置系统的手眼标定参数和通讯参数系统标定载入图片摄像机标定手眼标定保存标定结果完成图9系统初始化实验模块Fig.9 System initialization experiment module20张不同位姿棋盘格图片,完成摄像机及手眼标(1)定,结果如图10 所示.标定设置系统手眼标定相机参数:50517.79756外验数:f51.2074O:315.83786
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 视觉 机器人 分拣 实验 系统 研究 设计
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。