基于BP神经网络-模糊控制的机器人无标定视觉伺服技术.pdf
《基于BP神经网络-模糊控制的机器人无标定视觉伺服技术.pdf》由会员分享,可在线阅读,更多相关《基于BP神经网络-模糊控制的机器人无标定视觉伺服技术.pdf(10页珍藏版)》请在咨信网上搜索。
1、投稿网址:2023 年 第23 卷 第26 期2023,23(26):11282-10科 学 技 术 与 工 程Science Technology and EngineeringISSN 16711815CN 114688/T收稿日期:2023-02-02修订日期:2023-06-26基金项目:国家重点研发计划(2019YFB1310801);企事业委托课题(008-ZB-B-2022-C30-001083)第一作者:陈高铭(1999),男,汉族,山东郓城人,硕士研究生。研究方向:机器视觉。E-mail:cgm1015 。通信作者:熊振华(1974),男,汉族,江西南昌人,博士,教授。研究方
2、向:机器人技术。E-mail:mexiong 。引用格式:陈高铭,骆研,黄碧漪,等.基于 BP 神经网络-模糊控制的机器人无标定视觉伺服技术J.科学技术与工程,2023,23(26):11282-11291.Chen Gaoming,Luo Yan,Huang Biyi,et al.Uncalibrated visual servo based on BP neural network and fuzzy control for robotic applicationJ.Science Technology and Engineering,2023,23(26):11282-11291.基于
3、BP 神经网络-模糊控制的机器人无标定视觉伺服技术陈高铭1,骆研1,黄碧漪2,刘超1,熊振华1(1.上海交通大学机械与动力工程学院,上海 200240;2.中广核研究院有限公司,深圳 518028)摘 要 针对机器人无标定视觉伺服技术中图像雅可比矩阵在线估计存在计算复杂的问题,提出了一种结合反向传播(backpropagation,BP)神经网络和模糊控制策略的机器人控制技术。以多自由度智能调节系统为例,提出其视觉伺服控制架构,根据工业场景数据集训练 BP 神经网络,采用本文所提算法进行法兰对中实验,帮助解决核电站蒸汽发生器人孔螺栓咬死问题。在方法层面,首先,利用 BP 神经网络建立图像特征信
4、息与机器人多自由度运动之间的映射关系,之后,提出模糊控制方法根据图像特征偏差进行机器人位姿的精确调整。实验结果表明,本文算法能够有效应用于无标定视觉伺服控制,最终法兰平均对中误差在 1 mm 内,平均耗时 43 s,满足应用需求,具有较高的工作效率。关键词 多自由度智能调节系统;无标定视觉伺服控制;BP 神经网络;模糊控制中图法分类号 TP242;文献标志码 AUncalibrated Visual Servo Based on BP Neural Network andFuzzy Control for Robotic ApplicationCHEN Gao-ming1,LUO Yan1,H
5、UANG Bi-yi2,LIU Chao1,XIONG Zhen-hua1(1.School of Mechanical Engineering,Shanghai Jiao Tong University,Shanghai 200240,China;2.China Nuclear Power Technology Research Institute,Shenzhen 518028,China)Abstract Aiming at the computational complexity of online estimation of image Jacobian matrix in robo
6、t uncalibrated visual servotechnology,a robot control technology combining BP neural network and fuzzy control strategy was proposed.the multi degree of free-dom intelligent regulation system was took as an example,proposes its visual servo control architecture,trains the BP neural networkaccording
7、to the industrial scene data set,and the algorithm proposed was used to carry out flange alignment experiments to help solvethe problem of the steam generator manhole bolt seizure in nuclear power plants.At the method level,first,the mapping relationshipbetween image feature information and robot mu
8、lti degree of freedom motion was established by using BP neural network.Then,a fuzzycontrol method was proposed to precisely adjust the robots position and orientation according to the image feature deviation.The experi-mental results show that the algorithm proposed in this paper can be effectively
9、 applied to uncalibrated visual servo control.The averageflange alignment error is within 1 mm,and the average time is 43 seconds,which meets the application requirements and has highwork efficiency.Keywords multi degree of freedom intelligent regulation system;uncalibrated visual servo control;BP n
10、eural network;fuzzy control 近年来,随着视觉传感器精度的提高,作为机器人系统通过视觉感知环境的重要策略,视觉伺服控制技术成为机器人控制领域的热点,其与模型预测控制等先进控制策略的结合使工业生产任务更加可靠1。视觉伺服控制技术由 Hill 等2首次提出,根据控制方式的不同,主要分为基于位置的视觉伺服、基于图像的视觉伺服以及复合视觉伺服 3种类型3。传统的视觉伺服控制技术需要相机和机器人的标定,其整体性能受标定精度的影响4。具有移动平台的机器人标定过程较为复杂,其精度受外界环境的影响较大,且成本高。因此,机器人无标定视觉伺服控制技术在工业应用中备受瞩目。投稿网址:Zhu
11、 等5将无标定视觉伺服控制技术用于全向移动操作机械臂的空间动态目标跟踪,采用卡尔曼滤波算法在线识别复合的雅可比矩阵,进而估计手眼映射关系,通过集中控制策略完成跟踪,但跟踪初期存在较大的超调。Wang 等6将卡尔曼增益与测量噪声协方差矩阵关联,提出基于自适应卡尔曼滤波方法估计雅可比矩阵,通过协方差递归估计,其中增益矩阵与噪声协方差相关,算法展现了较好的动态跟踪性能。针对空间在轨自动装配的问题,Gu 等7提出一种改进的基于射影单应性的超冗余机械手未标定视觉伺服策略,通过卡尔曼平滑变结构滤波方法进行总体雅可比矩阵的在线估计,同时采用奇异值滤波避免总雅可比条件数不稳定引起的扰动,实验展示了优良的静态定
12、位和动态跟踪性能。为保证对图像缺陷的控制鲁棒性,Gu 等8后续采用卡尔曼平滑变结构滤波与径向基函数神经网络相结合的方法,估计基于同形异义的任务函数与机器人关节之间的总雅可比矩阵,其中径向基神经网络起到校正器的作用,以补偿图像特征偏差导致的干扰,实验验证其在准确性和鲁棒性表现良好性能。为减少跟踪特征数量较多时图像雅可比矩阵估计耗时,Gong 等9提出了基于投射单向的无标定视觉伺服方法,该方法采用射影单向图的元素来构建任务函数,以此控制任务函数的大小,减小矩阵估计的计算负担。王博等10将无标定视觉伺服技术用于优傲(universal robots,UR)机械臂的控制,采用动态拟牛顿算法对图像雅可比
13、矩阵进行在线估计,提高了机器人视觉系统的鲁棒性。陈梅等11提出一种采用图像特征为反馈的模糊控制策略,该方法能够对平面内运动物体进行跟踪,同时利用图像信息实时纠正系统偏差,该算法对平面内圆周运动的跟踪效果较为出色。纪鹏等12提出了移动机械臂无关节状态反馈的伺服方法,采用广义回归神经网络映射虚拟外骨骼的末端与关节角的关系,末端姿态误差在 1。王腾飞等13提出了双目双轴平行视觉配置方法,选取图像特征空间的点特征和线特征设计控制器,并基于卡尔曼滤波算法实时在线估计机械臂的手眼映射关系。岳晓峰等14提出了基于遗传算法优化的 RBF 神经网络,学习图像特征变化速度和机器人关节角变化速度之间的非线性关系,实
14、现了较好的控制效果。现有方法大部分对图像雅可比矩阵进行了显式在线估计,而随着视觉伺服采用的任务函数特征数量的增加,雅可比矩阵在线估计的计算成本明显升高15。本文研究针对图像雅可比矩阵在线计算较为复杂16,同时单目相机难以准确获取深度信息的问题,提出了结合 BP 神经网络和模糊控制的无标定视觉伺服控制技术,通过神经网络隐式拟合图像特征与机器人各自由度之间的映射关系。首先利用 BP 神经网络建立图像特征信息与机器人多自由度运动之间的映射关系,之后采用模糊控制方法根据图像特征偏差进行机器人位姿的精确调整。现首先建立多自由度智能调节系统运动学模型,然后通过图像处理提取特征信息,采用自主构建的数据集训练
15、 BP 神经网络,最终采用 BP 神经网络和模糊控制结合的控制策略,通过实验验证算法的有效性和控制性能。1 多自由度智能调节系统作为核反应堆中热量传输回路系统的主设备,蒸汽发生器在核电系统中发挥了举足轻重的作用。由于工作环境恶劣、材料本身特性、清理不彻底以及操作不规范等原因,蒸汽发生器表面法兰盘人孔螺栓咬死的现象时有发生。人工拆卸咬死螺栓繁琐耗时,同时蒸汽发生器具有高放射性,因此采用视觉传感器采集图像,并根据图像特征引导具有多自由度智能调节系统的机器人进行自主对中,最后利用末端刀具切削咬死螺栓具有重要的应用价值。多自由度智能调节系统的工作流程如图 1 所示,主要包括机器人根据视觉引导自主对中、
16、法兰盘贴合固定、数控切削 3 个过程。1.1 机器人运动学建模为解决人孔螺栓咬死后的自动去除问题,本项目组自主设计了多自由度智能调节系统,该系统的整体结构如图 2 所示,主要包括移动平台和工作机构两部分,二者通过角铁固定。工作机构主要由两图 1 多自由度智能调节系统工作流程Fig.1 Work flow of multi degree of freedom intelligent regulation system382112023,23(26)陈高铭,等:基于 BP 神经网络-模糊控制的机器人无标定视觉伺服技术投稿网址:图 2 多自由度智能调节系统结构Fig.2 Structure of m
17、ulti degree of freedomintelligent regulation system个电动缸 J1、J2,一个丝杠滑块 X1及一个内齿轮 R组成,其末端搭载2D 相机获取环境信息。在工作机构和移动平台连接处、工作机构的末端中心分别定义右手坐标系 O0-X0Y0Z0、O4-X4Y4Z4。移动平台包括水平面内运动的 3 个自由度,工作机构为 4 自由度机械臂,整个系统共有 7 个自由度。图 3 为多自由度智能调节系统的工作机构简图,其中 L1、L2为电动缸 J1、J2的长度,1、2共同构成工作机构的俯仰角,L3,L10为工作机构对应的杆长,x1、x2、a2为对应旋转副的偏移量。除
18、L1、L2、1、24 个参数外,图 3 中其余机构参数均为已知量。L1、L2分别与 1、2耦合。通过视觉引导,最终使得机器人工作机构末端法兰面与蒸汽发生器表面法兰面贴合。将二者固定后,控制末端小型镗床工作,完成人孔螺栓的去除。按照串联机械臂建立机器人运动学模型,根据Modified D-H(MDH)参数建立坐标系如图 4 所示,对应的 MDH 参数和关节参数如表 1 所示。图 3 工作机构简图Fig.3 Working mechanism diagram图 4 工作机构 MDH 坐标系Fig.4 MDH coordinate system of working mechanism48211科
19、学 技 术 与 工 程Science Technology and Engineering2023,23(26)投稿网址:表 1 工作机构 MDH 参数Table 1 MDH parameters of working mechanism关节扭角i/()杆长i/mm杆距di/mm连杆夹角i/()绕 y 转角i/()190001020500023-90566.5d30400741.984连杆夹角 1、2可以通过电动缸 J1、J2的长度L1、L2,结合工作机构参数计算得到,如式(1)和式(2)所示,除 L1、L2外,其他均为已知的机构参数。1=arccosx21+x22+L23-L212L3x21
20、+x22+arccosa22+L23-L262L3a2+arctanx1x2-2(1)2=-arctanL10L7-L9-arccosL28+L25-L222L8L5-arccosa22+L25-L242a2L5(2)如图 2(b)所示,假设基坐标系建立在移动平台与电动缸 J1连接处,工作机构末端坐标系与基坐标系之间的正运动学关系为T40=T10T21T32T43=c12c4-c12s4-s12a3c12-d4s12-d3s12+a2c1s4c400s12c4-s12s4c12a3s12+d4c12+d3c12+a2s10001(3)式(3)中:ci=cosi;si=sini;c12=cos(
21、1+2);s12=sin(1+2)。根据正运动学变换矩阵 T40,最终得到逆运动学关系为4=arccos(T40)2,21+2=arccos(T40)3,3a3c12-d4s12-d3s12+a2c1=(T40)1,4a3s12+d4c12+d3c12+a2s1=(T40)3,4(4)式(4)中:(T40)i,j为 T40矩阵的第 i 行第 j 列元素。因此,当 d3和 4自由度固定时,通过调节电动缸 J1、J2的长度 L1、L2,可以得到唯一对应的角度1、2,通过逆运动学关系最终得到唯一对应的末端高度 z 和俯仰角 p。即可以通过控制电动缸 J1、J2的伸长量控制末端高度和俯仰角。1.2 视
22、觉伺服控制系统结构本系统中,工业相机安装在机械臂末端,即“眼在手上”。相机跟随机械臂进行相应运动,实时采集图像信息。首先通过手动控制将机械臂末端法兰盘与蒸汽发生器表面法兰盘对中贴合,将丝杠滑块 X1后移100 mm 作为标准位姿 Ps,采集机器人在 Ps状态的图像 Is,通过图像处理获取法兰盘的人孔特征信息;然后将机器人放置在任意初始位置,将该状态下图像处理获取的特征信息导入训练好的 BP 神经网络,计算机器人在水平面内的运动量以及末端高度和俯仰角的相对运动量,以此控制机器人运动;当机器人各自由度运动到指定位置的 领域时,实时采集图像并利用模糊控制进行上述 5 个自由度的微调,直至特征误差在阈
23、值范围内,此时机器人到达标准位姿 Ps;最后进行 d3和 4两个自由度的调整,使机械臂末端法兰面和蒸汽发生器表面法兰面贴合。图 5 为本文采用的融合 BP 神经网络和模糊控制的多自由度智能调节系统视觉伺服控制结构框图。图 6 为多自由度智能调节系统的整体架构。图 5 视觉伺服控制结构Fig.5 Structure of visual servo control图 6 多自由度智能调节系统整体架构Fig.6 Overall architecture of multi degree offreedom intelligent regulation system2 图像特征提取2.1 边缘检测机器人
24、工作过程中相机与蒸汽发生器表面距582112023,23(26)陈高铭,等:基于 BP 神经网络-模糊控制的机器人无标定视觉伺服技术投稿网址:离近,有效的视野范围较小。采用 Blender 软件仿真,机器人处于标准位姿 Ps时相机获取图像的视野范围如图 7 中矩形框所示。图 7 仿真相机视野Fig.7 Field of view of simulated camera常用的边缘检测算子有 Roberts 算子、Prewitt 算子、Sobel 算子、Canny 算子等17。由于 Canny 算子为多阶段优化算子,具有抗干扰能力强、边缘连续性好等优点18,本文研究采用 Canny 算子对图像进行
25、边缘检测处理。采用 Canny 算子进行边缘检测主要包括以下步骤。(1)采用高斯滤波对原始图像进行卷积操作,即线性平滑图像,以减少图像中的高斯噪声。(2)采用 Sobel 算子计算图像沿 x、y 方向的偏导数,即分别采用式(5)所示的 x 方向 Sobel 算子和式(6)所示的 y 方向 Sobel 算子对图像进行卷积处理,进而计算梯度的幅值和方向。Sx=-101-202-101(5)Sy=-1-2-1000121(6)(3)对梯度的幅值采用非极大值抑制,去除部分假边缘,得到初步的边缘信息。(4)采用双阈值对二值化图像检测筛选,得到较为精确的边缘特征。以相机在标准位姿处获取的图像为例,边缘检测
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 BP 神经网络 模糊 控制 机器人 标定 视觉 伺服 技术
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。