基于多信息算法融合的电子元件精准装配研究.pdf

专题：人机智能协同系统第12 卷第4期2023年7 月引文格式：张原，宋展，杨青峰，等.基于多信息算法融合的电子元件精准装配研究.集成技术，2 0 2 3，12(4)：4-17.Zhang Y,Song Z,Yang QF,et al.Research on precise assembly of electronic components based on multi-informationalgorithm fusion J.Journal of Integration Technology,2023,12(4):4-17.集成技术JOURNAL OF INTEGRATION TECHNOLOGYVol.12No.4Jul.2023基于多信息算法融合的电子元件精准装配研究张原12 3*宋展杨青峰13潘国瑞3崔智敏31(中国科学院深圳先进技术研究院深圳5 18 0 5 5)2(华南理工大学机械与汽车工程学院广州5 10 6 41)3(深圳市深科达智能装备股份有限公司深圳5 18 10 3)摘要机器人是现代化工业制造与生产的重要装备之一。随着市场需求向小批量、多品种和柔性化方向快速发展，基于多信息融合的机器人协作系统将为高端精密制造产业赋能。该研究着眼于精密电子元件装配领域，聚焦手眼系统的精准对位和精密插装技术，通过建立待插元件与非均质薄板的接触状态模型，分析其双重位移融合的力位运动特性，并结合视觉检测与跟踪技术，提出一种融合视觉、力觉和编码器信息的复合型控制算法。基于电子元件装配平台，该研究进行了元件插装对比实验和信息融合算法的装配实验，结果表明，对齐阶段的定位精度在0.18 5 pixels以内，装配阶段的接触状态判定和调节算法保障了元件与插槽的安全有效装配。关键词机器人；信息融合算法；电子元件；柔性装配；装配策略中图分类号TP 242.6文献标志码Adoi:10.12146/j.issn.2095-3135.20221123002Research on Precise Assembly of Electronic Components Based onMulti-information Algorithm Fusionnl,2,3*SONG Zhan YANG Qingfeng*3 PAN Guorui?ZHANG Yuan(Shenzhen Institute of Advanced Technology,Chinese Academy of Sciences,Shenzhen 518055,China)2(School of Mechanical and Automotive Engineering,South China University of Technology,Guangzhou 510641,China)Abstract Robots are important equipment in modern industrial manufacturing and production.As productsmove towards small batch,multi-variety,and flexibility,robot collaboration systems based on multi-informationfusion enable high-end precision manufacturing industries.This research focuses on the precision alignment andCUI Zhimin3(Shenzhen Sking Intelligent Equipment Co.,Ltd.,Shenzhen 518103,China)*Corresponding Author:zhangyuan_收稿日期：2 0 2 2-11-2 3修回日期：2 0 2 3-0 2-2 8基金项目：深圳市技术攻关重点项目（JSGG20220831092801003）；广东省自然科学基金面上项目（2 0 2 1A1515011802）作者简介：张原（通讯作者），博士，研究方向为机器人与机器视觉，E-mail：z h a n g y u a n _2 0 17 12 6.c o m；宋展，研究员，研究方向为3D机器视觉与模式识别；杨青峰，博士，研究方向为精密制造；潘国瑞，正高级工程师，研究方向为计算机科学；崔智敏，高级工程师，研究方向为大型复杂装备研制。4期张原，等：基于多信息算法融合的电子元件精准装配研究5insertion technology of a hand-eye cooperation system in the field of precision electronic component assembly.By establishing a contact state model between electronic components and heterogeneous plates,the motioncharacteristics of force and displacement are analyzed.A compound control algorithm integrating visual,forcesense,and encoder information is proposed,combined with visual inspection and tracking technology.Componentinsertion comparison experiments and assembly experiments based on algorithm fusion are carried out on theelectronic component assembly platform.The results show that the positioning accuracy in the alignment phase iswithin 0.185 pixels.The contact state judgment and adjustment algorithm in the assembly stage ensures the safeand effective assembly of components.Keywords robot;information fusion algorithm;electronic component;flexible assembly;assembly strategyFunding This work is supported by Shenzhen Key Technology Project(JSGG20220831092801003),andNatural Science Foundation of Guangdong Province(2021A1515011802)1 引 言融合了视觉技术的工业机器人是现代智造产业的核心关键装备之一，其赋予了机械系统环境感知能力和灵活应变能力1-3。近年来，越来越多的灵巧操作与智能装配需求，促使传统工业智造过程进一步转型升级。单一感知模块的控制系统已无法满足产业发展的切实需求，多传感信息融合技术及其控制算法已成为研究热点。聚焦元件装配的视觉引导技术，Changl基于双目手眼配置模式，设计了先粗后精的手机背壳视觉定位方法，提高了系统的装配精度。Wang等5 针对微型轴孔对齐问题，采用遗传算法整定比例和微分参数，通过仿真实现了微轴孔的对齐。Chang等6 分别定义了元件与插孔的特征，采用双目视觉结合速度控制的方法实现了USB的插装。Kleppe等7 针对异型元件装配问题，设计了一种2 D与3D相融合的视觉引导解决方案，并通过实验验证了其系统装配精度在土1mm和土1以内。单一视觉感知模式下的装配算法在视觉盲区将会受到较大的限制，而力觉感知也是元件装配的重要支撑技术之一8-9。Huang 等10-2 以双臂机器人为研究对象，提出一种基于主从协调的轴孔装配策略，实现了不同形状元件的轴孔装配。Liu等13 采用的实验装置为一端刚性固定、另一端元件安装在弹簧上的配置模式，通过对弹簧各节点进行观测，并结合力感知的方式，实现了轴孔的柔性装配。Qin等14 采用多目微视觉结合三维力传感器反馈的方式，基于多信息融合和人的示教，设计了装配机器人的执行动作序列，并通过套筒和线圈组件实验进行验证。针对单一感知系统导致的装配偏差问题，Song 等15 基于机器人末端的力传感器，引入阻抗控制算法克服视觉定位系统带来的误差，一定程度上改善了单一传感器装配过程中存在的低可靠性问题。此外，有研究1-2 0 1分别从装配系统相机标定、三维视觉示教及多信息融合辅助装配等方面，阐述了精密装配等相关技术的进展。上述研究极大地丰富了精密元件装配的方法，但仍存在一些问题值得进一步探究。单一传感器在感知盲区将会失去有效信息，可靠性难以保障。此外，在刚性轴孔装配过程中2 1，元件因受力而被反复摩擦，精密电子元件会因此受到损伤。由于精密电子元件具有薄、脆、弹性变形以及表面具有微型电路等特点，微小的偏差就可能导致元件电路损坏等问题，新的需求为技术带来6了新的挑战。针对上述问题，本文通过系统建模和力位特性分析，提出一种基于多信息算法融合的复合型控制方法，结合交互补偿策略和误匹配警报机制，实现了电子元件与柔性基板的装配。该研究成果可为同类精密元件的装配工艺过程提供理论指导和方法借鉴。2系统建模与分析2.1研究问题描述本研究以随机存取存储器（random accessmemory，R A M)插入柔性基板上的插槽为研究对象。如图1(a)所示，RAM与插槽通过金手指视觉成像系统SCARA控制柜光源控制器PICM-2900D空压机驱控系统接驳台API函数机器人驱控系统PCISCARA运动控制卡环形光源图像采集卡发送接收控制工规划控制个开关USB3.0伺服放大器PICM-2900DFig.1 Electronic component assembly experimental platform集成技术进行电信号的传递，RAM上分布有微型电路，各金手指之间不能有电信号的导通。电子元件在受力状态下进行位姿调节，将会导致表面摩擦和电路损伤。因此，基于传统阻抗控制的刚性轴孔装配模式难以适用。此外，印制电路板（printedcircuit board，PCB)在受压时会产生柔性变形，为元件的精准装配带来不确定性的影响。因此，针对接触类精密电子元件装配工艺，探究多信息算法融合的装配方法十分重要。如图1所示，整个实验设备包含4个模块和1台上位计算机。第1个模块为机器人驱控系统，其以团队自主研发的四自由度选择顺应性装配机器手臂（selective compliance assemblyRAM计算机工业相机环形光源待插元件PCB力传感器气动夹手元件插槽(a)装配试验台插入RAM基于多传感器融合的精密元件插装系统精密控制集成软件平台CsharpAPI函数API函数视觉成像系统六维力/力矩采集模块PClePCI6224采集卡受力应变供电盒光源控制器PointGrayI/O控制模块(b)数据传递框图图1电子元件装配试验台2023年金手指数据采集卡力传感器和电源DIMMAPI函数气动夹持系统空压机转换电压气源儿供给开合价控制F/T传感器过滤减压阀五通电磁阀插槽气动夹手4期robot arm，SC A R A)为载体。机器人具有3个互相平行的旋转关节和1个沿第三旋转关节轴线运动的平移关节。上位机发送的控制信号可经GalilDMC-1866运动控制卡和SGM7J伺服放大器转化为电流，从而控制机器人各关节的电机转动。第2 个模块为视觉成像系统，其包含一台PointGray相机、图像采集卡、环形光源和光源控制器。光源控制器可进行光源的亮度调节，PointGray相机负责将拍摄到的图像通过图像采集卡传输至计算机。在结构上，相机和环形光源固定安装在机械臂的末端，可随机械臂一起运动。第3个模块为六维力/力矩采集模块，其包含一个ATIMini-45型号的力/力矩（force/torque，F/T)传感器、供电盒和NI-PCI6224采集卡。F/T传感器安装在机器人末端丝杆下方，其感知到的信号由采集卡传输至上位机。第4个模块为气动夹持系统，其包含空压机、过滤减压阀、五通电磁阀和气动夹手。气动夹手与力传感器下表面刚性连接，可对元件进行夹持。空压机为气动系统提供动力源，通过过滤减压阀控制气体压力，再由五通电磁阀控制气动夹手的开合。各模块硬件部分通过PCI、PC I e 和I/O口与系统模块参数/型号第一旋转关节130第二旋转关节150第三旋转关节360机器人驱控系统平移关节行程第一旋转臂长第二旋转臂长工业相机视觉成像系统顿率五通电磁阀气动夹持系统气动手爪F,F,量程力采集模块T,T,T,量程计算机处理器张原，等：基于多信息算法融合的电子元件精准装配研究2.2接触状态受力分析精密电子元件与插槽在接触阶段的受力分析是设计装配算法的重要基础。为具有一般代表性，定义力传感器的输出信号为F,=(Fr,Fy,F,M,M,M.)T。表1系统参数Table1System parameters参数名240mm250 mm250mmGS3-U3-51S5M75 fpsSY5220-5DZDMHZL2-10D580N20NmIntel Core i72.8GHz7上位机实现相互连接。系统集成控制平台基于MSVisualStudio2017搭建，软件层面利用API函数实现数据交互。电子元件装配的实现方式可概述如下：在对齐阶段，上位机接收到相机采集的图像，经图像预处理和特征提取后获取目标特征的当前位姿，并计算期望位姿与当前位姿的差值。上位机结合视觉控制算法生成控制信号，并驱动机器人向视觉误差减小的方向移动，从而实现机械臂的视觉引导。在装配阶段，上位机基于视觉、力觉和关节编码器的感知信息，结合信息融合算法生成控制信号，控制机械臂带动元件进行位姿调节，实现精准装配。机械臂、工业相机和手眼系统的结构参数已通过激光跟踪仪和手眼标定算法等进行标定2.2 。本研究小组的前期工作以及上述试验平台的搭建，为电子元件与柔性基板的装配研究奠定了基础。各组件的参数和型号如表1所示。参数名第一电机额定扭矩第二电机额定扭矩第三电机额定扭矩第四电机额定扭矩控制卡伺服周期驱动器型号分辨率镜头焦距过滤减压阀空压机额定压力F量程采样频率编程语言参数值1.27 Nm0.637 Nm0.318 Nm0.318 Nm256 sSGD7S2448 pixels 2048 pixels30 mmAW30-03BG-A0.7 MPa1160N5.4kHzC#8公式(1)(6)分别对应图2 中(a)(f)的接触状态，图2 中(g)(i)分别为(d)(f)的受力分解。(1)F,=F(2)MF22F,=q,l,=u,FNF,=N,集成技术可认定已插入深度his远小于h十h2。元xzFXF,=2F7Ay-元Vz(a)延x 偏移元y(3)M.(F4.Zz2023年TM.(F)(b)延 偏移FXF=F,MF,=2F,cos(Ae,)-2N,sin(Ae,)F,=2N,cos(e,)=2F,sin(Ae,)M,(F,N,)=2(F,cos(0,)-N,sin(A0,)(h+h)F,=2F,F,=2N,F,=2(F,+F,)M,(N,)=2N,(h+h-w,sin(A0,)(4)-N,(h+h一hist)2(c)延 z 偏移1元M(N)TF-t(i)(e)绕y偏转AQ.0(i)(g)绕x偏转受力分解(ii)F(5)(d)绕x偏转1Z(f)绕z偏转N/FNLE,NF,画山()(i)(ii)(i)(v)(h)绕偏转受力分解XF,=2N,F=2F,=2 N./tan(A0,)M,(N,)=2N,(h+h.)F,=2F,cos(A0,)-2N,sin(A0,)F,=2F=2N,cos(Ae,)=2F,sin(A0,)M,(F,N,)=2(F,cos(Ae,)-N,sin(Ae,)(h+h.)其中，x、A y 和z分别为延各坐标轴的偏移量；Q、e,和,分别为绕各坐标轴的偏转角；F为接触产生的反作用力；F为接触面法向压力；F,为与运动方向相反的摩擦力；F,为垂直于接触面的支撑力；N，为与滑动摩擦力垂直的支撑力；为滑动摩擦系数；q、为等效均布载荷；M为等效力矩；l.为槽长度；w，为槽的宽度；h为传感器到元件中心的距离；h2为元件中心到元件底面的距离；his为已插入深度。过盈配合保障了元件侧面微电路的电路导通，初始角度偏差较小，因此，(i)绕z偏转受力分解(iv)一待插件轴线一：底座轴线力/载荷待插件坐标系底座坐标系角度偏移量投影平面等效力/力矩(v)Fig.2 Force analysis of different contact statesF,=2F(6)位置偏移量图2 接触状态受力分析2.3非均质薄板的受力变形分析承载元件为一块开设有各类板孔的PCB板，其上预装有不同电子元件，因而具有非均质特性。图3为非均质薄板受力状态图，基板两端由接驳台的传动皮带导轨支撑，呈现简支梁形式。根据Timoshenko等2 3 提出的板壳理论，可获取均质薄板挠曲面方程的Navier解，如公式(7)所示。W=16qsin元mnlg元4K-1m-1元ms元nm元mlsinsinWnm2W元nWg-sin2W元mx元ny(7)sinsinWp4期张原，等：基于多信息算法融合的电子元件精准装配研究9传感器位置非均匀分布的WpTW,=AhaPCB其中，kbend 为板的弯曲刚度；m为基板长度方向上均布载荷分解为二重三角级数的函数级数；n为基板宽度方向上均布载荷分解为二重三角级数的函数级数；l。为插槽整体长度；wg为插槽整体宽度；l，为PCB的长度；w,为PCB的宽度；hg为插槽上段高度；w。为薄板受载荷力所产生的变形量。2.4位移融合下的运动分析元件在插入过程中，受到来自插槽的反向作用力，二者之间具有相对滑移和摩擦。此外，由于基板具有柔性，因此，在插入过程中，元件、插槽和基板会一同下移，基板变形与相对滑移是同步进行的。定义薄板在元件插入时的等效受力点为(5,n)，则综合的运动位移和力传感器受力模型如公式（8)(9)所示。h,=-w.l-.,-h,q.l,=ql,+,Fv其中，h，为元件完全插入时相对插槽的滑动距离；q为薄板表面的分布载荷；qz为操作臂末端下落时产生的驱动力载荷。3多信息融合的装配算法设计电子元件的插装工艺不仅需要非接触阶段的环境认知交互能力，还需要接触阶段的物理交互能力。元件装配包含对齐和插入两个阶段：对齐阶段通过第3.1小节所述的视觉引导算法，使元件各类板孔(a)基板与插槽(b)元件与插槽图3弹性变形分析Fig.3Elasticdeformation analysis与插槽在xy平面位姿保持一致，而后元件垂直下落执行插装动作，并由第3.2 小节设计的力觉控制策略判定元件与插槽的接触状态。由于环境噪声和扰动等因素的影响，单一视觉引导定位的可靠性难以保证。基于上述视觉和力觉控制算法，第3.3小节将进一步结合编码器信息，分别提出对齐阶段和装配阶段的信息融合算法。多传感器融合控制算法的设计将为装配系统有效赋能。3.1非接触阶段视觉引导非接触阶段基于视觉感知的引导算法发挥主要功能。如图4所示，元件相对于夹手的位姿可通过视觉标定获取，因此，可将夹手的位姿作为视觉观测目标，即P和P2两点，两点连线的中垂线L2用于获取元件的姿态角。基板上的通孔和预装元件可作为跟踪目标，即P3和P4两点，(8)两点连线的中垂线L，可为元件期望姿态角提供依据。采用相机归一化坐标系下的坐标Pa表示各(9)P3Fig.4Visual observationfeatures(c)基板挠性变形L3L2P图4视觉观测特征P4P210特征点的期望位置坐标。根据基板分布的先验知识，对齐状态下，点P和P,相对于点P,和P4的位姿是固定的。因此，可通过点P,和P4的坐标计算得到点PI和P,的期望坐标，如公式(10)所示。Pai=Ru+2 ua(+2)=1,2T.i+2其中，T.+2为点P和P,期望位姿与P,和P4点位姿之间的变换矩阵。定义图4中LI、L和L的方向角为、和，其中，L为插槽方向。由于L，对比度较低，易受到扰动影响，可预先测得L和L，之间的夹角=一。根据上述定义，元件位姿视觉跟踪误差可定义如公式(11)所示。e,=pi-Pdile,=p+d s-d 2循环判定接触状态感知插装过程集成技术其中，P,为夹手观测点在相机归一化坐标系下的坐标。3.2大力觉控制策略为避免元件偏移导致插入过程受损，本文提(10)出一种基于接触力状态感知的回退调节策略。如图5 所示，装配流程包含接触状态感知判定、位姿调节和插装过程3个循环，迭代次数分为m、k 和Gen。其中，接触状态感知判定循环如算法1所述。夹持器与元件的上表面和侧面紧密贴合，限制了两个旋转自由度。接驳台的4个支点可调节丝杆与基板的垂直度，避免图2 中(d)(e)所示的偏差状态。若力传感器感知到非期望偏转，那么会触发误匹配警报机制，停机手动调节机械结构，以保证合理的装配条件。(11)如算法1所示，h，为接触点预设深度；h为开始立Gen=0文是结束深度估计（视觉部分引入）F六维力信号感知接触状态判定偏移偏转AyAx视力融合交互补偿图5 装配算法流程图Fig.5Assembly algorithm flow chart2023年循环总次数？MM,M偏转状态判定策略分配对齐与否？文是双重位移融合插装算法立Gen=Gen+1A0,+0误匹配警报机制4期张原，等：基于多信息算法融合的电子元件精准装配研究11算法1接触状态判定Input:Fr,Fy,F.,M,My,M,ha,hp,h,h,hg,w,Gen,oh,ze,emu,eu,k,Output:接触状态(a)(f)Initialization:x,0,Ay0,Ay0,0g0,A0,Ag01,0.4,m0while z,e(h,-h,h,+oh)do丝杆向下运动：za=Shif M,(F)e(0-Cmn,+em)and F.(ha)/F,(v.-hae)(1-,1+)thenOutput：接触状态(b)，丝杆运动至：h,+Sh，m0,b r e a k;Ay/-1,-2M,/Felse if M,(F)e(0-8Mm,0+em)thenOutput:接触状态(d)，丝杆运动至：h,+Sh，m 0 b r e a k;A0g-arccos F,(w)/F.(hac)elseif M,(F)e(0-emr,0+em)thenOutput:接触状态(e)，丝杆运动至：h,+Sh，m0,b r e a k;Aey arcsin(h+h-M,/F)/w.)else if F,(z)e(0-&pu,0+8ru)thenOutput:接触状态(a)或(f),丝杆运动至：h,+Sh，m 0,b r e a k;elseif z.h,-hg and F(z)e(0-8ru,0+eru)thenUpdate:mm+1Output:接触状态(c)elseOutput:break;end ifUpdateendwhileUpdatekk+1Sh(Gen)-h(Gen)-h.(Gen-1)+Sh(Gen-1)视觉估计的深度值；z。为编码器反馈的机械臂末端位置；&Fu为力的扰动上限值；&Mu为力矩的扰动上限值；无为比例因子；Sh为预设缓冲距离，初值为1mm；h a c 为元件接触插槽后的下行距离。基于算法1，系统可辨识出元件的接触状态以及偏移量。若初始状态为图2（c)所示状态，那么根据更新率的设计，在m3时元件插入插槽，其他状态则会触发元件回退判定，返回至安全高度h,十Sh进行元件位姿调节。随后初始化arctan(2F,/F,)orA0ar2,0m2(h,+h-h)/sh-(1-)/(1-),m3接触状态参数，再次进入插入接触状态判定，直至元件对齐插入。3.3视力融合补偿算法视觉感知与力觉感知所获取的信息，在不同维度上的表征能力不同。因此，融合多数据信息流，设计面向不同装配阶段的信息融合交互补偿算法十分重要。3.3.1对齐阶段定义源于力觉反馈误差为e,(k)=12(Ax,(k),Ay,(k),z,(k),A,(k)T，视觉反馈的误差为e(k)=(Ax(k),Ay.(k),z.(k),0.(k)。融合后的综合误差定义如公式(12)所示。e.(k)=Ax(k),aAy.(k)+(1-)Ay,(k),Az。(m,k ),A 0.(k )其中，为视觉误差权重，(0,1)；z。为元件装配深度，可通过实验预先测定；z。为信息融合后的深度误差，其计算公式如公式（13)所示，hab为元件接触插槽时编码器读取到的位置值。图6 为对齐阶段的控制框图。z.(m,k,G e n)=-h,-h(Gen)+h(Gen-1)-Sh(Gen-1),z h,+Sh(Gen)h,-hg-z,haz,h,+Sh(Gen)h,-hg+Sh(Gen)(1-(1-)/(1-),h,-h,z.ha.h,-hg-ze,zh,-hg集成技术3.3.2装配阶段装配阶段为单一方向的插入动作，元件与插槽为过盈配合，其控制框图如图7 所示。基于安全性考量，设定最大插入力为Fmax位置控制中，插入过程的每一个节点可视为一个准静(12)态过程，其受力状态可表征为公式(14)所示。Aya(k)F=o,h,-h,zeu,Fx+F(w),hab-h,-w.(F)z.h,-hgF(we),hab-h,-Edep-w(Fmx)zhab-h,-w.(F.)最大插入深度对应的z轴坐标值可定义如公式(15)所示。Zmm=hab-h,-dp-W.(Fmax)其中，&dep为深度容差。当力传感器或编码器感h(Gen)(13)2023年(14)(15)知下落位置或插入力超过最大限值时，停止下落并控制气动夹手释压，驱动执行器上行至安全高度。定义系统的比例增益为k，受机器人关节静基于图像特征的位姿状态判定图像特征视觉控制器误差融仓期望值力觉信号期望值Zd期望位置FmaxvZmin最大阅值Fa期望力图像处理&特征提取交豆补偿关节编码器+融合控制器力觉控制器基于力信号的接触状态判定图6 多信息融合控制算法Fig.6Multi-information fusion control algorithm实际位置位置控制器关节编码器运动学逆解关节控制器力觉控制器实际受力F,滤波器图7 力/位混合控制框图Fig.7Force/position hybrid control block diagram视觉传感器运动学逆解关节控制器关节编码器卡尔曼滤波器六维力传感器插入过程待插元件薄板插槽机器人六维力传感器待插元件机器人薄板插槽4期摩擦影响最小驱动速率为uzmin，力位融合后的速度控制律如公式（16)所示。-uamn,0abs(u,)ulaminu,=lu,elseu=o,else4实验研究本实验研究聚焦柔性基板挠度分析和信息融合算法应用于精密元件插装过程的有效性验证。4.1元件插装对比实验本实验设计了3类基板状态进行对比分析，采用人工驱动的方式，获取元件插装过程的力位特性，并与板壳理论2 的挠度分析结果进行对比。如图8 所示，分别采用长方体物块、常规元件和铝合金底板支撑3种配置模式进行试验。其中，长方体物块不产生插入动作，可模拟基板受力下的弹性变形过程；通过铝合金底板支撑弹性基板，可模拟基板不随受力变形的装配状态。实验过程中，设定丝杆匀速下落，同步记录元件的位置和受力情况。公式（7)所需的系统结构参数如表2 所示，其中，S。=l，Xw.为插槽与PCB的有效接触面积。图9(a)所示为长方体物块匀速下落时，力传张原，等：基于多信息算法融合的电子元件精准装配研究(16)13表2 结构参数Table 2 Structural parameters参数参数值245 mm141 mmWp210mmW7mm感器采集到的的10 组信号曲线。z，代表机器人关节编码器反馈得到的末端执行器z向位移值。元件在接触插槽后，下落了约4.5 mm的距离，整个力变化曲线较为平稳，表明非插入状态下只有基板的弹性变形产生作用。受力曲线呈现一定的非线性特性，这表明基板的刚度并非恒定值。将表2 中的参数代入公式(7)，取m和n的最大值为3，可得到图9(b)所示的Navier-0.95力位特征曲线，该曲线与真实力位曲线未完全重合，表明挠度分析理论2 3 在实际应用中具有局限性，依赖于实验数据分析方式更贴合实际。图10（a)为待插元件匀速下落插入插槽的力信号曲线。由图10（a）可知，元件刚接触插槽时，力变化较为平缓，而在插入临界点处具有明显的波动，这表明元件与插槽的相对滑移和基板的弹性变形同时发生，二者呈现了叠加混合的特性。元件完全插入插槽后，相对滑移作用消失，因而和图9(a)所示的力信号曲线趋势一致。图9(b)也反映了力位信号的非线性映射关系。此参数7S。kobend参数值28 mm85 mm3.282.5 mm0.95 N/mm长方体物块(a)长方体物块铝合金底板(b)常规元件(c)铝合金底板图8 元件插装配置模式Fig.8Configuration of component assembly14200-2040-60一8 0-100-120-140200一2 0-4060一8 0-100-120-140-16002.00040006 000800010 0001200014 000时间(ms)(a)力反馈信号Fig.10Mechanical properties corresponding to component insertion外，元件插入插槽对应的最大力不超过一10 0 N，最大下落位移在一6.17 4mm附近波动，这为自动装配过程的最大安全阈值设定提供了依据。图11为基板不产生弹性变形时的系统力位特性。如图11所示，曲线呈现明显的非线性特性，且在插入临界点呈现恒力波动，在此期间，元件保持匀速下落，表明元件克服其与插槽的最大静摩擦力，进入滑动摩擦的运动过程。从细节来看，在恒力波动阶段之前，有一个压力增大再集成技术200234567891002 00040006 000 8 00010 000 12.000时间(ms)(a)力反馈信号Fig.9 Mechanical properties corresponding to elastic deformation of substrate插入临界点一54一3一2一1Zb(mm)(b)力位特性曲线图10 常规元件插装力位特性减小的过程。因此，在设定最大插入力时，应附加一个容差力，以避免压力波动导致的插装停止。元件完全插入插槽后，反馈力呈现线性特性并急剧增大，这表明铝合金支撑下的基板具有较大的刚度，装配已进入底板弹性变形阶段。4.2信息融合装配算法验证为验证视力融合算法的有效性，为待插元件设定初始位置和角度偏差。非接触阶段采用视觉伺服算法进行精密定位，当元件对齐后，则执2023年一Navier-0.952040-60-80-100-120一6图9基板纯弹性变形力位特性2020345678910-5-20-402-6080-100-120-140-160-10一9一8-76一4-3一2一1Zb(mm)(b)力位特性曲线014期张原，等：基于多信息算法融合的电子元件精准装配研究152010234-505678R-1009插入临界点10-150一2 0 0150100500一5 0100150250行接触状态算法判定，完成元件的顺利装配。如图12(a)(b)所示，视觉引导可在6 5 0 ms内实现像素误差的快速收敛和元件的精准对位，最终0-20-40-60-80-100-12002.00040006 000800010 00012 000 14 000时间(ms)(a)力反馈信号Fig.11 Mechanical properties corresponding to the bottom is supportedAu1AVAu2AV2AL2nom-1AL200m-22505001501000时间(ms)(a)视觉定位误差100-10-202-30-40-50-60-70-8010111213141516171819Zb(mm)(b)力位特性曲线图11底部支撑插装力位特性0.500.51.01.5-2.02.5-3.00250(b)视觉定位角度误差100-10-202-30-40-50一6 0一7 0一8 001500300045006000时间(ms)(d)力信号曲线图12多信息融合元件装配图Fig.12 Multi-information fusion component assembly两个点的定位误差为0.18 5 pixels和0.18 2 pixels，角度误差为一0.0 2 9。定位完成后，停止闭环视觉伺服，执行垂直插装。结合表2 设计的接触力判定14ML1210(uu)8642025001000/250150500时间(ms)202468101214Z(mm)(e)力位特性曲线01500300045006 000时间(ms)(c)位移曲线16方法可知，图12(c)在7 5 0 ms1.5 s 之间有两段明显的下落过程，且由图12(d)(e)可知，力反馈信号并未超出设定范围，表明系统处于图2(c)所示的接触状态，可执行元件下落插装。待元件与插槽接触后，进入位移融合的插入阶段，元件的受力信号曲线与第4.1小节常规元件插入柔性基板时受到的力信号曲线变化趋势一致。当最大位移量和最大力阈值触发后，元件的精准装配完成。5讨论与分析本研究聚焦于精密电子元件装配技术领域，针对多信息融合的插装控制算法进行研究。与单模式视觉定位装配算法4-7 相比，本文算法引入了力觉反馈调节，可避免视觉定位失准时可能导致的元件装配损坏等问题。与刚性轴孔的力觉装配方案13-15 相比，本文算法为电子元件提供了一种有效安全的回退调节策略，避免了微电路的损坏。此外，本研究还分析了具有薄、脆特点的柔性基板受力特性，并与Timoshenko等2 3 提出的经典板壳理论进行对比，得出基于实际数据的力位特性更适用于非均质薄板的受力分析的结论。如第2.1小节建立的元件与插槽接触状态受力分析模型，对于此类元件装配的原理分析与状态判定有一般代表性，对实际的装配工艺具有一定的指导意义。本文算法有效融合了视觉、力觉以及编码器的反馈信息，为表面具有微型电路等不适宜摩擦的电子元件与柔性基板的装配提供了一条较为完整的定位与装配方案。本文工作面向广泛应用于工业智造过程中的平面定位与插装过程，后续将围绕更多自由度及更多类型感知模块应用于精准插装算法开展研究。6 结 论基于多信息融合技术，本文提出一种面向精集成技术密电子元件装配的复合型装配方法。实验结果表明，在对齐阶段，元件可实现6 5 0 ms内的像素误差快速收敛，且定位误差在0.18 5 pixels以内。装配阶段的视觉、力觉和编码器多信息反馈调节策略，保障了元件与插槽的最大接触力在预设范围以内，实现了电子元件与柔性基板上插槽的安全有效装配。参考文献1张广军.机器视觉M.北京：科学出版社，2 0 0 5.Zhang GJ.Machine vision M.Beijing:SciencePress,2005.2 Zhang Y,Qiu ZC,Zhang XM.A simultaneousoptimization method of calibration andmeasurement for a typical hand-eye positioningsystem J.IEEE Transactions on Instrumentationand Measurement,2021,70:1-11.3Shirmohammadi S,Fer