基于区域分块的PCB图像配准算法研究.pdf

Microcomputer Applications Vol.39,No.11,2023文章编号：10 0 7-7 57 X（2 0 2 3)11-0 0 10-0 4基金项目基于区域分块的PCB图像配准算法研究微型电脑应用2 0 2 3年第39 卷第11期陈建华，徐雷，郭战岭，牟宗亮（四川大学，机械工程学院，四川，成都6 10 0 6 5）摘要：针对ORB算法特征点提取集中、匹配精度低的问题，提出一种基于区域分块的ORB改进算法。通过区域分块的方式，提取分布均匀的特征点，使用Hamming距离对提取的特征点进行粗匹配，筛选掉误差过大的特征点，接着使用RANSAC算法对特征点进行进一步筛选，使用RANSAC算法计算出待配准图像与模板图像之间的单应性变换矩阵，对图像的方位进行纠正。通过实验对算法的可行性进行验证，结果表明，算法在兼顾运行时间的基础上对图像匹配的精度有较大的提升。关键词：区域分块；ORB算法；特征提取；图像配准中图分类号：TP391Research on PCB Image Registration Algorithm Based on Region SegmentationAbstract:Aimed at the problems of low matching accuracy and feature point extraction of ORB algorithm,an improved ORB al-gorithm based on region segmentation is proposed.The feature points with uniform distribution are extracted by the way of re-gion segmentation,and Hamming distance is used for coarse matching of the extracted feature points to screen out the featurepoints with large errors,and the RANSAC algorithm is used for further screening of the feature points.The homographytransformation matrix between the image to be registered and the template image is calculated by RANSAC algorithm,and theorientation of the image is corrected.The feasibility of the algorithm is verified by experiments.The results show that the algo-rithm can greatly improve the accuracy of image matching and the running time is fast.Key words:region segmentation;ORB algorithm;feature extraction;image registration0引言PCB作为现代电子信息产品中不可或缺的电子元器件，广泛应用于计算机、消费电子、网络通信、医疗、汽车电子、航空航天科技等领域 1。特别是近年来，5G技术已经投入商用，行业规模不断扩大，对PCB产品质量检测的要求也越来越高。因此PCB自动光学检测设备（AOI)逐渐取代低效率的人目检 2-3，在利用AOI设备进行PCB缺陷检测前，必须将方位存在偏差和旋转的待测图像与PCB模板图配准 4。常用的PCB图像方位配准方法有Mark点检测、PCB边缘检测、角点检测等 5-6 。目前，常用的2 种方法是基于图像边缘和图像灰度的特征点提取。使用提取图像边缘获得的结果往往取决于边缘的清晰程度，效率低，且时间成本高。角点检测主要通过计算点的曲率和梯度来检测角点，避免了上述缺陷。目前，相关算法主要有SIFT算法、SURF算法和ORB算法。与SIFT算法和SURF算法相比，它具有检测速度非常快、旋转不变性等优点，但另一方面也存在特征提取精度基金项目：四川省重点研发项目（2 0 2 2 YFG0067）作者简介：陈建华（19 9 9），男，硕士，研究方向为机器视觉、图像处理；徐雷（19 7 3一），女，博士，副教授，研究方向为机器视觉、智能制造、数字化设计与制造；郭战岭（19 9 7 一），男，硕士，研究方向为深度学习；牟宗亮（19 9 9 一），男，硕士，研究方向为数字化设计与制造。文献标志码：ACHEN Jianhua,XU Lei,GUO Zhanling,MOU Zongliang(School of Mechanical Engineering,Sichuan University,Chengdu 610065,China)果，使得特征提取更加均匀。1ORB算法简介ORB算法由2 部分组成：关键点和描述子。其中，关键点被称为“OrientedFAST”，是在FAST算法基础上的改良版。1.1Oriented FAST特征点提取FAST检测特征点的原理可以简单概括为对于图像中任意1个特征点P,如果在其周围存在足够多的点与P的像素差值达到指定的阈值，则这个点P可以被视作1个特10.低、不具备尺度不变性的缺陷。杨倩兰等 7 通过融合SURF算法以及引人极线约束的方式解决了ORB算法不具备尺度不变性的问题；张磊等 8 1通过自适应频谱抑制的方式解决ORB算法提取特征点不稳定的问题；丁进选等 9 1采用空间一致性的思想优化了ORB算法不具有尺度不变性的问题。然而，ORB算法的缺点在于特征提取比较集中、匹配精度较差。针对这个问题，需要采用其他的算法来优化特征提取结Microcomputer Applications Vol.39,No.11,2023征点。FAST算法检测特征点的具体步骤如图1所示。138147P65图1FSAT算法特征检测原理（1）图1中，P代表图像中的任意一点，以P点为圆心，3个像素为半径作一个圆，由图1可知，圆上共有16 个像素点。（2）分别计算16 个像素点与P点灰度值差值的绝对值a1va2,.,a16。(3）设定一个阈值t,将a1、a 2，,a 16 与t比较，若ait（i1,2，16）,则认为这是2 个不同的点。（4）若16 个像素点中至少有n（n 通常取9、11或12）个点与点P不同，则认为P点为一个特征点；反之，P点不为特征点。（5）重复以上操作，对图像中每一个像素点都进行以上过程。以上过程提取出的特征点只有位置信息，并没有方向信息，因此原始的FAST算法提取出的特征点不具有旋转不变性。针对此问题,ORB算法采用灰度质心法解决，使得检测出的特征点具有方向信息。其步骤如下：(1）在一个小的图像块K中，将图像块的矩定义为mm=Zayl(a,y)T.yEK其中,p,q=(o,1),I表示点（,y)的灰度值。（2）通过式（1)计算出的矩，可以进一步得到图像块的质心C：C=m10.mo1(moomoo（3）若记图像块M的几何中心为点O，则连接OC可以得到一个方向向量,因此提取出的特征点p(,y)的方向可以定义为0=arctanmo1m101.2BRIEF描述子使用O-FAST算法得到一系列特征点后，需要使用某种方式定义每个特征点的属性，使得每个特征点之间有差异，对后续的点对匹配有利。这些属性的输出结果则称为描述子，ORB算法采用BRIEF算法来计算某个特征点P的描述子，其核心思想在于：在特征点P的附近以某种模式选取n个点对,把这n个点对相互之间的比较结果组合起来即作为基金项目点P的描述子。BRIEF算法的操作步骤如下。（1）以特征点P为圆心，d为半径作圆O。1011129432微型电脑应用2 0 2 3年第39 卷第11期（2）在圆O内以某种模式选取n个特征点对，以n=6为例，将选取的6 个点对分别记作:P（A 1B）,P（A 2，B）,P15(A3,B,),P(A4,B4),P(As,B,),P(A6,B.).16（3）定义操作一个运算方式T。T(P(A;,B,)=其中，IA,、IB,分别表示点A,、B的灰度值，i=1,2，,6。（4）使用T运算分别对6 对特征点进行操作，并且将得到的6 个结果进行整合。例如：T(P(A1,Bi)=1,T(P(A2,B2)=0,T(P(A3,B)=1,T(P(A,B)=1,T(P(As,B,)=0,T(P(A6,B,)=1,则点P的描述子即为10 110 1。2基于区域分块的改进ORB算法传统的ORB算法由于采用FAST算法来提取特征点，导致提取出的特征点往往会集中在某一点，导致后续特征匹配过程产生大量的误匹配。本文使用图像分块与ORB算法结合的方式提取分布均匀的特征点；然后对提取出的特征点使用Hamming距离粗筛选以及RANSAC算法进行精筛选；最后利用RANSAC算法计算出2 幅图像之间的单应性变换矩阵，对2 幅PCB图像进行配准。算法整体的流程如图2 所示。(1)（待配准图像）模板图像图像分块，ORB检测特征点Hamming距离粗筛选(2)RANSAC算法精筛选计算单应性变换矩阵H图像配准(3)结束图2 PCB图像配准流程图2.1区域分块及特征提取ORB采用FAST算法提取特征点，其优点是速度非常快，但是提取出的特征点往往非常集中，计算出的描述子会十分相似，在进行PCB图像配准时便会产生大量的误匹配点。因此本文针对ORB算法提取PCB特征点余集中的问题，提出一种区域分块方法，通过控制每小块图像可提取11.1,IA,IB,0,IA,IB;输入（4)Microcomputer Applications Vol.39,No.11,2023的特征点数目，达到提取分布均匀的特征点的目的。区域分块算法流程如图3所示。（待配准图像）模板图像将两幅图像分别分为R*C个区域对R*C个区域分别进行特征点检测设置阈值,j-T/(R*C)每个区域检测出的特征点数？图3区域分块算法流程图像分块的具体步骤如下。（1）导人2 幅图像，将2 幅图像各均匀划分为RC 小块。其中,R代表行数,C代表列数。初始取R=2,C=2。（2）设定每张PCB图像中共需要提取的特征点数目为T,取 T=500。（3）设定阈值j，j=T/（R C)，初始j=125。（4）使用ORB算法在RC 个区域中分别提取特征点。（5）将各小块图像提取的特征点数量与i比较：若数量j,则令R=R2,C=C*2,增加分块的行列数目，继续以上操作；若数量j，则采用非极大值抑制的方式筛选掉多余的特征点。（6）对RC 各区域进行遍历，若每个区域剩余的特征点数量等于，则停止特征点提取操作。（7）将分块后的图像重新拼接，以方便后续PCB配准。2.2特征匹配及筛选通过以上步骤提取出足够的特征点后，需要将待配准图像（记为Mi）与模板图像（记为M）的特征点进行匹配。同时采取汉明距离对M和M2幅图像进行特征点的粗匹配，筛选掉误差较大的特征点，但传统的ORB算法仍然达不到高精度的要求。因此，本文使用RANSAC算法对粗筛选之后的特征点对进行进一步精确筛选，使得最后留下的均为没有误差或者误差较小的特征点对。其运算流程如图4所示。其伪代码如下：BeginDimQas integer定义粗筛选后特征点对DimDas integer定义内点数Dim S as integer定义迭代步数Input QD=0 S=0在Q中随机提取4对特征点，计算3阶矩阵模型HReturn HS=1If(S=Q*0.95Then EndifOutputD输出精确特征点具体步骤如下。（1）利用汉明距离对提取出的50 0 对特征点进行粗筛选，得到剩余特征点对数Q，输入Q对特征点。（2）由于M和M之间的变换矩阵H为33阶，而其中仅有8 个未知参数，则对应需要4对特征点进行求解。因此,取K=4,从Q对特征点中随机抽取4对特征点。（3）利用抽取的4对特征点计算出一个33阶矩阵模型。（4）使用（3)中计算出的模型对其余特征点对进行估计，若其余特征点对在误差范围内满足模型，则属于内点，反之则属于外点。（5）设置一个迭代步数E，重复迭代，计算矩阵模型，最后取内点数目对应最多的矩阵H。（6）将矩阵H对应的外点筛选掉。(7)结束。3实验结果及分析实验平台：软件为Win10系统、Pycharm-Opencv4.5；硬件为显示器DeLi、相机型号MARS-3140-3GM-P-M03。实验对象5GPCB板。本实验基于Win10系统十Opencv4.5的平台来进行，实验对象为5GPCB板。PCB待配准图像及模板图像如图5所示。传统ORB算法与本文算法的特征提取及匹配图像结果如图6 和图7 所示。通过图6、图7 对比可以明显看出：改进后的ORB算法相较于传统ORB算法提取出的特征点分布更加均匀，说明本文提出的图像分块特征提取思想有较好的结果；改进后的ORB算法在匹配时效果较好（误匹配对减少）。为避免实验的偶然性，本实验采取10 次实验结果的平均值的方式进行统计。12.重新估计模型Microcomputer Applications Vol.39,No.11,2023基金项目Ebefore微型电脑应用2 0 2 3年第39 卷第11期afer(a）待配准图像图5PCB待配准图像及模板图像图6 传统ORB算法匹配结果图7 本文算法匹配结果改进前和改进后的PCB图像特征点匹配精度如表1所示。改进后的匹配精度提升了约2 6 个百分点。表1匹配精度对比算法提取特征点总数正确匹配点数ORB+RANSAC500本文算法487改进前和改进后的PCB图像特征点匹配时间如表2 所示。改进后的匹配时间提升了约2 55%。表2 匹配时间对比1算法总匹配点数总匹配时间/s平均匹配时间/msORB+RANSAC500本文算法487图8、图9 为PCB待配准图像方位纠正前后例图。before(a）纠正前（倾斜9 0)图8 PCB待配准图像方位纠正前后例图(b）模板图像匹配精度/%35470.847296.91.203.380.450.95Bafer（b）纠正后（倾斜9 0)（a）纠正前（倾斜45）图9 PCB待配准图像方位纠正前后例图4总结由于ORB算法使用FAST算法检测特征点本身存在特征点余、密集的问题，本文尝试使用区域分块的方式，使得检测出的特征点强制分散，达到了提取均匀特征点的目的。通过实验结果得知，相较于改进之前的ORB算法，本文算法在配准精度和配准时间两方面都有所提升。1王栋，马纯永，陈戈.一种新型的PCB图像快速配准算法 J.计算机科学，2 0 16,43(S1)：152-155.2张露文，薛晓军，李恒，等.基于改进NLM的PCB图像去噪算法J.计算机工程与科学，2 0 2 1，43（9）：1608-1615.3王帆，伍世虔.一种基于模板和DCT变换的柔性电路板配准方法 J.计算机与现代化，2 0 2 1（10）：57-6 2.4任永强，吕华鑫，晏文彬，等.一种基于PCB板图像配准优化算法J.合肥工业大学学报（自然科学版），2022,45(10):1305-1309.5包晓敏，吴小荣，吕文涛.基于IBBS-SIFT算法的PCB板Mark点定位方法 J.浙江理工大学学报（自然科学版）,2 0 19,41(3）：36 0-36 6.6 王春萌，韩焱，刘宾。一种基于投影曲线的印刷电路板图像配准方法J.科学技术与工程，2 0 15，15（2）：262-265.7 杨倩兰，宋丽梅，黄浩珍，等.基于改进ORB算法的图像匹配方法J/OL.计算机集成制造系统，2 0 2 1：1-15,(2021-01-06)2 0 2 2-11-10 .h ttp s:/k n s.c n k J.现代电子技术，2 0 2 0，43（3）：2 7-30.9 丁进选，王丽欣，苗星雷.基于改进ORB和RANSAC算法的无人机影像特征匹配方法 J.测绘工程，2021,30(4):66-69.（收稿日期：2 0 2 2-11-10）13（b）纠正后（倾斜45）参考文献