基于机器视觉的导流片图像识别定位方法.pdf

自动化应用数据处理与人工智能基于机器视觉的导流片图像识别定位方法蔡植善1,王朝阳1-2,阮秀沧,刘钢3（1.泉州师范学院物理与信息工程学院，福建泉州36 2 0 0 0;2.福州大学先进制造学院，福建泉州36 2 2 0 0；3.泉州市依科达半导体致冷科技有限公司，福建泉州36 2 0 0 0）摘要：微型半导体致冷器件(Micro-TEC)在生产过程中会存在导流片尺寸小、种类多、人工贴装难度大、精度低等问题，为提高生产质量和效率，本文提出一种基于Halcon视觉技术的导流片识别与定位检测方法。首先对导流片图像进行灰度化、ROI的确定、滤波去噪等图像预处理过程，得到二值化图像；其次对二值化图像进行形态学处理提取导流片的轮廓并创建模板；最后通过模板匹配比较待识别导流片的轮廓与创建的模板轮廓，根据需求确定导流片的贴装点位。实验结果表明，该算法能快速识别导流片并能准确地获取所需贴装点的位置信息，满足了应用要求。关键词：机器视觉，Halcon，模板匹配，识别定位中图分类号：TP249文献标识码：AGuide Plate Image Recognition and Location Method Based on Machine VisionCAI Zhishan,WANG Zhaoyang2,RUAN Xiucang,LIU Gang(1.College of Physics and Information Engineering,Quanzhou Normal University,Quanzhou,Fujian 362000,China;2.College of Advanced Manufacturing,Fuzhou University,Quanzhou,Fujian 362200,China;3.Quanzhou Yikeda TEC Technology Co.,Ltd.,Quanzhou,Fujian 362000,China)Abstract:In the production process of micro thermoelectric cooler(Micro-TEC),there are some problems such as smallsize,various types,difficulty and low accuracy in manual mounting.In order to improve the production quality andefficiency,a new method based on Halcon vision technology was proposed to identify and locate the guide plate.First of all,the image of the guide plate is processed by gray scale,ROI determination,filtering and denoising to get the binary image;Secondly,the outline of the guide plate is extracted after morphological processing in binarization image and a template iscreated.Finally,the outline of the guide plate to be identified is compared with that of the created template through templatematching and the mounting position of the guide plate is determined according to the requirements.The experimental resultsshow that the algorithm can identify the guide plate accurately and determine the location information of the required pointseffectively,which meets the application requirements.Key words:machine vision,halcon,template matching,recognition and location0引言经过对热电致冷多年的研究发展，在半导体致冷器件的制作过程中，各项工艺基本成熟，使我国成为半导体致冷器件的制造大国。但常规尺寸的半导体致冷器生产工艺并不都适用于同类微小型产品，半导体致冷器件中晶粒在导流片的贴装主要由人工完成，针对于微型产品，其操作难度大大增加，且不能保证精度，影响了产品性能。近年来，机器视觉技术逐步成熟，它以速度快、精度高以及非接触式检测等优点，在零件检测领域得到了广泛应用2。因基金项目：福建省科技厅的引导性项目（2 0 2 1H0052作者简介：蔡植善，男，19 6 3年生，教授，研究方向为电子电路系统设计与分析、机器视觉及工业应用。通讯作者：王朝阳，男，19 9 7 年生，硕士研究生，研究方向为嵌入式开发和机器视觉。198|自动化应用此，利用相机采集导流片的图像，然后借助计算机视觉确定导流片上贴装点位的精确位置具有较高的可行性在机器视觉中，对导流片贴装点位的提取需要用到图像的识别定位算法（也称目标检测算法）,其分为传统的目标检测算法和深度学习目标检测算法。传统的目标检测算法主要包括V-J算法3、HOG算法4、DPM算法5,这些算法主要是通过手动提取特征并结合滑动窗口的方式进行检测定位，特征的选择和设计对人工有一定的依赖性。深度学习目标检测方法主要分为Two-stage和One-stage两类,Two-stage 的典型代表是R-CNN算法6,One-stage 的图2 模板原始图像域。由于目标轮廓不连续，在轮廓提取前,使用Connection数据处理与人工智能自动化应用典型代表是YOLO算法7,它们均通过大量的数据训练神行图像灰度化，然后使用Gauss_filter函数进行高斯模糊经网络模型，自动提取图像特征。相对于传统的目标检测去噪，高斯滤波可以更加细致地保留边缘信息，有利于后算法,Two-stage 和One-stage 有更高的稳定性和检测精续的边缘检测；再使用Threshold函数对其进行阈值分割，度。对于不同种类、不同形状的微型半导体制冷器件，导流经多次对比实验确定阈值区间，得到模板图像灰度值较高片的图案样式也复杂多变，采用深度学习检测算法，需要的部分。大量采图每种导流片，并不适用于该产品的工业生产。Halcon是德国MVTec公司开发的一套完善的标准机器视觉算法包，拥有应用广泛的机器视觉集成开发环境。本文主要采用模板匹配的方式，基于Halcon实现一种用于导流片图像的识别定位算法。经实验证明，该方法可快速识别导流片并准确提取所需要的定位点，有较强的鲁棒性。1导流片图像识别定位系统总体设计基于Halcon软件的导流片识别定位算法流程如图1所示。开始模板是否创建？香读取模板确定模板图像ROI根据区域阅值分割高斯去噪面积筛选是开运算平滑边缘确定模板创建模板贴装定位读取待检模板匹配坐标仿射变换测图像识别目标图1算法流程本文的图像识别算法主要由模板创建和目标识别两部分组成，此前，需要预处理相机采集的原始图像，通过形态学操作后再提取导流片的轮廓，制作成模板图像并存储。在目标匹配时，即可使用已制作好的模型识别待检测目标，然后在此基础上结合坐标点的仿射变换实现贴装点位的确定。2图像的识别定位过程与实现2.1模板创建创建模板前，需要对模板的原始图像进行一系列预处理操作，以提高目标识别的准确度和匹配速率，本文使用的导流片模板原始图像如图2 所示。经分析，该导流片图像整体呈矩形，在模板生成前进行ROI确定可以避免其周围无关区域的干扰，使得模板匹配时更加准确。区域选定后，使用Rgb1_to_gray函数进阈值分割后的图像存在较多的毛刺，边缘不够平滑，不利于后续的轮廓提取,因此还需要进行形态学处理。先腐蚀图像后再进行膨胀的过程属于开运算，开运算可以消除细小的物体,在纤细处既可以分离物体又能平滑较大物体的边界8。在这里使用开运算Opening_rectangle1 函数对图像先腐蚀后膨胀，即可得到边缘更为平滑的图像区图像灰度化提取图像生成金字轮廓塔模型文定位贴装点结束函数对图像中相邻区域进行单连通。轮廓提取的基本方法为边缘检测法，即借助于空域微分算子进行，通过将模板与图像卷积完成。常用的边缘检测算子包括Sobel算子、Roberts算子、Canny算子9。Sobel算子引入了高斯平滑抑制噪声，检测通常带有方向性且检测效率高，对噪声的抑制效果好，但对灰度的变化不敏感;Roberts算子更易检测垂直方向边缘，且定位精度高，但检测结果不够平滑，容易受噪声影响;Canny算子对噪声不敏感，不易受噪声干扰，使用双阈值算法检测确定真实和潜在的边缘。为获得更为清晰的轮廓，提高后续的定位精度，本文基于Canny算子提取模板图像的亚像素轮廓。考虑到后续的匹配速度和匹配精度，需要在创建模板前选择合适的金字塔模型等级，等级越高，分辨率越小，匹配速度越快，但可能会找不到匹配目标。通过Create_shape_model 函数和 Inspect_shape_model 函数生成不同分辨率的轮廓模型，如图3所示。通过对比可知，图3(d)可代表导流片的整体轮廓,该轮廓在该级别提取与目标匹配时，速度较快且不会影响模型与目标的匹配度。最后，在上述模板图像的基础上根据需求确定贴装点位，特征点提取常用角点检测，在视觉定位中角点通常被定义为两条边缘的交点，常用的角点检测包括Shi Tomasi算法、Harris算法和FAST角点检测算法10。Harris和Shi-Tomasi均基于梯度计算的角点检测方法,Shi-Tomasi的效果要好一些，但计算复杂度高；FAST角点检测算法原理比2023|16期/19 9自动化应用数据处理与人工智能较简单，但实时性很强。本文中，该样式导流片按照需求有16个贴装点位,角点检测并不能达到该目的,因此,使用Draw_point函数和Gen_cross_contour_xld函数在模板图像作出相应的点位并显示，该方法具有很高的灵活度，适用于多种样式的导流片，贴装点位如图4所示。2.2目标匹配定位在模板图像创建完毕后，即可进行目标的匹配工作。对每张待检测图像进行与模板图像相同的预处理操作后，使用Find_shape_model函数在待检测图像中进行搜索与模板图像相似的区域，匹配目标成功后，会得到目标中心在图像中的位置信息以及匹配分数，并用白色十字光标标识,如图5所示。0000000(a）6 级金字塔模型(b)）5级金字塔模型(c)4级金字塔模型(d)3级金字塔模型图3不同金字塔级别的模型其中,返回的齐次变换矩阵HomMat2D由旋转矩阵R和平移向量t两个部分组成，由Vector_angle_to_rigid函数构造出该刚性仿射转换矩阵HomMat2D。描述用齐次向量对点的变换公式为：Row2Column2=HomMat2DColumn11本文模板中心点的坐标传递在(Rowl,Columnl),而对应的角度传递在Anglel。识别目标中心点的坐标传递在(Row2,Column2)，而对应的角度传递在Angle2。以HomMat2D为参数，使用Affine_trans_point_2d函数依次对导流片模板图像16 个点位坐标进行转换得到待检测图像的16 个贴装点位坐标，如图5所示。3实验与分析为评估上述算法的定位精度，本文在导流片各个位姿的状态下采集了50 张测试图像，每张包含16 个定位点，总共8 0 0 个点位坐标，将其用于识别定位算法的精度实验。对每张测试图像中的16 个贴装点位进行人工标注，然后使用图像识别定位算法对导流片进行识别定位，自动获取贴装点坐标。计算该坐标与对应的人工标注获取的坐标之间的欧式距离，作为定位误差,用于评估该算法的定位精度，对所有的图像采用相同操作,并统计每个点位的误差值，结果如图6 所示。200-150-(e)2级金字塔模型Row11数量(2)十十+图4模板图像贴装点导流片识别成功后还需要获取所有贴装点位坐标，本文通过在模板图像与检测对象之间建立坐标的仿射变换关系来定位获取目标的所有贴装点。刚性的仿射变换，即一个旋转和平移组成的变换，从一个点对应关系和两个对应角度出发，矩阵形式为：R2xt2xHomMat2D=0100 1=H(t)H(R)200|自动化应用+50十+十+图5定位点识别10t2x10110,2】2,44,6】6,8】8,10】10,12 12,14图6 定位点误差统计本次实验中，8 0 0 个贴装点位的定位误差平均值为5.66个像素，最大值为13.0 5个像素，且由图6 可知，实验样本的定位误差均在14个像素以下，其中绝大部分样本误差位于2,8 之间。本次实验所用相机分辨率为2 0 48 2448，相机视野为4.4mx3.6m，可知每个像素的大小为1.8mx1.8m,则定位算法的平均误差为10 m左右，且最大误差不超过2 5.2 m，满足在该半导体致冷晶粒贴装工艺中对导流片贴装点位的精度要求。R2200000001(1)误差范围（像素）4结语基于Halcon软件实现了一种导流片的图像定位算(下转第2 0 3页）参考文献数据处理与人工智能自动化应用磁干扰环境，科学分析装备作战试验与在役考核过程中通标准化、数据处理批量化、态势显示区域多维、数据复盘体信指控装备的抗干扰性能，优化数据结构，将动态变化的系化等要求，构建职责分工明确的数据管理体系、标准规参量同步存人数据文件。范的数据采集流程、科学严密的数据采集计划、全面有效存储的数据不仅可以获得数据标签和头文件相关信的数据采集对象、科学规范的上报方式，形成一套科学合息，还可以获取干扰设备的位置、干扰方向、干扰方式、干理的采集流程体系。本文制定了标准武器系统数据接口协扰功率和波束角等参数，通过这些数据可以在三维空间再议并规范软件解析原则，为我军装备作战试验数据采集体构准确的干扰空域，通过干扰热力图可以再现不同空域、系、数据采集设备与武器系统数据输出设备之间搭建数据时域和频域干扰条件下的信号强度，能够科学直观地再现直通的桥梁。指控通信设备在不同干扰强度下的抗干扰性能。1.5实时数据归一化处理作战试验专用数据采集试验后导人专用软件预处理数据，保证数据达到预定格式。由于各种数据采集终端、采集对象、数据格式，甚至数据采集传输设备的通信体制都不同，如果直接使用实时采集的数据容易导致功能相近的数据互不兼容,无法统一化管理。构建移动数据中心(移动云），利用不同的解析协议将不同格式、不同单位、不同体制的数据进行归一化处理，同时根据后续复盘和查询分析的需要，也可以关联存储时间、气象信息，数据结束传输数据存储时还需要添加各种数据标签以备后续查询、处理、共享和批处理使用1-8 2结语本文所述装备作战试验数据采集系统目标在于实现构建全域、多维、全要素、全频谱的数据采集、传输、显示、存储和共享体系，实现方案制定智能化、数据采集自动化、数据采集设备小型机动便携、数据传输实时化、数据格式1涂子沛.大数据正在到来的数据革命基D.桂林：广西师范大学出版社,2 0 12.2严红，黄颖，应励志.面向军事信息系统结构化数据的信息汇聚方法J.指挥信息系统与技术,2 0 15,6(1)：2 9-34.3马健.一种基于GPS采集处理系统的研究D.锦州：渤海大学,2 0 13.4张楠，孙畅.新型多网络模式触控屏数据采集传输仪设计J.金陵科技学院学报,2 0 13,2 9(1):2 4-2 7.5徐志强.面向任务对象的联合作战体系指挥效能评估研究D.长沙：国防科技大学，2 0 13.6陈垒,何友,唐小明.多坐标系中的分布式和联邦式数据融合算法J.火力与指挥控制,2 0 0 8(5）：50-53.7顾玮.异构数据库集成技术研究J.办公自动化，2 0 16(19)：44-45.8仇建伟，王川，程向力.面向服务的战场态势感知与协同技术研究J.中国电子科学研究院学报，2 0 12,7(2)：12 9-135.（责任编辑：李慧）(上接第2 0 0 页）法，首先对导流片进行图像预处理、形态学处理、轮廓提取等操作创建模板，再从模板图像中做出相应的贴装点位，使用该算法识别定位待检测图像，即可检测到导流片并自动获取所有贴装点位的坐标信息。通过对测试图像的识别定位实验，验证了该算法具备较高的定位精度，满足微型半导体致冷器件贴装工艺的定位需求，提高了半导体致冷器件生产设备的智能程度，解决了人工贴装难度大、精度低的问题。1赵威，张品.热电制冷技术的研究与应用现状J.制冷,2 0 2 0,39(3):18-21.2余文勇,石绘.机器视觉自动检测技术J.中国科技信息,2 0 13(24):184-184.3Viola P,Jones M J.Robust real-time face detection J.International Journal of Computer Vision,2004,57(2):137-154.4JDalal N,Triggs B.Histograms of oriented gradients for humandetectionCJ/IEEE Computer Society Conference on ComputerVision&PatternRecognition.IEEE,2005.5Felzenszwalb P F，M c a lle s t e r D A，Ra m a n a n D.Adiscriminatively trained,multiscale,deformable part modelCJ/2008 IEEE Conference on Computer Vision and PatternRecognition.IEEE,2008.6JGirshick R,Donahue J,Darrell T,et al.Rich featurehierarchies for accurate object detection and semanticsegmentationJ.IEEE Computer Society,2014.7JRedmon J,Divvala S,Girshick R,et al.You only look once:unified,real-time object detectionCJ/EEE Conference on Com-参考文献puter Vision and Pattern Recognition,Columbus,2016.8阮秋琦.数字图像处理学M.第3版.北京：电子工业出版社，2013.9蒋延杰,谢蓉蓉,李云红，,等.基于图像边缘轮廊的角点检测算法研究J.电子设计工程,2 0 2 2,30(2 1)：18 5-18 8.10吴凤和.基于计算机视觉测量技术的图像轮廊提取方法研究J.计量学报,2 0 0 7,2 8(1):18-2 2.（责任编辑：黄霞）2023|16期|2 0 3