基于分段拟合算法的V型焊缝识别.pdf

现代电子技术Modern Electronics TechniqueOct.2023Vol.46 No.202023年10月15日第46卷第20期0 引 言焊接作为传统工艺中的重要部分，在现代工业中有着极其重要的作用。随着科技的不断进步，由激光视觉引导的焊接方式逐步被应用于工业产品线上，很大程度上提高了焊接效率与焊接精度。由于实际工作环境的不确定性，改进直线识别算法和减小计算量，对提升焊接速度具有重要意义。国内外学者对焊缝的识别进行了大量的研究，雷铮强等人对管道环焊进行了图像识别研究，提出一种分类式图像识别技术，不同类别的环型缺陷识别准确度达 90%以上1。李湘文等设计一种基于激光视觉的焊缝图像处理系统，能够使用Hough变换准确提取激光条纹的中心轴线2。杨国威等提出一种基于Hou粒子滤波的V型焊缝跟踪算法，能够在有强烈弧光、飞溅等干扰下，准确定位焊缝目标位置3。王树强等人利用监督学习和深度学习算法构建一个识别焊接缺陷的诊断框架4，实验证明了该框架的可行性，其平均准确度达到 99%。郝良耀等提出一种基于最小二乘法的多项式拟合方法5，通过Matlab验证，九阶拟合函数的最大残差仅为5.62 mm。Roy等人利用离散小波变换进行焊缝的缺陷识别，同时使用CT扫描进行验证，实验表明该方法有着较好的效果6。霍平等人提出一种差值斜率分析与最小二乘法结合的方法提取焊缝信息7。文献8中基于条纹映射图像的双向偏差搜索方法来定位映射区域，利用卷积神经网络（CNN）进行焊缝类型识别，实验结果表明其准确率达到 97.6%。尽管目前对于DOI：10.16652/j.issn.1004373x.2023.20.028引用格式：谢昊，郭天太，王浩.基于分段拟合算法的V型焊缝识别J.现代电子技术，2023，46（20）：153158.基于分段拟合算法的V型焊缝识别谢 昊，郭天太，王 浩（中国计量大学 计量测试工程学院，浙江 杭州 310018）摘 要：激光视觉引导的焊接方式在工业产品线上应用广泛，其中图像处理算法的复杂性会直接影响焊接的效率。为解决激光视觉中的V型焊缝直线识别速度问题，利用“一”字激光光源实验，在分析了不同图像预处理方法对激光条纹直线特征的提取效果上，提出一种基于斜率分析的点集分割方法。该方法能够正确区分V型焊缝不同线段上的点，结合最小二乘法进行分段拟合，准确提取焊缝的中心线特征。结果表明，该方法与 Hough变换相比，可避免因误差而拟合成非连续线段，具有计算量小、反应速度快、适应性强的特点。关键词：焊缝识别；分段拟合；激光视觉；图像预处理；激光条纹；直线特征提取；Hough变换中图分类号：TN24934 文献标识码：A 文章编号：1004373X（2023）20015306Vshaped weld seam recognition based on subsection fitting algorithmXIE Hao,GUO Tiantai,WANG Hao(College of Metrology and Measurement Engineering,China Jiliang University,Hangzhou 310018,China)Abstract：Laser vision guided welding is widely used in industrial product lines,and the complexity of image processing algorithms can directly affect the efficiency of welding.In order to solve the problem of speed recognition of Vshaped weld seam line in laser vision,a point set segmentation method based on slope analysis is proposed by means of the one laser light source experiment and analyzing the extraction effect of different image preprocessing methods on laser stripe line features.This method can correctly distinguish the points on different line segments of the Vshaped weld seam,and the least square method is used to conduct the piecewise fitting,so as to accurately extract the centerline features of the weld seam.The results show that in comparison with Hough transform,this method can avoid fitting discontinuous line segments due to errors,which has the features of less computation,fast reaction speed and strong adaptability.Keywords：weld seam identification;segmental fitting;laser vision;image preprocessing;laser stripe;line feature extraction;Hough transform收稿日期：20230301 修回日期：20230426153153现代电子技术2023年第46卷焊缝图像识别的研究很深入，但大多集中在不同类型的焊缝缺陷识别，在处理算法的简易程度、响应速度的快慢上还有待提升。为了减少直线提取算法的计算量并提高识别精度，本文提出一种基于斜率法的点集分割提取方式，并通过最小二乘法拟合直线验证结果。1 方案设计为了能够正确对待焊接部位进行处理，使用“一”字激光光源对待焊接零件进行照射。在需要焊接的部分，会产生凹槽，光线发生弯折，形成“V”型激光条纹。利用 CCD 拍摄并将照片传输到 Matlab 中进行图像处理，提取焊缝中心线，并做直线拟合。焊缝识别系统简图如图1所示。图1 V型焊缝识别系统简图激光光源相比于LED光源具有方向性好、拍摄路径明显、亮度高等优点，可减小焊接时的飞溅影响9。激光按照波长不同可分为红、蓝、绿等激光，红激光在拍摄时比蓝、绿激光印迹明显，故采用波长为650 nm的红激光进行本次实验。考虑到实际应用场景的限制，拍摄采取160感光度、1 33 s曝光时间、倾斜角为30的方式。实验采取的“一”字激光器和拍摄到的焊缝照片如图2所示。2 图像预处理2.1 图像灰度化针对不同的应用场景，常用的图像灰度化处理方法有最大值法、平均值法、加权平均值法。最大值法灰度化原理是将像素点 R、G、B 三者的最大值作为灰度值；平均值法是将三者的平均值作为灰度值；加权平均值法是为 R、G、B 三个数值赋予不同的比重，相加作为灰度值。三种灰度处理方法对比图如图3所示。由图 3a）可知，利用最大值法进行处理会过度估计激光条纹的宽度，且边界显示模糊，这将导致激光条纹的识别误差增大和边界信息丢失；由于实验采取的是红色激光光源，在利用平均值法进行图像处理时，激光条纹与背景灰度值相近，难以将激光条纹部分突出；而利用加权平均值法处理后，图像条纹宽度与实验条纹宽度相接近，且具有明显的边界。因此，本文采取加权平均值法进行图像灰度化处理。图2 实验中的激光器与焊缝照片图3 不同灰度化处理方法得到的图像对比2.2 图像增强图像增强技术能增加激光条纹和背景的对比度。灰度直方图如图4所示。由图 4可知，激光条纹与周围背景环境灰度值差异较大，可采取空域增强扩大差异。激光区域及其附近的灰度值多在 250255内，将图像中灰度值大于等于 245的区域按照比例增加到255，小于150的部分减半取整，增强图像对比性，结果如图5所示。2.3 图像滤波在实际的工作环境中，不可避免地会产生噪声，噪154第20期声的存在会妨碍图像分析处理。噪声的产生一方面是受周围环境的影响，另一方面是受图像传输和转换过程的影响。常见的噪声有椒盐噪声、高斯噪声等。在进行图像提取时，高斯噪声会降低图片质量，椒盐噪声会导致图像上出现随机的白点或者黑点。因此，需要对获取到的图像进行去噪处理。图4 灰度直方图图5 图像增强后的焊缝照片中值滤波是比较常用的滤波方法，对孤立点噪声和一些脉冲干扰具有较好的消除作用。该方法通过任取一个滑动窗口里面的灰度值，并按照数值大小的原则对灰度值进行排序，取中间点作为新的灰度值（若是偶数则取中间两个数的平均值）。自适应中值滤波与中值滤波相比多了一个比较步骤，即当找到噪声点时，扩大窗口中的灰度值，直到能够得到非噪声中值。图 6 为中值滤波与自适应中值滤波处理后的结果对比图。图 6a）为原始图像。从图 6b）可看出，中值滤波难以完全剔除图像中的噪声点，处理后仍有零散的噪声点；而自适应中值滤波能够在保留激光条纹信息的前提下滤除添加的噪声点，如图6c）所示。2.4 阈值分割和边缘检测图像二值化10是将一幅灰度图分割成只有 0、1 的图像，这样得到的图像具有简明的特点，可以将背景及多余的杂质信息一一排除。由于激光打上去的部分相比于其他部分亮度明显提升，这部分将其设定为 1，其余的噪声，杂质点为 0，需要处理的信息区域就一目了然。一个合理的阈值会使实验趋于理想，反之，如果阈值选择不够精准，会使需要的信息被湮没。一般情况下，常用的阈值选择法有全局阈值分割、迭代法、Ostu法等。通过对比不同处理图像，发现 Ostu 法能避免丢失拐点信息，故采取 Ostu 法做阈值分割，结果如图 7a）所示。图6 不同滤波方法对比图7 阈值分割和边缘检测图为了能准确得到待焊接区域所在的中心线，需要提取图像中的边界线，即激光条纹的上下限。边缘检测是采取不同的矩阵算子，将算子与像素点周围组成的矩阵相乘或相加，最终得到边界图像。现常用的算子有Roberts、Sobel、Prewitt、canny等。其中canny算子能够完整地保留激光条纹边界，因此采取 canny算子做边缘检测，结果如图7b）所示。谢 昊，等：基于分段拟合算法的V型焊缝识别155现代电子技术2023年第46卷3 焊缝图像特征提取与识别3.1 焊缝中心线提取图 8是一个简单的激光焊缝模型，A、B、C三点是激光出现拐点的地方，即为焊缝特征点。求解A、B、C三点坐标，需要提取焊缝图像中心线，得到 4条直线的具体表达式。图8 V型焊缝模型提取中心线时需要对图像进行去杂质化，即避免因飞溅而出现焊缝之外的点，将每一个像素点周围做一个判定，根据 55范围内有其他像素点划分点簇，根据图像质量设定不同的点集数量判定，少于规定值的点簇即为游离与焊接范围内的点集，给予剔除。提取中心线常用的方法是对称变换法，假设激光条纹区域为 Q，检测Q的上下边界作为计算点，检测到的边界定为最大值和最小值，在这一带状区域内总可以找到一点使它距离边界的距离最短，此点即是满足要求的中心点，连接所有的骨骼点就可以形成中心线。中心线提取图如图 9所示。图9 中心线提取图3.2 Hough变换提取直线Hough变换11是一种比较常用的检测图像中的几何图像方法。假设一点 P，在 Hough变换里可用（rP，P）表示所有过该点的直线，另一点M（rM，M）表示所有过M点的直线，那么必然可以找到rP=rM，P=M的直线。当点集个数增大的时候就要利用统计学来近似到r、上。由极坐标与直角坐标的转换关系：x=cos y=sin（1）得到：x cos =cos 2y sin =sin 2（2）二者相加可得：x cos +y sin =（3）即在同一条直线上的所有点，反映到极坐标空间里就会出现一个较强的区域，再进行反算就可以得到直线方程。Hough 变换检测到的直线如图 10 所示。可见，Hough变换可检测到多条短直线，出现这种现象的主要原因是：在原始图像上的点都比较离散，几乎不在同一直线上，而 Hough变换比较严谨，所以才无法检测到长直线，且有些区域无法被检测到。图10 Hough变换提取直线图4 基于最小二乘法的分段拟合直线算法最小二乘法也可以称为最小平方法，是一种拟合散点图中的点集的常用方法。最小二乘法的思想是找到一条直线，使得所有的点到该直线的距离平方和最小。假设待处理点集为（xi,yi），误差 di=yi-（a+bxi），若要直线的拟合度最高，即：D=i=1nd2i=i=1n()yi-a-bxi2（4）取得最小值时，为了得到直线拟合度最高时a和b的值，就需要分别对a、b求一阶偏导：Da=-i=1n2()yi-a-bxi Db=-2()i=1nxiyi-ai=1nxi-bi=1nx2i（5）令Da=0，Db=0，x =1ni=1nxi，y =1ni=1nyi，解得：a=y -bx b=i=1n(xi-x)()yi-y i=1n(xi-x)2（6）由于焊缝是多段线段，因此需要分割点集，即要正156第20期确区分不同直线上的点，分段拟合。利用散点图中同一条直线上任意两点的连线斜率相近或相等来分割点集。步骤如下：步骤 1：假设图像为 mn，以列为单位，扫描图像中的每列为1的点，并对其进行编号，记为数组KF（Xi,Yi），记第一个点P为参考点。步骤 2：将第 i个点与第 1个点连接求斜率，得到数组KD：KDi=Yi-Y1Xi-X1 （7）分析可知，如果某一点集与第 1 个点在同一直线上，数组 KD会在小范围内上下波动，当数组 KD忽然呈现单调递增或递减时，说明出现了直线拐点。记录拐点位置为 P，后续的点与 P连接求斜率，直至出现第 2个拐点。步骤 3：为增加区分度，将数组 KD 中的第 i+1 个数值与第i个数值相减，记为数组K，即：K=KDi+1-KDi （8）将数组 K 中大于等于 0的部分设为 1（当相减值两个为 0时，第二个赋值 0），小于 0的设为 0，这样处理的目的是便于观察和处理数据。当数组 KD 中的值上下波动时，K值表现为 0、1相间分布；当数组 KD单调时，K值呈现连续的0或者1。在 V 型焊缝检测中，第一个拐点值到来之前，也即是第一条直线的检测，数组 K中的表现应为 0、1相间分布，拐点值之后会呈现均为1或者均为0，所以识别出来这个关键点（记为 A点）后，拟合前面的一簇点，就可得到第一条直线方程。分析可知，当两点之间的距离太远或者图像分辨率太高时，会导致数组KD丢失拐点信息，因此拟合第一条直线后，将拐点P作为参考点，第二条直线上的点均与 P连线，得到数组 KD，拟合过程依次进行，直至最后一个像素点。实施流程如图 11所示。图11 实施流程简图上述方法采取逐点计算，适用于图像像素点较低的场景。在高精度焊接时，上述方法会因为图像像素点太高而造成计算冗余，对于长线段而言，直线上的每个点都做计算会徒增工作量。因此改进数组KD，在数组KF中，每隔数个点（记为 L）与 P点连接求斜率得到 KD，并根据采集照片的分辨率设定最短直线的长度，比如当K连续出现J个等于0或1的数据时，最短直线为JL个像素点。由于是隔点处理，会将拐点信息湮灭。以提取首次数据为例，设置 KF数组中每隔 10个点与第 1个点做斜率，得到数组K，其分布如图12所示。可见第54个点后出现一段连续均为 1 的数，即拐点位于数组 K 中第5355 之间。找出第 53 个点与第 55 个点对应在 KF中的点，直线拐点位于两者之间的 20 个点中，再逐个排查。图12 提取首次直线中的数组K由于两条直线相交点附近是多个点互相交错，难分辨具体拐点。因此，对于拐点附近的区域，假定每个点为分割点，拟合左侧直线并计算所有拟合点到拟合直线的距离，找到最短的距离，并将其对应的 Xi、Yi当作点集的分割点，最后得到的拟合直线如图 13所示。计算相邻直线的交点坐标作为焊缝的特征点。图13 分段拟合算法得到的直线5 结 论1）采取“一”字线激光作为光源，利用不同图像预处理方法分析对激光条纹直线特征的提取效果。2）对图像边缘值按照分簇的方式逐个去除噪声点，增强在焊缝中心线提取过程中的鲁棒性。3）提出一种基于斜率分析的直线点集分割方法，该方法能够正确区分不同线段上的点，具有计算量小、反应快等特点。4）将最小二乘法与分段拟合算法结合，快速有效谢 昊，等：基于分段拟合算法的V型焊缝识别157现代电子技术2023年第46卷地获取焊缝中心线特征。该方法与Hough变换相比，可避免因误差而拟合成非连续线段。注：本文通讯作者为郭天太。参考文献1 雷铮强，张丰，林嵩，等.管道环焊缝检测图像智能识别技术研究J.管道技术与设备，2022（3）：3640.2 李湘文，黄宏亮，洪波，等.基于管道插接的相贯线焊缝提取算法及数值模拟J.焊接学报，2022，43（9）：98103.3 杨国威，闫树明，王以忠.基于方向梯度直方图粒子滤波的 V型焊缝跟踪J.中国激光，2020，47（7）：330338.4 王树强，周游，陈昊雷，等.基于激光视觉的钢结构焊缝图像处理系统J.焊接学报，2022，43（2）：101105.5 郝良耀，王冬青，许崇立.基于最小二乘多项式的焊缝图像拟合研究J.电子设计工程，2020，28（23）：173176.6 ROY R B,GHOSH A,BHATTACHARYYA S,et al.Weld defect identification in friction stir welding through optimized wavelet transformation of signals and validation through Xray micro CT scan J.The international journal of advanced manufacturing technology,2018,99(1):623633.7 霍平，李军萌，曾翰林，等.一种基于结构光的V型焊缝实时图像处理方法J.电焊机，2014，44（12）：144148.8 TIAN Y,LIU H,LI L,et al.Automatic identification of multitype weld seam based on vision sensor with silhouettemapping J.IEEE sensors journal,2020,21(4):54025412.9 PROVENCAL E,LAPERRIRE L.Identification of weld geometry from ultrasound SCAN data using deep learning J.Procedia CIRP,2021,104:122127.10 凌超，嵇保健，洪磊，等.一种激光视觉引导的自动识别 V形焊缝的算法J.组合机床与自动化加工技术，2017（6）：912.11 刁燕，吴晨柯，罗华，等.基于改进的概率 Hough变换的直线检测优化算法J.光学学报，2018，38（8）：170178.12 向进.焊接机器人直角焊缝激光识别技术研究D.沈阳：沈阳大学，2022.13 孙雷.三维焊缝激光智能跟踪系统的研制D.沈阳：沈阳工业大学，2022.作者简介：谢 昊（1997），男，河南南阳人，硕士研究生，研究方向为精密仪器及大长度测量。郭天太（1968），男，甘肃庄浪人，副教授，研究方向为精密仪器及几何量计量。158