强化空间感知的多尺度芯片表面缺陷检测算法.pdf
《强化空间感知的多尺度芯片表面缺陷检测算法.pdf》由会员分享,可在线阅读,更多相关《强化空间感知的多尺度芯片表面缺陷检测算法.pdf(7页珍藏版)》请在咨信网上搜索。
1、 仪 表 技 术 与 传 感 器Instrument Technique and Sensor2023 年第 8 期收稿日期:2022-12-29强化空间感知的多尺度芯片表面缺陷检测算法郭伟峰,赵 倩(上海电力大学电子与信息工程学院,上海 200120)摘要:在检测芯片表面缺陷时,多尺度和不规则形变的缺陷导致模型难以精准定位并正确聚类,为此,提出一种改进 YOLOv5 网络的芯片表面缺陷检测框架。利用基于边缘信息的数据增强策略,降低芯片走线的背景纹理,增强不规则边缘的输入特征;提出多尺度空间感知池化层 MSSPP(multi-scale spatial perception pooling l
2、ayer)强化网络对多尺度目标的空间定位能力和高维特征提取能力;引入 Con-vNext 模块和 RFB 模块优化网络检测性能、丰富模型的感受野;最后,通过难分样本重检策略过滤错误目标、重检混淆目标,提高模型的识别精度。实验结果表明:相较于典型的目标检测算法,提出算法的识别精度更高、鲁棒性更强。在芯片表面缺陷数据集上,mAP0.5 指标达到 95.5%,可为芯片表面质检任务提供高精度的缺陷检测方案。关键词:芯片缺陷检测;多尺度目标;数据增强;空间感知中图分类号:TP391 文献标识码:A 文章编号:1002-1841(2023)08-0120-07 Multi-scale Chip Surfa
3、ce Defect Detection Algorithmwith Enhanced Spatial PerceptionGUO Weifeng,ZHAO Qian(School of Electronics and Information Engineering,Shanghai University of Electric Power,Shanghai 200120,China)Abstract:In the case of defect detection performed on the chip surface,multi-scale and irregularly shaped d
4、efects make it difficult for the model to accurately locate and correctly cluster them.To address this issue,a chip surface defect detection frame-work with enhanced YOLOv5 network was proposed.A data augmentation strategy based on edge information was used to reduce the background texture and enhan
5、ce the input features of irregular edges.The multi-scale spatial perception pooling layer(MSSPP)was proposed to enhance the models spatial localization capability and high-dimensional feature extraction capability of multi-scale targets.The ConvNext module and RFB module were introduced to optimize
6、network detection performance and enrich the perceptual field of the model.Finally,through the difficult sample rechecking strategy,the models recognition accuracy was improved by filtering the wrong targets and rechecking the confused targets.Experimental results show that the proposed algorithm ha
7、s a higher recognition accuracy and better robustness compared to the typical target detection algorithm.On the chip surface de-fect data set,the mAP0.5 value reaches 95.5%,which can provide a highly accurate defect detection solution for chip surface quality inspection.Keywords:chip defect detectio
8、n;multi-scale target;data enhancement;spatial perception0 引言目前,芯片缺陷检测任务逐步向智能化、自动化发展。杨桂华等1采用形状匹配和一维测量算法实现已封装芯片的引脚定位和缺陷检测;魏鸿磊等2通过模板匹配的方法定位待检芯片的位置,并通过形态学的异或运算求解芯片的载带缺陷。以上方法要求本地匹配模板尽可能覆盖芯片的缺陷情况,否则难以提高算法的泛化能力。近年来,以卷积神经网络(con-volutional neural networks,CNN)为代表的深度学习检测算法逐步替代传统自动化检测,为缺陷检测提供了新的实现方案,如钢轨表面缺陷检测3
9、、汽车轮毂表面缺陷检测4、电力设备表面缺陷检测5等。目前主流目标检测方法分为单阶段和两阶段两类。单阶段方法通过把检测对象的识别和定位任务在同一个无分支的深度卷积网络中实现,使网络结构变得简单6,从而实现端到端的快速检测,其代表算法有 YO-LO7(you only look once)系列和 SSD8(single shot de-tector)系列。两阶段检测方法首先通过区域建议网络RPN(region proposal network)在待检图像上生成建议框,再对候选区域进行分类和位置的回归9,实现更021 第 8 期郭伟峰等:强化空间感知的多尺度芯片表面缺陷检测算法 精确的识别效果,其代
10、表算法有 Faster RCNN10(re-gion convolutional neural network)系列。相较于传统检测算法而言,基于深度学习的检测算法可以学习高维的目标特征,无需针对不同目标手动设计分类过程,极大简化了检测的流程,因此基于深度学习的芯片缺陷检测研究逐渐成为热点。周天宇等11提出轻量化检测网络 YOLO-Efficient,通过引入通道注意力机制,实现了对载波芯片缺陷的实时检测。李可等12提出一种改进 U-Net 的检测算法,该算法引入空间注意力机制增强网络的位置信息提取能力,提高芯片 X 线图像焊缝气泡的缺陷检测精度。罗月童等13提出了一种无监督学习的检测方案,该
11、方案将芯片的表面缺陷视为噪声,通过卷积去噪自编码器重构原始图像,避免了大量的人工数据标注过程。上述研究虽然从不同角度实现了芯片的缺陷检测,但是并未解决形状不规则的缺陷分类效果差的问题。因此,对于芯片表面缺陷的多尺度实时检测研究是至关重要的。本文采用 YOLOv5 网络作为主要框架,该框架通过特征金字塔网络(feature pyramid network,FPN)14网络和路径聚合网络(path aggregation network,PAN)15特征金字塔融合网络提高特征利用效率,并将 3 个融合分支并行送入预测层,实现端到端的多尺度目标检测,是目前最好的单阶段检测网络。针对芯片表面存在的缺陷
12、尺度变化大、单类特征共性低、缺陷小目标漏检问题,本文对 YOLOv5 检测网络进行针对性改进。首先,提出一种边缘信息的数据增强策略,通过 Canny 边缘检测算子提取待检图片的边缘特征,并通过霍夫变换清除水平与竖直的背景走线,增强数据中不规则目标的信息;其次,提出多尺度空间感知池化层,通过感知因子动态调整不同卷积核对缺陷的响应权重,自适应地提高网络对不同尺度目标的响应;接着,引入 RFB 模块与 ConvNext 模块,加强网络的高维特征提取能力;最后,提出基于置信度的难分样本重检策略,该策略将低置信度的错分样本送入轻量级子分类器二次分类,提高模型的整体分类精度。实 验 结 果 表 明:改 进
13、 后 网 络 的 准 确 率 为93.1%,召回率为 91.2%,平均精度为 95.5%,相较于原 YOLOv5 网络分别提高了 3.3%、3.0%、3.4%。此外,该算法对多尺度缺陷的识别精度更高、对难分缺陷的分类效果更好。1 芯片表面缺陷数据集与预处理1.1 芯片表面缺陷数据集本文采用芯片表面缺陷数据集(chip defect data-set,CDD),该数据集共包含 5 750 张由显微镜采集的芯片表面缺陷图,实际分辨率为 512512。实验以9 1 的比例划分训练集和测试集,其中了包含 11 种常见表面缺陷,包括:器件缺损(incomp)、器件划损(scrach)、异物(foreig
14、n)、药液残留(res)、金属物残留(gold)、凹陷凸起(lump)、漏刻蚀(UBM)和 4 种类型原料不良(Raw、Raw、Raw、Raw),涵盖了绝大部分芯片表面缺陷的检测场景。缺陷实际分布情况如表 1 所示。表 1 CDD 数据集缺陷分布类型Allincompscrachforeign数量7 6837152 019599类型resUBMgoldlump数量531601625575类型Raw Raw Raw Raw 数量4256066882991.2 基于边缘信息的数据增强由于芯片表面缺陷的数据均来自工业显微镜摄像头在人工光源下以固定的焦段和光圈参数拍摄所得,而且拍摄角度均垂直于芯片平面
15、,因此得到的结果光照稳定且无其他物体遮挡。而芯片表面缺陷通常存在缺陷之间的互斥性16,即两种缺陷同时出现在一种表面的概率极低。基于该特性,本文提出基于边缘信息的数据增强策略,总体思路如图 1 所示。图 1 边缘信息提取过程首先将 RGB 颜色空间的输入图片转换为单通道灰度图,转换过程如式(1)所示:D=0.299R+0.587G+0.144B(1)式中:D 为输出的灰度通道矩阵;R、G、B 分别为输入121 仪 表 技 术 与 传 感 器第 8 期图片的红色通道、绿色通道和蓝色通道矩阵。其次通过高斯滤波以 77 的核尺度对图像模糊处理,处理过程如式(2)所示:w(i,j)=122e-(i-n)
16、2+(j-n)222(2)式中:w 为卷积核内部权重;i,j 为单个权重的坐标;n为模板中心坐标;为标准差;e 为自然对数。滤波后使用 Canny 检测算子提取灰度值变化较大的区域,即目标边缘,梯度计算公式如式(3)所示:Gx=SxDGy=SyD(3)Gxy(i,j)=Gx(i,j)2+Gy(i,j)2(4)式中:Sx、Sy分别为横向与纵向的 Sobel 算子,Sx=-101-202-101;Sy=-1-2-1000121;i,j 为核内坐标。接着,通过霍夫直线检测提取边缘图中的水平和垂直边缘并通过相减将其消除,减少芯片背景走线,提高边缘的整体占比。最后,通过轮廓匹配搜索密闭空间,返回所有不规
17、则边缘。二值边缘图和灰度图与 RGB 三通道经过维度堆叠后,作为输入送入网络训练。2 芯片表面缺陷检测算法2.1 网络结构为应对不同目标检测任务难易程度不同所带来的挑战,单阶段 YOLOv5 目标检测模型包含 YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5xl 4 种不同的网络模型,每个模型的结构一致,只是各模块的深度和宽度不同,都采用 CSPDarknet53 主干网络、FPN+PANet 特征金字塔融合网络提高特征利用效率,3 个融合分支最终送入 Detect 预测层,实现端到端的特征检测。本文基于 YOLOv5s 模型进行主干网络的改进与调优,在保证实时性检测的基础上提高模
18、型的性能。网络结构如图 2 所示。在主干部分,首先通过交替卷积层与 RFB-S 实现多尺度特征下采样;其次通过ConvNext 模块整合高维特征;最后通过 MSSPP 网络提高网络对大尺度形变缺陷的响应。图 2 模型总结构 在特征融合网络部分,使用 ConvNext 模块提取特征的同时,利用 Deconv 模块和卷积层分别对特征进行上下采样,并将相邻层相同尺寸的特征进行 Concat 张量拼接,不断融合不同尺度的信息,增强网络的特征丰富程度。在检测头部分,网络输出类别、置信度和回归框 3221 第 8 期郭伟峰等:强化空间感知的多尺度芯片表面缺陷检测算法 个参数后,通过提出的基于置信度的重检策
19、略,首先将低置信度的目标选出,结合回归框的信息裁剪出原图对应的图片,并将其送入子分类器进行识别,提高模型对难分样本的准确率。2.2 多尺度空间感知池化层传统目标检测任务中,待检目标具有相同的语义信息,如动物的毛发、人的眼睛是神经网络实现分类提取的高维特征。然而,在芯片表面产生的缺陷具有特征信息高度不统一的特性。例如异物、划痕由于诱发因素众多,其特征具有形状上的高度不确定性。这种类内语义特征的差异要求网络能够更高维地提取空间特征,对相同缺陷进行有效聚类。为了提高网络在不同尺度下的空间特征提取能力,本文设计了多尺度空间感知池化层,如图 3 所示。图 3 多尺度空间感知池化层结构和原空间金字塔池化层
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 强化 空间 感知 尺度 芯片 表面 缺陷 检测 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。