基于U-P-Net的手机玻璃屏幕缺陷分割.pdf

设计与应用计算机测量与控制 ()C o m p u t e r M e a s u r e m e n t&C o n t r o l 收稿日期:;修回日期:.基金项目:国家重点研发计划项目(AAA );国家自然科学基金项目(,U ).作者简介:李墨(),女,湖南岳阳人,硕士研究生,主要从事深度学习目标检测、图像处理方向的研究.引用格式:李墨,陈志豪,张勰基于U P N e t的手机玻璃屏幕缺陷分割J计算机测量与控制,():文章编号:()D O I:/j c n k i /t p 中图分类号:T P 文献标识码:A基于U P N e t的手机玻璃屏幕缺陷分割李墨,陈志豪,张勰(广东工业大学 计算机学院,广州 ;广东工业大学 自动化学院,广州 ;华南理工大学 电力学院,广州 )摘要:随着科技的发展及电子设备的普及,玻璃屏幕质量成为电子设备和其他产品的重要考虑因素;而玻璃外观缺陷检测是玻璃质量检测中最重要的环节,这也是保证产出高品质、高性能的玻璃产品的关键环节;目前玻璃表面缺陷检测方法存在无目标训练图像资源消耗、检测精度较低、复杂特征信息难以提取等问题;因此,为了解决上述问题,提出了一种基于U p y r a m i dp o o l i n gm o d u l e N e t(U P N e t)的手机玻璃屏幕缺陷分割模型;采用超像素预处理,有效地降低了原始图像的复杂度;采用R e s N e t 作为分类网络,减少无目标训练图像造成的资源浪费,提高训练效率;U P N e t被提出,有效地聚合了不同区域的上下文信息,提高了获取全局信息的能力;实验结果表明,所设计的基于U P N e t玻璃缺陷分割算法分割精度明显优于其它传统卷积神经网络分割方法,证明了该框架在移动屏幕数据集上的有效性.关键词:缺陷检测;超像素预处理;R e s N e t ;U P N e t;金字塔池化;手机玻璃屏幕D e f e c tS e g m e n t a t i o no fM o b i l eP h o n eS c r e e nB a s e do nU P N e tL IM o,CHE NZ h i h a o,Z HANGX i e(S c h o o l o fC o m p u t e rS c i e n c e,G u a n g d o n gU n i v e r s i t yo fT e c h n o l o g y,G u a n g z h o u ,C h i n a;S c h o o l o fC o m p u t e rA u t o m a t i o n,G u a n g d o n gU n i v e r s i t yo fT e c h n o l o g y,G u a n g z h o u ,C h i n a;S c h o o l o fE l e c t r i cP o w e rE n g i n e e r i n g,S o u t hC h i n aU n i v e r s i t yo fT e c h n o l o g y,G u a n g z h o u ,C h i n a)A b s t r a c t:W i t h t h ed e v e l o p m e n t o f s c i e n c e a n d t e c h n o l o g ya n d t h ep o p u l a r i t yo f e l e c t r o n i c e q u i p m e n t,g l a s s s c r e e nq u a l i t yh a sb e c o m ea n i m p o r t a n t c o n s i d e r a t i o n f o r e l e c t r o n i c e q u i p m e n t a n do t h e r p r o d u c t s;T h ed e t e c t i o no f g l a s s a p p e a r a n c ed e f e c t s i s t h em o s t i m p o r t a n t l i n k i ng l a s sq u a l i t yd e t e c t i o n,w h i c h i sa l s ot h ek e y l i n kt oe n s u r e t h ep r o d u c t i o no fh i g hq u a l i t ya n dh i g h p e r f o r m a n c eg l a s sp r o d u c t s;A t p r e s e n t,t h e r e a r e s o m ep r o b l e m s i n t h ed e t e c t i o nm e t h o d so f g l a s s s u r f a c ed e f e c t s,s u c ha s r e s o u r c e c o n s u m p t i o no f t a r g e t f r e e t r a i n i n g i m a g e,l o wd e t e c t i o na c c u r a c ya n dd i f f i c u l t e x t r a c t i o no f c o m p l e xf e a t u r e i n f o r m a t i o n T h e r e f o r e,t os o l v e t h ea b o v ep r o b l e m s,ad e f e c ts e g m e n t a t i o nm o d e lo fm o b i l ep h o n eg l a s ss c r e e n sb a s e do nU p y r a m i dp o o l i n gm o d u l e N e t(U P N e t)i sp r o p o s e d S u p e r p i x e lp r e p r o c e s s i n g i su s e dt or e d u c e t h ec o m p l e x i t yo f t h eo r i g i n a l i m a g ee f f e c t i v e l y R e s N e t w a su s e da sac l a s s i f i c a t i o nn e t w o r kt or e d u c e t h ew a s t eo f r e s o u r c e sc a u s e db yt r a i n i n gi m a g e sw i t h o u t t a r g e t sa n di m p r o v et r a i n i n ge f f i c i e n c y U P N e t i sp r o p o s e d,w h i c ha g g r e g a t e s t h ec o n t e x t i n f o r m a t i o no fd i f f e r e n t r e g i o n se f f e c t i v e l ya n d i m p r o v e s t h ea b i l i t yt oo b t a i ng l o b a l i n f o r m a t i o n E x p e r i m e n t a l r e s u l t ss h o wt h a t t h ep r o p o s e dU P N e t g l a s s d e f e c t s e g m e n t a t i o na l g o r i t h mi s s i g n i f i c a n t l ys u p e r i o r t oo t h e r t r a d i t i o n a l c o n v o l u t i o n a ln e u r a ln e t w o r ks e g m e n t a t i o nm e t h o d s,w h i c hp r o v e st h ee f f e c t i v e n e s so ft h ef r a m e w o r ko nm o b i l es c r e e nd a t as e t s K e y w o r d s:d e f e c td e t e c t i o n;s u p e r p i x e lp r e p r o c e s s i n g;R e s N e t ;p y r a m i dp o o l i n g;m o b i l ep h o n eg l a s ss c r e e n引言随着科技的不断进步及工业的快速发展,玻璃制品已经成为众多行业中不可或缺的重要组成部分.玻璃作为一种需求量日益增加的特殊材料,细微缺陷就会影响其机械特性和光学性质,从而降低甚至破坏玻璃产品的使用价值.因此,玻璃外观质量检测是玻璃质量检测中最重要的环节,这也是保证产出高品质、高性能的玻璃产品的关键环节.传统的玻璃面板缺陷检测方法主要依赖于高级技工的人工检验.随着玻璃生产制造需求逐渐增大,传统的人工检验方法无法满足高速生产带来的庞大的质量检测需求,因此发展高质量的自动化玻璃缺陷检测系统变得尤为重要.随着人工智能技术的发展,许多大型企业在玻璃面板缺陷检测中引入机器视觉方法代替人工检测,以提高企业的产品质量和生产效率.但机器视觉的应用也存在一些弊端,它不仅需要针对特定的应用场景定制,无法适应一系列复杂动态 的 工 业 制 造 场 景,而 且 缺 乏 自 主 学 习 和 技 能 迁 移能力.近年来,在深度学习算法中,基于卷积神经网络的语义分割方法在缺陷检测方面得到了广泛的应用 .该类方法可以准确提取复杂背景中的特征,快速分割人体肉眼投稿网址:w w wj s j c l y k z c o m计算机测量与控制第 卷 难以识别的不明显缺陷,从而实现玻璃面板的有效缺陷检测.年,R o n n e b e r g e r等 提出了一种名为U N e t的网络,该网络基于语义分割技术,可以实现对生物医学图像进行像素级别的分类.然而此网络模型的学习参数较多,训练难度较大,且需要进行大量的图像标注工作;参考文献 利用了卷积神经网络中的VG GN e t模型对手机屏幕缺陷进行了检测,然而该研究发现,在种主要缺陷的检测中,漏检率达到了,最高的检测率仅有,这种检测精度无法满足相关领域的高要求;针对现有的语义分割方法在面对不规则数据时存在的计算复杂度高、语义特征信息提取不充分问题.提出了一种结合超像素技术与残差分类网络的预处理方法,同时,将金字塔池化模块P PM嵌入到U N e t模型中,构成了一种全流程的新的语义分割方法.关键技术目前的语义分割模型主要存在以下几个问题:)缺陷样本图像的高度复杂性和可变性使得提取特征信息具有挑战,导致分割性能差.)由于缺陷样本图像的特殊性非目标训练图像占用了训练资源,导致训练速度变慢,损失函数收敛速度变慢.)多变场景时获取全局信息不充分,造成语义分割时出现不匹配关系、混淆类别和不显著类别的缺陷误判,未判和错判等问题.本文模型基于经典U N e t模型,对输入图像进行数据预处理,并使用P PM对U N e t网络特征处理层进行融合,有效降低了模型对数据集的依赖,降低模型的训练复杂度、提高了分割精度和速率.其总体模型框架如图所示.图总体模型框架图本文主要关键技术如下:)由于图像特征信息的复杂性和可变性使得特征信息的提取具有挑战性,导致分割性能较差.因此,本文提出采用对输入图像进行超像素预处理.超像素 是一个维特征向量,它将彩色图像转换为C I E L A B颜色空间和X Y坐标.此外,对维特征向量构建距离测量准则,对图像像素进行局部聚类.且S L I C 是基于纹理、颜色、亮度等相似的相邻像素快速生成紧凑干净的超像素块,通过构造一个简单的线性迭代聚类图像预处理模块,解决了图像特征信息复杂多变的问题,使邻域特征的表示更加容易.它不仅可以降低图像的维数,还可以捕获冗余信息,消除像素异常点.)由于输入图像的特殊性,在语义分割前对缺陷图像进行分类,能在一定程度上降低后续图像语义分割的复杂度,提升网络模型的训练速度及分割准确率.该方法使用带有残差结构R e s N e t 网络对缺陷图像进行初步分类.其独特 的 残 差 结 构 创 建 了 不 同 网 络 层 之 间 的 快 速 连 接(s h o r t c u t c o n n e c t i o n).它解决了深层网络中梯度弥散和精度下降(训练集)的问题,使网络能够越来越深,既保证了精度,又控制了速度.)全卷积网络(F C N)的缺点是需要一种合适的策略来利用全局场景分类信息的特征.为了解决上述问题,提出了U p y r a m i dp o o l i n gm o d u l e N e t(U P N e t).该方法引入金字塔池化模块P PM ,在个不同的粗细尺度上进行特征融合,利用多样化的卷积尺寸,提取到的特征更具多样性,且能够聚合不同区域的上下文信息,进一步提高获取全局信息的能力,避免关系错误匹配、类别混淆以及细小对象的类别被忽略问题.模型介绍该框架由个模块组成:S L I C超像素预处理模块、分类网络模块和U P N e t模块.每个模块将在以下部分中详细描述.超像素预处理模块手机玻璃屏幕数据集中样本图像的高复杂性和高分辨率使得提取特征信息具有挑战性,导致分割性能较差.考虑到图像中目标特征的复杂性,采用超像素算法进行图像预处理.S L I C 通过构造一个简单的线性迭代聚类图像预处理模块,解决了图像特征信息复杂多变的问题.S L I C 基于纹理、颜色、亮度等相似的相邻像素快速生成紧凑干净的超像素块,使邻域特征的表示更加容易.S L I C 预处理效果如图所示.图S L I C预处理效果图S L I C具体步骤如下:)初始化(撒种子):根据图像大小及其他参数确定超像素数目,在图像内均匀分配种子.)聚类中心选择:在聚类中心内计算所有像素点的梯度值,并选择梯度最小的像素点作为新的聚类中心.)分配像素到超像素:每个像素必须与之位置重叠的最近聚类中心之间相关联,将其分配到间距最近的超像素.投稿网址:w w wj s j c l y k z c o m第期李墨,等:基于U P N e t的手机玻璃屏幕缺陷分割 )距离的度量:包括像素之间的颜色距离和空间距离,其度量方法如下:dc(ljli)(ajai)(bjbi)()dx y(xjxi)(yjy)()DdL a bNc()dx yNs()()式中,dL a b为颜色距离,dx y为空间距离,NsN/K每个集群均适用,是类内最大空间距离.Nc是最大的颜色距离,随着图像和集群的不同而不同,可使用固定常数m来调节dL a b与dx y的影响权重,取值范围为 ,默认取值为.D为最终的距离度量,计算方法如下所示:DdL a bm()dx yNs()()迭代过程:重复执行)和),直到超像素中心位置不再发生变化或达到最大迭代次数.)聚类优化:解决经过迭代后存在的与聚类中心不属于同一连通域的孤立像素点.具体步骤为:利用连通算法将相邻的超像素合并成一个超像素,如果合并后的超像素与某个邻居超像素的距离小于一定阈值,则将其合并.分类网络模块手机玻璃屏幕数据集中存在一些非目标训练图像,这些图像会占用训练资源,导致训练速度变慢,并且损失函数的收敛速度也变慢.这种情况会严重影响训练效率和准确性,因此需要采取相应措施来解决非目标训练图像对训练过程的影响,提高训练效率和准确性.本文选用了一种名为R e s N e t 的残差网络作为手机玻璃屏幕图像的分类网络.R e s N e t 是一种深度残差网络,具有易优化、计算负担小等优点,在计算机视觉领域得到了广泛的应用.与传统的卷积神经网络相比,残差块(r e s i d u a lb l o c k)的引入是R e s N e t 解决梯度消失和退化问题的重要方法之一,它有效地提高了网络的性能.具体来说,残差块通过引入跳跃连接来绕过了某些卷积层和激活函数层,线性层拟合残差映射,使得神经网络的信息流能够更加顺畅地传递.这种结构的引入使得R e s N e t 网络可以更加深层次地学习特征,达到充分训练底层网络的效果,同时减轻了梯度消失和过拟合的问题.R e s N e t 网络结构如图所示,由 个卷积层和个全连接层组成.其中,第二至第五个阶段中的I DB L O C Kx 是指包含两个不改变维度的残差块,而C O NVB L O C K则是指包含添加维度的残差块.每个残差块均由个卷积层组成,因此整个网络包含 个卷积层.U p y r a m i dp o o l i n g N e t模块手机玻璃屏幕在生产过程中容易受到环境的影响,导致产生气泡、划痕、锡灰等各种形状和大小的缺陷.这些缺陷的语义分割存在关系不匹配、混淆和对象类别小等问题,给模型的准确分割造成了挑战.为了解决上述问题,提出了U P N e t模块.该模块可以有效地处理这些异形的缺陷,提高语义分割的准确性和可靠性.U P N e t的结构如图所示.通过在U N e t网络的主干特征提取部分和增强特征提取部分之间引入了金字塔池化模块,以进一步提高网络的性能.该模块可以将不同大小的特征图进行池化,从而捕获更多的上下文信息,提高网络的感受野和特征表达能力,避免语义分割问题中的误分类、错分类、未分类等问题.P PM 的结构如图所示,是一种多尺度特征融合的方法,其基本原理是在原始特征图上进行个不同粗细尺度的池化操作,然后将不同尺度的特征融合在一起,其中最粗尺度产生单格输出;加细尺度产生多格输出.金字塔池化会对输入图像进行多次下采样,从而得到不同尺度的特征图,然后低维特征图通过双线性插值进行上采样,以获得相同大小的特征图.最后,将这些特征图(包括原始特征图)在通道维度上进行拼接,生成一个综合了多种尺度信息的复合特征图,从而达到兼顾全局语义信息与局部细节信息的目的.图P PM金字塔池化模块结构图U P N e t具体步骤如下:)输入图像进入主干特征提取网络,由两个的卷积层(R E L U)再加上一个的m a x p o o l i n g层组成一个下采样的模块,一共经过次这样的操作,得到初步有效特征层f e a t u r em a p;)对骨干提取的f e a t u r em a p(c h a n n e lN)做池化得到特征金字塔;)然后通过深度卷积降通道分别得到,的c h a n n e l/N的特征图;)对特征图进行双线性插值填充上采样到原F e a t u r em a p尺寸;)与F e a t u r em a p进行 通 道 拼接(也 叫级 联)得 到c h a n n e l数增加倍的特征图;)再利用 卷积核将上述拼接后的特征图深度卷积降通道得到与输入特征图F e a t u r e通道数一致的结果得到最终的金字塔池化全局特征;进入加强特征提取部分,由一层反卷积特 征拼 接c o n c a t 两个 的卷积层(R e L U)反复构成,一共经过次这样的操作,对得到的金字塔池化全局特征进行上采样,并且进行特征融合,最后接一层卷积,降维处理即将通道数降低至特定的数量,获得一个最终的,融合了所有特征的有效特征层的目标图.投稿网址:w w wj s j c l y k z c o m计算机测量与控制第 卷 图R e s N e t 网络结构图图U P N e t模型结构图 损失函数损失函数是对框架的预测值与实际值不一致的计算.它是非负的实值函数.损失函数越小,框架的训练性能越好,鲁棒性越好.损失函数是训练结果连续接近实际值时必须使用的函数.其中,损失函数是神经网络通过梯度下降等方法调整权重参数.本文框架中使用的损失函数为加权交叉熵损失函数:Ex(x)l o g(Plx(x)()其中:,K为像素点的标签值,plx(x)为s o f t m a x损失函数.为R为像素点的权值,为图像中靠近边界点的像素赋予更高的权值.plx(x)e x p(alx(x)/(kl xe x p(a l x(x)()其中:plx(x)为s o f t m a x函数.alx(x)是第k个特征通道(类别的数量等于特征通道的数量,总共k个).(x)c(x)e x p(d(x)d(x)()其中:c为R是平衡类别比的权值,d为R是像素点到其最近像素点的距离,d为R是像素点到距离其第二近像素点的距离.和为常数值,实验中 ,.实验 实验数据本实验中使用的手机玻璃屏幕数据集是在实验室液晶显示器(L C D)屏幕缺陷检测设备上采集的手机玻璃屏幕图像.数据集包含种类型的缺陷:划痕(s c r a t c h)、气泡(b u b b l e)和锡灰(t i n_a s h).图显示了种手机玻璃屏幕的表面缺陷样例.图手机玻璃屏幕缺陷划痕、气泡和锡灰样例图由于原始手机玻璃屏幕数据集的图像分辨率为 ,分辨率过高,难以分割缺陷且分割效果较差.因此,对原始图像进行图像分割和数据增强,得到分辨率为 的图像.并对其进行数据增强和数据扩充,其中包括增加噪声、亮度调整、图像模糊和图片旋转等方法,以解决样本分辨率过高以及样本不均衡所导致的分割效果较差和模型泛化能力低的问题.本实验设置手机玻璃屏幕数据集来验证本文框架的性能.手机玻璃屏幕数据集的训练集、验证集和测试集的数量分布如表所示.该数据集是一个用于手机玻璃屏幕缺陷语义分割的图像数据集,其中包含了各种常见的屏幕缺陷,如气泡、划痕、锡灰.数据集的训练集共有 张图像,用于训练模型的参数.验证集共 张图像,用于选择最佳的模型超参数.测试集共有 张图像,用于测试模型的性能表现.在训练集中,各种缺陷的数量分布如表二所示.气泡缺陷的数据图像共 张,划痕缺陷的数据图像共 张,锡灰缺陷的数据图像共 张.表手机玻璃屏幕数据集的数据分布T r a i n i n gs e tV a l i d a t i o ns e tT e s t i n gs e tD a t a s e t 表手机玻璃屏幕训练集缺陷分布B u b b l eS c r a t c hT i n a s h 投稿网址:w w wj s j c l y k z c o m第期李墨,等:基于U P N e t的手机玻璃屏幕缺陷分割 评估指标在实际的语义分割任务中,语义分割框架的预测性能评价指标为交集除以并集(I o U)、像素精度(P A)、平均交集过并(m I o U)和平均像素精度(m P A).在性能评估计算公式中,真正T P(t r u ep o s i t i v e)是指对某一类缺陷,语义分割框架正确分割出的缺陷数量.假阳性(F P)是指语义分割框架对这种缺陷错误所分割出的缺陷数量.假阴性(F N)是没有被语义分割框架分割的缺陷的数量,对于这类缺陷是正确的.真负(T N)是没有被语义分割框架分割且不属于这种类型的缺陷的数量,通常为.)I o U是像素点的真值与预测值的交集除以像素点的真值与预测值的拼接.计算公式如下:I o Ukipi jki(kipi ikjpj ipi i)kiT PkiF NF PT P()P A用于计算正确分类的像素数与像素总数的比值.计算公式如下:P AkiPi ikikjPi j()m I o U是数据集中各类相交比的平均值.计算公式如下:m l o Ukkipi jkjpi ikjpj ipi ikkiT PFNF PT P()m P A分别是计算每一类正确分类像素的比例.计算公式如下:m P Akkipi ikjpi j()其中:i为真实值.j表示预测值.pi j表示i作为j的预测,k是类别的数量.训练细节该液晶屏缺陷检测设备由运动控制模块、图像采集模块、光源控制模块、信号产生模块组成.运动控制模块采用三菱P L C和伺服驱动进行运动控制.图像采集模块采用海康威视CH G b E工业面阵相机.光源控制模块采用双面低角度L E D光源作为检测环节的除尘灯.信号产生模块采用信号发生器模拟手机主板给予手机玻璃面板的电信号,实现面板的不同颜色变换.其中信号产生模块只选择了一个场景.为了 加 快 网 络 的 训 练 速 度,本 文 采 用 单 个G P U(NV I D I AG e F o r c eR T X )来提高计算效率.使用P y t h o n实现改进U N e t.提出的框架是用p y t h o n进行训练和测试的.整个实验采用开源深度学习框架P y T o r c h实现.初始获取的每张图像大小为 .优化算法采用A d a m算法,发生器和鉴别器学习率均设置为 ,b e t a 为 ;超参数设置为 ;训练步数设置为 步.在获得足够的数据后,使用自适应矩估计(A d a m)优化算法进行训练,动量为 ,权值衰减为 ,b e t a 为 ,b e t a 为 .学习率为.训练批数设置为,以避免局部极小值.对比实验在本节中,我们验证了本文提出的框架在手机玻璃屏幕数据集上的有效性,并将其性能与其他流行的语义分割框架进行了比较.实验涉及的主流框架为U N e t、P S P N e t 和D e e p L a bV .图显示了文本提出的框架在标准手机玻璃屏幕数据集下 的 收 敛 曲 线.由 图可 知,曲 线 在 大 约 E p o c h收敛.图模型训练中框架的收敛曲线本文提出的框架是针对手机玻璃屏幕缺陷检测任务设计的,经过在标准数据集上的训练和测试,取得了较为优秀的性能表现.各缺陷的I o U和总m I o U指标如图所示,P A和总mP A指标如图所示.其中,对于气泡缺陷,I o U指标为 ,P A指标为 ;对于划痕缺陷,I o U指标为 ,P A指标为 ;对于锡灰缺陷,I o U指标为 ,P A指标为 .此外,本文提出的框架在背景区域的分割上也取得了较高的I o U和P A指标,分别为 和 .图本框架在标准手机玻璃屏幕数据集中的M I o U指标图本框架在标准手机玻璃屏幕数据集中的m P A指标投稿网址:w w wj s j c l y k z c o m计算机测量与控制第 卷 综合各个缺陷类型的性能表现,本文提出的框架在总m I o U和总m P A指标上分别达到了 和 ,相比于传统方法和现有的深度学习方法,具有更高的检测准确率和更强的鲁棒性.表展示了本文提出的框架与其他主流框架在标准手机玻璃屏幕数据集上各种缺陷语义分割的性能对比.与经典U N e t 网络相比,该框架的m P A和m I o U性能指标分别提高了 和 .与P S P N e t 网络相比,该框架的m P A和m I o U性 能 指 标 分 别 提 高 了 和 .与D e e p L a b v 网 络 相 比,该 框 架 的m P A和m I o U性能指标分别提高了 和 .该框架提出的超像素预处理表本文采用U N e t、P S P N e t和D e e p L a b v 作为本文提出的框架的比较框架N u m b e ro fd a t a s e tM e t h o dB a c k g ro u n d/S c r at c h/B u bb l e/T i n as h/m P A/m I o U/U N e t P S P N e t D e e p L a b v P r o p o s e df r a m e w o r k 模块利用超像素预处理和R e s N e t 残差网络分类,简化了输入图像的复杂性和冗余度.提高了后续图像缺陷语义分割框架的准确性和鲁棒性.另一方面,在该框架下提出的U P N e t可以利用多样化的卷积大小提高框架的特征提取能力,并可以聚合不同区域的上下文信息,进一步增强获取全局信息的能力,有效提高分割效率,优化分割效果.消融实验为了验证本文框架中各个模块的有效性,整个实验采用了种不同的烧蚀方案.比较了U N e t、超像素预处理模块、分类网络模块和U P N e t模块.种方案在标准移动屏幕数据集上的性能指标如表所示,其中“”表示该模块的添加.方案选用经典的U N e t 作为整个框架;方案在U N e t语义分割前对图像进行超像素预处理和分类.方案是本文提出的框架.表使用不同方案在标准手机表面数据集上的性能U N e tS L I CR e s N e t U P N e tB a c k gr o u n dS c ra t c hB u bb l eT i n a s hm P AM I o U 从表中可以看出,方案在增加图像数据预处理模块(S L I C R e s N e t )后,m I o U和mP A的性能较方案分别提高了 和 .且在加入图像数据预处理模块后模型对锡灰这一类缺陷的分割效果,大幅度提升.相比U N e t网络对锡灰缺陷的分割,S L I C和R e s N e t 的加入解决了锡灰缺陷存在的特征信息复杂多变的问题,使其邻域特征的表示更加容易,降低了锡灰缺陷的图像复杂度,提升模型的分割效果.与方案相比,方案在此基础上引入了U P N e t模块.U P N e t模块融合了缺陷图像的深层和浅层特征,提高了网络获取全局信息的能力,避免了关系不匹配、类别混淆和小对象类别被忽略等问题.m I o U和mP A性能较方案分 别 提 高 和 ,较 方 案分 别 提 高 和 .综上所述,在分别引入U P N e t模块和图像数据预处理模(S L I CR e s N e t )后,各项指标均有不同程度的提升,而方案的三项性能明显优于方案一和方案二.结束语鉴于现有缺陷检测的语义分割算法存在分割不准确、语义信息提取不足、面对不规则数据收敛时间长等问题.提出了一种实用的手机玻璃屏幕缺陷分割框架.在数据预处理方面,结合超像素技术和残差分类网络的数据预分类方法可以有效降低模型对数据集的依赖,降低后续图像处理的计算复杂度.U P N e t的合理提出,使所提出的模型能够有效地聚合不同区域的上下文信息,提高模型获取全局信息的能力,避免了语义分割中的误分类和漏分类问题.框架在缺乏足够数据集的情况下显示出良好的性能.它在分割效率和精度方面优于许多主流模型,可以应用于手机玻璃屏幕表面生产.接下来的步骤是如何在分割中更好地结合超像素,如何在单张图像中分割多个缺陷,以及如何将其应用于不同材料的图像.参考文献:B O D NA R O VA A,B E NNAMOUN M,L A THAM S O p t i m a lg a b o r f i l t e r sf o rt e x t i l ef l a wd e t e c t i o nJ P a t t e r nR e c o g n i t i o n,():W I L D E SRP A m a c h i n e v i s i o ns y s t e mf o r i r i s r e c o g n i t i o nJM a c h i n eV i s i o na n dA p p l i c a t i o n s,():D AV I E SER M a c h i n ev i s i o n:s t u d i e sf r o m A n n au n i v e r s i t yi nt h ea r e ao fm a c h i n ev i s i o nr e p o r t e d(m a c h i n ev i s i o ni n s p e c t i o ns y s t e mf o rd e t e c t i o no f l e a t h e rs u r f a c ed e f e c t s)JJ o u r n a lo fE n g i n e e r i n g,h t t p s:/k n s c n k i n e t/k c m s/d e t a i l/d e t a i l a s p x?F i l e N a m e S P Q D D C D C A C B B D D A F&D b N a m e G A R J HUANGCY,HO NGJH,HUANGE D e v e l o p i n gam a c h i n ev i s i o ni n s p e c t i o ns y s t e mf o re l e c t r o n i c sf a i l u r ea n a l y s i sJI E E ET r a n s a c t i o n so nC o m p o n e n t s,P a c k a g i n ga n dM a n u f a c t u r i n gT e c h n o l o g y,():D AV I E SER M a c h i n ev i s i o n:t h e o r y,a l g o r i t h m s,p r a c t i c a l i t i e sJ C VG I P:I m a g eU n d e r s t a n d i n g,():郭慧基于机器视觉的刨花板表面缺陷在线检测系统研究D北京:中国林业科学研究院,王昌书,黄沿江,张宪民,等一种基于机器视觉的曲面玻璃划痕缺陷检测方法 J自动化技术与应用,():投稿网址:w w wj s j c l y k z c o m第期李墨,等:基于U P N e t的手机玻璃屏幕缺陷分割 彭向前产品表面缺陷在线检测方法研究及系统实现 D武汉:华中科技大学,江佳斌基于机器视觉的定位及缺陷识别智能检测技术研究与应用 D杭州:浙江大学,卢宏涛,张秦川深度卷积神经网络在计算机视觉中的应用研究综述 J数据采集与处理,():孙志军,薛磊,许阳明,等深度学习研究综述 J计算机应用研究,():鲁越基于深度学习的手机玻璃缺陷分类检测 D郑州:郑州大学,查云威,陈志豪,李伟朝基于改进F a s t e rR c n n的手机屏幕缺陷检测方法研究 J计算机应用文摘,():金映谷,张涛,杨亚宁,等基于深度学习的产品缺陷检测方法综述 J大连民族大学学报,():高如新,任晓朵,吴献,等基于图像处理的手机屏幕缺陷检测系统研究 J测控技术,():CHO IE,K I MJ D e e pl e a r n i n gb a s e dd e f e c t i n s p e c t i o nu s i n gt h ei n t e r s e c t i o no v e rm i n i m u m b e t w e e ns e a r c ha n da b n o r m a lr e g i o n sJI n t e r n a t i o n a lJ o u r n a lo fP r e c i s i o n E n g i n e e r i n ga n dM a n u f a c t u r i n g,:CHE NZ,Z HA Y,WUZ,e ta l D e t e c t i o no fm o b i l ep h o n es c r e e nd e f e c tb a s e do nf a s t e rRC NNf u s i o n m o d e lC/C h i n aA u t o m a t i o nC o n g r e s s(C A C)I E E E,:R O NN E B E R