基于改进Itti显著模型的织物疵点实时检测.pdf
《基于改进Itti显著模型的织物疵点实时检测.pdf》由会员分享,可在线阅读,更多相关《基于改进Itti显著模型的织物疵点实时检测.pdf(8页珍藏版)》请在咨信网上搜索。
1、第 44 卷 第 7 期2023 年 7 月纺 织 学 报Journal of Textile ResearchVol.44,No.7Jul.,2023DOI:10.13475/j.fzxb.20220308301基于改进 Itti 显著模型的织物疵点实时检测闫本超,潘如如,周 建,王 蕾,王小虎(江南大学 纺织科学与工程学院,江苏 无锡 214122)摘 要为克服人工疵点检测存在精度差、效率低、易疲劳等问题,研发了基于改进 Itti 显著模型的织物疵点实时检测系统。首先设计了专用的织物传动和退绕系统,实现对布卷的精确传递,采用不同光源和多台工业相机拍摄实现织物的实时采集;然后通过基于改进的
2、Itti 显著性模型对图像进行快速检测,利用下采样构建图像金字塔,并对金字塔图像进行中央周边差操作,获得织物亮度特征;接着对各尺度金字塔图像进行不同方向 Gabor 滤波边缘检测获得织物方向特征,归一化亮度与方向特征获得织物疵点显著图;最后通过自定义阈值对显著图进行分割。实验结果表明:本文系统能有效检测出白坯布、牛仔布含有的油污、断经、破洞、纬缩等常见织物疵点,疵点检测正检率为 93%,实时检测速度最高达 48 m/min,能满足实时检测需求。关键词 疵点检测;实时检测;Gabor 滤波;高斯金字塔;Itti 显著性中图分类号:TS 941.26 文献标志码:A 收稿日期:2022-03-24
3、 修回日期:2022-10-09基金项目:国家自然科学基金项目(61976105);中国纺织工业联合会应用基础研究项目(J202006)第一作者:闫本超(1997),男,硕士生。主要研究方向为数字化纺织技术。通信作者:潘如如(1982),男,教授,博士。主要研究方向为数字化纺织技术。E-mail:prrsw 。随着智能制造的推广和高质量纺织品需求的提升,纺织企业对生产过程、产品质量以及品质要求需要也在大幅提升1。传统织物疵点检测方法依靠人员主观经验和织物评分标准对织物等级做出评定,存在速度低、漏检率高等诸多问题2。基于机器视觉的织物疵点自动化检测,具有无损伤、无接触、生产效率高、安全可靠、自动
4、化程度高等特点,在产品检测、物件识别、外观测量以及视觉定位等方面都得到了广泛的应用3。目前,众多学者对织物疵点的研究主要集中在瑕疵检测算法和系统方案设计方面4。检测算法主要包括统计学方法、频谱方法、模型方法、结构方法和基于深度学习的人工神经网络检测方法5 类5-6。这些方法都取得了一定的识别及分类效果。在实际生产领域中,国外比国内疵点检测系统较早研发,国外检测设备主要有 WEBSCAN WIS-12验布系统、Fabriscan 自动验布系统、I-Tex 系列验布系统以及 Cyclops 织机疵点在线检测系统7,这些设备价格较高、维护成本高,目前在纺织企业使用率还很低。在国内推行的设备有陕西长岭
5、纺织机电科技有限公司 FS220 型光电自动验布机、洛阳方智测控股份有限公司 YB 系列全自动智能验布机、北京经纬纺机新技术有限公司 JWYB-18 型自动验布机、常州宏大智慧科技有限公司影像智能验布系统、基于深度学习的 TAS 验布系统以及灵图慧视智能验布机8,其原理也与国外较相似。科研院校对疵点静态检测研究较多,现有疵点检测算法用时过长导致检测速度较低;而对设备的研究较多处于理论和实践探索阶段,相对成熟的自动化检测设备较少,很难满足工业动态实时检测需求。鉴于上述原因,本文设计并实现了一种兼具实时性与准确性的坯布疵点实时检测系统。首先通过伺服电动机控制布匹退绕与传送,配备 3 种照明光源及
6、8 台相机拍摄实现织物图像的实时采集。提出一种改进 Itti 视觉显著模型9的织物疵点快速检测算法,织物瑕疵区域相比其它区域属于显著区域,该算法通过提取图像金字塔及多尺度、多方向的Gabor 滤波10-11等操作对显著区域进行快速定位,采用自适应阈值对显著图进行分割判断。通过对工业生产白坯布与牛仔织物进行检测,满足布坯检测实时性与准确性的需求。1 织物图像采集系统1.1 织物传动平台 织物图像采集实际上是将待检布匹经过机器设备代替人眼形成清晰的图像。为满足机器对图像的实时拍摄需求,设计了一款织物自动传动平台,外观 纺织学报第 44 卷设计如图 1 所示。装置组件主要包括织物的退卷及牵引机构、平
7、面镜、光电传感器、相机和光源。图 1 织物疵点检测硬件平台示意图Fig.1 Hardware platform of fabric defect detection变频电动机连接退绕棍带动布卷进行被动退卷,布匹通过牵引辊牵引到达图像采集区,经平面镜反射被相机实时捕获;多位置光电传感器控制各组件运行时间,可保证系统正常准确运行,实现对织物图像清晰、稳定、准确的采集。1.2 相机系统 实时检测过程中,相机选择是获得高质量织物图像的重要影响因素之一。一般有 2 种相机用于织物疵点检测:线阵相机和面阵相机。线阵相机获取二维图像需配光栅等扫描运动,增加了系统的复杂性和成本,时间较长且精度会受扫描运动精度
8、影响而降低12;面阵相机以面为单位采集图像,直接获取像素矩阵,一次性完成二维矩阵信息捕获,测量更直接、准确,可广泛用于形状、面积、尺寸、位置、温度等方面的测量。故本文选用 8 台型号为 MER-502-79U3M 的面阵相机,其最大分辨率为2 448像素2 048像素。相机拍摄视野取决于镜头,镜头选择直接关系到图像的大小、形状及清晰度。单根纱线直径一般在 0.130.28 mm,根据相机到织物的实际拍摄路线距离(物距),相机装备型号为 HN-2024-5 M-C2/3X 的镜头,能采集分辨率为 2 430 像素896 像素织物图像,对应织物实际尺寸为 29 cm10.7 cm,即 0.119
9、mm/像 素,单 像 素 拍 摄 精 确 度 小 于0.13 mm,满足对织物中单根纱线的检测要求。8 台相机水平放置,相邻相机拍摄重叠约1.8 cm,可检测布片幅宽为 2.2 m,满足常规布匹幅宽检测需求。检测图像大小直接影响检测速率,为提升检测速度,使用 256 像素256 像素进行疵点识别,减少单张图像检测时间,提升疵点检测的实时性。1.3 照明系统 为满足对不同密度、不同厚度布匹图像的拍摄稳定性、准确性,在织物图像采集区域,采用 2 个主照明和 1 个辅助照明的 3 个方向的条形光源,条形光源由高亮度发光二极管沿长度方向均匀分部在基板上构成。3 个方向的光源如图 2 所示,分别为反射光
10、源、背光光源、投射光源。图 2 不同方向光源配置Fig.2 Light source configuration in different directions背光光源位于织物后方,用于拍摄轻薄、经纬稀疏、颜色较浅的织物图像;反射光源位于织物对面打光,能有效获取织物的纹理特征,用于拍摄厚重、经纬密大、颜色深的织物图像;投射光源位于织物上方,用于辅助照明。针对不同织物进行光源优选可以提升图像清晰度与检测准确率,其中轻薄织物(工业生产白坯布)与厚织物(工业生产厚牛仔织物)在反射光源与背光光源下采集的织物图像如图 3 所示。可知,白坯布采用背光光源照明能清晰获取织物纹理特征;牛仔布采用反射光源照明能
11、清晰获取织物纹理特征。对不同面料,为获得清晰、准确的图像纹理,在检测过程中需选用相应的光源系统。图 3 不同光源下织物图像Fig.3 Fabric images under different light sources.(a)Light fabric under backlight;(b)Light fabric underreflected light;(c)Thick fabric under backlight;(d)Thick fabric under reflected light69第 7 期闫本超 等:基于改进 Itti 显著模型的织物疵点实时检测 2 检测算法实现 对采集的织
12、物图像进行疵点检测,首先进行高斯平滑滤波去除图像噪声,平滑后的图像经下采样处理得到金字塔图像,对各尺度金字塔图像经中央周边差分操作与归一化处理得到灰度值的亮度特征图;Gabor 对图像边缘比较敏感,能够提供良好的方向选择和尺度选择特性,而对光照变化不明显13,将各尺度金字塔图像经不同方向的 Gabor 滤波处理,过滤织物周期性纹理组织,提取图像边缘信息,经中央周边差分操作与归一化处理得到方向特征。对特征图线性融合得到视觉显著特征图,算法流程如图 4 所示。图 4 检测算法流程Fig.4 Flow chart of detection algorithm2.1 图像预处理 图像金字塔是图像进行多
13、尺度表达的方法14,主要用于图像的分割,是以多分辨率来解释图像的有效但概念简单的结构。金字塔由不同尺寸的图像叠加而成,每层的尺寸都是上一层的一半,到 9 个空间尺度,逐步通过低通滤波器。金字塔层级越高,图像越小,分辨率越低。对图像进行高斯低通滤波平滑处理,降低图像噪声,对平滑后的图像进行下采样,得到一系列尺寸的图像。原图为 M N 大小的图像,高斯金字塔第k 层图像由 k-1 层图像经过高斯函数 w 卷积及下采样得到,计算公式为:Gk(x,y)=2m=-22n=-2w(m,n)Gk-1(2x+m,2y+n)式 中:Gk(x,y)为 第 k 层 高 斯 金 字 塔 图 像;w(m,n)=h(m)
14、h(n),为二维可分离的 55 具有低通特性的窗口函数(m、n 值为 5);h 为高斯密度分布函数。通过不迭代计算可以生成 1 1(为层级图 织物原图,尺度 0)到 1 256(尺度 8)的不同尺度的9 张图像 R(),其中 0,8。基于图像可视化程度,提取尺度 0 到尺度 3 层级图像如图 5 所示。图 5 金字塔图像Fig.5 Pyramid image2.2 特征提取 针对上述获得的金字塔图像 R(),利用Center-Surround 方 法(Center(c)即 精 细 度,Surround(s)即粗尺度)计算图像灰度值亮度特征图,实质是对不同分辨率图层进行差分操作形成差分子图,保留
15、中央与周边的信息差异,进而提高差异信息与正常信息的区别,亮度特征图 I(c,s)计算方法为I(c,s)=R(c)R(s)式中:c2,3,4,而 s=c+,3,4;表示将2 个图像的尺寸调到一致后做矩阵减法操作。Gabor 变换是重要的时频分析方法,能较好地表达原始图像尺度和方向信息,在频率域是 1 个平移的高斯函数,在空间域是一种方向性复合正弦函数调谐的复振荡信号15。二维空间的冲激响应函数表达为G(x,y)=12xyexp-12x2x2+y2y2()()exp(2jf0 x)式中:x和 y分别为高斯核函数在 x 轴与 y 轴方向的尺度参数;f0为正弦调谐函数的频率;为旋转角度,();(x,y
16、)是由(x,y)旋转 得到的,它们之间的关系为 x=xcos+ysin,y=-xsin+ycos;j为虚部标识。Gabor 滤波器经过欧拉公式处理可得到,处理过程为G(x,y)=GR(x,y)+jGI(x,y)式中:GR(x,y)为二维滤波器的实部;GI(x,y)为二维滤波器的虚部。为保证最佳检测效果,结合Gabor 滤波器的实部和虚部来检测疵点,经过 Gabor卷积滤波后的图像 R(x,y)可表示为R(x,y)=T(x,y)G(x,y)式中:T(x,y)为待测织物;为卷积滤波操作;79 纺织学报第 44 卷G(x,y)为卷积核。选择不同尺度 f0和方向的 值,可以获得 1 组不同尺度、不同方
17、向的自相似 Gabor 滤波器,提取各滤波器方向的 11 维矩阵进行卷积操作,再利用所得矩阵参数构建方向特征金 字 塔 0(,),其 中 0,8,0,45,90,135。为验证滤波效果,利用 方向滤波器对含有不同方向纹理图像进行实验,结果如图 6 所示。图 6 不同方向滤波融合图像Fig.6 Filter graph in different directions.(a)Original image;(b)0 direction;(c)45 direction;(d)90 direction;(e)135 direction;(f)Four directions由图 6 可看出,采用不同方向滤
18、波能削弱本方向的边缘信息,而对相反方向的信息进行加强。如 为 0时对水平方向纹理进行抑制,同时增强垂直方向纹理信息。即 0与 90方向对水平方向过滤较好,同时对相反纹理信息进行加强;45方向与 135方向对斜纹织物滤波效果较好,同时对相反纹理信息进行加强;针对疵点各异性,单个方向不能满足异常信息提取,故选用 4 个方向融合检测效果最佳。2.3 特征归一化 针对得到的亮度特征与方向特征,利用特征图归一化操作运算符 N(),该操作过程基于大脑皮质侧向抑制机智,可增强存在少量活动峰(即尖锐值)的特征图,抑制存在大量活动峰的特征图。操作方法如下:1)首先对输入的特征图归一化至统一的范围0,M;2)找到
19、该特征图的全局最大值 M 所在位置,并计算其它所有局部最大值的均值 m-,然后将整个特征图同乘以M-m-()2;通过以上操作结合特征图获得视觉显著图,计算方法如下:亮度显著图 I 计算方式为I=4c=2c+4s=c+3N(I(c,s)方向显著图 O 计算方式为O=0,45,90,135N 4c=2c+4s=c+3NO(c,s,)式中,表示将多个图像(即矩阵)调至同一尺寸后相加。综合亮度显著图I、方向显著图O得到显著图 SS=12N I()+N O()()对显著图进行最优阈值分割,织物纹理区域与显著区域像素差异较大,提取显著图均值、方差计算图像分割的阈值,当像素点 pmn小于自定义阈值时,对该点
20、进行异常划分获得阈值分割图,阈值分割公式为pmn=1,Pm+kPs Pmn0,其它式中:Pmn为待判断像素点;pm为图像均值;ps为图像方差;k 为控制系数。当 k 取不同值时分割效果如图 7 所示。图 7 分割效果图Fig.7 Images of segmentation effect.(a)Defect image;(b)Saliency image;(c)k=1;(d)k=2;(e)k=3;(f)k=4;(g)k=5;(h)k=6结果表明,对显著后疵点区域进行分割,当 k 值小于 4 时,显著图分割结果扩大了实际疵点区域,k 值大于 4 时,疵点区域被漏检,分割误差较大。故控制系数取 4
21、 时,能更好地将显著性疵点区域分割出来。3 结果验证与分析 为验证算法和系统的有效性,本文在装置织物图像平台采集区、Intel Core i5 处理器、Windows10操作系统、Python3.6 开发环境下编制织物疵点检测算法与对比实验,验证算法的准确性、时效性及系统的鲁棒性。在本文装置的织物图像平台采集区,对工业生产线生产的白坯布与牛仔布进行疵点检测,2 种布匹的具体参数如表 1 所示。89第 7 期闫本超 等:基于改进 Itti 显著模型的织物疵点实时检测 表 1 织物类型及参数Tab.1 Fabric types and parameters织物种类密度/(根(10 cm)-1)经纱
22、纬纱面密度/(g m-2)织物组织织物特征采集光源纯棉白坯布470196110平纹轻薄、易透光投射光+背光纯棉蓝色牛仔布276144330斜纹厚重、透光性差投射光+反射光 针对上述不同织物种类,为验证织物疵点分割准确性,分别对含有油污、断经、破洞的白坯布以及含有错花、爆纬、纬缩的牛仔布织物疵点图像进行分析,获得织物图像的亮度特征、方向特征、显著图与阈值分割图,实验检测过程如图 8、9所示。图 8 工业生产白坯布检测结果Fig.8 Test results of industrial grey fabric.(a)Oil stains;(b)Broken warp;(c)Hole 织物疵点的存在
23、使疵点区域出现纹理异常或颜色异常,提高了疵点区域的视觉显著性。不同光源采集的 2 种织物图像,都能较好地检测出瑕疵区域。中央周边差操作后融合亮度特征图能定位出显著性较高区域,如图 8 和图 9(b)所示,但难以区分正常织物区域受光照、噪声影响所带来的干扰;经方向滤波后的特征图,其在一定程度上能够过滤、抑制背景纹理,降低噪声干扰,但非边缘瑕疵区域内部出现误检;将亮度特征与方向特征进行融合能在一定程度上抑制纹理信息,同时减少边缘误检,将特征图归一化融合得到织物视觉显著图,阈值分割显著图能有效定位疵点位置,对油污、断经、破洞、爆纬疵点有较好的检测效果。其中对白坯布和牛仔布各 50 块进行检测,检测疵
24、点类型及检测结果如表 2 所示。为验证本文检测算法的时效性与准确性,选择与现有织物疵点检测方法进行比较。基于字典学习的检测选用 K-SVD 学习方法,采用 1616 的字典块,但 迭 代 50 词 字 典 生 成 时 间 大 于 百 秒(文献3)。基于小波域视觉注意机制的织物疵点图像分割,采用小波多层分解获得特征子图,融合中心环绕算子生成特征显著图(文献10)。基于遗传优化的 Gabor 滤波的织物疵点检测,采用遗传进化方法获取优化函数的滤波器参数,经滤波后特征图进行融合分割定位疵点区域(文献11)。由粗到细的织物表面缺陷检测,提出运用到疵点颜色差距较大的玻璃材质织物检测,该算法通过对灰度值排
25、序进行疵点粗定位、卷积操作后,利用大津阈值进行99 纺织学报第 44 卷 图 9 工业生产牛仔布检测结果Fig.9 Test results of industrial denim.(a)Wrong pattern;(b)Weft exposure;(c)Hole表 2 疵点类型及检测结果Tab.2 Defect type and detection result织物 疵点类型疵点图像/张检出量/张 漏检量/张 误检量/张白坯布油污202000断经7700缺纬5410破洞8800褶皱0202无疵点101000牛仔布错花8710爆纬262110纬缩6510无疵点10730总计1009372 注:
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 Itti 显著 模型 织物 疵点 实时 检测
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。