基于改进CenterNet的绝缘子缺陷检测模型.pdf

收稿日期:2 0 2 2 1 0 1 4基金项目:国家重点研发计划资助项目(2 0 1 8 Y F B 1 7 0 0 2 0 0);2 0 2 0年辽宁省高等学校创新人才支持计划资助项目;2 0 2 1年度高等学校基本科研项目重点项目(L J K Z 0 4 4 2)。作者简介:黄明忠(1 9 7 5),男,湖北宜昌人,副教授。第3 5卷 第5期2 0 2 3年 1 0月沈阳大学学报(自然科学版)J o u r n a l o fS h e n y a n gU n i v e r s i t y(N a t u r a lS c i e n c e)V o l.3 5,N o.5O c t.2023文章编号:2 0 9 5-5 4 5 6(2 0 2 3)0 5-0 4 1 4-1 2基于改进C e n t e r N e t的绝缘子缺陷检测模型黄明忠,石洋洋,赵立杰(沈阳化工大学 信息工程学院,辽宁 沈阳 1 1 0 0 0 0)摘 要:针对电力输电线无人机巡检图像中绝缘子及其缺陷识别精度低的问题,提出了一种基于C e n t e r N e t改进的绝缘子缺陷检测模型。该模型基于C e n t e r N e t目标检测模型,对编码器和解码器进行了改进。改进的编码器采用R e s N e t 5 0作为骨干网络,兼具特征提取能力和较快的运行速度,并加入卷积注意力模块(C B AM)和空间金字塔池化模块(S P P),以增强特征提取能力。改进的解码器将转置卷积替换为内容感知特征重组模块(C A R A F E),以减小连续上采样导致的特征丢失,并在解码器末尾加入坐标卷积以减小标准卷积空间不变性造成的影响。最后将模型中的标准卷积层替换成深度过参数化卷积(D O-C o n v),进一步提升模型的性能、加快模型训练的收敛速度。使用绝缘子图片数据集对改进C e n t e r N e t模型进行了训练和测试。结果表明,改进C e n t e r N e t模型与其他主流的目标检测模型对比精度最高,mA P达到9 7.1 6%,检测速度达到了4 3帧s-1,mA P比C e n t e r N e t模型提高了2.9 2%。关 键 词:C e n t e r N e t;绝缘子;缺陷检测;卷积块注意力模块;空间金字塔池化;深度过参数化卷积中图分类号:T P 3 9 1.4 文献标志码:AI n s u l a t o rD e f e c tD e t e c t i o nM o d e lB a s e do nI m p r o v e dC e n t e r N e tHU ANGM i n g z h o n g,SH IY a n g y a n g,ZHA OL i j i e(C o l l e g eo f I n f o r m a t i o nE n g i n e e r i n g,S h e n y a n gU n i v e r s i t yo fC h e m i c a lT e c h n o l o g y,S h e n y a n g1 1 0 1 4 2,C h i n a)A b s t r a c t:T os o l v e t h ep r o b l e mo f l o wa c c u r a c yo f i n s u l a t o ra n dd e f e c tr e c o g n i t i o ni nUAVi n s p e c t i o n i m a g e so fp o w e r t r a n s m i s s i o nl i n e s,a n i m p r o v e d i n s u l a t o rd e f e c td e t e c t i o nm o d e lb a s e do nC e n t e r N e t i sp r o p o s e d.T h em o d e lw a sb a s e do nC e n t e r N e t o b j e c t d e t e c t i o nm o d e l,a n dt h ee n c o d e ra n dd e c o d e ra r ei m p r o v e d.T h ei m p r o v e de n c o d e ru s e sR e s N e t5 0a st h eb a c k b o n en e t w o r kf o rb o t hf e a t u r ee x t r a c t i o n c a p a b i l i t ya n dr u n n i n gs p e e d,a n da d d sc o n v o l u t i o n a lb l o c ka t t e n t i o nm o d u l e(C B AM)a n ds p a t i a l p y r a m i dp o o l i n gm o d u l e(S P P)t oe n h a n c e f e a t u r ee x t r a c t i o nc a p a b i l i t y.T h e i m p r o v e dd e c o d e r r e p l a c e s t r a n s p o s e dc o n v o l u t i o nw i t hac o n t e n t-a w a r er e a s s e m b l yo ff e a t u r e s(C A R A F E)t or e d u c ef e a t u r el o s sd u et oc o n t i n u o u su p s a m p l i n g,a n da d d sc o o r d i n a t ec o n v o l u t i o na t t h ee n do fd e c o d e r t or e d u c et h ei n f l u e n c ec a u s e db ys t a n d a r dc o n v o l u t i o ns p a c e i n v a r i a n c e.F i n a l l y,t h es t a n d a r dc o n v o l u t i o nl a y e r s i nt h em o d e la r er e p l a c e db yd e p t h w i s eo v e r-p a r a m e t e r i z e dc o n v o l u t i o n a l l a y e r(D O-C o n v)t of u r t h e r i m p r o v em o d e l p e r f o r m a n c ea n da c c e l e r a t e t h ec o n v e r g e n c es p e e do fm o d e lt r a i n i n g.T h e i m p r o v e dC e n t e r N e tm o d e lw a s t r a i n e da n d t e s t e db y i n s u l a t o r i m a g e sd a t a s e t.E x p e r i m e n t a l r e s u l t ss h o wt h a tt h ei m p r o v e dC e n t e r N e tm o d e lh a st h eh i g h e s ta c c u r a c yi nc o m p a r i s o nw i t ho t h e rm a i n s t r e a mo b j e c td e t e c t i o nm o d e l,w i t ha nmA Po f9 7.1 6%,a n dad e t e c t i o ns p e e do f 4 3,w h i c h i s2.9 2%h i g h e r t h a nC e n t e r N e tm o d e l.K e y w o r d s:C e n t e r N e t;i n s u l a t o r;d e f e c td e t e c t i o n;c o n v o l u t i o n a lb l o c ka t t e n t i o n m o d u l e;s p a t i a l p y r a m i dp o o l i n g;d e p t h w i s eo v e r-p a r a m e t e r i z e dc o n v o l u t i o n a l l a y e r绝缘子是电力系统常见设备,起固定线路、设备和进行电气绝缘的作用。由于绝缘子数量多,且长期暴露在外、受阳光直射以及极端天气的影响,易老化,导致其失去绝缘性能,对电力系统稳定运行产生危害1。因此对绝缘子进行巡检、及时发现和修复损坏的绝缘子,对于保障电网长期稳定运行有着十分重要的意义。输电线路巡检采用人工巡检、直升机巡检和无人机巡检。人工巡检虽环境适应力强,但效率低、从业人员工作量大且高空作业较危险。直升机巡检虽然可以提高检测效率,但成本较高,不便于大规模普及。随着技术的飞速发展,现在输电线路巡检主要采用无人机巡检,增强目标检测模型对无人机巡检所拍摄的图像的自动定位与识别,是提高无人机巡检准确率和效率的重要环节。因此提升目标检测模型对绝缘子及其缺陷的检测能力就显得十分重要2。近些年国内外学者对绝缘子缺陷检测进行了大量研究,早期人们通过滑动窗口提取候选框,再用图像处理技术提取候选框的特征,最后利用提取到的特征训练特征分类器。商俊平等3对绝缘子特征使用OUT S算法提取特征,再利用A d a b o o s t s算法定位绝缘子,最后根据相邻绝缘子片的欧式距离识别绝缘子自破裂缺陷位置。柯洪昌等4对H o u g h变换进行改进并应用于绝缘子检测,让其也能检测到复杂背景中的绝缘子串。周封等5首先利用颜色空间和图像之间的关系对图片进行分类,然后使用自适应滤波和自适应对比度增强图像,最后提出一种边缘优化方法,在保留目标边缘特征的同时有效地去除背景信息,能够较好地提取目标特征。黄新波等6针对复合绝缘子表面凹凸不平又受光照影响产生的阴影与暗斑导致绝缘子不能准确分割的问题,提出了一种改进的复合绝缘子特征提取方法,该方法融合改进色差法,能较好地提取复合绝缘子特征。上述传统检测方法主要针对简单背景下的绝缘子检测,检测精度不高且鲁棒性差。随着计算机硬件性能的不断提升以及深度学习技术的快速发展,基于深度神经网络的绝缘子缺陷检测模型逐渐取代了传统检测方法成为了主流。周自强等7提出了一种F a s t e rR-C NN8模型结合多尺度特征融合方法,实现了绝缘子目标的精确识别。阎光伟等9为克服锈蚀绝缘子缺陷目标漏检,提出了一种改进的S S D1 0绝缘子缺陷检测模型,此模型结合平衡特征方法,提高了缺陷目标的检测率。刘悦等1 1提出了一种改进的YO L O v 41 2目标检测模型,此模型融合了改进的分水岭算法,实现了绝缘子及其缺陷识别。上述基于深度神经网络目标检测模型与传统检测方法相比,虽然精度大幅提高,但检测精度仍然偏低,且多数模型执行速度偏低。此外上述目标检测模型都为有锚框检测模型,这些检测模型在一张图片上提取很多锚框,而图片上的目标相对较少,容易造成正负样本不均衡。无锚框的C e n t e r N e t1 3模型相较于以上模型,将目标的中心点作为关键点进行检测,无需依赖设计复杂的锚框,也无需复杂的后处理,模型执行效率较高。本文在C e n t e r N e t目标检测模型的基础上,提出了一种改进C e n t e r N e t的绝缘子缺陷目标检测模型。该模型以C e n t e r N e t目标检测模型为基础,对其编码器和解码器进行了改进设计,其中编码器采用R e s N e t 5 01 4作为骨干网络,在保证骨干网络特征提取能力的同时又能兼顾推理速度,在骨干网络的残差块中加入C B AM1 5模块,增强骨干网络特征提取能力,并在编码器的末尾添加S P P1 6模块,增强骨干网络提取多尺度特征的能力;对其解码器重新设计,将解码器中的转置卷积替换为C A R A F E1 7上采样,减少因连续上采样导致的特征丢失,在解码器的尾部加入C o o r d C o n v1 8卷积,减少标准卷积空间不变性造成的影响。最后将模型中的标准卷积层替换成D O-C o n v1 9卷积,在不增加计算量的前提下提升模型的性能,加快模型训练的收敛速度。1 C e n t e r N e t模型C e n t e r N e t是借鉴了人体关键点检测的思想提出的一种无锚框算法,整个模型结构如图1所示。C e n t e r N e t模 型 由 编 码 器、解 码 器 和 检 测 头3部 分 组 成。编 码 器 支 持R e s N e t 1 8、R e s N e t 1 0 1、H o u r g l a s s 1 0 4和D L AN e t_3 4四种骨干网络。将一个分辨率为5 1 25 1 23的输入图片经过编码器的特征提取得到一个1 61 620 4 8的高语义信息的特征图。将得到的特征图作为解码器的输入,使用转置卷积进行3次上采样操作,得到一个1 2 81 2 86 4的特征图。最后检测头将得到的高分辨率特征图分别经过3组卷积操作,每组卷积由一个33卷积和一个11卷积组成,这3组卷积分别进行热力图预测、中心点偏移预测和物体的宽高预测。514第5期 黄明忠等:基于改进C e n t e r N e t的绝缘子缺陷检测模型图1 C e n t e r N e t模型结构F i g.1 M o d e l s t r u c t u r eo fC e n t e r N e t3个损失构成了C e n t e r N e t模型的损失,分别是热力图损失、宽高损失和中心点偏移损失。输入图像通过骨干网络产生一张关键点的热力图Y0,1WRHRC,其中:W和H分别是图像的宽和高;R为下采样倍数;C为关键点类型数量。当预测点Yx y c=1时代表检测到关键点,当Yx y c=0时代表检测到背景。假设训练图片中的某个目标的关键点坐标为p,类别为C。模型根据下采样倍数R得到输出的特征图 尺 寸 为WRHRC,目 标 在 特 征 图 中 的 坐 标 为p=pR。再 利 用 高 斯 核 函 数Yx y c=e x p-(x-px)+(y-py)22p将所有中心点的真实坐标投射到热力图上,其中p是根据当前目标p的尺寸自适应得到的标准差。使用F o c a lL o s s作为热力图损失Lk,公式为Lk=-1Nx y c(1-Yx y c)l n(Yx y c),当Yx y c=1;(1-Yx y c)(Yx y c)l n(1-Yx y c),其他。(1)式中:N为图像中关键点的数量;超参数和分别取2和4。使用L 1损失函数作为目标中心点偏移损失Lo f f,公式为Lo f f=1NpOp-pR-p。(2)式中:Op为模型预测的中心点偏移;p为中心点实际坐标,p为下采样后中心点的等效坐标;pR-p为中心点坐标的实际偏移。目标框的尺寸损失Ls i z e同样使用L 1损失函数,公式为Ls i z e=1Nnk=1Sp k-sk。(3)式中:Sp k为模型预测目标框尺寸;sk为真实的目标框尺寸。整个模型的损失函数Ld e t是上述3种损失之和,定义为Ld e t=Lk+s i z eLs i z e+o f fLo f f。(4)式中,s i z e和o f f是权重系数,分别取0.1和1.0。2 基于改进C e n t e r N e t的绝缘子缺陷检测模型改进C e n t e r N e t模型的结构如图2所示。该模型在C e n t e r N e t的框架结构基础上,对其编码器和解码器进行了改进设计,最后使用D O-C o n v卷积替换模型中的标准卷积。614沈阳大学学报(自然科学版)第3 5卷图2 改进的C e n t e r N e t模型结构F i g.2 M o d e l s t r u c t u r eo f i m p r o v e dC e n t e r N e t2.1 改进编码器C e n t e t N e t模型的R e s N e t 1 8属于轻量化骨干网络,网络层数较少,难以提取到高语义信息的特征图,而R e s N e t 1 0 1等其他几种骨干网络虽然可以提取到高语义信息的特征图,但参数量多、模型体积大、推理速度慢。因此改进C e n t e r N e t模型的编码器使用R e s N e t 5 0作为骨干网络,该骨干网络在保证特征提取能力的前提下,参数量、模型体积和推理速度适中。为进一步提高其 特征提取能 力,在R e s N e t 5 0骨干网络的基础上加入C B AM模块和S P P模块。2.1.1 嵌入C B AM模块的残差块为了提升编码器提取特征的能力,在R e s n e t 5 0中的残差块中加入C B AM注意力机制,具体结构如图2中C o n v_b l o c k和I d e n t i t y_b l o c k所示。C B AM包含2个独立的子模块,通道注意力模块和空间注意力模块,其结构如图3所示。C B AM通过聚焦特征图的局部信息,它在通道注意力模块和空间注意力模块对特征图的信息进行重新分配,让计算资源向重点关注的目标区域倾斜,从而在增强感兴趣的前景信息的同时又能抑制无用的背景信息。图3 C B A M功能示意F i g.3 F u n c t i o n a l d i a g r a mo fC B A M714第5期 黄明忠等:基于改进C e n t e r N e t的绝缘子缺陷检测模型通道注意力模块首先将输入的特征图通过并行的全局平均池化和全局平均池化对特征图降维实现聚合特征图的空间信息,然后通过多层感知机为每个通道重新分配权重,最后通过S i g m o i d激活函数得到通道注意力机制的结果,其公式见式(5)。空间注意力模块首先通过并行最大池化和平均池化将CWH的特征图得到2个1CH的特征图,然后对2个特征图进行拼接再通过1个77的卷积将其变为1通道的特征图,最后经过S i g m o i d激活函数得到空间注意力的结果,其公式见式(6)。MC(F)=(ML P(Av g p o o l(F)+ML P(Ma x p o o l(F)=(W1(W0(Fca v g)+W1(W0(Fcm a x)。(5)MS(F)=(f7 7(Av g p o o l(F);Ma x p o o l(F)=(f7 7(Fsa v g;Fsm a x)。(6)式中:F代表输入的特征图;代表S i g m o i d激活函数;Av g p o o l代表全局平均池化;Ma x p o o l代表全局最大池化;ML P代表多层感知机;W0、W1代表共享多层感知机的2层参数;Fca v g、Fcm a x分别代表通道注意力模块全局平均池化的结果和全局最大池化的结果;f77表示77大小的卷积核操作;Fsa v g、Fsm a x分别代表空间注意力模块全局平均池化的结果和全局最大池化的结果。R e s N e t 5 0的残差块有2种,分别是C o n v_b l o c k和I d e n t i t y_b l o c k。在2种结构的第3个卷积的B N层后加入C B AM,让C B AM通过在特征中学习得到权重分布,后将计算资源按权重分布进行分配,以此改变原有特征分布,增强提取绝缘子缺陷特征的能力并抑制无用信息和噪音,从而强化对于绝缘子及其的特征提取能力。2.1.2 编码器融合S P P模块绝缘子目标尺度跨度大,骨干网络不仅需要提取视野较小的高语义特征,还需要兼顾视野较大的高语义特征。为了增强骨干网络提取多尺度特征的能力,需要增大骨干网络的感受野。传统特征提取网络增大感受野的方式是增大卷积核。增大卷积核会引入更多的参数量,从而导致运算量增大、推理速度变慢和模型体积增大。S P P模块具有多尺度特征融合功能从而增大感受野,因此在编码器尾部加入S P P模块,如图2编码器部分所示。S P P模块结构如图4所示,由3个最大池化层组成,这3个最大池化层的卷积核大小由上到下分别是5、7和1 3,步长都为1。加入S P P模块时,原编码器尾部特征图通过11卷积降维成1 61 65 1 2的特征图作为S P P模块的输入,实现增大感受野并增强捕捉多尺度绝缘子及其缺陷特征的能力。图4 S P P模块结构F i g.4 S t r u c t u r eo fS P Pm o d u l e2.2 改进解码器C e n t e r N e t模型解码器中上采样操作使用了转置卷积,使用转置卷积连续上采样会导致部分细节特征丢失。为避免丢失细节特征,提高解码器特征还原能力,重新设计了解码器,如图3所示解码器部分。首先,在解码器头部加入一个标准卷积将特征图的通道数由20 4 8降维成10 2 4。然后,将转置卷积替换成C A R A F E,C A R A F E增大其感受野,还能根据输入特征进行上采样,并在每个转置卷积后面加入一个标准卷积,每个卷积只改变特征图的通道数,不改变特征图的尺寸。最后,在解码器的尾部加入C o o r d C o n v坐标卷积,减少标准卷积空间不变性造成的影响。2.2.1 C R A F E模块使用转置卷积时如果卷积核无法将步长整除,会导致部分特征重复映射,进而输出结果会产生不均匀的重叠,造成部分特征信息的丢失,这个现象被称为棋盘效应2 0。即使卷积核可以整除步长,也不能完全消除棋盘效应,并且为了保证卷积核可以整除步长,C e n t e r N e t模型将卷积核设置为4,卷积核过大就导致3个转置卷积蕴含的参数量巨大,增加计算量。C A R A F E上采样与转置卷积相比,感受野大,支持特定于实例的内容感知处理,可以动态地生成自适应的内核,并可以根据输入的特征进行上采样且计814沈阳大学学报(自然科学版)第3 5卷算速度快。为了消除棋盘效应引起的特征信息丢失的问题和转置卷积参数量过大的问题,采用C A R A F E上采样代替转置卷积,其结构如图5所示。C A R A F E上采样首先将尺寸为CHW的特征图进行通道压缩处理,随后得到尺寸大小为CmWH的特征图,进行这一步操作是为了降低后续的计算量,加快推理速度。然后使用大小为ke nke n的卷积核对刚刚压缩好的特征图进行内容编码,进而得到大小为2k2u pWH的特征图,将其在通道维上展开,此时特征图的尺寸变为k2u p W H,其中ke nke n为内容编码的卷积核尺寸,ku pku p为预测上采样核尺寸。最后使用S o f t m a x函数对其进行归一化处理,使得上采样核的权重之和为1,并将输入特征与预测的上采样核进行卷积运算得到最终的上采样结果。图5 C A R A F E功能示意F i g.5 S c h e m a t i cd i a g r a mo fC A R A F Ef u n c t i o n2.2.2 解码器融合C o o r d C o n v卷积在解码 器 的 最 后 添 加C o o r d C o n v坐 标 卷 积,减 少 空 间 特 征 的 损 失,其 结 构 如 图6所 示。在C o o r d C o n v坐标卷积中,在输入的特征图中加入了2个通道,第1个通道中元素值表示元素所在行坐标,第2个通道元素值表示元素所在列坐标,这2个通道矩阵结果分别如图6虚线框中所示。将这2个通道通过拼接操作与输入特征图进行拼接,再通过1个卷积改变特征图尺寸。通过添加空间信息,记录像素位置,增强绝缘子的空间特征信息,减少标准卷积空间不变性造成的影响。图6 C o o r d C o n v功能示意F i g.6 S c h e m a t i cd i a g r a mo fC o o r d C o n v f u n c t i o n914第5期 黄明忠等:基于改进C e n t e r N e t的绝缘子缺陷检测模型2.3 D O-C o n v在模型中的应用用D O-C o n v替换模型全部的标准卷积,其功能示意如图7所示。D O-C o n v首先通过深度卷积操作将转置的卷积核DT与卷积核W之间做运算,之后产生一个新的组合卷积核W,即W=DTW。再通过标准卷积操作将组合卷积核与输入特征区块P之间作运算,得到输出特征O,即O=W P。因此,D O-C o n v的输出可表示为:O=(DTW)P。在图7中M与N分别是特征图区块的空间维度。P指一次滑动窗口的那一小片区域。O指本次卷积操作的输出。DT是深层卷积转置后的卷积核,W是标准卷积核。Ci n与Co u t分别表示输入通道数和输出通道数。图7 D O-C o n v卷积功能示意F i g.7 S c h e m a t i cd i a g r a mo fD O-C o n vc o n v o l u t i o n f u n c t i o nD o-C o n v使用多层复合线性操作,其优势是便于模型训练、提高模型性能、加快训练速度。在训练完成之后可以折叠为紧凑的单层形式,在推理阶段仅使用单层计算,从而在保证性能优于标准卷积的前提下计算量还与标准卷积相当。3 实验与结果分析3.1 数据集实验采用的基础数据集是中国电力线绝缘子数据集,此数据集中共有8 4 8张图像,其中2 4 8张为缺陷绝缘子图像,6 0 0张为正常绝缘子图像。在该数据集中部分缺陷绝缘子图像是通过数据增强产生的,具体做法是从部分缺陷绝缘子原图中分割出缺陷绝缘子,将其拼接到不同的背景图片下,完成缺陷绝缘子图像的制作。正常绝缘子图像则是无人机近距离拍摄的原图。由于该绝缘子数据集图片数量较少,因此在该数据集的基础上又添加了第八届泰迪杯数据挖掘挑战赛比赛所用的4 0张绝缘子图像和笔者收集的一些绝缘子图像。对这些图像采用数据增强的方法通过对所有图像进行平移、c u t o u t、亮度、噪声等随机操作来丰富数据集。最终将本实验使用的绝缘子数据集扩充到37 0 0张图像,并按622的比例划分为训练集、验证集和测试集。数据集中部分绝缘子图片如图8所示。3.2 实验环境实验使用了一台配置I n t e lC o r e i 9-9 9 0 0 KC P U和NV I D I AG e F o r c eR T X2 0 8 0 T i显卡的计算机,在6 4位W i n d o w s 1 0下使用P y t h o n作为编程语言,基于P y t o r c h框架设计完成了改进C e n t e r N e t绝缘子缺陷检测模型。实验训练轮数为3 0 0轮,小批尺寸设置为8,优化器使用A d a m,初始学习率设置为0.0 0 05,学习率更新方式为余弦下降。训练过程损失曲线如图9所示。3.3 评价指标本文采用6个评价指标评估模型的性能,分别是精确度P、召回率R、平均精度AP、均值平均精度024沈阳大学学报(自然科学版)第3 5卷mA P、每秒传输帧数FP S和模型大小S。其中精确度P公式为(a)示例1(b)示例2(c)示例3(d)示例4图8 绝缘子数据集图片示例F i g.8 A ne x a m p l eo f a n i n s u l a t o rd a t a s e t图9 训练过程损失曲线F i g.9 L o s sc u r v eo f t r a i n i n gp r o c e s sP=TPTP+FP。(7)式中:TP为真阳性;FP为假阳性。召回率R公式为R=TPTP+FN。(8)式中:TP为真阳性;FN为假阴性。平均精度AP公式为AP=10P(R)dR。(9)均值平均精度mA P为mA P=AP1+AP2+APnn。(1 0)式中,n为目标类别数。3.4 消融实验基于C e n t e r N e t的改进策略在绝缘子数据集上进行训练,实验结果如表1所示,其中实验1是C e n t e r N e t模型(使用R e s N e t 5 0骨干网络)的结果,实验2、3、4分别是在C e n t e r N e t模型中依次增加使用新编码器、新解码器和D O-C o n v卷积的结果。由表1可知,实验1中C e n t e r N e t模型的mA P为9 4.2 4%。在C e n t e r N e t模型中加入所有改进的实验4的mA P为9 7.1 6%,相较于C e n t e r N e t模型提高了2.9 2%,模型大小减少了8MB,召回率也显著提高,减少了漏检率。实验2与实验1相比mA P提高了2.0 8%,表明在编码器中加入C B AM和S P P后提高了编码器对多尺度目标的特征提取能力。实验3与实验2相比,mA P提高了0.5 3%,模型大小减少了2 4MB,说明C A R A F E上采样可以很好地解决棋盘效应,并且减少模型体积。实验4与实验3相比,mA P提高了0.3 1%,说明相较于传统卷积,D O-C o n v能有效增强模型的性能。124第5期 黄明忠等:基于改进C e n t e r N e t的绝缘子缺陷检测模型表1 改进C e n t e r N e t模型消融实验结果T a b l e1 A b l a t i o n r e s u l t so f t h em o d i f i e dC e n t e r N e tm o d e l序号新编码器新解码器D O-C o n vP/%正常缺陷R/%正常缺陷AP 5 0/%正常缺陷mA P/%S/MBFP S19 6.8 09 8.7 78 9.3 17 7.6 79 6.7 39 1.7 59 4.2 41 2 78 329 6.8 89 9.4 79 4.7 09 1.2 69 7.3 69 5.2 89 6.3 21 4 14 939 8.2 39 8.9 69 5.6 29 3.2 09 7.5 89 6.1 29 6.8 51 1 74 549 7.9 19 8.9 69 5.4 29 2.7 29 7.9 89 6.3 39 7.1 61 1 94 3 对改进C e n t e r N e t模型编码器、解码器和检测头输出的特征图进行可视化,如图1 0所示。各输出特征图选取单一通道进行展示,图1 0(a)为检测图像,图1 0(b)是编码器输出的特征图,图1 0(c)是解码器输出的特征图,图1 0(d)图1 0(f)分别是检测头输出的3个特征图。从上述图中可以看出绝缘子的形状和位置。(a)原图(b)编码器输出(c)解码器输出(d)热力图预测(e)中心点偏移预测(f)宽高预测图1 0 C e n t e r N e t特征图结果F i g.1 0 C e n t e r f e a t u r em a pr e s u l t s3.5 不同模型比较为了验证模型的检测性能,将改进C e n t e r N e t模型与S S D、R e t i n a N e t、F a s t e rR C NN、YO L O v 3、YO L O v 4、YO L O v 5、C e n t e r N e t进行了对比实验,对比结果如表2所示。表2 不同模型检测结果T a b l e2 T e s t r e s u l t so f d i f f e r e n tm o d e l s算法框架(骨干网络)AP 5 0/%正常缺陷mA P/%FP SS/MBS S D(v g g 1 6)9 4.6 27 8.9 68 6.7 91 99 2.1R e t i n a N e t(R e s N e t 5 0)9 5.6 78 5.4 19 0.5 44 01 4 2.0F a s t e rR C NN(v g g 1 6)9 3.0 06 3.7 18 0.8 51 85 1 2.0YO L O v 3(D a r k n e t 5 3)9 6.2 47 7.8 48 7.0 43 52 4 0.0YO L O v 4(C S P D a r k n e t 5 3)9 7.6 19 1.9 39 4.7 74 52 4 4.0YO L O v 5 s(C S P D a r k n e t 5 3)9 7.8 89 5.7 29 6.8 01 0 81 4.0C e n t e r N e t(R e s N e t 5 0)9 6.7 39 1.7 59 4.2 48 31 2 7.0改进C e n t e r N e t(R e s N e t 5 0)9 7.9 89 6.3 39 7.1 64 31 1 9.0224沈阳大学学报(自然科学版)第3 5卷 从表2可以看出改进C e n t e r N e t模型的mA P比C e n t e r N e t高出2.9 2%,模型大小减少了8MB。改进C e n t e r N e t模型比单阶段检测模型S S D、R e t i n a N e t、YO L O v 3、YO L O v 4、YO L O v 5 s相比mA P分别高1 0.3 7%、6.6 2%、1 0.1 2%、2.3 9%、0.3 6%,与2阶段检测模型F a s t e rR C NN相比mA P高1 6.3 2%。改进C e n t e r N e t模型无论是完整绝缘子还是缺陷绝缘子的AP 5 0指标在所有模型中是最高的,并且模型的尺寸也 只 比S S D和YO L O v 5 s大。改 进C e n t e r N e t模 型 的FP S达 到 了4 3帧 s-1,高 于S S D、R e t i n a N e t、F a s t e rR C NN和YO L O v 3,低于C e n t e r N e t、YO L O v 4、YO L O v 5 s,但精度都优于上述模型且能满足实时性检测需求。综上,改进C e n t e r N e t模型与其他模型相比具有一定的优势。C e n t e r N e t模型与改进C e n t e r N e t模型在绝缘子数据集部分图片上的检测结果如图1 1所示,共8组图,每组第1行是C e n t e r N e t模型检测结果,第2行是改进C e n t e r N e t模型的检测结果。图1 1(a)组图像中绝缘子尺寸基本相同,2种模型都检测到目标,但改进C e n t e r N e t模型检测出的绝缘子置信度都高于C e n t e r N e t模型。图1 1(b)组图像中因视距问题造成绝缘子尺寸相差较大,改进C e n t e r N e t模型检测的绝缘子置信度同样高于C e n t e r N e t模型。图1 1(c)组图像中绝缘子密集分布,C e n t e r N e t模型对于小尺寸绝缘子存在漏检情况,改进C e n t e r N e t模型不仅将绝缘子全部检测出来,置信度也比C e n t e r N e t(a)结果1(b)结果2(c)结果3(d)结果4(e)结果5(f)结果6(g)结果7(h)结果8图1 1 C e n t e r N e t模型与改进C e n t e r N e t模型检测结果对比F i g.1 1 E x a m p l eo fC e n t e r N e tm o d e l