基于FCIS模型的输电线路部件同时检测与分割方法.pdf
《基于FCIS模型的输电线路部件同时检测与分割方法.pdf》由会员分享,可在线阅读,更多相关《基于FCIS模型的输电线路部件同时检测与分割方法.pdf(9页珍藏版)》请在咨信网上搜索。
1、第 38 卷第 2 期电 力 科 学 与 技 术 学 报Vol.38 No.22023 年 3 月JOURNAL OF EIECTRIC POWER SCIENCE AND TECHNOLOGYMar.2023基于 FCIS模型的输电线路部件同时检测与分割方法耿劭锋1,戚银城1,2,史博强1,赵振兵1,2,卢蓬媛1,邢博为1(1.华北电力大学电气与电子工程学院,河北 保定 071003;2.华北电力大学河北省电力物联网技术重点实验室,河北 保定 071003)摘要:实时监测并及时诊断输电线路故障是输电线路安全运行的前提。由于输电线路图像拍摄环境复杂,单独的检测或分割不能满足实时性要求,且图中小
2、部件和遮挡部件难以提取,因此为了更精准地定位目标位置、检测并分割出图中小部件和遮挡部件,提出一种改进全卷积实例感知语义分割(FCIS)的输电线路部件同时检测与分割方法。将兴趣区对准(ROI Align)算法的思想引进到 FCIS 模型中,提出位置敏感区域前景/背景感兴趣区域对准(PS2ROI Align)方法,使用双线性插值法可以有效地解决输入图像特征图中的 ROI与原图中位置信息不匹配的问题,并且引用梯度回传算法解决图像中小金具及遮挡金具特征难提取导致检测与分割精度差的问题。在本次构建的输电线路检测与分割数据集中进行检测分割实验,结果表明,改进前图中未能检测分割的小目标及遮挡目标得到了有效的
3、检测分割,对比其他检测模型,改进后 FCIS 模型平均准确率(mAP)最高,并且相比改进前提升了1.73%。关键词:FCIS模型;同时检测与分割;数据集构建;金具;梯度回传DOI:10.19781/j.issn.16739140.2023.02.014中图分类号:TM726文章编号:16739140(2023)02012409Simultaneous detection and segmentation method of transmission line componentsbased on improved FCIS modelGENG Shaofeng1,QI Yincheng1,2,
4、SHI Boqiang1,ZHAO Zhenbing1,2,LU Pengyuan1,XING Bowei1(1.School of Electrical and Electronic Engineering,North China Electric Power University,Baoding 071003,China;2.Hebei KeyLaboratory of Power Internet of Things Technology,North China Electric Power University,Baoding 071003,China)Abstract:Realtim
5、e monitoring and timely diagnosis of transmission line faults are the prerequisite for the safe operation oftransmission lines.Due to the complex shooting environment of transmission line images,individual detection orsegmentation can not meet the realtime requirements,and it is difficult to extract
6、 small parts and occluded parts in thepicture.In order to more accurately locate the target position,detect and segment small parts and occluded parts in thepicture,an improved fully convolutional instanceaware semantic segmentation(FCIS)simultaneous detection andsegmentation method for transmission
7、 line components is proposed.This method introduces the idea of region of interest(ROI)Align algorithm into the FCIS model,and proposes position sensitive inside/outsideregion of interest(PS2ROI)Align,which uses bilinear interpolation method to effectively solve the problem that the ROI in the input
8、 image featuremap does not match the position information in the original image.And the gradient backpropagation algorithm is used to收稿日期:20210712;修回日期:20220829基金项目:国家自然科学基金(61871182);河北省省级科技计划(SZX2020034)通信作者:耿劭锋(1996),男,硕士研究生,主要从事电力图像超分辨率处理研究;Email:耿劭锋,等:基于 FCIS模型的输电线路部件同时检测与分割方法第 38 卷第 2 期solve t
9、he problem of poor detection and segmentation accuracy due to the difficulty in extracting the features of smallfittings and occluded fittings in the image.The detection and segmentation experiment was carried out on the transmissionline detection and segmentation data set of this structure.The resu
10、lts showed that the small targets that could not bedetected and segmented in the modified figure had indicators and masked detection segmentation.Compared with otherdetection models,the FCIS model has the highest mean average precision(mAP),which is 1.73%higher than beforeimprovement.Key words:FCIS
11、model;simultaneous segmentation and detection;data set construction;hardware;gradient echo输电线路的安全稳定是保障电力传输正常运行的重要前提1,而输电线路长期暴露在野外的恶劣环境下,极易发生锈蚀、破损等问题,如果问题严重可能造成线路跳闸或停运,直接影响到电力系统的安全与稳定,给人民生活带来危害,所以线路运维是保障电力系统安全的关键环节2。传统的人工检修效率低下且成本高昂,同时也满足不了实时性的需求,所以采用人工检测的方法已经明显不符合当今社会的供需关系3。近年来,直升机、无人机巡检广泛应用于电力系统,有效
12、地减少了运维人员的巡查工作量4。由于检测与分割工作均是在输电线路全局图像上进行的,其计算量巨大,而且如果要高效地完成智能巡检,首先就要保证检测与分割的精确性,运用计算机视觉技术可以有效提高智能巡检过程的检修效率,但面对拍摄角度各异、背景信息复杂的输电线路数据,如何提升检测和分割的速度与准确度仍然是当务之急。当前目标检测的方法众多,由于候选区域在目标检测方法中性能良好,大多模型都是基于候选区域完成定位与检测的5。RCNN(regions with CNNfeatures)模型6结合了选择性搜索7与卷积神经网络(convolutional neural network,CNN)8,首先将输入图像中
13、提取出的几千个候选目标区域进行缩放固定尺寸,再通过 CNN 提取出候选区中的特征并使用支持向量机分类,最终实现目标检测的目的。很多以RCNN 为 基 础 的 网 络 模 型 应 运 而 生,如 FastRCNN9、Faster RCNN10、RFCN(object detection via regionbased fully convolutional networks)11也都是通过生成候选目标区域之后,再进行目标的精确定位。此外,ZITNICK C L 等12提出了 EdgeBoxes的候选目标区域生成方法,它只需要根据图像的边缘就可以迅速完成候选目标区域地生成,并且候选区域的精度也较高
14、。此方法相较于选择性搜索方法对计算速度与生成的准确度有大幅提升,并且在降低候选区域数量上十分显著,然而针对小目标,该方法的效果较差,往往会出现漏检现象。随着深度学习在图像分割领域的发展,卷积神经网络使得图像的语义信息被充分利用,图像语义分割方法得以壮大。金字塔场景解析网络(pyramid scene parsing network,PSPNet)13结合了金字塔池化模块整合图像上下文信息,充分利用了全局特征先验知识,解析不同场景实现场景目标的语义分割,但该方法对遮挡目标效果并不理想。全卷积网络(fully convolutional networks for semantic segmenta
15、tion,FCN)14体现了模型从图像级到像素级理解的核心思想,此网络可以根据抽象的特征信息将每个像素的所属类别进行恢复,对数据集图像的尺寸大小没有严格限制,可以输入任意大小的图像,并且效率更高,但得到的结果还是不够精细。Instance FCN15提出了实例敏感得分图,将相对位置信息编码到产生的特征图中,为区分同类物体提供了有效的手段,但该网络还不是端到端的结构。FCIS(fully convolutional instanceaware semanticsegmentation)16模型是首个将目标检测与实例分割结合起来的端到端结构,提出了位置敏感区域前景/背 景 得 分 图(positi
16、on sensitive inside/outsidescore maps),使用位置敏感的特征融合方法进行特征提取,从而实现有效的实力分割与分类任务,但由于 FCIS 是在 Faster RCNN 的基础上提出的,在对模型生成的ROI(region of interest)进行量化后,得出的特征图与原始图像上的 ROI对准会出现偏差,虽然不影响正常目标的检测与分割,但是在检测分割小尺度目标或遮挡目标时会有非常大的影响。近年来,深度学习不断发展,分割模型与目标检测的联系不断加深,只有精确提取出目标候选框才能保障目标检测与分割的有效性。但输电线路125电力科学与技术学报2023 年 3 月图像中
17、包含众多部件以及大量的背景信息,而且由于无人机拍摄角度不同,部件之间的遮挡问题严重,且同一类别的部件在不同角度也会有不同的形态,此外不同种类的部件之间也存在一些相似特征,这些问题会在模型检测分割目标时带来巨大的困难与挑战,尤其是一些遮挡面积大于部件自身一半或者占空比较小的部件,其特征信息的提取会更加困难。伴随着模型卷积层不断加深,目标特征梯度不断降低,目标分辨率也会逐渐下降,这对提取小目标的特征信息更加不利。本文针对上述问题,通过改进 FCIS 模型可以实现对输电线路部件的同时检测与分割,并且引入 ROI Align,可以解决特征图与原始图像上 ROI不对准的问题,完成同时对输电线路上 20类
18、部件的检测与分割,并且能够提升对小目标和遮挡目标的检测精度。1相关工作1.1输电线路图像检测与分割数据集构建本文采用自制的输电线路图像检测与分割数据集进行分析,数据集包括正常拍摄的图像以及视频的分帧图像,选取 30 多条不同地点、不同等级的110500 kV 输电线路作为输变电线路图像检测与分割数据集的采集地点,在正常日光下对输电线路进行拍摄。如图 1 所示,其中图 1(a)、(b)、(c)为正常拍摄的输电线路图像,图 1(d)、(e)、(f)为拍摄视频的分帧图像,数据集包含杆塔、绝缘子、导线、屏蔽环、拉杆、延长环、重锤以及多种线夹、挂环和挂板共计 20 类部件。由于拍摄角度不同,每类部件在不
19、同的图像中都有不同的角度和尺寸,如图 1(b)、(c),且每张图中同类别数量也不相同,如图 1(d)、(e)。标注过程分为类别标注和实例标注。标注类别时,首先确定种类数量,包含背景类在内数据集共有 21类,通过标注软件 Labelme填充各类目标的RGB 值,需要注意类别不同定义的 RGB 值也各不相同,表 1为各类别填充的色值,图 2为类别标注样本,其中图 2(a)、(c)、(e)、(g)是正常输电线路图像,图2(b)、(d)、(f)、(h)是填充之后的类别标签图像。(a)拍摄图像 1(b)拍摄图像 2(c)拍摄图像 3(d)分帧图像 1(e)分帧图像 2(f)分帧图像 3图 1数据集部分典
20、型样本图像Figure 1Typical sample images of part of the data set表 1输电线路类别所对应的 RGB值规则Table 1RGB value rules corresponding to transmissionline categories序号1234567891011121314151617181920类别绝缘子杆塔导线悬垂线夹联板均压环碗头挂板碗头防振锤重锤间隔棒U型挂环屏蔽环拉杆延长环并沟线夹压缩型线夹调整板挂板Q/QP型球头挂环耐张线夹RGB值(128,0,0)(0,128,0)(128,128,0)(0,0,128)(128,0,12
21、8)(0,128,128)(128,128,128)(64,0,0)(192,0,0)(64,128,0)(192,128,0)(64,0,128)(192,0,128)(64,128,128)(192,128,128)(0,64,0)(128,64,0)(0,192,0)(128,192,0)(0,64,128)颜色126耿劭锋,等:基于 FCIS模型的输电线路部件同时检测与分割方法第 38 卷第 2 期(a)原图 1(b)类别标签图 1(c)原图 2(d)类别标签图 2(e)原图 3(f)类别标签图 3(g)原图 4(h)类别标签图 4图 2输电线路部分原图与其对应的类别标签Figure
22、2Part of the original diagram of the transmissionline and its corresponding category label image实例标注中,需要对同类别物体的不同实例进行区分。观察输电线路原图像后发现,一张图片中存在多个类别,但一张图片中每一类别出现的实例数量并不唯一,在细察之后发现单张图片上同一类别实例可以达到几十个之多。在类别标注中不同类别填充的 RGB值不同,但若应用到实例标注中无疑会带来巨大的工作量。参考公共数据集标注方法,在标注实例时若同一类别的各个实例不相互重叠,直接通过完成填充的类别标签图像生成实例标签图像最为有效。
23、首先将输电线路图像中存在多个同一类别实例目标且实例之间不重叠的样本提取出来,如图 2中的导线,单张图中存在多个实例且彼此不重叠,直接根据类别标签填充方法,相同类别填充 RGB 值相同,但不同实例分布区域不同,如图中有 4条导线,导线之间不区分先后顺序,根据类别顺序,导线前面有绝缘子与杆塔两类,先对图中绝缘子和杆塔进行排列,假设这两类各有一个,那么绝缘子对应 1,杆塔对应 2,导线则用 3、4、5、6 分别对应表示,其他类别排序也是如此。这种方法降低了部分输电线路图像实例标注的工作量,但遇到多个同类别实例重叠的图像这种方法便不能使用,需要对每个实例目标分别填充 RGB 值,如图 3中的实例标注样
24、本,图 3(a)、(c)、(e)、(g)为正常输电线路图像,图 3(b)、(d)、(f)、(h)为填充之后的实例标签图像。(a)原图 1(b)实例标签图 1(c)原图 2(d)实例标签图 2(e)原图 3(f)实例标签图 3(g)原图 4(h)实例标签图 4图 3输电线路部分原图与其对应的实例标签Figure 3Part of the original diagram of the transmission lineand its corresponding instance label image127电力科学与技术学报2023 年 3 月由于输电线路数据集稀缺,构建完成之后,输电线路图像检
25、测与分割数据集共包含 235 张原始图像,随机选取其中 210 张作为模型的训练集,剩余部分则作为测试集图像。1.2FCIS模型FCIS 模型由 RFCN 模型改进得来,并且引入周边环境信息提出了位置敏感区域前景得分图与背景得分图,它最大的亮点在于区分图像中像素点是在实例里面还是在实例外面。首先将图像输入到 FCIS 模型中,通过卷积层对图像特征进行初步提取,生成特征图和2(C+1)k k(默认k=3)个得分图,也就是位置敏感区域前景得分图以及位置敏感区域背景得分图(前景得分图为像素点在 ROI区域内部中前景的分数,背景得分图为像素点在 ROI 区域内部中背景的分数),同时根据初步得到的特征,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 FCIS 模型 输电 线路 部件 同时 检测 分割 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。