基于背景数据增强和改进YOLOv4的断路器试验机器人接线定位方法.pdf
《基于背景数据增强和改进YOLOv4的断路器试验机器人接线定位方法.pdf》由会员分享,可在线阅读,更多相关《基于背景数据增强和改进YOLOv4的断路器试验机器人接线定位方法.pdf(10页珍藏版)》请在咨信网上搜索。
1、第 38 卷第 2 期电 力 科 学 与 技 术 学 报Vol.38 No.22023 年 3 月JOURNAL OF EIECTRIC POWER SCIENCE AND TECHNOLOGYMar.2023基于背景数据增强和改进 YOLOv4的断路器试验机器人接线定位方法何胜红,吴小平,王俊波,张殷(广东电网有限责任公司佛山供电局,广东 佛山 528000)摘要:为提高断路器试验机器人接线的准确性和可靠性,以双目视觉和深度学习目标检测技术为基础,提出一种基于背景数据增强和改进 YOLOv4的断路器试验机器人接线定位方法。该方法利用本文提出的背景混合剪切的数据增强方法,解决因断路器训练图像背
2、景特征不足而导致所训练的目标检测模型泛化能力和准确率低的问题,可以极大地提高不同试验场所(背景)和人员走动等背景扰动下机器人接线的准确性和可靠性;将标准 YOLOv4的特征网络 CSPDarknet53替换为 Mobiledets,可以优化目标检测模型的推理时间,提高机器人接线效率。仿真结果表明,本文方法的准确率为 99.9%;实测结果表明,接线准确率为 98.8%,全项目试验接线时间减少了 57 s。通过对比分析,本文方法在接线准确率和时间上优于其他方法,可为断路器机器人试验平台的实用化提供技术支持。关键词:断路器试验;机器人接线;视觉定位;背景数据增强;改进 YOLOv4DOI:10.19
3、781/j.issn.16739140.2023.02.022中图分类号:TM561.2文章编号:16739140(2023)02019609Wiring locating method for circuit breaker test robot based on backgroundaugmentation and improved YOLOv4HE Shenghong,WU Xiaoping,WANG Junbo,ZHANG Yin(Foshan Power Supply Bureau,Guangdong Power Grid Co.,Ltd.,Foshan 528000,China)A
4、bstract:In order to improve the accuracy and reliability of circuit breaker test robot wiring,a locating method withbackground augmentation and improved YOLOv4 on the basis of binocular vision and deep learning object detectiontechnology is proposed in this paper.Background mixed shear method is ado
5、pted in the proposed method to solve the lowgeneralization ability and accuracy problems caused by insufficient training background features.Therefore,the accuracyand reliability of wiring under the background disturbance such as different test sites and people walking are increased.Furthermore,the
6、backbone of YOLOv4 is replaced to Mobiledets to optimize the reasoning period of the object detectionmodel.So that the efficiency of robot wiring is improved.Simulation and test results show that the accuracy of detectionmodel based on the proposed method is 99.9%,the robot wiring accuracy is 98.8%,
7、and the wiring time is reduced by 57 s.Comparison and analysis indicate that,the method proposed in this paper is superior to other methods in robot wiringaccuracy and time,which can provide technical support for the practicability of breaker robot test platform.Key words:circuit breaker test;robot
8、wiring;vision location;background data augmentation;improved YOLOv4收稿日期:20210909;修回日期:20220425基金项目:广东电网有限责任公司科技项目(GDKJXM20182372)通信作者:王俊波(1986),男,硕士,高级工程师,主要从事高压试验及状态监测等研究;Email:何胜红,等:基于背景数据增强和改进 YOLOv4的断路器试验机器人接线定位方法第 38 卷第 2 期准确可靠接线是断路器试验机器人实用化的关键技术之一,它要求机器人对断路器触头识别和定位的目标检测算法具有很强的泛化能力和很高的准确率,使之能在不
9、同试验场所(背景)或人员走动等背景扰动影响下仍能准确可靠地进行试验线夹的抓取和断路器触头的接入。目前,目标检测采用的单阶段目标检测算法1通过训练好的卷积神经网络,对图像进行识别且用矩形框定位目标。单阶段目标检测算法主要有 SSD、RetinaNet、YOLO 等算法26。其中 YOLOv4引入了先进的改进策略,具有较高的检测准确率和速度7,因而被广泛应用于车辆、绝缘子缺陷、输电线路异物及其他目标对象的识别和定位810。实际上,因训练样本不足,往往会导致所训练的模型泛化能力较差,从而致使目标检测算法准确率不高11。针对各种训练样本不足的问题,通常采用相应的数据增强方法对原图像训练样本进行扩充,如
10、:通过亮度和饱和度数据增强方法扩充不同亮度和饱和度条件下的图像训练样本;通过添加高斯噪声数据增强方法扩充误差正态分布的图像训练样本;通过 mixup、cutout、cutmix 和mosaic等数据增强方法1113扩充图像前景训练样本等。上述数据增强方法均可使得目标特征不变但图像特征更加多样化,变相增加了图像训练样本数量,使得所训练的目标检测模型具有更强的泛化能力和准确率。但对背景特征不足的训练图像而言,不能通过上述数据增强方法扩充并得到具有足够背景特征的图像训练样本,难以满足目标检测模型泛化能力和准确率对训练图像样本的要求。针对断路器试验图像背景特征不足的问题,为提高所训练的目标检测模型的鲁
11、棒性和泛化能力,保证断路器试验机器人接线在任意试验场所(背景)、试验过程人员走动等背景扰动下仍有较高的准确率,本文提出一种新的图像背景训练样本扩充的数据增强方法,提高目标检测模型的泛化能力和准确率,保证接线机器人的准确可靠接线。此外,为优化目标检测模型的推理时间,对 YOLOv4进行改进,即将标准 YOLOv4 的特征网络 CSPDarknet53替换为 Mobiledets,使得改进 YOLOv4 不仅准确率高而且推理时间短。本文方法可以极大地提高真空断路器试验机器人接线准确率和效率,为断路器机器人试验平台的实用化提供技术支持。1机器人接线及视觉定位原理真空断路器机器人试验平台由测试台、机器
12、人、机器视觉元件及待测断路器等组成。在真空断路器试验过程中,机器人需要识别目标断路器触头并获取其在机器人坐标系的三维坐标,即定位,才能实现准确可靠接线。而机器人接线动作的准确可靠性取决于机器人对目标断路器触头的定位精度,为保证机器人精准定位且准确可靠接线,本文通过视觉元件(双目相机),利用双目视觉定位技术实现机器人准确可靠接线。通过双目视觉定位14获取断路器触头在接线机器人坐标系三维坐标的定位原理如图 1所示。Camera LCamera RbAfBXxrxlOlZlZrP(x,y,z)Or图 1双目视觉定位原理Figure 1Principle of binocular vision loc
13、ating图 1中 Camera L和 Camera R分别为左、右摄像头,其相机坐标系的原点、Z 轴分别为 Ol和 Or、光轴Zl和 Zr,2 个摄像头的 X 轴重合,Y 轴垂直于图片向上,b 为左、右摄像头的间距,P 为机器人动作目标点,或称之为断路器触头外边缘点。P在左、右摄像头中分别成像于点 A、B,其在各自图像坐标系中的坐标分别为(xl,yl)和(xr,yr),利用该坐标和图 1的几何关系,可计算机器人动作目标点 P的坐标(x,y,z)分别为 x=xlz/fy=ylz/fz=b f/(xl-xr)(1)其中,f为摄像头的焦距。由式(1)可见,已知点 A、B的坐标即可计算点 P的三维坐
14、标。为实现双目视觉定位,本文采用深度学习目标检测算法对双目相机拍摄的断路器左、右图像中的197电力科学与技术学报2023 年 3 月断路器触头进行检测,即采用预测框对图像中目标断路器触头的位置和尺寸进行标记,根据预测框的位置和尺寸信息得到点 A、B 的坐标,进而计算机器人动作目标点 P 的坐标,实现机器人对动作目标的定位。2基于 YOLOv4的断路器触头目标检测模型本文采用 YOLOv4 目标检测算法对断路器触头目标进行检测,其目标检测模型框架如图 2所示。BNConvActN特征提取多尺度融合525226261313NMS双目图像训练后的目标检测模型预测结果+图 2基于 YOLOv4的断路器
15、触头目标检测模型框架Figure 2Framework of object detection model forcircuit breaker contacts based on YOLOv4由图 2 可见,该模型框架主要由特征网络、多尺 度 融 合 及 非 极 大 值 抑 制(NMS)等 组 成。YOLOv4 的 特 征 网 络 为 CSPDdarknet53,由 N 个卷积块组成,每个卷积块包含卷积层(Conv)、归一化层(BN)和非线性激活层(Act)。该特征网络提取的图像纹理、颜色等特征是网络预测目标的重要依据。然后对特征网络输出的 3 种尺度的特征图进行多尺度融合,预测不同大小尺寸
16、的目标。最后采用 NMS 算法消除冗余的目标检测框,获取最佳目标检测框。YOLOv4引入了 Mosaic数据增强方法,对图像前景样本进行扩充,提高了前景样本不足条件下所训练的目标检测模型的检测准确率。但受拍摄条件限制,本文所获取断路器训练图像的背景差异性较小,即背景训练样本不足,使得所训练的目标检测模型的检测准确率较低,会导致不同测试场所(背景)或人员走动等背景扰动下机器人接线的准确性和可靠性降低。测试表明,采用 Mosaic数据增强方法所训练的目标检测模型的检测准确率仅为95.23%,不能满足机器人接线的技术要求。因此,需要研究新的数据增强方法以解决背景训练样本不足的问题。此外,本文采用双目
17、视觉定位技术和多帧图像定位信息均值策略,将大幅增加图像处理量,从而导致机器人接线速度降低。因此,需要优化目标检测模型的推理时间,以提高断路器试验机器人的接线效率。3图像背景数据增强与推理时间优化3.1图像背景数据增强YOLOv4 断路器触头目标检测模型的训练流程如图 3所示。断路器断口触头目标检测模型训练结束是否更新权重计算损失标签信息图像数据数据增强预训练模型预测信息训练数据集图 3断路器触头目标检测模型训练流程Figure 3Training process of circuit breaker contactobject detection model由图 3可见,首先,对双目摄像头拍摄
18、获取断路器触头的训练图像集进行标注,得到检测目标的标签信息(置信度、类别及框的位置和尺寸),并对标注后的训练图像进行初始化;然后,为凸显图像前景(目标)的特征,将原始图像进行数据增强后输入至预训练模型,得到检测目标的预测信息(置信度、类别及框的位置和尺寸);最后,通过标签信息和预测信息,计算综合损失函数(含置信度损失、分类损198何胜红,等:基于背景数据增强和改进 YOLOv4的断路器试验机器人接线定位方法第 38 卷第 2 期失和框回归损失),并根据综合损失函数数值更新预训练模型的权重。若训练未结束,则重复上述训练过程,若训练结束则将模型权重保存得到训练好的断路器触头目标检测模型。如图2所述
19、,为提高断路器触头目标检测模型的泛化能力和准确率,需要有足够的前景和背景特征的图像样本训练目标检测模型。在断路器机器人试验环境下,断路器试验图像训练样本是在某一试验场所(背景)拍摄获取的,所摄取图像中的前景目标(断路器触头)纹理特征较多,前景训练样本足够。但受拍摄条件限制,所摄取的训练图像背景差异性较小,即断路器背景训练样本(负样本)不足,从而导致所训练出的模型在不同背景下的检测准确率下降15。针对该问题,本文提出一种基于背景混合剪切的数据增强方法,对原训练图像的背景进行扩充,以获得具有足够背景特征的图像训练样本。基本思路:对原训练图像的背景生成切片并复制提取(统称提取),将所提取的切片粘贴到
20、其他图像对应的背景区域,形成新的背景。经不断扩充后可得到具有足够背景特征的图像训练样本。以 batch 内连续 2 张图像img(i)、img(i+1)为例介绍图像背景切片提取与粘贴流程。断路器触头图像背景切片提取流程如图4所示,object为图像img(i)中断路器触头标注框,(x1,y1)、(x2,y2)分别为该标注框左上角、右下角坐标。toptoprightrightimg(i)leftleftbottomobject(x1,y1)(x2,y2)bottom背景切片切片生成区域切片提取图 4图像背景切片提取流程Figure 4Image background slices extract
21、ion process图像背景切片提取流程:在图像背景的上(top)、左(left)、下(bottom)和右(right)4个相应区域生成尺寸和位置均为随机的矩形切片pti、pli、pbi和pri。切片不能包含前景特征,因此,pti底部边界应高于y1,pli右侧边界应小于x1,pbi上部边界应低于y2,pri左侧边界应大于x2。提取图像中生成的切片pti、pli、pbi和pri作为图像img(i+1)的粘贴切片。图像背景切片粘贴流程如图 5 所示。按图 4 流程在图像img(i+1)中提取背景切片,然后在图像img(i+1)背景生成尺寸和位置均为随机的矩形粘贴区域。将图像img(i)提取的背景
22、切片pti、pli、pbi和pri进行尺寸调整,使得其与图像img(i+1)对应的粘贴区域尺寸相同,再将其粘贴至图像img(i+1)背景上、左、下和右对应的粘贴区域。ptpttopplplleftobjectrightimg(i+1)prprpbpb(x2,y2)(x1,y1)粘贴区域背景切片切片粘贴尺寸调整.图 5图像背景切片粘贴流程Figure 5Image background slices pasting process以 batch_size=4(img(i),i=1,2,3,4)为例,基于图像背景切片生成及提取和粘贴方法的图像背景训练样本扩充方法如图 6所示,具体如下:1)对图像i
23、mg(1)按方法生成并提取上、左、下和右 4个背景切片存入缓存;2)对图像img(2)按方法生成并提取上、左、下和右 4个背景切片存入缓存;3)将缓存中的图像img(1)提取的背景切片,按方法粘贴至图像img(2)背景对应的粘贴区域;4)对图像img(3)按方法生成并提取上、左、下和右 4个背景切片存入缓存;5)将缓存中的图像img(2)提取的背景切片,按方法粘贴至图像img(3)背景对应的粘贴区域;6)为进一步增加背景特征的多样性,对图像img(4)背景按方法生成上、左、下和右 4个背景粘贴199电力科学与技术学报2023 年 3 月区域,将前 3 张图像的背景切片统一尺寸并拼接生成新的背景
24、切片,按方法将其粘贴至图像img(4)背景对应的粘贴区域。pb3pb2pb1pr3pr2pr1pl3pl2pl1pt3pt2pt1pt3pl3pb3pr3pb2pr2pl2pt2pb1pr1pl1pt1pt1pt2pl2pr1pl1pr2pb1pb2img(1)img(2)img(3)img(4)pr2pr1pr3pl2pl1pl3pt1pt2pt3pb1pb2pb3背景切片提取切片粘贴切片切片拼接图 6batch_size=4的图像背景训练样本扩充方法Figure 6Background samples expanding method forbatch_size=4为使得对不同正、负比例的
25、训练集均有较好的增强效果,该方法设置粘贴切片数和切片缩小系数2 个参数,以调整训练的正、负样本比例。2 个参数值越小,则训练图像间的背景差异越小,训练的负样本越少;反之,训练图像间的背景差异越大,负样本越多。本文取每个 batch 各训练图像粘贴的切片数量比为 0 4 4 12,且各切片尺寸缩小系数均为0.8时训练效果最佳。采用本文方法扩充的图像背景样本所训练的模型将具有很强的泛化能力,其准确率不受背景扰动的影响,断路器试验机器人在任一试验场所均能准确可靠接线。3.2基于改进 YOLOv4的推理时间优化机器人接线耗时主要包括机器人运动、图像处理和目标检测模型推理(识别和定位)时间。本文对标准
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 背景 数据 增强 改进 YOLOv4 断路器 试验 机器人 接线 定位 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。