基于深度学习的巡检机器人指针式仪表识别方法.pdf
《基于深度学习的巡检机器人指针式仪表识别方法.pdf》由会员分享,可在线阅读,更多相关《基于深度学习的巡检机器人指针式仪表识别方法.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 43卷第 3期(2024-03)油气田地面工程 https:/数字油田基于深度学习的巡检机器人指针式仪表识别方法冯文奇河北省天然气有限责任公司摘要:为了解决巡检机器人仪表识别精度不高,场景适应实用性低,无法实时处理等问题,对比分析了国内外几种不同的仪表指针识别方法,综合各类方法的优劣性,提出一种区域分割的图像处理算法与深度学习目标检测算法相结合的方法,使得指针式仪表自动识别算法趋于稳定,对环境的适应性变强。使用 YOLOv5目标检测算法进行表盘定位,通过图像平滑、颜色校正、彩色增强处理,减弱现场光线对目标区域定位的影响,然后利用区域分割的图像处理算法对指针区域和刻度线区域进行图像分割,获得
2、指针的矩形旋转中心和刻度线的最大、最小角度,根据指针角度和量程计算仪表示数,通过图像预处理和 HSV 颜色空间变换等算法提升指针提取能力。现实场景测试解决了指针仪表因受到遮挡、模糊、红线警示条等影响而难以准确进行表盘定位和指针提取的问题。实验结果表明,该方法不仅检测精度高、速度快,而且实用性强,满足机器人巡检要求。关键词:目标检测算法;区域分割;指针式仪表;仪表检测Deep Learning-based Recognition Method of Pointer Instrument for Inspection RobotFENG WenqiHebei Natural Gas Co.,Ltd
3、.Abstract:Aiming at the problems of low precision of instrument identification,low practicability ofscene adaptation,and inability of real-time processing of patrol robot,several different methods of me-ter pointer recognition at home and abroad are compared and analyzed.Based on the advantages and
4、dis-advantages of various methods,a method combining an image processing algorithm for region segmen-tation with a deep learning target detection algorithm is proposed to stabilize the automatic recognitionalgorithm for pointer instruments and enhance its adaptability to the environment.YOLOv5 targe
5、t de-tection algorithm is used for dial positioning,image smoothing,color correction,and color enhance-ment processing are used to reduce the impact of on-site light on target area positioning.Then,the im-age processing algorithm for region segmentation is used to segment the pointer area and tick m
6、ark area,obtaining the maximum and minimum angles of the pointers rectangular rotation center and tick mark.The instrument reading is calculated based on the pointer angle and range,the pointer extraction capa-bility is improved through image pre-processing and HSV color space transformation algorit
7、hms.Basedon real-scene testing,the problem of pointer instruments being affected by occlusion,blurriness,andred line warning bars,which makes it difficult to accurately locate the dial and extract the pointer,hasbeen resolved.The experimental results show that this method is not only high in detecti
8、on accuracy andspeed,but also practical,and meets the requirements of robot patrol inspection.Keywords:object detection algorithm;area segmentation;pointer instrument;instrument detection在燃气、石油化工、电力等传统工业中,需要使用各种类型的仪表来随时监测数据,保障每个设备的正常运行。其中,指针式仪表由于构造简单、不易受环境影响和成本低等优点,被广泛应用于上述场景中。但是指针式仪表通常不具备电子通讯接口,因此目
9、前大多采用人工读取的方式进行记录、DOI:10.3969/j.issn.1006-6896.2024.03.0027数字油田冯文奇:基于深度学习的巡检机器人指针式仪表识别方法油气田地面工程 https:/统计与监测。人工读取的方法存在着诸多问题,首先,工作量大且工人容易疲劳,导致检测效率低、误差大或漏检;其次,难以及时发现仪表异常,而且人工作业成本也较高。此外,英国 BP 公司等国外公司已经在站场数字化转型中,通过无线智能终端来实现设备、仪表位置标记与识别1。国内油气站场也正在探索数智化转型,通过数据自动采集技术以及对信息系统整合升级,实现生产数据的融合与共享2。为了加速长输站场数字化转型,保
10、障站场设备正常运行,有必要利用机器视觉、图像处理等手段研发一种快速自动识别仪表示数的算法,以此实现对指针仪表的不间断定期巡检。目前,针对仪表示数识别问题,国内外研究人员根据不同研究方向提出了不同的解决路线。传统仪表识别算法首先通过圆形检测实现仪表定位,然后通过骨架提取算法、canny 边缘检测、Hough 变换算法以及区域生长算法等一系列的图像处理算法检测到表盘中指针、圆心、刻度线等关键信息,最后利用距离法、角度法进行示数计算3-5。而工业场景中常伴随光照、噪声等干扰,传统算法仪表示数识别率较低。KHAN W 等针对仪表光照变化、模糊等干扰,提出了一种基于卷积操作的指针检测方法,对动态环境变化
11、的鲁棒性有所提升6。KUCH-ERUK V 等提出了一种基于指针旋转中心位置,并结合 ORB 特征提取来进行仪表示数读取的算法7。DAI等提出了将卷积神经网络用于温度表的实时识别,但仍然局限于特定种类的温度仪表8。徐发兵等提出利用优化的 YOLO9000网络模型进行仪表定位,然 后 通 过 改 进 EAST(Efficient and AccuracyScene Text 高效准确的场景文本)算法提高表盘文字的提取能力,最后根据数字的位置信息,确定指针直线和仪表圆盘的圆心9。李金红等提出了一种基于 Faster R-CNN 检测仪表圆盘和指针的算法,根据指针目标框的位置信息裁剪得到指针图像,在
12、指针图像的基础上进行二值化、细化、霍夫变换检测直线、最小二乘法拟合直线等步骤识别仪表最终读数10。董云龙等提出了一种基于细节注意力机制的卷积神经网络 MSN 算法以提高刻度线提取能力,通 过 设 计 的 细 节 注 意 力(detail-attention,DA)模块有效地提升预测热图的空间平滑性、减少对非刻度线区域的响应11。综上所述,基于传统图像处理的仪表识别方法无法适应复杂多变的工业生产环境。基于深度学习的 指 针 式 仪 表 自 动 读 数 应 用,一 般 采 用 Faster-RCNN 算法12、全卷积网络 FCN13以及 YOLO 算法14等实现仪表表盘定位,然后利用 U-Net1
13、5、Deep-lab16等图像分割算法提取仪表指针,并通过 DB17(Differentiable Binarization 可微分二值化)、EAST18等算法进行表盘数字检测,CRNN19(ConvolutionalRecurrent Neural Network 卷积递归神经网络)等算法进行文字识别。然而单纯利用深度学习进行识别需要多个模型,从而导致识别速度慢,而且当表盘出现遮挡、污渍、逆光等情况时容易产生误识别。针对现有算法识别精度不高,场景适应的鲁棒性不强,算法复杂度高,无法实时处理的缺点,提出一种传统方法与深度学习方法相结合的方法(区域分割+YOLOv5算法),使得指针仪表自动读数算
14、法趋于稳定,对环境的适应性变强。该方法具有以下特点:提出一种基于 YOLOv5 的仪表检测算法,用于工业场景中表盘定位;通过基于区域分割的算法将指针分割,并通过颜色信息、区域分割、旋转矩形等步骤来识别示数。1基于目标检测的指针式仪表识别燃气、石油化工系统中指针仪表识别主要存在以下难点:现场环境复杂,容易受到光照影响导致难以准确定位表盘区域,并进行分类;仪表表盘经常会出现各种缺陷,例如模糊、遮挡、污渍、指针阴影等现象,导致无法准确进行表盘定位、指针提取、刻度识别等(图 1);表盘种类多,且包含双指针或警示条等,影响指针定位。图 1仪表表盘缺陷Fig.1 Defect of instrument
15、dial针对以上问题,提出首先使用 YOLOv5进行仪表定位,然后利用区域分割算法实现指针和刻度提取,最后根据先验刻度值和指针角度实现示数读取。算法流程如图 2所示。YOLOv5 算法损失函数分为三部分,其中分类损失和置信度损失采用二元交叉熵损失,采用GIoU 作为边界框回归的损失函数。GIoU 方法在克服了 IoU 缺点的同时又充分利用 IoU 的优点。GIoU的公式如下:GIoU=IoU|Ac U|Ac|(1)GIoULoss=1 GIoU(2)式中:IoU为预测框与真实框的相交区域面积与并8第 43卷第 3期(2024-03)油气田地面工程 https:/数字油田集面积的比值,即交并比;
16、Ac为预测框与真实框最小闭包的区域面积,cm2;U为预测框与真实框的并集面积,cm2。图 2自动仪表识别流程Fig.2 Flow of automatic instrument recognition2基于 YOLOv5的仪表定位算法2.1YOLOv5网络结构YOLO 系列算法是典型的单阶段目标检测算法,经过不断更新迭代,已经发展到 YOLOv5,由于其能一次性完成目标定位与目标分类两个任务,因此选择 YOLOv5作为机器人仪表检测网络,如图 3所示。YOLOv5 输入端使用 Mosaic 数据增强、自适应初始锚框计算、图片缩放等对图像进行预处理;采 用 Focus 下 采 样、改 进 CSP
17、(Cross Stage PartialNetwork跨阶段局部网络)结构、SPP(Spatial Pyr-amid Pooling 空间金字塔池化)池化金字塔结构,从输入图像中提取丰富的信息特征;使用 PANet作为检测项来聚合特征,Conv 卷积模块的激活函数采用 SiLU 函数,实现了不同尺寸目标特征信息的传递,解决了多尺度问题;Head 采用三种损失函数分别计算分类、定位和置信度损失,并通过 NMS(Non-Maximum Suppression 非极大值抑制)提高网络预测的准确度。2.2仪表检测数据集全部来自于现实工业场景中的指针式仪表,并 通 过 机 器 人 进 行 采 集,图 片
18、 分 辨 率为 1 9201 080,共 5 000 张图片,这些数据图片包含部分表盘缺陷数据(图 4),例如表盘遮挡、污渍、仪表不完整等。将采集到的数据通过 Labe-limg软件进行标注,在标注过程中选取出图片中所有的仪表,自动生成 xml文件,并制作成 VOC数据集用于训练。实 验 环 境 使 用 Ubuntu20.04 操 作 系 统,使 用图 3YOLOv5网络结构Fig.3 YOLOv5 network structure9数字油田冯文奇:基于深度学习的巡检机器人指针式仪表识别方法油气田地面工程 https:/4 块 Nvidia TITAN X 显卡进行训练,采用 YOLOv5目
19、标检测模型。经过目标检测模型检测后如图 5所示。图 4部分仪表数据Fig.4 Partial instrument data图 5部分仪表检测图Fig.5 Partial instrument detection diagram3基于区域分割指针仪表识别3.1表盘区域预处理对 YOLOv5检测到的指针式仪表表盘区域依次进行图像平滑、颜色校正、彩色增强处理。其中图像平滑是为了去除图像中产生的噪声,减少噪点对识别示数的干扰。然后进行颜色校正,以减少图像中的颜色与真实世界的颜色误差。最后采用对比度受限的自适应直方图均衡算法进行增强,该算法在局部区域利用极限值对图像直方图进行裁剪,使图像不会出现过分增
20、强。采用均值滤波进行平滑处理,其中滤波器的大小为 3;使用灰度世界算法进行颜色校正,灰度世界算法通过 R、G、B 每个通道的颜色均值与三通道均值的增益更新 RGB 颜色的值,如公式(3)所示;采用伽马变换进行彩色增强,伽马值取 2,伽马变换如公式(4)所示。kr=meanrgbmeanr;kg=meanrgbmeang;kb=meanrgbmeanb(3)式中:kr为红通道增益;kg为绿通道增益;kb为蓝通道增益;meanrgb为红、绿、蓝三个通道的平均值;meanr为红通道平均值;meang为绿通道平均值;meanb为蓝通道平均值。s=cr(4)式中:s为线性变换后的输出;c为灰度缩放系数;
21、r为图像的每个像素点;为调节常数。3.2指针及刻度线分割3.2.1指针区域提取表盘区域经过预处理后,需要将 RGB 空间图像转换成为 HSV 颜色空间,以方便分离彩色和亮度信息,并且能够保留彩色信息不变,为后续指针和刻度分离提供帮助。HSV 颜色空间由 H(hue)、S(saturation)、V(intensity value)三个分量组成,更符合人眼视觉系统,HSV颜色空间模型如图 6所示。图 6HSV颜色空间模型Fig.6 HSV color space model获得 HSV 颜色空间后,进行指针和刻度线提取。由于表记指针和刻度通常为了便于读取,颜色常呈黑色,HSV 空间中黑色分量的范
22、围是 H0,180、S0,255、V0,46,为了进一步扩大提取黑色的范围,V 的取值范围设置为0,60。设此时颜色提取的结果为 mask1。由于指针通常位于表盘中心附近,为了进一步将指针区域提取出来,在图像中心点附近利用分水岭分割算法对 mask1进行区域分割,经区域分割后即得到指针区域。获得完整指针区域后,对连通分量进行矩形框包围,此时连通分量的长半轴与指针方向平行,且旋转角度也相同,如图 7所示。图 7指针提取路线Fig.7 Pointer extraction route3.2.2指针角度确定经过上节得到旋转角度后,指针还无法确定具10第 43卷第 3期(2024-03)油气田地面工程
23、 https:/数字油田体的转向角度,需要根据指针头的指向确定正确的角度。采用的方法是计算旋转矩形的中心,建立与表记图像大小等价的笛卡尔坐标系(图 8),然后根据中心点落在笛卡尔坐标系的象限位置来确定指针方位。按逆时针方向计算,每个象限的角度范围是:0,90)、90,180)、180,270)、270,359,例如中心点在第二象限,那么角度范围应该是90,180)。图 8笛卡尔坐标Fig.8 Cartesian coordinate3.2.3刻度线区域提取设旋转矩形的中心点为圆心,计算旋转矩形的长半轴的长度,取长半轴长度的 0.7 倍作为半径r。在 mask1上,以 mask1圆心为原点,r为
24、半径的内接圆区域填充。在 mask1 计算最大轮廓外接圆,并进行形态学腐蚀,消除表盘区域,此时区域即为刻度线区域(图 9)。图 9最大轮廓外接圆与内接圆、刻度线区域Fig.9 Maximum contour circumcircle and incircle,tick mark area3.3仪表示数计算通过计算每个刻度线坐标到图像左下角和右下角坐标的欧式距离,确定刻度线量程的坐标,即离图像左下角和右下角最近点的坐标。计算两点到旋转矩形中心的角度得到刻度量程的最大角度()Amax与最小角度()Amin。设此时指针的旋转角度为Ar,量程范围A与起始刻度值B已知,最终示数C如公式(5)得出。C=B
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 深度 学习 巡检 机器人 指针 仪表 识别 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。