基于VCA-UNet的全自动指针式仪表读数方法.pdf
《基于VCA-UNet的全自动指针式仪表读数方法.pdf》由会员分享,可在线阅读,更多相关《基于VCA-UNet的全自动指针式仪表读数方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、 仪 表 技 术 与 传 感 器Instrument Technique and Sensor2024 年第 2 期基金项目:国家自然科学基金项目(52067021);新疆维吾尔自治区自然科学基金面上项目(2022D01C35);新疆维吾尔自治区优秀青年科技人才培养项目(2019Q012)收稿日期:2023-06-24基于 VCA-UNet 的全自动指针式仪表读数方法刘煜博,吐松江卡日,伊力哈木亚尔买买提,张淑敏,崔传世新疆大学电气工程学院 摘要:针对现有仪表读数方法易受光照不均等因素影响,而导致读数误差大的问题,提出一种基于深度学习的全自动指针式仪表读数方法。首先,引入 YOLOv7 网络提
2、取表盘区域;其次,采用文中提出的 VCA-UNet(VGG16Net,improved skip connections and ASPP based U-Net)网络用于分割刻度线和指针;最后,引入 PP-OCRv3 网络自动获取仪表量程,并利用角度法确定仪表示数。实验结果表明:VCA-UNet 网络的 MIoU 和 MPA 值较 U-Net 网络分别提升 18.48%和 9.36%,且普遍高于其他经典分割网络,仪表读数的平均相对误差为 0.614%,且泛化实验的读数绝对误差相对较小,验证了读数方法的准确性和泛化性。关键词:指针式仪表;读数识别;语义分割;YOLOv7;U-Net;PP-OC
3、Rv3中图分类号:TH703;TP391 文献标识码:AAutomatic Pointer Instrument Reading Method Based on VCA-UNetLIU Yubo,TUSONGJIANG Kari,YILIHAMU Yaermaimaiti,ZHANG Shumin,CUI ChuanshiSchool of Electrical Engineering,Xinjiang UniversityAbstract:Aiming at the problem that the existing instrument reading methods are easily
4、 affected by unequal illumination fac-tors,which leads to large reading errors,a fully automatic pointer instrument reading method based on deep learning was pro-posed.First,the YOLOv7 network was introduced to extract the dial area.Secondly,the VCA-UNet(VGG16Net,Improved Skip Connections and ASPP b
5、ased U-Net)network proposed in this paper was used to separate the scale and pointer.Finally,the PP-OCRv3 network was introduced to obtain the instrument range automatically,and the instrument representation number was de-termined by angle method.The experimental results show that the MIoU and MPA v
6、alues of VCA-UNet network are 18.48%and 9.36%higher than those of U-Net network respectively,and are generally higher than other comparison networks.The average relative error of meter reading is 0.614%,and the absolute error in the generalization experiment is relatively small,which verifies the ac
7、curacy and generalization of the reading method.Keywords:pointer instrument;reading recognition;semantic segmentation;YOLOv7;U-Net;PP-OCRv30 引言工业生产环境中,通常存在大量压力表、温度表和电压表等仪表用于测量和监视设备的运行状态,这些表多数都是指针式仪表。一是因其具有结构简单、抗干扰能力强、价格低廉等优点1;二是因具有数据传输功能的数显式和电子式仪表易受环境中电磁干扰产生数据失真现象2;三是因现阶段指针式仪表已经大规模应用,短时间改造升级难度大、成本高3
8、。目前,指针式仪表普遍采用人工读数方式获取仪表示数,但该方法读数精度不高,且在高磁高辐射环境,例如变电站,巡检人员的危险系数也会增加4。因此,采用指针式仪表自动读数代替人工读数具有极高的实用价值。目前,已有大量基于传统计算机视觉获取仪表读数的研究。文献5结合椭圆检测和向心线段检测算法获取仪表表盘区域,利用阈值分割方法确定指针;文献6采用两次模板匹配法对仪表表盘进行定位裁剪,然后采用 Hough 圆检测圆形表盘和圆心坐标;文献7提出基于轮廓的内嵌关系提取表盘区域与基于EDlines 直线检测算法的指针检测完成最终的读数。但是此类算法对处理的仪表图像背景要求较高,无法应对复杂多变的仪表实际应用环境
9、。卷积神经网络(convolutional neural network,CNN)因具有较强的泛化能力,逐渐应用在仪表读数识别领域。文献8采用 Mask R-CNN 网络获取指针和刻度关键点,但关键点的检测易受反光和光照不均影响而63 第 2 期刘煜博等:基于 VCA-UNet 的全自动指针式仪表读数方法 引入较大误差;文献9设计了一种预测刻度线区域热图的 MSN 网络,在热图基础上先后进行圆拟合和采样操作对刻度和指针定位;文献10采用 U-Net 网络获取指针轮廓,但该仪表数据集拍摄条件较理想,使模型鲁棒性相对较弱;文献11通过改进 U-Net 网络结构,提升其仪表刻度线的分割精度;文献12
10、采用改进后的 U-Net 分割网络分割表盘中的刻度和指针像素区域,但其分割指针轮廓存在模糊现象;文献13采用 Deeplabv3+分割网络分割刻度线,但在光线较差的情况下分割图中会出现刻度线黏连现象,分割精度相对较差。以上研究表明,在仪表区域检测阶段,采用卷积神经网络可以实现不错的检测效果,而在仪表读数信息(刻度线和指针)的分割和定位阶段,会因采用方法的某些特性存在一些问题。这些问题主要由两方面组成:一方面是实际环境中拍摄的仪表图像存在光照不均和光反射情况,这些情况对分割和定位结果影响较大14;另一方面是现有的分割算法不能有效分割像素面积占比小的刻度线,分割边缘存在模糊现象而影响最终读数效果1
11、5。为解决上述问题,提出一种基于深度学习的全自动指 针 仪 表 读 数 方 法。在 目 标 检 测 阶 段,引 入YOLOv7 目标检测网络,提高仪表区域的检测精度;在仪表读数信息的分割和定位阶段,提出一种 VCA-UNet 分割网络,该网络能够在光线干扰的情况下准确分割出仪表刻度线和指针;在读数识别阶段,引入PP-OCRv3 文本识别网络,使仪表读数无需提前获取先验知识,并采用角度法确定仪表示数。1 基于 YOLOv7 的仪表表盘区域定位1.1 YOLOv7 目标检测网络鉴于部分仪表安装环境恶劣、拍摄距离不定等因素,使处理的仪表图像(如变电站巡检中拍摄的图像)具有表盘占比不定和图片背景复杂的
12、特点,而传统计算机视觉处理无法有效提取仪表表盘区域,本文引入检测速度与精度都超过大部分已知目标检测网络的YOLOv7 网络16检测表盘区域。YOLOv7 网络主要分为输入、主干、颈部和预测 4 部分。首先,输入部分将输入图像经过预处理操作缩放到固定尺寸;接着,主干部分对处理后的图片进行不同层次的特征提取;随后,颈部部分对不同层次特征层进行融合和通道调整,得到大、中、小 3 种不同尺寸的特征层;最终,融合后的不同尺寸特征层会被输入预测部分,输出最终预测结果。1.2 模型训练与测试将 3 576 张不同环境下拍摄的指针式仪表图像作为 YOLOv7 网络的数据集,并借助标注软件 Labelimg对数
13、据集进行仪表区域标注,生成与原图一一对应的标签文件。本文将数据集按照 9 1 的比例随机划分训练集(3 218 张)与测试集(358 张)。图 1 展示了YOLOv7 网络对部分指针式仪表图像表盘区域提取结果。从图 1 可以看出:YOLOv7 网络可以从复杂多变的背景环境中准确检测出仪表表盘区域,能够有效满足实际应用需求。图 1 YOLOv7 网络针对表盘区域的提取结果示例2 基于 VCA-UNet 的仪表刻度与指针分割2.1 U-Net 图像分割网络U-Net 网络17在 2015 年的 ISBI 细胞跟踪挑战赛上提出后,被广泛应用在医学图像分割方面。U-Net网络的编码器结构通过4 次下采
14、样操作获取不同感受野的特征层,但下采样操作会导致特征图的部分边缘信息缺失18,从而降低分割的准确性,而后续跳跃连接和解码器均不能有效还原下采样带来的信息缺失。针对以上问题,本文通过改进其编码器和跳跃连接部分,有效解决该网络在分割刻度时存在边缘模糊的问题。2.2 基于分割网络 U-Net 的改进2.2.1 采用 VGG16Net 代替原编码器为确保网络能够从光照不均的仪表图像中准确分割出指针与刻度的像素信息,采用拟合能力更强的VGG16Net19的部分特征提取结构替代 U-Net 网络的编码器结构,有效提升分割网络的特征提取能力。但考虑到随着 VGG16Net 网络结构加深,虽然使高阶语义信息的
15、提取能力更强,但计算量也会随之增加。因此,采用 VGG16Net 的第 4 次下采样之前的网络结构代替 U-Net 网络中的编码器部分,能够有效捕捉仪表图像中的多尺度信息。VGG16Net 部分网络结构如图2 所示。2.2.2 引入空洞空间金字塔池模块U-Net 网络通过下采样操作获取更大感受野,降低73 仪 表 技 术 与 传 感 器第 2 期图 2 VGG16Net 的部分网络结构图网络计算量,但这种方式会使细节边缘特征容易丢失,获取细节边缘信息的能力降低。而空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)模块20通过并连4 种不同膨胀率的空洞卷
16、积来捕捉多尺度图像信息,在增大感受野的同时获取不同层次特征信息,尽可能保留细节边缘特征21。ASPP 模块先采用四种不同膨胀率的空洞卷积和全局平均池化(global average pooling,GAP)获取多尺度的图像特征,然后将输出的特征层进行拼接融合操作,接着经过卷积核进行通道数调整,最后输出相应的特征层。ASPP 模块结构图如图 3 所示。2.2.3 改进跳跃连接为改善网络对刻度分割任务极为重要的浅层特征层的利用权值,在跳跃连接结构中添加压缩和激励网络(squeeze and excitation network,SE-Net)模块22,SE-Net 模块网络结构如图 4 所示。利用
17、其自适应学习能力,根据特征信息的重要程度进行赋权值处理,加强浅层特征对最终输出分割结果的影响权重,进而提升网络对刻度线的分割精度。为解决分割刻度时存在边缘模糊的问题,对跳跃图 3 ASPP 网络结构图图 4 SE-Net 网络结构图连接结构进行相应改进,改进后的跳跃连接结构图如图 5 所示。首先,对原跳跃连接输入的 4 层特征层和第 4 次下采样操作后的第 5 个特征层分别经过对应数量的最大池化、上采样和卷积操作进行尺寸调整。为减少跳跃连接计算量(采用最大池化、上采样、卷积操作次数最少的操作),将这 5 个特征层分别调整到第 3层特征层相应的尺寸。接着,将相应特征层进行拼接处理,并将拼接后的特
18、征层经过卷积操作进行通道数调整,随后采用 SE-Net 网络处理输出特征层,有效改善不同特征信息的重要权值。最后,借鉴特征复用思想23,将跳跃连接输入的原特征层分别与调整后的特征层进行拼接处理,随即进行通道调整并输出。图 5 改进后的跳跃连接结构图83 第 2 期刘煜博等:基于 VCA-UNet 的全自动指针式仪表读数方法 2.2.4 VCA-UNet 网络结构针对 U-Net 网络的分割效果存在边缘模糊的问题,提出了 VCA-UNet 网络,其网络结构如图 6 所示。VCA-UNet 网络主要由编码器、跳跃连接和解码器 3部分组成。编码器部分采用 VGG16Net 部分网络结构,准确拟合出输
19、入图像所含特征;改进后的跳跃连接部分一定程度上弥补下采样造成的信息缺失,增加对刻度分割极为重要的浅层特征权重;对解码器首端输入的特征进行 ASPP 操作,增大感受野的同时尽可能保留完善的细节边缘特征;解码器部分将上采样输出的特征层和跳跃连接输出的特征层进行融合,输出最终预测的分割图。图 6 VCA-UNet 网络结构图3 基于 PP-OCRv3 的量程识别与读数3.1 PP-OCRv3 文本识别网络本文引入检测速度快、精度高的轻量型文本识别网络 PP-OCRv324。获取仪表量程信息,提升仪表读数方法的自动化程度,识别流程图如图 7 所示。图 7 PP-OCRv3 网络获取量程的流程图3.2
20、指针式仪表读数流程设计VCA-UNet 分割网络的分割结果已经排除所有字符和光照的干扰,仅保留仪表读数需要的指针、刻度线和量程区域。考虑到 VCA-UNet 网络分割精度较高,采用 Hough 直线检测法即可直接获取准确角度,故本文采用角度法获取仪表示数。VCA-UNet 分割网络输出的指针和刻度线分割图中,各连通域按照像素面积大小降序排序,面积最大的即为指针连通域,其余为仪表刻度线连通域,采用Hough 直线检测法获取指针连通域的角度值。而VCA-UNet 分割网络输出的量程数字分割图中,各连通域位置对应仪表量程位置,下文称该连通域为量程连通域。图 8 展示了原图及刻度、指针和量程对应的分割
21、图。图 8 原图及刻度、指针和量程对应的分割图首先,根据各量程连通域中心点坐标距离指针连通域中心点坐标的远近进行升序排序,但因考虑到会存在仪表指针覆盖仪表量程的情况,如图 9(a)所示,影响后续 PP-OCRv3 网络获取量程信息,故将距离指针连通域最近的量程连通域滤除,只选取距离指针连通域第 2 与第 3 近的量程连通域,并通过上文介绍的 PP-OCRv3网络获取用于读数的 2 个量程信息、,如图 9(b)所示。(a)指针覆盖量程示意图(b)具体量程信息获取流程图图 9 量程信息获取情况93 仪 表 技 术 与 传 感 器第 2 期其次,考虑到与量程值关联的刻度线长度相较于其余刻度线更长,故
22、根据刻度线连通域最小外接矩阵的长边筛选出较长的刻度线,即长刻度线连通域。依据距离关系,在长刻度线连通域中筛选出距离指针最近的 7 个长刻度线连通域,同样也依据距离关系,从 7个长刻度线连通域中分别筛选出与上述的2 个量程连通域距离最近的 2 个长刻度线连通域,依据 Hough 直线检测方法即可分别返回各长刻度线连通域对应的角度 X1、X2。此时,长刻度线角度和与之关联的量程信息一一对应,相应的刻度线获取流程如图 10 所示。图 10 获取量程对应刻度线的流程图最后,通过上文得到的两个刻度线角度 X1、X2,与之关联的两个量程信息 Y1、Y2和指针对应的角度值V1,即可根据计算公式求得相应的仪表
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 VCA UNet 全自动 指针 仪表 读数 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。