声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法.pdf
《声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法.pdf》由会员分享,可在线阅读,更多相关《声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法.pdf(12页珍藏版)》请在咨信网上搜索。
1、第 43 卷 第 1 期Vol.43,No.12024 年 1 月Journal of Applied AcousticsJanuary,2024 研究报告 声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法张 寒1,2熊 云1,2唐 信1,2王 枭3(1 国网湖南超高压变电公司长沙410000)(2 变电智能运检国网湖南省电力有限公司实验室长沙410000)(3 上海睿深电子科技有限公司上海200237)摘要:为提升电力变压器工作状态的智能监测水平,提出声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法。基于图形差分场技术将声纹信号映射为二维图像,再借助多头注
2、意力机制的视觉转换器实现图像信息的深层挖掘与状态辨识,采用梯度加权类激活映射实现分类结果的可解释性分析。搭建了包含变压器4种典型工作状态下的实验模拟测试系统平台,实验结果表明:所提方法不仅能够有效表征变压器声纹信号的状态特征,且分类辨识精度相较于“时频图+引入多头注意力机制的变换网络”与“图形差分场+引入残差模块的卷积神经网络”的常规方法有显著提升,提升约6%,同时也具备较好的鲁棒性,可为电气设备的故障检测研究提供一定参考。关键词:图形差分场;多头自注意力机制;变压器;状态辨识中图法分类号:TM595文献标识码:A文章编号:1000-310X(2024)01-0119-12DOI:10.116
3、84/j.issn.1000-310X.2024.01.015Transformer working state identification method based on voiceprint signal-motifdifference field enhancement and multi-head self-attention mechanismZHANG Han1,2XIONG Yun1,2TANG Xin1,2WANG Xiao3(1 State Grid Hunan Extra High Voltage Substation Company,Changsha 410000,Ch
4、ina)(2 Substation Intelligent Operation and Inspection Laboratory of State Grid Hunan Electric Power Co.,Ltd.,Changsha 410000,China)(3 Shanghai Rhythm Electronic Technology Co.,Ltd.,Shanghai 200237,China)Abstract:In order to improve the intelligent monitoring level of power transformer working state
5、,a method oftransformer working state identification based on motif difference field(MDF)voiceprint signal enhancementand multi-head self-attention mechanism is proposed.Based on the MDF technology,the sound signal ismapped into a two-dimensional image,and then the depth mining and state recognition
6、 of image informationare realized with the help of the visual converter of multi-head attention mechanism,and the explanatorypower analysis of classification results is realized by using gradient weighted class activation mapping.Theexperimental simulation test system platform containing four typica
7、l operating states of the transformer isconstructed,and the experimental results show that the proposed method not only can effectively characterizethe state characteristics of the transformer acoustic signal,but also has a higher classification accuracy compared2023-07-24收稿;2023-10-14定稿国网湖南省电力有限公司科
8、技项目(5216A3210014)作者简介:张寒(1975),男,湖南长沙人,博士,高级工程师,研究方向:高压试验及带电检测技术。通信作者 E-mail:wangxiao_1202024 年 1 月with the“time-frequency+transformer network with multi-head self-attention mechanism”and the“MDF+visual converter with multi-head attention mechanism”,which is about 6%,and also has better robustness,w
9、hich can provide a certain reference for the research on the detection of faults in electrical equipment.Keywords:Motif difference field;Multi-head self-attention mechanism;Transformer;State identification0 引言电力变压器是输变电设备中的核心设备,其主要用于电压转换和电能分配1。变压器结构复杂,在长期运行后不可避免地存在问题,因此其故障率一直居高不下2。因此,开展电力变压器故障检测与诊断方法
10、研究,及时有效识别变压器故障,对于保障电网安全、减少经济损失有着重要的意义。变压器最为常见的故障主要分为以下3种:绝缘故障、过热故障及机械故障。当设备部件出现故障后,会向外辐射温度、电磁、光学以及振动信号,常规变压器状态检测方法也主要针对上述状态量展开分析,如油色谱检测、红外热成像检测、局放检测等34。由于电力变压器在运行过程中形成的振动信号会向外辐射为声信号,可作为设备缺陷有效的诊断依据。相比于其他常规检测方法,声学检测凭借其非接触式检测安全、测试简单、无需停电等特点,非常适合于数量众多的变压器设备状态检测,因此也成为了近些年的研究热点56。针对于变压器的声学信号检测处理方法主要有:傅里叶变
11、换、小波包变换等,利用上述方法获取设备不同状态下的时频特征以进一步挖掘深层状态特征。钱苏翔等7针对变压器绕组故障难以辨识问题,提出了一种基于频率响应法和小波包特征能量提取的变压器故障诊断方法,实验验证了方法的可靠性;耿琪深等8提出了一种基于Gammatone倒谱系数和鲸鱼算法优化随机森林的变压器机械故障声诊断方法,对某10 kV干式变压器正常与典型机械故障下声信号的计算结果表明,该诊断方法能够较好地识别出故障信号,并具有良好的抗噪性能和鲁棒性。尽管基于声纹信号的变压器状态监测方法获得了良好的效果,但目前该方法的特征提取仍以人工为主,需要操作人员具备丰富的声学信号分析及状态监测经验;同时,由于电
12、力变压器应用场景广、应用数量多、运行周期长,采集获得的声纹监测数据往往呈现海量化、多模态化的特征,人工操作将耗费大量时间精力,因此亟需一种智能化的变压器状态在线监测方法910。深度学习是一种可靠的智能辨识技术,凭借学习性能优异、适应性强等优势逐渐被应用于机械设备的智能诊断领域。王昕等11提出一种基于迁移学习和卷积神经网络的电力设备图像识别方法,并利用实际数据验证了所提方法能够提升学习效率和精度;黄文礼等12针对变压器结构复杂、维护成本高等特点,提出一种基于深度学习的变压器故障信号识别算法,并基于实验证明了所提方法的可行性。然而,上述方法仍存在一定不足:常规神经网络难以充分利用时间序列数据的内在
13、特性,可能会造成部分信息的丢失进而使得辨识精度下降。同时常规深度神经网络往往是一个黑箱模型,难以明晰其内部工作原理与辨别逻辑。近期,Zhang等提出了一种图形差分场(Motifdifference field,MDF)方法13,该方法在将一维时域信号转化为二维图像的同时,充分保留了时域信号的时间参量信息与非线性特征,进而在时间序列预测领域得到了应用14。但目前在电力设备的状态监测领域还未见文献介绍。针对上述问题,提出了一种基于MDF信号增强和多头自注意力机制的变压器工作状态辨识方法。通过搭建10 kV电力变压器设备的缺陷模拟实验系统,模拟了变压器正常状态、绕组松动状态、铁芯松动状态以及表面放电
14、4种典型缺陷,采集了相应状态的声纹信号,借助MDF技术将一维时域信号映射为二维图像,利用多头自注意力机制的Vision Transformer分类模型实现了电力变压器设备状态的有效辨识,并引入梯度加权类激活映射(Gradient-weighted class activation mapping,Grad-CAM)突出了模型的可解释性。1理论介绍1.1MDFMDF是一种将时间序列转换为图像的方法,具备提高时间序列的可视化和特征提取效果等优势,目前主要应用于时间序列的复杂性测量、动态系统表征等领域13。第43卷 第1期张寒等:声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法12
15、1假设有一离散总点数为N 的时域信号y=y1,y2,yN,可定义时域信号y 的图像集Gnd14:Gnd=Gnd,s,s=1,2,N (n 1)d,(1)式(1)中,d表示为步长,n (1,N)表示图像个数,Gnd,s=yi,i=s,s+d,s+2d,s+(n 1)d,s表示为计算的时间窗口长度。则有图像差分集dGnd:dGnd=dGnd,s,s=1,2,N (n 1)d,(2)式(2)中,dGnd,s=ys+d ys,ys+2d ys+d,ys+(n1)d ys+(n2)d。由于差分集dGnd长度不一致,还需进行补零操作、构造新集合Hnd,s:Hnd,s=dGnd,s,s 1,N (n 1)d
16、,0,sN(n1)d,N (n1).(3)定义MDF图像Mn:Mn=Hn1,Hn2,Hndmax,(4)式(4)中,Hndmax表示步长dmax时所对应的n 1个集合,即可产生n 1个通道图像。对于第j 个通道,定义图像数组Knj为Knj=Hn1(j),Hn2(j),Hnd(j),Hndmax(j)T,(5)式(5)中,Hnd(j)=Hnd,1(j),Hnd,2(j),Hnd,Nn+1(j)T,上标“T”表示转置。为填补Knj中的零元素,可定义MDF图像的每一个通道为Lnj=Knj+Pn Knj,(6)式(6)中,Pn=0,s 1,N (n 1)d,1,s N (n 1)d,N (n 1),表
17、示哈达玛积15,Knj是由Knj旋转180得到。由上述公式可知,利用MDF方法在将一维时间序列映射为二维图谱的同时,可充分保留时间序列的状态特征信息。图1为该方法的实现流程。1.2基于多头自注意力机制的Vision Trans-former分类算法在将电力变压器设备的原始时域声纹信号映射为二维图像后,为进一步辨识设备的运行状态,还需选择合适的深度学习网络以实现最终的状态辨识。Vision Transformer是一种基于自注意力机制的深度学习模型,其凭借特征提取能力快、特征融合强以及运行效率高等特点被广泛应用于文本分类、图像分类等领域1617。拟以Vision Transformer为基础,通
18、过引入多头自注意力机制18增强算法的深层特征感知性能,最终实现不同变压器状态的可靠辨识,其主要实现流程包括以下4个步骤:050100150200-15-10-505T10-3?MDF?图1MDF流程示意Fig.1 Schematic diagram of MDF flow1222024 年 1 月(1)图像数据的序列化处理首先对原始图像集合进行归一化、缩放等操作,并提取图像集合的特征矩阵;然后划分特征矩阵并将图像块转化为序列化数据,通过展平操作将每个图像块重塑为一维向量,并按照预定义顺序进行编码,得到代表每个图像块的序列化数据,其转换公式如下:xk,i=W0 vec(F(bk,i)+pk,i,
19、(7)式(7)中,bk,i表示第k个块中的第i个位置,F()表示特定的非线性变换函数,vec()表示将矩阵展平成向量,W0和pk,i是可学习参数。关于编码方式通常采用字典编码19、哈希编码20等。(2)位置嵌入采用位置嵌入和Patch嵌入相加的方式引入位置信息,位置嵌入如图2所示,编号08的方框表示各个位置的位置嵌入,而数字框右侧方框则代表经过线性投影之后的展平向量。(3)学习嵌入对输入的向量进行查询、键、值线性变换,得到相应多头变换向量,并分别进行自注意力计算,将多头的结果拼接得到最终输出。假设输入的向量为x,查询、键、值线性变换的权重矩阵分别为Wq、Wk和Wv,则有变换后的向量分别为Q=x
20、Wq,K=xWk,V=xWv.(8)将Q、K、V 分别拆分成h个头,则有Qihi=1,Kihi=1,Vihi=1。对于每个头i 1,h,计算其对应的注意力权重i:i=softmax(QiKTidk),(9)式(9)中,dk为缩放因子,用于缓解点积计算时的梯度消失问题21。0*12345678Transformer?MDF?图2位置嵌入示意Fig.2 Schematic diagram of position embedding对每个头的注意力权重i与对应的值矩阵Vi进行相乘与拼接操作,可得MA(Q,K,V)=Concat(iVihi=1)Wm,(10)式(10)中,Concat()表示拼接操作
21、,MA表示多头自注意力机制,最后再通过一个线性变换得到最终输出。(4)Transformer编码器引入Transformer编码器充分挖掘输入数据集的深层特征信息,将输入集中的每个向量映射到一个更高维度的空间。图3为Transformer编码器的基本框架,由图3可知,Transformer编码器由交替层的多头自我注意机制和多层感知器组成。同时,在每个子块之前应用标准化块以提升模型鲁棒性、降低复杂度,在每个子块之后应用剩余连接以缓解梯度消失和梯度爆炸问题并加速模型收敛速度。?Patches?+L?图3Transformer编码器框架示意Fig.3 Schematic diagram of Tra
22、nsformer encoderframework1.3基于Grad-CAM的特征可视化常规深度神经网络通常包含数百个或数千个神经元及其之间复杂的连接和权重关系,这种复杂第43卷 第1期张寒等:声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法123性使其具有强大的计算和模式匹配能力,但也使其内部的工作机制变得异常复杂,通常难以明晰其内部工作原理与辨别逻辑22。基于上述问题,利用实现简单、计算高效等诸多优势的Grad-CAM23以突出分类结果的可解释性。对于任一输入图像x,在利用深度神经网络处理后,可得到预测结果yc以及对应的分类标签c。再利用反向传播算法计算得到梯度张量Ak
23、Ruv,其中下标k表示最后一个卷积层的通道数,R表示张量的秩,上标u和v分别表示图像相邻像素之间的水平和垂直方向上的梯度分量。对梯度张量Ak进行全局平均池化操作使其沿通道维度进行池化,进而得到一个长度为k的权重向量w Rk,具体计算方式为wk=1ZijAk(i,j),(11)式(11)中,Z=kwk为标准化的常数项,其作用在于保证权重向量w满足长度为1;(i,j)表示像素点的位置。将权重向量w与卷积层的特征图进行加权求和,得到每个位置的激活值LGrad-CAM(i,j):LGrad-CAM(i,j)=ReLUkm=1wmAm(i,j),(12)式(12)中,ReLU表示激活函数。在将每个像素点
24、位置上的激活值按照权重进行加权求和后,即可得到一个数值,其表示输入图像中与分类结果最相关的区域,即Grad-CAM的可视化结果。1.4基于声纹信号MDF增强和多头自注意力机制的变压器工作状态辨识流程由前文可知,MDF方法能够更好地表征一维时域信号的状态参量,而基于多头自注意力机制的Transformer分类算法则可实现特征信息的深度挖掘。因此,本文结合两者之间的特点,提出了一种基于MDF信号增强和多头自注意力机制的变压器工作状态辨识方法,并引入Grad-CAM突出模型的可解释性。其具体实施步骤如下:(1)声纹信号采集:在变压器前方布置声传感器以进行原始声纹时域信号的采集。(2)图像映射:利用M
25、DF方法将采集得到的不同工作状态下的变压器声纹信号映射为二维图像,进而建立原始二维图像集合。(3)模型训练:将步骤(2)得到的图像集合输入到基于多头自注意力机制的Vision Transformer分类器中,首先进行特征提取得到特征图,其次对特征图的每个像素点位置进行多头注意操作,并将结果压缩为一个向量,接着通过全连接层进行深层感知与特征组合,最后将得到的特征数据通过SoftMax激活函数层实现图像的分类辨识。2实验验证2.1实验设置为验证所提方法的可行性与有效性,以一台型号为SC 800/10的干式变压器为实验对象进行实验,实验在半消声室进行,其长宽高尺寸为13 m10 m7 m,本底噪声为
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 声纹 信号 图形 分场 增强 多头 注意力 机制 变压器 工作 状态 辨识 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。