基于多重注意力机制优化的卷积网络故障诊断方法.pdf
《基于多重注意力机制优化的卷积网络故障诊断方法.pdf》由会员分享,可在线阅读,更多相关《基于多重注意力机制优化的卷积网络故障诊断方法.pdf(8页珍藏版)》请在咨信网上搜索。
1、现代电子技术Modern Electronics Technique2023年11月1日第46卷第21期Nov.2023Vol.46 No.210 引 言在国防、军事和航天等专业领域对模拟电路进行大量运用的背景下,整个电路测试研究领域对模拟电路故障评估方案的青睐度也越来越高1。据统计数据表明,在所有的模拟电路故障事件中,各类元器件故障的占比高达 80%以上。因为对整个电子系统而言,拥有完整的模拟电路对整个系统的构建过程十分重要,故对元器件故障的准确诊断是确保电子系统稳定运行的重要前提24。面对一系列的电路系统Bug测定问题,全球有很多专家均针对性的进行了有关研究。而在相关领域愈来愈向高度智能化
2、的方向迈进的趋势下,将信号处理与知识融合实施相互结合的故障测试方案5在近些年开始受到愈来愈多的关注,由于此方案对目标电路的模型并无需求,故在具体工作中受到大量青睐。该方法总体思路是对原始数据进行特征提取后再根据特征进行分类。其中,文献6采用以多分类自适应神经模糊推测系统为基础推出的故障检测方案,提取信号多种时频域特征进行模型训练。文献7选择输出信号的熵和峰度作为故障特征,并推出以粒子群算法为基础进行改进获得一类人工神经网络模拟电路故障测定方案。此外,文献8在对相关输出信号实施分数阶傅里叶变换操作之后总结基于多重注意力机制优化的卷积网络故障诊断方法张汉霖,王 贞,吴志勇,赵 康,闫正义,张 雨,
3、寇超凡(青岛大学 电气工程学院,山东 青岛 266000)摘 要:为了进一步提高模拟电路故障诊断的正确率,提出一种基于多重注意力机制的一维卷积神经网络故障诊断方法。该方法针对数据的维度调整网络参数,采用自适应力矩估计算法为不同的参数设计独立的自适应性学习率从而训练网络,并引入多重注意力机制以增强网络提取特征的能力,从而提高诊断正确率。实验结果表明,在对SallenKey滤波器电路诊断测试时正确率达到100%,在对四运放双二阶滤波电路进行故障诊断时,该方法仍具有99.74%的正确率,相比不添加注意力机制的方法高出1.8%,展现出较强的诊断能力。关键词:故障诊断;模式识别;深度学习;一维卷积神经网
4、络;模拟电路;注意力机制;特征提取中图分类号:TN71134 文献标识码:A 文章编号:1004373X(2023)21006808Convolutional network fault diagnosis method based on multiple attention mechanism optimizationZHANG Hanlin,WANG Zhen,WU Zhiyong,ZHAO Kang,YAN Zhengyi,ZHANG Yu,KOU Chaofan(College of Electrical Engineering,Qingdao University,Qingdao 2
5、66000,China)Abstract:A onedimensional convolutional neural network fault diagnosis method based on multiple attention mechanism is proposed to further improve the accuracy of fault diagnosis of analog circuits.In this method,the network parameters are adjusted according to the dimensions of the data
6、,the adaptive moment estimation algorithm is used to design independent adaptive learning rates for different parameters to train the network,and a multiple attention mechanism is introduced to enhance the ability of the network to extract features,so as to improve the diagnostic accuracy rate.The e
7、xperimental results show that the diagnosis accuracy rate of the SallenKey filter circuit reaches 100%,and the method still has an accuracy rate of 99.74%when troubleshooting the quad op amp dual secondorder filter circuit,which is 1.8%higher than the method without adding attention mechanism.The re
8、sult shows that the method has strong diagnostic ability.Keywords:fault diagnosis;mode recognition;deep learning;onedimensional convolutionneural network;analog circuit;attention mechanism;feature extractionDOI:10.16652/j.issn.1004373x.2023.21.014引用格式:张汉霖,王贞,吴志勇,等.基于多重注意力机制优化的卷积网络故障诊断方法J.现代电子技术,2023
9、,46(21):6875.收稿日期:20230316 修回日期:20230407基金项目:山东省自然科学基金项目(ZR201911140024);山东省本科教学研究项目(M2020062)资助6868第21期了 诸 多 统 计 特 性,采 用 主 成 分 分 析(Principle Component Analysis,PCA)进行特征降维后输入支持向量机(Support Vector Machine,SVM)进行模型训练,基于事先准备好的 SVM 模型实施相应的故障机制区分,小波变换等信号处理方法也在非线性系统故障特征提取与诊断中得到广泛应用。然而这些方法过度依赖于信号处理技术,并且其故障分
10、类时所用网络属于浅层网络,难以处理故障根源与信号特征之间的复杂非线性关系9。近年来,深度学习以其强大的学习能力和特征提取能力在故障诊断领域中广泛应用1013。文献14发布的以改进卷积神经网络为基础而构建得到的模拟电路故障测定方案,在实现准确诊断的同时,验证了 CNN网络在该类问题中应用的优越性。此外,相比于二维 CNN网络主要处理图像数据,一维 CNN 由于能够高效处理一维时间序列数据,已经广泛应用于心电监护、轴承故障诊断、结构健康检测等领域15。此外,由于 CNN无法自主选择重要通道,基于注意力机制的模型成功改善了这个问题16。通道注意力机制和空间注意力机制都在不同程度上优化了 CNN,并实
11、现对 CNN 有关的一系列特性的抓取效率与Bug评估水平的大幅改善。本文主要推出的是以整个一维卷积神经网络为基础的一类故障测定方案,可以对电路产生的一维时间序列直接进行特征提取和学习,且针对信号的维度设置合适的网络参数,采用自适应力矩估计优化算法改善运算效率,加快网络收敛。最后引入两种注意力机制来增强网络提取特征的能力,从而实现对一系列相关故障的精准评估。通过最终结果发现,利用此方案对两种经典的模拟电路实施故障测定均能够获得很高的准确度。1 一维卷积神经网络1.1 网络构成由图1能够发现,整个网络架构的构成内容主要包括多个卷积层、多个池化层、多个全连接层与一个专门的Softmax 分离器等。3
12、1281 是指有 3 组长度为 128 的一维数据输入到网络中,经过卷积层3个不同卷积核产生9条特征(见图中 91281),再经过池化层窗口为 2 的池化作用,减少数据维度至 64(见图中 9641),9 条64 维特征分别进行全连接,图中的全连接层神经元个数为 60,进而输出分成三个类别,对整个卷积操作的公式定义如下:cm+1i(j)=Kmi*xm(j)+bmi(1)式中:“*”表示滤波器核和局部区域的卷积;cm+1i表示在m+1层的第i个通道的第j个神经元的输入;Kmi主要代表第m层第i个滤波器核的权重情况;bmi表示同第m层中的第i个滤波器核心相对应的整个偏置情况。图1 一维卷积神经网络
13、结构图在卷积操作后,采用激活函数得到输入信号的非线性表示。过去几年,人们在对有关模型实施强化收敛操作时往往会选择修正线性单元 ReLU 作为相关 CNN 的激活函数。具体的函数公式如下:m+1i(j)=f(cm+1i(j)=max 0,cm+1i(j)(2)式中cm+1i(j)表示卷积操作的输出值,输入到神经元激活函数后神经元输出值为m+1i(j)。通常利用将池化层连接到卷积层后面的方式来达成相应的降抽样目标,进而显著降低对应的网络参数与特性空间数量。通常池化层采用最大池化,其可以表示为:Pm+1i(j)=max(j-1)+1 t j qmi(t)(3)式中:qmi(t)表示在第m层中第i通道
14、的第t个神经元的值,t(j-1)+1,j,表示池化区域的宽度;Pm+1i(j)表示池化层的m+1层神经元对应的值。之后利用将全连接层与Softmax输出层相互连接的方式对相关故障进行分类。本文针对整个Softmax分类装置进行相关计算并得出了相应的运算公式,即:q(zi)=ezjk=1nezk(4)式中:zj表示第j个输出神经元;n表示输出神经元总数。1.2 Adam优化算法Adam 算法是在随机梯度下降法的基础上改良而成。随机梯度下降在更新权重的整个过程使用固定不变的学习率,而 Adam 通过计算梯度的一阶矩估计和二阶矩估计为不同的参数设计独立的自适应性学习率,该算法也是通过最小化损失函数来
15、调整网络,更新权重和参数,计算更加高效,所需内存少,只需要少量调参。该算法首先需要得到时间步为t时刻的梯度:gt=ft(t-1)(5)式中:gt表示t时刻的梯度;为要更新的参数;f()为参数的随机目标函数。张汉霖,等:基于多重注意力机制优化的卷积网络故障诊断方法69现代电子技术2023年第46卷mt=1mt-1+(1-1)gt(6)式中:m表示对梯度的一阶矩估计;1为一阶矩的指数衰减率,默认为0.9。t=2t-1+(1-2)g2t(7)式中:表示对梯度的二阶矩估计;2为二阶矩的指数衰减率。m t=mt(1-t1)(8)式中:m t是对mt的校正;t1是1的t次方。t=t(1-t2)(9)式中:
16、t是对t的校正;t2是2的t次方。t=t-1-m t()t+(10)此 为 参 数 更 新 的 过 程,默 认 为 0.001,默 认为10-8。2 注意力机制2.1 高效注意力机制整个网络架构内各层特性的关键程度不一,就后面的诸层而言,应重点关注其内所包含的关键数据,抑制不重要的信息。至于如何让网络关注到应该关注的层,就需要引入注意力机制,求出相应权重。ECA本质上是通道注意力机制模块。依据图 2能够得出整个高效注意力机制的运转机理,具体如下:1)本文对整个特性图最终采用了全面均匀池化的措施,进而令整个特征图由矩阵 H,W,C 转换为向量1,1,C。本文相关数据选用的是一维时间序列信号,因此
17、W为1。图2 高效注意力机制2)自 适 应 计 算 得 到 一 维 卷 积 核 大 小k,k=log2 C 2+1 2。3)基于值为k的卷积核完成相应的一维卷积工作,然后基于 Sigmoid实现对相关通道的一系列权重情况的顺利获取。4)利用同原输入特征图相关元素就各个通道进行相乘运算和加权操作,进而获取到相应的特征图。5)利用此特征图针对神经网络层面实施大量的训练活动。2.2 卷积模块注意力模块就卷积模块注意力模块而言,整个模块重点包含了空间与通道两部分内容。绝大部分用于改进神经网络的注意力系统的相关通道数据通过更新通道的权重来分配注意力。空间注意力使得网络把更多注意力分配到数据中的关键因素,
18、而通道注意力则主要用来对各通道之间的权重配给额度实施分配操作,二者增强了注意力机制对网络的优化作用。2.2.1 CBAM中的通道注意力机制在整个图 3中,本文重点针对整个 CBAM内所包含的通道注意力系统的相关模块架构进行了相应的流程图绘制。针对输入特性实施相应的全面最大池化与全面平均池化操作,并获取到两项基于不同维度的通道权重值。先减少已完成池化操作的全连接层的通道总数,之后再利用其他全连接令通道数恢复如初。由通道维度入手对此 2 张特征图实施堆叠操作,在使用 Sigmoid函数完成激活工作之后获取到对应的新权重值,最终再对此权重和初始特征值进行相乘运算,进而获得相应的新特征。图3 CBAM
19、中的通道注意力机制原理2.2.2 CBAM中的空间注意力机制本文通过图 4 完成了对整个系统模块图的绘制。首先,由通道维度出发对池化完成后的特征图进行堆叠工作。之后再将卷积核与相关的通道数据进行结合,把整个特性图的实际规格由 B,2,H,W 修改成为最终的 B,1,H,W;然后再利用 Sigmoid实施相关激活以顺利获取到对应的新权重值;最终再对此权重和初始特征值进行相乘运算,进而获得相应的新特征。70第21期图4 CBAM中的空间注意力机制模块原理3 多重注意力机制优化的一维CNN网络如图 5所示,本文所提出的模拟电路故障诊断方法采用一维 CNN(1 Dimension CNN,1DCNN)
20、直接从电路输出电压信号中提取具有良好可分性的故障特征。以初始卷积层为例描述参数,(Conv1D,12,2)表示模型是一维卷积神经网络,其作用是提取数据特征;关于(MaxPooling,2),基于其能够对相关信息实施降维操作,从而提高诊断效率,池化块尺寸为2;(Dropout,0.1)表示丢弃层,丢弃率为 0.1,能够避免模型过拟合;(Dense,80)表示全连接层,神经元个数为 80;Flatten 表示展开层;由于本文采用一维时间序列信号直接作为网络输入,ECA 和 CBAM 可以使数据特征更加明显,进而显著提升整个分类过程的精确度,其内所包含的所有信息宽度W都是 1;而 ReLU 则代表整
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 多重 注意力 机制 优化 卷积 网络故障 诊断 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。