基于多注意力机制的端到端滚动轴承故障诊断方法.pdf

第2 4卷 第4期空 军 工 程 大 学 学 报V o l.2 4 N o.42 0 2 3年8月J OURNA L O F A I R F O R C E E NG I N E E R I NG UN I V E R S I T YA u g.2 0 2 3收稿日期:2 0 2 2-1 2-1 7作者简介:李 俊(1 9 8 4-),男,湖北洪湖人,工程师,研究方向为航空发动机状态监测与故障诊断。E-m a i l:s 0 1 0 1 0 1 71 6 3.c o m引用格式:李俊,苏凯,张皓光,等.基于多注意力机制的端到端滚动轴承故障诊断方法J.空军工程大学学报,2 0 2 3,2 4(4):2 8-3 4.L I J u n,S U K a i,Z HANG H a o g u a n g,e t a l.M u l t i-A t t e n t i o n M e c h a n i s m B a s e d E n d-t o-E n d R o l l i n g B e a r i n g F a u l t D i a g n o s i s M e t h o dJ.J o u r n a l o f A i r F o r c e E n g i n e e r i n g U n i v e r s i t y,2 0 2 3,2 4(4):2 8-3 4.基于多注意力机制的端到端滚动轴承故障诊断方法李 俊1,苏 凯2,张皓光2,王 强3(1.9 5 7 7 8部队,昆明,6 5 0 1 0 0;2.9 5 4 2 9部队,昆明,6 5 0 1 0 0;3.海军工程大学动力工程学院,武汉,4 3 0 0 3 2)摘要 针对传统滚动轴承故障诊断中复杂的特征提取问题,利用深层残差网络能够增强诊断模型非线性表征能力的特点,通过引入通道注意力与空间注意力机制,提出一种基于多注意力机制端到端的滚动轴承智能故障诊断方法。首先,通过原始振动加速度信号经过积分运算得到速度和位移;然后,将3者组合成具有特征增强的图像,输入至结合了多注意力机制的深层残差网络实现特征提取;最后,利用多分类函数完成滚动轴承故障分类。在本地实验 室轴承数据 集上进行了 验证,结果表 明,所提方法 的诊断准确 率 达 到 了9 7.5 0%。验证了基于多注意力机制端到端的滚动轴承智能故障诊断方法的可行性和有效性,可为滚动轴承的精确故障诊断提供支持。关键词 滚动轴承;深度学习;注意力机制;深层残差网络;故障诊断D O I 1 0.3 9 6 9/j.i s s n.2 0 9 7-1 9 1 5.2 0 2 3.0 4.0 0 5中图分类号 V 2 6 3;TH 1 3 3.3 文献标志码 A 文章编号 2 0 9 7-1 9 1 5(2 0 2 3)0 4-0 0 2 8-0 7M u l t i-A t t e n t i o n M e c h a n i s m B a s e d E n d-t o-E n d R o l l i n g B e a r i n g F a u l t D i a g n o s i s M e t h o dL I J u n1,S U K a i2,Z HANG H a o g u a n g2,WANG Q i a n g3(1.U n i t 9 5 7 7 8,K u n m i n g 6 5 0 1 0 0,C h i n a;2.U n i t 9 5 4 2 9,K u n m i n g 6 5 0 1 0 0,C h i n a;3.C o l l e g e o f P o w e r E n g i n e e r i n g,N a v a l U n i v e r s i t y o f E n g i n e e r i n g,Wu h a n 4 3 0 0 3 2,C h i n a)A b s t r a c t T o a d d r e s s t h e c o m p l e x f e a t u r e e x t r a c t i o n p r o b l e m i n t r a d i t i o n a l r o l l i n g b e a r i n g f a u l t d i a g n o s i s,a n e n d-t o-e n d r o l l i n g b e a r i n g i n t e l l i g e n t f a u l t d i a g n o s i s m e t h o d b a s e d o n a m u l t i-a t t e n t i o n m e c h a n i s m i s p r o p o s e d b y i n t r o d u c i n g c h a n n e l a t t e n t i o n a n d s p a t i a l a t t e n t i o n m e c h a n i s m u s i n g t h e f e a t u r e t h a t d e e p r e-s i d u a l n e t w o r k c a n e n h a n c e t h e n o n l i n e a r c h a r a c t e r i z a t i o n a b i l i t y o f t h e d i a g n o s i s m o d e l.F i r s t l y,t h e v i b r a-t i o n v e l o c i t y a n d d i s p l a c e m e n t s i g n a l s a r e o b t a i n e d b y i n t e g r a t i n g t h e o r i g i n a l v i b r a t i o n a c c e l e r a t i o n s i g n a l.S e c o n d l y,t h e t h r e e t y p e s o f s i g n a l s a r e c o m b i n e d i n t o a n i m a g e w i t h f e a t u r e e n h a n c e m e n t a n d i n p u t t o a d e e p r e s i d u a l n e t w o r k c o m b i n e d w i t h a m u l t i-a t t e n t i o n m e c h a n i s m f o r f e a t u r e e x t r a c t i o n.F i n a l l y,a m u l t i-c l a s s i f i c a t i o n f u n c t i o n i s u s e d t o c o m p l e t e t h e r o l l i n g b e a r i n g f a u l t c l a s s i f i c a t i o n.T h e v a l i d a t i o n w a s c a r r i e d o u t o n a l o c a l l a b o r a t o r y-b e a r i n g d a t a s e t,a n d t h e r e s u l t s s h o w e d t h a t t h e d i a g n o s t i c a c c u r a c y o f t h e p r o-p o s e d m e t h o d r e a c h e d 9 7.5 0%.T h e f e a s i b i l i t y a n d e f f e c t i v e n e s s o f t h e e n d-t o-e n d r o l l i n g b e a r i n g i n t e l l i-g e n t f a u l t d i a g n o s i s m e t h o d b a s e d o n a m u l t i-a t t e n t i o n m e c h a n i s m a r e v e r i f i e d,w h i c h c a n s u p p o r t t h e a c-c u r a t e f a u l t d i a g n o s i s o f r o l l i n g b e a r i n g s.K e y w o r d s r o l l i n g b e a r i n g;d e e p l e a r n i n g;a t t e n t i o n m e c h a n i s m;d e e p r e s i d u a l n e t w o r k;f a u l t d i a g n o s i s 轴承作为旋转机械中的关键零部件,为评价其运行状况,往往利用具有分析处理简单、直观等优点的振动信号作为信息载体,对其进行状态监控和健康管理1。同时,近年来在故障诊断领域,深度学习技术以其强大的特征提取能力和优异的分类性能受到越来越多研究者的关注2-3。结合了轴承振动信号和深度学习技术的端到端的轴承故障诊断得到了不断发展,出现了大量的智能故障诊断方法,其中,端到端模式是指建立输入与输出的直接关系。文献4 提出了一种基于深层卷积神经网络的健康类型识别数据融合方法。文献5 提出了一种基于融合单元的卷积结构,用于提取不同传感器的多尺度特征。可见,深度学习相比传统算法具有特征提取简单,诊断识别准确率高的优点,在故障诊断领域有巨大潜力。将深度学习与注意力机制(a t t e n t i o n m e c h a-n i s m)6相结合应用于故障诊断领域也越来越受到关注。注意力机制从本质上讲和人类的选择性视觉注意力机制类似,基本思想就是帮助神经网络学习权重分布,核心目标是从众多信息中选择出对当前任务目标更关键的信息。文献7 提出了一种基于注意力机制的旋转机械故障诊断方法。文献8 提出了基于时频融合和注意力机制的深度学习行星齿轮箱故障诊断方法,首先,采用小波包分解将原始振动信号分解到频域和时域2个维度作为输入数据,接着采用注意力结构对不同时间点的特征自适应地进行动态加权融合,最后通过分类器进行识别,实现行星齿轮箱的故障诊断。本文对上述工作进行了扩展,为了克服传统故障诊断方法中对专家经验知识的依赖,减少使用复杂的信号处理算法,进一步提高诊断准确率,提出了一种基于多注意力机制的端到端滚动轴承故障诊断方法。为了说明所提方法的有效性,在本地实验室轴承数据集上进行了验证和分析。1 理论背景1.1 深层残差网络文献9 提出了深层 残差网络(d e e p r e s i d u a l n e t w o r k,R e s N e t),作为对卷积神经网络的一种改进,其通过引入残差块构建深层网络,解决了深层神经网络模型在训练过程中容易出现的过拟合、梯度消失或者梯度爆炸问题。深层残差网络是由一系列残差块组成的。对于一个残差块,当输入为x时,其学习到的特征记为H(x),则该结构的残差为F x =H x -x(1)式中:F(x)为残差块的残差。当残差为零时,此时残差块仅做恒等映射,深层网络性能不会下降;当残差不为零时,会使得在输入特征基础上学习到新的特征,从而使深层网络拥有更好的性能。设xl、xl+1分别为第l层残差块的输入和输出,F xl,Wl 为残差函数,Wl为学习到的残差,则一个残差块可以表示为:yl=h xl,Wl (2)xl+1=f yl (3)式中:f 为激活函数,常使用R e l u激活函数1 0。基于式(2)和式(3),得到从浅层l到深层L的学习特征为:xL=xl+L-1i=1F xi,Wi (4)式中:xL为第L层残差块的输出;Wi为需要学习的权重向量。1.2 通道与空间多注意力机制使用注意力机制可以有选择地进行特征表征,能够有效克服深层神经网络易受非敏感特征影响的问题,从而更充分地利用特征及特征间的信息。在特征提取阶段,注意力机制提升了卷积神经网络模型的特征表达能力,在不显著增加计算量和参数量的前提下,进一步提升了深层神经网络的分类性能1 1。其中,卷积块注意力机制(c o n v o l u t i o n a l b l o c k a t t e n t i o n m o d u l e,C B AM)1 2就是分别在通道维度和空间维度上使用注意力机制,强调了空间和通道这2个维度上有意义的特征,关注了重要特征并抑制不必要的特征。同时,通道注意力机制和空间注意力机制相互独立,保证了其可以作为独立的模块用于已有的卷积神经网络的架构中去,如图1所示,结合了C B AM的卷积神经网络结构。图1 结合C B AM的卷积神经网络结构C B AM的处理过程主要有以下2个运算:F=MCF F(5)F=MSF F(6)式中:FCHB为输入的特征,CHB为各92第4期 李俊,等:基于多注意力机制的端到端滚动轴承故障诊断方法通道的维度;McC11为通道维度上的注意力权重;Ms1HB为空间维度上的注意力权重,符号为逐元素乘法1 3。2 C B AM-R e s N e t滚动轴承故障诊断模型 本文将深层神经网络与注意力机制相结合,针对滚动轴承故障诊断问题提出了一种基于C B AM-R e s N e t模型的端到端故障诊断方法。首先,利用振动加速度信号经过积分运算能够得到相应速度和位移的特点,将加速度、速度和位移信号3者合并后组成具有特征增强的图像。然后,在深层残差网络中引入了通道注意力与空间注意力机制,实现振动信号的特征提取。最后,利用多分类函数完成滚动轴承故障诊断。诊断流程如图2所示。包括原始振动信号的采集、振动信号转换为图像以及C B AM-R e s-N e t诊断模型的训练和诊断结果分析。图2 基于C B AM-R e s N e t的滚动轴承故障诊断流程图2.1 信号转换为图像在处理大量数据的过程中,不同特征的数据需要不同的方法才能准确地显示其特征1 4。为实现滚动轴承的故障诊断,很多学者结合振动信号和深度学习技术,提出了使用时频图、直方图等方法将振动信号转换成图像进行分类,但是,生成训练样本需要花费大量的时间,并且很大程度上依赖于专家经验知识。本节提出了一种将振动信号转换为图像的方法,利用了振动加速度信号经过积分运算能够得到相应速度和位移的特点,将依时间顺序截取的加速度信号以及相应速度和位移信号3者合并后组成具有特征增强的图像。该方法的优点是无需预先设定参数或专家经验,即可快速从原始数据中获得具有特征增强的图像。振动信号转换为图像的方法,如图3所示。图3 样本分割并结合加速度、速度和位移信号组成图像具体实施方法是,从振动信号数据的第1个点开始,截取第n个点作为第1个信号样本,然后下一个信号样本从第(n-m)个点开始,截取第(2n-m)个点作为第2个信号样本,依次类推实现信号的分段重叠截取,总共截得N个信号样本。依据滚动轴承的外圈故障、内圈故障、滚动体故障以及正常情况4种健康类别,按照重叠信号5 0%的标准,截取振动信 号 样 本,得 到 振 动 加 速 度 信 号 数 据 集Aii=1,2,MML 。其中,L代表样本总数,MM代表图像像素。通过积分得到速度信号数据集Vii=1,2,MML ,位移信号数据集Dii=1,2,MML 。接着,将得到的3个数据集分别代入式(7)进行处理,使得数据范围变换到0,2 5 5 之间。P m,m =r o u n dxi-xm i nxm a x-xm i n2 5 5 (7)式中:P m,m 为图像的像素点;函数r o u n d 是四舍五入函数;xi为数据集第i个样本;xm i n为数据集中样本最小值;xm a x为数据集中样本最大值。在生成的R G B图像中,红色通道像素值由加速度信号数据集填充,绿色通道像素值由速度信号数据集填充,蓝色通道像素值由位移信号数据集填充。2.2 C B AM-R e s N e t故障诊断模型本文所提的C B AM-R e s N e t故障诊断模型使用了改进的深层神经网络1 5,通过引入C B AM注意力模块提高模型的特征提取能力,如图4所示。为了便于使用R e s N e t的预训练参数1 6,保持R e s N e t结构不变,所提模型在第1层卷积层和最后一层残差块中各添加1个C B AM注意力模块。同时,将模型输出层的输出个数设为4,以匹配滚动轴承的外圈故障、内圈故障、滚动体故障以及正常情况4种健康类型。03空军工程大学学报2 0 2 3年模型的训练和测试均在同一台工作站上进行,即W i n d o w s 1 0环境下G e F o r c e R T X 2 0 8 0 T i显卡(1 1 G B显存),采用在T e n s o r F l o w深度学习框架下使用P y t h o n 3.6编程实现1 7。在训练过程中,将迭代次数设置为1 2 0,批次大小设置为3 2,采用A d a m优化算法进行网络参数更新,初始学习率设置为0.0 0 1,并在训练过程中动态改变学习率。图4 C B AM-R e s N e t模型结构3 实验分析为了验证所提方法的有效性,在本地实验室轴承数据集上进行了验证和分析。本节将详细介绍实验分析过程。3.1 数据采集和预处理使用S p e c t r a Q u e s t公司的机械故障综合模拟实验台进行滚动轴承故障诊断实验,如图5所示。该实验台主要由滚动轴承、可拆卸轴承座、电动机以及调速装置等部分组成。实验是在该实验台所配套的E R-1 6 K滚动轴承上进行的,分别在内圈、外圈和滚动体上利用电火花预制了点蚀故障,实验中使用安装在轴承座上方的压电式加速度传感器来拾取滚动轴承的振动信号,采样频率为1 2 k H z,经过放大、滤波后,通过数据采集系统进行信号采集。图5 机械故障综合模拟实验台本文所提方法对电机侧滚动轴承的正常状态,内圈故障、外圈故障和滚动体故障共4种健康类型进行了分类,在获得足够多的数据后,利用振动加速度信号经过积分运算得到相应速度和位移信号,每种健康类型的振动信号时域图,如图6所示。由图可以看出,每种健康类型的3类信号的幅值均有所差别。图6 滚动轴承4种健康类型的振动加速度信号、速度信号和位移信号的时域图13第4期 李俊,等:基于多注意力机制的端到端滚动轴承故障诊断方法 接着,使用信号到图像的转换方法,将4种健康类型的振动信号转换为R G B图像,结果如图7所示。其中,每种健康类型各有6 0 0张像素大小3 23 2的R G B图像,共包含2 4 0 0张。随机选择样本中9 5%的数据为训练数据,余下5%的样本数据为测试样本,即2 2 8 0张用于训练,1 2 0张用于测试。图7 数据转换为图像从转换后的图像中可以看出,滚动轴承不同健康类型的R G B图像有所区别。其中,外圈故障的图像色素点最密集,相比之下,内圈故障的图像色素点有所减少,滚动体故障的图像色素点最稀疏,正常类型的图像有明显的条纹特征。3.2 诊断结果分析经过信号到图像的转换后,将数据集送入上文的C B AM-R e s N e t模型进行训练,然后使用训练好的模型对测试数据集进行分类。模型在训练集中的准确率和损失函数值与迭代次数关系如图8所示。图8 C B AM-R e s N e t模型在训练集中的准确率和损失函数值与迭代次数关系可以看出,模型在训练过程中,随着迭代次数的增加,训练集分类准确率逐渐升高并在迭代后期趋于平稳,说明模型拟合效果良好,同时,损失函数值平滑的下降并趋于稳定,说明损失函数未陷入局部最优。然后,将测试集数据输入到训练完成的诊断模型中,通过1 0次随机实验,结果取平均值,得到测试集的分类准确率为9 7.5 0%。为了进一步了解每个健康类型的详细分类情况,绘制了诊断结果的混淆矩阵,如图9所示。可以看出,在测试集中,滚动体故障有3个分类有误,其余的3种健康类型全部分类正确。图9 混淆矩阵示意图下面,通过本地实验室滚动轴承数据集进一步说明,将加速度、速度和位移信号3者合并后组成具有特征增强图像,在滚动轴承故障诊断中的有效性和优越性。分别将加速度信号、速度信号、位移信号单独组成图像,加速度信号与速度信号组成图像、加速度信号与位移信号组成图像以及速度与位移信号组成图像共6种情况与所提方法中信号转化为图像(见表1中的编号7)进行对比分析,将获得的图像数据集分别送入C B AM-R e s N e t滚动轴承故障诊断模型进行训练和诊断,滚动轴承故障诊断精度如表1所示。表1 不同信号组成图像数据集下滚动轴承故障诊断精度编号不同信号组成图像数据集C B AM-R e s N e t滚动轴承故障诊断模型诊断精度/%1 加速度信号9 3.1 22 速度信号5 5.5 63 位移信号5 6.6 14 加速度信号和速度信号9 4.7 05 加速度信号和位移信号9 4.1 86 速度和位移信号6 4.5 57 加速度信号、速度信号 以及位移信号9 7.5 0 由表1可以看出,单独应用加速度信号所组成的图像进行故障诊断的诊断精度明显高于单独应用速度信号和位移信号所组成的图像进行故障诊断的诊断精度;加速度信号分别与速度信号和位移信号相结合组成的图像进行故障诊断的诊断精度分别可以达到9 4.7 0%和9 4.1 8%,但是,均低于本文所提方法的诊断精度。3.3 与其他算法的对比实验为进一步说明C B AM-R e s N e t模型的优越性,本文选取了支持向量机(S VM)1 8-1 9、反向传播神经网络(B P NN)2 0以及卷积神经网络(C NN)2 1-2 23种23空军工程大学学报2 0 2 3年常见的数据驱动故障诊断模型与其进行对比分析。其中,S VM模型使用了滚动轴承振动信号的标准差、峭度、平均值、均方根、波形因子、峰值因子、裕度因子和峭度因子8种特征参数。B P NN也采用上述的时域特征参数作为输入,含2个隐含层,每层含5 0个神经元。C NN模型使用实验得到的图像数据集做为输入。随机选择数据集中9 5%的数据为训练数据,余下5%的数据为测试样本,几种分类模型均通过1 0次随机实验,结果取平均值。故障诊断结果如表2所示。表2 不同模型对比实验结果分类器识别准确率/%未正确识别样本累积总数B P NN8 1.6 72 2S VM9 1.6 71 0C NN9 4.1 77C B AM-R e s N e t9 7.5 03 由表可以看出,B P神经网络利用特征样本进行训练后,识别率为8 1.6 7%,未正确识别样本累积总数为2 2个,使用S VM轴承故障诊断方法,经过不断的尝试,凭经验选取较合适的参数后识别率能够达到9 1.6 7%,使用C NN模型分类结果可以达到9 4.1 7%,但是仍然低于本文所提的C B AM-R e s N e t模型分类结果。C B AM-R e s N e t诊断模型得到的分类准确率比B P神经网络提高了1 5.8 3%,给滚动轴承的故障诊断精度带来了明显的提升,也说明了C B AM-R e s N e t诊断模型能够更加准确地捕捉到数据集的隐含特征。同时,诊断过程中省去了繁琐的人工特征提取过程,在降低滚动轴承故障诊断漏判率的同时,实现了端到端的故障诊断。4 结论本文利用了深层残差网络能够增强故障诊断模型的非线性表征能力的特点,并在此基础上引入通道和空间多注意力机制,提出了一种基于多注意力机制的端到端的滚动轴承故障诊断方法,结果表明:1)利用滚动轴承振动加速度信号经过积分运算能够得到相应速度和位移的特点,将加速度、速度和位移信号3者合并后组成具有特征增强的图像,能够用于滚动轴承的故障诊断;2)建立的C B AM-R e s N e t诊断模型,省去了繁琐的人工特征提取过程,实现了端到端的故障诊断,其在本地实验室轴承数据集上的诊断准确率达到了9 7.5 0%,说明了所提方法的有效性;3)与现有的数据驱动故障诊断方法相比,所提方法在滚动轴承故障诊断中表现出了更高的诊断准确率。在这项工作中,滚动轴承故障数据集是在实验室环境下收集的,所提方法在工业背景噪声下的表现需要进一步的验证。此外,工作中主要对球轴承进行了验证,而圆柱滚子轴承和圆锥滚子轴承等等也是常见的滚动轴承,目前尚不清楚所提的方法是否适用于这些组件。上述2个问题需要在今后的工作中进一步研究。参考文献1 陈鑫,肖明清,孙曜,等.基于改进麻雀搜索算法与支持向量机的光纤陀螺故障诊断J.空军工程大学学报(自然科学版),2 0 2 1,2 2(3):3 3-4 0.2李俊,刘永葆,余又红.卷积神经网络和峭度在轴承故障诊断中的应用J.航空动力学报,2 0 1 9,3 4(1 1):2 4 2 3-2 4 3 1.3李俊,刘永葆,余又红.基于经验模态分解剩余信号能量特征的滚动轴承故障模式智能识别J.燃气涡轮试验与研究,2 0 2 0,3 3(3):2 8-3 2,4 1.4 CHE N H,HU N,CHE N G Z,e t a l.A D e e p C o n v o l u-t i o n a l N e u r a l N e t w o r k B a s e d F u s i o n M e t h o d o f T w o-D i r e c t i o n V i b r a t i o n S i g n a l D a t a f o r H e a l t h S t a t e I d e n-t i f i c a t i o n o f P l a n e t a r y G e a r b o x e s M e a s u r e m e n tJ.M e a s u r e m e n t,2 0 1 9(2):2 6 8-2 7 8.5 TANG T,HU T,CHE N M,e t a l.A D e e p C o n v o l u-t i o n a l N e u r a l N e t w o r k A p p r o a c h w i t h I n f o r m a t i o n F u s i o n f o r B e a r i n g F a u l t D i a g n o s i s U n d e r D i f f e r e n t W o r k i n g C o n d i t i o n sJ.P r o c e e d i n g s o f t h e I n s t i t u-t i o n o f M e c h a n i c a l E n g i n e e r s,P a r t C:J o u r n a l o f M e-c h a n i c a l E n g i n e e r i n g S c i e n c e,2 0 2 1(8):1 3 8 9-1 4 0 0.6 CHE N Y,P E N G G,Z HU Z,e t a l.A N o v e l D e e p L e a r n i n g M e t h o d B a s e d o n A t t e n t i o n M e c h a n i s m f o r B e a r i n g R e-M a i n i n g U s e f u l L i f e P r e d i c t i o nJ.A p-p l i e d S o f t C o m p u t i n g,2 0 1 9,8 6(9):1 0 5 9 1 9.7吴静然,丁恩杰,崔冉,等.采用多尺度注意力机制的旋转机械故障诊断方法J.西安交通大学学报,2 0 2 0(2):5 1-5 8.8孔子迁,邓蕾,汤宝平,等.基于时频融合和注意力机制的深度学习行星齿轮箱故障诊断方法J.仪器仪表学报,2 0 1 9,4 0(6):2 2 4-2 3 0.9 HE K,Z HANG X,R E N S,e t a l.D e e p R e s i d u a l L e a r n i n g f o r I m a g e R e c o g n i t i o nC/I E E E C o n f e r-e n c e o n C o m p u t e r V i s i o n&P a t t e r n R e c o g n i t i o n.P i s c a t a w a y:I E E E C o m p u t e r S o c i e t y,2 0 1 6:7 7 0-7 7 8.1 0 G L OR OT X,B O R D E S A,B E N G I O Y.D e e p 33第4期 李俊,等:基于多注意力机制的端到端滚动轴承故障诊断方法S p a r s e R e c t i f i e r N e u r a l N e t w o r k sJ.J o u r n a l o f M a-c h i n e L e a r n i n g R e s e a r c h,2 0 1 1,1 5(5):3 1 5-3 2 3.1 1 L I U F,Z HE NG J,Z HE N G L,e t a l.C o m b i n i n g A t t e n-t i o n-B a s e d B i d i r e c t i o n a l G a t e d R e c u r r e n t N e u r a l N e t-w o r k a n d T w o-D i m e n s i o n a l C o n v o-L u t i o n a l N e u r a l N e t w o r k f o r D o c u m e n t-L e v e l S e n t i m e n t C l a s s i f i c a t i o nJ.N e u r o c o m p u t i n g,2 0 2 0,3 7 1(7):3 9-5 0.1 2 WOO S,P A R K J,L E E J Y,e t a l.C B AM:C o n v o-l u t i o n a l B l o c k A t t e n t i o n M o d u l eC/P r o c e e d i n g s o f t h e E u r o p e a n C o n f e r e n c e o n C o m p u t e r V i s i o n.B e r l i n:S p r i n g e r,2 0 1 8:3-1 9.1 3 C AO W H,F E NG Z Y,Z HAN G D Y,e t a l.F a c i a l E x p r e s s i o n R e c o g n i t i o n v i a a C B AM Em b e d d e d N e t-w o r kJ.P r o c e d i a C o m p u t e r S c i e n c e,2 0 2 0,1 7 4(1):4 6 3-4 7 7.1 4 V I D A L P U I G S,V I T A L E R,F E R R E R A.D a t a-d r i v e n S u p e r v i s e d F a u l t D i a g n o s i s M e t h o d s B a s e d o n L a t e n t V a r i a b l e M o d e l s:A C o m p a r a t i v e S t u d yJ.C h e m o m e t-r i c s a n d I n t e l l i g e n t L a b o r a t o r y S y s t e m s,2 0 1 9,1 8 7(6):4 1-5 2.1 5 Z HANG W,L I C,P E N G G,e t a l.A D e e p C o n v o l u-t i o n a l N e u r a l N e t w o r k w i t h N e w T r a i n i n g M e t h o d s f o r B e a r i n g F a u l t D i a g n o s i s u n d e r N o i s y E n v i r o n m e n t a n d D i f f e r e n t W o r k i n g L o a dJ.M e c h a n i c a l S y s t e m s a n d S i g n a l P r o c e s s i n g,2 0 1 8,1 0 0(3):4 3 9-4 5 3.1 6 WE N L,L I X,GAO L.A T r a n s f e r C o n v o l u t i o n a l N e u r a l N e t w o r k f o r F a u l t D i a g n o s i s B a s e d o n R e s N e t-5 0J.N e u r a l C o m p u t i n g a n d A p p l i c a t i o n s,2 0 2 0,3 2(1 0):6 1 1 1-6 1 2 4.1 7 L I U S,J I Z,WAN G Y,e t a l.M u l t i-F e a t u r e F u s i o n f o r F a u l t D i a g n o s i s o f R o t a t i n g M a c h i n e r y B a s e d o n C o n-v o l u t i o n a l N e u r a l N e t w o r kJ.C o m p u t e r C o mm u n i-c a t i o n s,2 0 2 1,1 7 3(4):1 6 0-1 6 9.1 8 WAN G Z,YAO L,C A I Y,e t a l.M a h a l a n o b i s S e m i-S u p e r v i s e d M a p p i n g a n d B e e t l e A n t e n n a e S e a r c h B a s e d S u p p o r t V e c t o r m a c h i n e f o r W i n d T u r b i n e R o l l-i n g B e a r i n g s F a u l t D i a g n o s i sJ.R e n e w a b l e E n e r g y,2 0 2 0,1 5 5(8):1 3 1 2-1 3 2 7.1 9 F U W,S HAO K,T AN J,e t a l.F a u l t D i a g n o s i s f o r R o l l i n g B e a r i n g s B a s e d o n C o m p o s i t e M u l t i s c a l e F i n e-S o r t e d D i s-P e r s i o n E n t r o p y a n d S VM w i t h