一种残差注意力迁移学习方法...在滚动轴承故障诊断中的应用_赵靖.pdf

第 卷 第期中 国 机 械 工 程 年月 一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用赵靖，杨绍普李强刘永强，北京交通大学机械与电子控制工程学院，北京，石家庄铁道大学省部共建交通工程结构力学行为与系统安全国家重点实验室，石家庄，石家庄铁道大学机械工程学院，石家庄，摘要：提出了一种基于残差注意力卷积神经网络（）的迁移学习算法，用于提高滚动轴承的故障诊断精度。在卷积神经网络模型中加入残差注意力机制，使模型在训练过程中更加注重故障特征的提取，从而有效提高迁移准确率。为了测评基于残差注意力卷积神经网络的性能，将其与传统卷积神经网络在不同迁移学习策略下的结果进行对比。用动力传动故障诊断综合实验台和高速列车综合实验台对所提算法进行了验证，该方法可以完成变转速以及变转速变载荷下轴承不同健康状态的迁移学习，且迁移效果均优于传统的卷积神经网络。关键词：迁移学习；轴承故障诊断；残差注意力；特征提取中图分类号：开放科学（资源服务）标识码（）：，：（），：；收稿日期：基金项目：国家自然科学基金（，）；河北省科技计划（）；河北省自然科学基金（）引言随着互联网的发展，机械故障诊断领域进入了“大数据”时代。近年来，数据驱动算法得到了快速发展，智能故障诊断方法吸引了越来越多学者的关注。智能故障诊断算法通过分析被测信号，自动学习故障特征，进而对机器的运行状态进行判别，旨在建立端到端的诊断模型。智能故障诊断算法的发展大致分为以下个阶段：传统的机器学习方法、深度学习方法和迁移学习方法。传统的机器学习方法主要有人工神经网络（，）、支持向量机（，）以及最近邻分类算法（，）。传统的机器学习方法虽然可以对机械系统的状态进行识别，但是其网络结构往往比较浅，泛化性能比较差，不适用于处理大批量的数据。深度学习算法的发展弥补了传统机器学习算法的不足。等利 用 卷 积 神 经 网 络（，）和极限学习机解决了齿轮和轴承的故障分类问题。等建立了卷积神经网络模型，将不同的二维灰度图作为模型的输入完成了不同工况下轴承的故障分类，并对模型的训练过程与结果进行了可视化分析。等利用自适应深度置信网络（，）诊断模型完成轴承故障分类任务。赵志宏等提出一种非对称自编码器方法，完成了旋转机械关键部件的频域特征提取与智能诊断。深度学习方法在提取特征方面展示了独特的优势，尤其是卷积神经网络，因其可以从复杂的二维图中提取特征而受到众多学者的关注。由于机械设备大多在正常状态下工作，故采集到的信号往往都是正常的，并且获得机器不同运行状态的振动数据往往需要耗费大量人力物力。深度学习方法虽然能从信号中提取特征，但是训练好模型往往需要大量不同健康状态的带标签数据，这在工程实际中不太现实。随着智能诊断算法的发展，为了满足工程实际的需求，迁移学习方法吸引了一些学者的研究。迁移学习方法是将一个或多个任务中学习到的知识应用到与之相关但不同的新任务中 的方法。等 提出了一种深度域适应网络架构，采用最优多核选择方法进行均值嵌入匹配，进一步减小了域差异。等 提出一种无监督域自适应方法，采用非线性变换将源域与目标域分布的二阶统计量对齐。等 提出联合自适应网络，通过减小激活层输入特征和输出标签联合分布的差异来缩小源域与目标域的差异。等 将域对抗引入迁移学习中，完成了源域向目标域的迁移学习。除此之外，等 采取一种微调的迁移学习策略完成了不同试验台的迁移任务。等 提出一种最优集成深度迁移网络并应用于轴承的故障诊断。揭震国等 提出一种子域适配的深度迁移方法，通过自适应匹配不同域之间的特征解决了机械设备在变工况故障诊断时的域偏移问题。等 将对抗学习作为一种正则化方法引入卷积神经网络中，提出了一种新的深度对抗卷积神经网络。上面介绍的迁移学习方法可以分为以下三类：基于域自适应的迁移学习方法。通过减小源域与目标域的差异完成不同工况的迁移，这类方法统称为域自适应方法，文献 ，可归为此类。基于对抗的迁移学习方法。部分学者致力于研究对抗学习的迁移策略，文献，属于这一类。基于预训练的迁移学习方法。即从源域与目标域中找到共享的参数信息来完成迁移学习，文献 属于预训练迁移学习。随着迁移学习诊断精度的提高，模型的结构变得越来越复杂，模型的训练时间变得也越来越长。但是，工程中往往更需要高精度高效率的模型，为了满足工程应用，亟需一种准确率高且计算时间短的迁移学习模型。特征提取在模型学习过程中发挥着不可或缺的作用，有效的特征提取能达到事半功倍的效果。本文提出一种基于残差注意力卷积神经网络的迁移学习故障诊断算法。为了捕捉不同健康状态的特征，在卷积神经网络模型的最后加入残差注意力。为了测评本文方法的性能，将基于残差注意力卷积神经网络与传统的卷积神经网络的在不同迁移学习策略下的结果进行对比。为了进一步探究不同故障特征在模型训练过程中的变化情况，在对不同域的分类结果做了进一步的可视化分析的同时，进一步分析了某一具体样本在模型训练过程中的特征分布情况。迁移学习问题描述迁移学习中，被迁移的领域称为源域（），待 学 习 的 领 域 称 为 目 标 域（）。源域和目标域组成了迁移学习中两个重要的域。源域中的数据（），（），表示源域中样本的个数。（）为样本（）对应的标签，（），表 示所 有 源域 样 本 中 有种 状态。源域中的样本来自样本空间，标签来自空间，即（），（），源域中的数据服从分布（，）。目标域中的数据（），（），表示目标域中样本的个数。（）为样本（）的标签，（），表示所有目标域样本中有种状态。目标域中的样本来自样本空间，标签来自空间，即（），（），目标域中的数据服从分布（，）。迁移学习的工作过程描述如下：利用实验室中机械设备故障模拟实验获得的数据训练一个可靠的迁移学习模型，再用训练好的模型去判断工程实际中机械设备的工作状态。迁移学习在具体的应用中，源域的数据通常都是在实验室获得的带标签的机械设备故障数据，而目标域通常都是不带标签的数据，因为工程实际中机械设备的工作状态具有很大的不确定性，所以目前迁移学习一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用 赵靖杨绍普李强等研究主要针对不同实验台或同一实验台不同工况之间的迁移。结合迁移学习相关概念及相关术语，迁移学习的目标有以下种情景：特征空间不同，即；类别空间不同，即；特征空间和类别空间均相同、概率分布不同，即（，）（，），本文研究内容主要针对情景。源域与目标域的特征空间相同，类别空间相同，概率分布不同，源域中是带标签的样本，目标域中是不带标签的样本。迁移学习诊断模型.卷积神经网络卷积神经网络一般由卷积层、池化层及全连接层组成。卷积神经网络具有局部连接和权重共享特性，是一种深层前馈神经网络。卷积层是卷积神经网络的重要组成部分，由一系列卷积核组成，卷积运算是在输入信号与卷积核之间进行的。对于每一个输入和卷积核，卷积运算之后输出特征如下：，（）（）其中，是卷积之后输出的特征；是偏置；是卷积核；表示卷积操作；（）是激活函数，常用的激活函数有 （）函数、（）函数、（）函 数 和 （）（）函数等。（）函数具有以下优点：采用 的神经元只需要进行加、乘和比较操作，计算上更加高效。在优化方面，在一定程度上缓解了神经网络的梯度消失问题，加速梯度下降的收敛速度，且 （）函数具有很好的稀疏性。（）函数常用于分类问题的输出层。因此，本文选取 （）函数作 为隐藏层 激 活 函 数，（）函数作为输出层的激活函数。卷积运算之后是池化运算，池化运算降低了特征维数，减少了计算时间。常用的池化运算有最大池化和平均池化运算。最大池化运算，选取特征区域的最大值：，（）式中，为池化区域；为卷积层输出的激活值；为最大池化结果。平均池化运算，计算特征区域所有值的平均值：，（）卷积神经网络最后是全连接层，在全连接层中，需要将经过卷积层运算与池化运算之后的特征进 行 展 平。模 型 在 经 全 连 接 层 之 后，经 过 （）激活函数之后即可得到模型学习结果。模型在训练过程中会产生较多的参数，为了防止过拟合，在搭建卷积神经网络的过程中，常常还会加入 （）运算和批量归一化（，）。.残差注意力 等 提出了残差注意力（，）并将其应用于多标签识别中。受其启发，本文将 应用于轴承的故障特征识别中，输入特征的注意力分数为（）（）（）（）式中，（）为冲击出现在位置的概率；为特征区域特征的数量；为分类器。注意力分数确定之后，的特征为（）（）（）输出特征为（）（）（）式中，为输入特征的均值；（）为残差注意力网络的输出结果。特征残差注意力既考虑了整体，又考虑了局部，可以充分利用模型训练过程中不同特征的分布。为了提取故障特征，本文将残差注意力网络与卷积神经网络结合起来，将残差注意力网络应用于卷积神经网络最后，基于残差注意力的卷积神经网络结构见表。表基于残差注意力的卷积神经网络结构 卷积核大小 个数输出大小输入输入 ，输出输出注：表示 ；表示 ；表示 ；表示故障种类基于残差注意力的卷积神经网络模型测评为了测评所建模型的特征提取能力，本文将其与传统的卷积神经网络模型进行对比，进一步测评本文模型在故障特征提取方面的优越性。需要说明的是，为了公平起见，本文所用的传统卷积中国机械工程 第 卷 第期 年月上半月神经网络模型与本文方法的 相同，最后一层是全连接层，而本文方法的最后一层是残差注意力网络。本文采用种常用的迁移学习方法测评不同模型 的 迁 移 策 略：（）、（）、（）和 （）。将本文方法与传统卷积神经网络分别在这种不同的迁移模型上进行测试，对比不同模型诊断结果。本文方法主要由部分组成：数据处理、特征提取与迁移结果可视化，具体内容如图所示。图基于 的故障诊断方法示意图 迁移学习模型诊断流程本文方法的流程图见图，具体步骤如下：（）获取机械设备不同工况下的监测数据，构建源域与目标域，其中源域数据是带标签的，目标域数据是不带标签的。（）划分训练数据和测试数据，构建以残差注意力卷积神经网络为基础的迁移学习模型。（）用训练集数据训练所建模型，通过文献图本文方法流程图 方法对模型参数及特征进行训练与提取，优化特征以达到较好的迁移效果。将本文方法与传统卷积神经网络分别在这四种不同的迁移模型上进行测试，对比不同模型诊断结果。（）重复步骤（），直到给定的迭代次数，得到训练好的模型。（）用目标域数据测试训练好的模型，得到诊断结果，并对模型的训练过程及结果进行可视化分析。实验验证实验一：动力传动故障诊断综合实验数据介绍为评估本文方法的性能，采用动力传动故障诊断综合实验台对本文方法进行验证。实验台的结构如图所示，主要由电机、齿轮箱、测试轴承以及电磁制动器等组成。本实验测试轴承共设置四种不同状态：正常轴承、外圈故障轴承、内圈故障轴承与滚子故障轴承。采样频率为 ，采样时长为。为了更贴近工程实际，本实验转速设置为变转速，共设置三种不同的转速：一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用 赵靖杨绍普李强等 、和 ，将这三种不同转速下测得的振动数据分别记为数据集、和。以转速 为例，它 表 示 转 速 由升 到 ，再 由 降到，该工况下的转速是先升再降的一个过程，转速 和 同理。每种健康状态随机采用 个样本，所以每种工况有 个样本。在这些样本中，的样本用于训练所建模型，剩下的样本用于测试模型，具体细节见表。图动力传动故障诊断综合实验台 表测试轴承工况 转速（）健康状态样本数数据集 注：分别表示外圈故障、内圈故障、滚子故障轴承与正常轴承迁移任务设置本实验所用数据通过下式进行标准化预处理：（）（）（）（）（）式中，（）、（）分别为原始数据的均值与标准差。因卷积神经网络在图像识别、语音识别、目标跟踪等方面得到了广泛的应用，受文献 启发，本文将一维振动转化成二维灰度图作为模型的输入。将每个样本的一维长度选为 ，转化为 的二维灰度图。本实验共有种数据集、和，以此为基础，设置以下种迁移任务：、和，迁移任务设置见表。以 为例，表示源域数据集，表示目标域数据集。随机选取 的数据用于模型训练，剩下的数据用于测试模型。将本文方法与传统卷积神经网络分别在这种不同的迁移模型上进行测试，对比不同模型诊断结果。表迁移任务 迁移任务源域转速（）目标域转速（）源域样本数目标域样本数 迁移诊断结果分析以迁移任务为例，源域和目标域中不同健康状态的时域图和灰度图见图。可以看（）源域（）目标域图迁移任务中不同健康状态的时域图与灰度图 中国机械工程 第 卷 第期 年月上半月出，源域 中不同健康状态时域图的波形不一样，这种不同的波形在灰度图中也展现出了不同的特征，二维灰度图可用于描述轴承的不同健康状态，目标域 中存在相同的现象。然后，将源域与目标域的二维灰度图输入本文模型与对比模型中，不同方法下的迁移结果见表。其中，表示本文模型，表示传统的卷积神经网络模型。可以看出，本文方法的迁移结果均优于传统，为了更加清楚地展现表的迁移结果，图给出了表的柱状图。可以看出，相比传统的 模型，本文模型在不同方法与不同迁移任务上均能达到较高的迁移准确率，进一步说明本文模型在特征提取阶段捕捉到了更有用的特征。表迁移结果 迁移任务 图迁移结果柱状图 为了进一步论证本文所建模型的特征提取能力，同样以迁移任务 为例，给出了本文模型与传统 模型在训练过程中源域与目标域的特征分布图（图）。图 图 为本文模型中 激活层中源域与目标域的特征分布图，图 图 为传统 模型中 激活层中源域与目标域的特征分布图。由图可得到以下结论：（）在模型训练初期，源域与目标域的故障特征混淆在一起，没有进行有效分离，这种现象在本文模型与传统 模型中表现一致，可以由图、图 与图、图 看出。随着模型结构的加深，本文模型特征聚类效果明显。同一域下不同故障类型的特征聚集在一起的同时，不同域中同一故障类型的特征也聚集在一起，这可以由图、图 看出。但是，传统 模型特征未能有效聚类。图、图 中不同故障类型的特征虽然相比图、图 有所聚集，但是所有特征聚集在一起，难以区分。（）除此之外，本文模型中，在 、和 中始终存在一簇离群样本，这从图 图 中可以看出，在 中没有再出现该簇离群样本。但是在传统 模型的 、和 中同样存在一簇离群样本，在 中该簇离群样本不但没有消失，反而又多了一簇，这从图、图 中可以看出。（）综上，本文模型在故障特征提取方面优于传统 模型，能较出色地完成轴承在不同变转速工况下的迁移学习任务。选取目标域中某一正常健康状态样本，分析该样本在模型训练过程中的特征分布情况，其原始信号的一维时域图与二维灰度图及该样本在模型训练过程中的特征分布 图 见图。由图、图 可以看出，一维时域图中有一部分幅值相对较高，这种特征在二维灰度图中也可看出。其中，图、图 是本文方法 中激活层的特征图，图、图 是传统卷积神经网络 中激活层的特征图。对比图 图 与图 图 可以发现：与传统的卷积神经网络相比，基于残差注意力的卷积神经网络可以捕捉到有效的特征并将灰度图中幅值相对较高的特征提取出来，而传统的卷积神经网络在特征提取方面效果不佳，由此可知，本文模型可以更好地提取故障特征。实验二：高速列车综合实验数据介绍为评估本文模型的性能，除了采用动力传动故障诊断综合实验台对其验证之外，本文还采用高速列车综合实验台对本文方法进行验证。实验台结构如图所示，该实验台主要由测试轴承、支撑轴承和驱动电机等构成。该实验台可以通过施加径向和轴向的静载荷或动载荷，模拟轴承的运行工况，完成不同速度等级和负载工况下的实验。一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用 赵靖杨绍普李强等（）（）（）（）（）（）（）（）图源域与目标域的特征分布图 本实验测试轴承共设置种健康状态：外圈故障轴承、内圈故障轴承和正常状态轴承。实验的采样频率为 ，采样时长为。该实验在变转速下设置了三种不同的载荷，速度设置为 ，载荷分别设置如下：不加载、静载（径向，轴向）和动载（径向，轴向，），是指载荷的变化方式。与实验一相同，表示转速由升到 ，再由 降到，该工况下的转速同样是先升再降的一个过程。将这种不同载荷下测得的振动数据分别记为数据集、和。与实验一相同，从每种健康状态下随机选取 个样本，每种工况有 个样本。在这些样本中，的样本用于训练所建模型，剩下的样本用于测试模型，具体细节见表。迁移任务设置该实验所用数据同样通过式（）进行标准化预处理。与实验一相同，每个样本的一维长度选为 ，转化为 的二维灰度图。本实验同样有三种不同的数据集、和，以这种不中国机械工程 第 卷 第期 年月上半月（）一维振动信号（）二维灰度图（）（）（）（）（）（）（）（）图模型训练过程中的特征分布图 图高速列车综合实验台 表测试轴承工况 载荷（变转速 ）健康状态 样本数 数据集不加载 静载：径向，轴向 动载：径向，轴向，同的数据集为基础，设置以下种迁移任务：、和，迁移任务设置见表。以 为例，随机选取 的数据用于模型训练，剩下的数据用于模型测试。将本文方法与传统卷积神经网络分别在这种不同的迁移模型上进行测试，对比不同模型诊断结果。表迁移任务 迁移任务源域载荷目标域载荷源域样本数目标域样本数无载荷静载 无载荷动载 静载无载荷 静载动载 动载无载荷 动载静载 迁移诊断结果分析同样以迁移任务 为例，源域 和目标域中不同健康状态的时域图和灰度图见图。可以看出，源域 中不同健康状态时域图的波形不同，这种不同的波形在灰度图中也展现出了不同的特征，二维灰度图可以用于描述不同健康状态的轴承，目标域 中存在相同的现象。同理，再将源域与目标域的二维灰度图输入本文模型与对比模型中，不同方法下的迁移结果见表。其中，一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用 赵靖杨绍普李强等（）源域（）目标域图迁移任务中不同健康状态的时域图与灰度图 表示本文所提的基于残差注意力的卷积神经网络模型，表示传统的卷积神经网络模型。由表可以得出如下结论：表迁移结果 迁移任务 （）与实验一中表的迁移结果相比，实验二中的迁移结果效果略差，出现这种现象的原因是实验二中的实验工况更加复杂。实验一中考虑的是变转速工况之间的迁移，只有转速在变。而在实验二中，转速在变化的同时，载荷也在变，工况更加复杂，因此迁移效果略差，这与实际情况也是相符的。（）与实验一相同，本文方法的迁移结果均优于传统的 。同样，为了更加清楚地展现表的迁移结果，图 给出了表的柱状图。图 迁移结果柱状图 由图 可以看出，相比传统的 模型，本文模型的迁移准确率在变转速变载荷的工况下均占优势，进一步证明本文模型在特征提取阶段捕捉到了更有用的特征。同理，为了进一步论证本文模型的特征提取能力，同样以迁移任务为例，给出了本文模型与传统 模型在训练过程中源域与目标域的特征分布图（图）。与实验一相同，图 图 分别为本文模型中 激活层中源域与目标域的特征分布图，图 图 分别为传统 模型中 激活层中源域与目标域的特征分布图。由图 可以得到以下结论：（）从图 图 中可以看出，在 、和 中，源域和目标域的故障特征混淆在一起，没有进行有效分离；在 中，同一域下不同故障类型的特征聚集在一起的同时，不同域中同一故障类型的特征也聚集在一起，这与实验 二 表 中 迁 移 结 果 分 析 相 吻 合。传 统 模型更没有达到特征有效聚类的效果，这可以由图 图 看出，在图 的 中，不同故障类型的特征虽然相比前三部分有所聚集，但是效果并不好。（）实验二分析结果证明本文模型在故障特征提取方面优于传统 模型，能较出色地完成轴承在变转速变载荷工况下的迁移学习任务。中国机械工程 第 卷 第期 年月上半月（）（）（）（）（）（）（）（）图 源域与目标域的特征分布图 （）实验二中的特征聚类比实验一结果略差，出现这种现象的原因是实验二中迁移任务的工况更加复杂，转速在变化的同时载荷也在变化，这可以说明迁移结果因更加复杂的工况而变差。选取目标域中某一内圈故障样本，分析该样本在模型训练过程中的特征分布情况，其原始信号的一维时域图与二维灰度图与该样本在模型训练过程中的特征分布 图见图。由图 、图 可以看出，一维时域图中有一簇幅值相对较高，这种特征在二维灰度图中也可看出。与图相同，图 图 是本文方法 中激活层的特征图，图 图 是传统卷积神经网络 中激活层的特征图。对比图 图 与图 图 可以发现：基于残差注意力的卷积神经网络和传统的卷积神经网络均可捕捉到这一簇幅值相对较高的信号，但是与图 中的二维灰度图相比，本文方法可以提取到信号中更为细致的信息，这一点从图 图 可以看出。一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用 赵靖杨绍普李强等（）一维振动信号（）二维灰度图（）（）（）（）（）（）（）（）图 模型训练过程中的特征分布 结论（）将本文方法与传统卷积神经网络分别在四种不同的迁移模型上对两个不同实验台上的数据进行测试，在实验一中完成了变转速下轴承不同健康状态的迁移学习，在实验二中完成了变转速变载荷下轴承不同健康状态的迁移学习。结果显示本文所提的 迁移效果优于传统的，进一步证明本文方法可以提取到更多有效特征。（）对目标域的分类结果做了可视化分析的同时，分析了样本在模型训练过程中的特征学习，并进一步分析了有无残差注意力时模型的迁移学习能力。结果表明，残差注意力在迁移学习过程的特征提取中发挥着重要的作用。（）实验二中的特征聚类比实验一结果略差，出现这种现象的原因是实验二中迁移任务的工况更加复杂，转速在变化的同时载荷也在变化，可以说明迁移结果因更加复杂的工况而变差，这对迁移学习的工程应用具有一定的参考价值。参考文献：雷亚国，贾峰，孔德同，等大数据下机械智能故障诊断的机遇与挑战机械工程学报，（）：，（）：，：，：，：，（）：中国机械工程 第 卷 第期 年月上半月 ：，：，：，：，：赵志宏，李乐豪，杨绍普，等一种频域特征提取自编码器及其在故障诊断中的应用研究中国机械工程，（）：，（）：雷亚国，杨彬，杜兆钧，等大数据下机械装备故障的深度迁移诊断方法机械工程学报，（）：，（）：，：，：，：，：，（）：，（）：，：揭震国，王细洋，龚廷恺基于深度学习与子域适配的齿轮故障诊断 中国机械工程，（）：，（）：，：王晋东，陈益强迁移学习导论北京：电子工业出版社，：，：，：，（）：邱锡鹏神经网络与深度学习北京：机械工业出版社，：，：，：，：，：，（）：（编辑陈勇）作者简介：赵靖，女，年生，博士研究生。研究方向为故障诊断、深度学习、迁移学习。李强（通信作者），男，年生，教授、博士研究生导师。研究方向为结构疲劳可靠性。：。一种残差注意力迁移学习方法及其在滚动轴承故障诊断中的应用 赵靖杨绍普李强等