基于高斯过程的多任务联合学习.pdf

2023 年第 8 期84计算机应用信息技术与信息化基于高斯过程的多任务联合学习刘 闯1,2 胡文军1,2 王 闯1,2LIU Chuang HU Wenjun WANG Chuang 摘要 针对传统多任务学习方法只利用关系或者特征进行多任务学习的局限性，提出了一种基于高斯过程并且同时学习任务特征和任务关系协方差矩阵的多任务学习方法。该方法通过高速过程对多个线性函数进行建模，同时构建任务关系协方差矩阵和特征关系协方差矩阵，在训练的同时学习线性方程的参数、任务关系协方差矩阵和特征关系协方差矩阵，该方法称为基于高斯过程的多任务联合学习(multi-task joint learning based on gaussian process,MJLGP)。实验结果表明，所提方法在精度上比对比实验具有更好的优势。关键词 协方差矩阵；高斯过程；多任务学习doi：10.3969/j.issn.1672-9528.2023.08.0181.湖州师范学院信息工程学院 浙江湖州 3130002.浙江省现代农业资源智慧管理与应用研究重点实验室 浙江湖州 3130000 引言多任务学习(multi task learning,MTL)是指通过同时学习多个任务来提升算法的泛化性能。以往的单任务学习(single-task learning)是指每次只学习一个任务，并且只使用对应任务本身的数据集，训练样本之间是独立的。但是在实际应用的诸多领域中，需要学习的任务往往不止一个，例如阿兹尔海默症的病情跟踪1-2将病情进展的各个时间点都是一个任务；道路场景理解3中的语义分割和图像分类就是两个任务；情感领域4-5中社交媒体不同级别的用户是一个任务。因此Caruana 等人6提出了多任务学习方法。多任务学习针对学习形式的不同大致可分为两类，即多任务特征学习和多任务关系学习。多任务特征学习(multi task feature learning,MTFL)7旨在通过学习多个相关任务之间的共享特征来提高泛化性能。该方法学习多个任务的共享特征表示，其中学习到的共享特征可以是原始特征的子集或变换。因此可以直观地假设不同的任务共享的信息都是来自于原始特征，通过共享特征的形式来实现多任务学习8-9。学习共享特征而不是直接使用原始特征的一个原因是原始特征可能不适用于多个任务共享。如Argyriou 等人10将单任务 L1 范数的正则化方法推广到多任务学习，并基于非凸正则化方法控制学习过程中共享特征的数量，称之为凸优化多任务特征学习，其解决了跨越多个不同任务学习共享特征的问题。Bonilla 等人11提出了基于高斯过程的多任务学习，即一种学习任务特征的共享协方差矩阵，其在学习过程中如果出现数据量较少的情况，可以通过不同的任务进行数据增强，从而可以更准确地估计模型参数、减少过拟合，并基于共享协方差矩阵，对任务间相关性进行描述。多任务关系学习(multi task relational learning,MTRL)12方法通过一个任务关系矩阵来表述所有任务之间的关系。多任务关系学习中，任务之间相互关联，通过任务相似度、任务相关度、任务协方差等来量化任务之间的相关性。在多任务关系学习中，使用任务关系描述所有的数量相关性。多任务学习是在其他任务的帮助下提高任务的性能13，因此在多任务关系学习中的核心问题是如何准确的描述任务间的关系14。在学习中的多个任务中可以将任务中的任务关系分为三类：正相关任务、不相关任务和负相关任务。其中正相关任务对于所学习的任务是非常有用的，因为相似的任务可能具有相似的模型参数。对于不相关任务，在训练过程中识别出离群点任务可以有效防止该任务的加入影响其他任务的执行15。对于负相关任务，由于具有负相关的两个任务的模型参数更有可能不同，知道两个任务是负相关的有助于缩小模型参数的搜索空间。针对多任务关系学习，任务关系通过协方差矩阵进行表示，然后在训练的同时学习任务之间的关系，并将其应用于学习过程中，Zhang 等人提出了一种用于学习任务间关系的正则化公式，将单任务正则化的方法推广到多任务学习中，该方法以非参数的方式将任务之间的关系建模为任务协方差矩阵，并基于正则化框架得到的多任务学习的凸目标函数，从而使得该方法可以在学习模型参数的同时学习任务关系。上述方法在多任务的诸多实际应用领域中取得了较好的效果16，但这些方法要么利用多任务的特征关系要么利用多任务的任务关系，并没有将二者结合学习以提升学习任务的 2023 年第 8 期85计算机应用信息技术与信息化泛化性。针对这个问题，本文提出了一种在任务训练的同时对任务关系和特征关系进行学习的方法，提出基于高斯过程的多任务联合学习(multi-task joint learning based on gaussian process,MJLGP)。1 相关工作给定 m 个学习任务 Ti，i=1,m，第 i 个任务 Ti所对应的数据集和标签分别为12,iiiiin=Xx xx和1,yiiiiTnyy=，其中是第 i 个任务的第 j 个样本，j=1,ni，为ijx所对应的标签。Ti对应的线性函数定义为()iTiijijifb=+xw x，1,bmbb=，其 中 Wi为的 第 i 列、为第 i 个输出模型的偏移量。高斯过程（gaussian process,GP）以概率分布来表示线性函数输出的先验知识，并基于数据间的相关性，构造协方差函数。ijy的概率分布服从高斯分布，因此ijy的似然如下所示：（1）式中：2(),)iijiN fx表示以线性函数()iijf x为均值函数和以2i为方差的高斯分布。对于任务特征或者任务关系的协方差函数则用线性函数()iijf x来建模。多任务高斯过程14的模型如下所示：()()1*,xkkUyUKKDITfxiiifxf=+（2）式中：表示克罗内克积17，fik是 Kf 的第 i 列，Kf是训练样本间的协方差矩阵，*xk是所有训练数据和测试点x*的协方差向量，Kx是所有训练数据之间的协方差矩阵，D是对角矩阵，其中对角线上的值为221,m，I的单位矩阵。通过 EM 算法结合式(1)-(2)可以得到对数似然如下()()()()()()11211loglog221log2212KKtrKFKFtrYF DYFfxmfTxiiTdmLd=（3）式 中：F 为 标 签 所 有 标 签 F=f1,fm 组 成 的 矩 阵，1(),()fiTiiiiinff=xx，Y 为标签 y 组成的矩阵，Y=y1,ym。也就是说Y-F的绝对值是真实数据和模型预测结果之间的损失。最终通过最大化 L，采用迭代更新方式求解参数 Kf以及 i。2 基于高斯过程的多任务联合学习MJLGP 方法利用高斯过程指定各个任务的线性函数，在对线性函数学习的同时学习任务和特征间的协方差矩阵，通过任务间和特征间的协方差矩阵将多个任务联合学习，以此来提高多任务学习的泛化性。2.1 概率框架本文将高斯过程基于线性函数()xiijf进行学习。高斯过程取()xiijf函数的先验为高斯过程，首先给出高斯过程中yij的似然函数由xij，wi，bi和 i得到，如下所示：2,(),)xwxiiijjiiiijiybN f（4）式中：(,)N表示具有均值 和方差 的单变量正态分布。W=(w1,wm)的先验概率由下式给出：21(,)()Ww 0AWmiidiiNq=（5）式中：A 是行协方差矩阵，表示模型特征之间的关系，0d是值全为 0 的向量，2Ai为任务的协方差矩阵。式(5)中的2Ai对 W 的行之间的关系进行描述即任务间的特征关系，同时2Ai惩罚W每一列，q(W)对W的行和列同时进行描述。由于 W 是矩阵变量，因此 q(W)使用矩阵变量正态分布对其建模，如下所示：（6）式中：表示矩阵变量正态分布，行协方差矩阵 A和列协方差矩阵。行协方差矩阵 A是对任务特征间的关系进行建模，列协方差矩阵 是对任务间的关系进行建模。由 W 的后验分布与其的先验和似然函数的乘积成正比，可以得到下式：（7）式 中：1,XXXm=表 示 所 有 任 务 的 数 据 点，同 样 的11111,ymmmnnyyyy=，表示所有任务的标签合集。通过式(4)-(6)可以得到式(7)中的 W 最大后验概率，再对其取负对数，通过最小化 W、b、A 和 得到极大似然估计。（8）式中：|表示矩阵的行列式，tr()表示矩阵的迹，为了方便优化，我们将式(11)中的i和i分别固定为和，对于式(8)的最后两项 ln()在后续的优化问题中会难以优化，所以我们将其分别替换为约束 tr(A)=1 和 tr()=1 以此来使式(8)更易于优化，因此式(8)可以重新表示为 （9）令2122=，22=2,将 1和 2作为正则化参数。A0表示矩阵 A 是半正定矩阵。在式(9)中的第一项是训练的经验损失，第二项描述所有任务基于 A 和 W 的关系。第三项描2023 年第 8 期86计算机应用信息技术与信息化述所有任务基于 A、和 W 的关系。为了防止某个任务的经验损失过大，从而导致任务不平衡问题，我们将问题(9)转化为（10）2.2 模型求解对于关于同时求解式(10)中的 W、b、和 A 的最优解是比较困难的，因此我们使用一种交替的方法来解决这一问题。第一步：固定 和 A，求解 W 和 b。和 A 给定时，式(10)优化问题如下所示：（11）将问题(11)表示为约束优化问题，如下所示：（12）问题(12)的拉格朗日如下所示：（13）由于式子(13)中存在 W 和wTi，为了后续求导方便将wTi改写为e WTTi再分别计算 W、bi和ij的导数，并令其为 0。其中 ei是单位矩阵 Im的第 i 列，得到以下式子（14）10=inijjiLb （15）20=ijijiLn （16）合并式(14)-(16)，再根据线性方程w xTiijiyb=+得到下述线性系统：（17）其中 （18）式子(18)的 K 是对角线元素全都等于 ni的对角矩阵，()120111221111,EEeeemmNNNTNNN+=L，其中，eqp表示在 p，q区间内值全为 1，其余值全为零的列向量，1=iijjNn。第二步：固定 W、b 和 A，求解。目标式子如下所示：（19）令 U=WTA-1W，基于柯西施瓦茨不等式19，式(19)可以改写为：（20）对于任意常数 a和 tr()=1，当且仅当-1/2U1/2=a1/2时 tr(-1U)取到最小值 tr(U1/2)，因此可以得到式(22)的迭代更新结果，如下所示：（21）第三步：固定 W、b 和，求解 A。目标式子如下所示：（22）令 U=A-1W-1WT，式(22)的第一项可以优化为下列式子 （23）再令 Z=WWT，式(22)的第二项可以优化为下列式子 （24）求解过程和式(19)相似，因此式(22)的最优解为 （25）2023 年第 8 期87计算机应用信息技术与信息化我们将 和 A 的初始值分别设置为 Im/m 和 Id/m，假设开始时所有任务和任务间的特征都不相关。MJLGP 算法总结如下：MJLGP 算法伪代码输入：数据集X和标签Y，惩罚参数1和2，迭代次数t；训练：step1 初始化和A；step2 拉格朗日求解式(13)得到W和b；step3 通过式(21)更新；step4 通过式(25)更新A；step5 交替 step2step4 过程t次；测试：step1 给定测试数据集X*；step2 得到预测标签Y*。3 实验研究3.1 实验设置实验环境：Intel(R)Core(TM)i5-9400 CPU 2.90GHz,8 GB RAM,64 位 Windows 10,MatlabR2020a。参数设置：惩罚参数 1和 2从 0.1,0.2,1 中寻优；最大迭代次数 t 设置为 30。为了保证实验的有效性和可对比性，有关对比方法的参数选择与上述范围一致。评价指标：均方误差（mean-square error,MSE）是反映真实值与预测值之间的差异程度。多任务均方误差如下所示：()211()iniiijjjiMfyn=x （26）式中：Mi表示第 i 个任务的均方误差。3.2 实验结果及分析本文选取 MTRL、鲁棒多任务特征学习(robust multi task feature learning,RMTFL)20、棒多任务学习(robust multi-task learning,RMTL)21以及多任务学习的脏模型(dirty model for multi-task learning,DMTL)22作为对比方法。3.2.1 Landmine 数据集Landmine 数据集23是从不同地雷领域收集的 29 个二进制分类任务，每个输入都是 9 维特征的数据。每个任务的样本数量从 445 到 690 不等。我们采用十折交叉验证 来对数据进行实验。此外，由于任务数量较多，所以我们在本算法和其他实验算法结果中，取同样的随机七个任务进行展示，其中每一列代表一项任务。每种方法的第一行记录了 10 次训练后测试的 MSE 的平均值，测试结果如表 1所示。表 1 Landmine 数据集均方误差RMTLRMTFLDMTLMTRLMJLGP任务 10.070.070.090.060.04任务 20.060.060.070.070.04任务 30.070.070.090.060.05任务 40.080.080.130.070.05任务 50.040.040.040.060.02任务 60.070.080.090.090.05任务 70.090.090.10.030.08从表 1 可以看出，在七个任务中，MJLGP 算法中六个任务的均方误差优于对比算法。此外，我们在图 1 中分别绘制了 Landmine 数据集中七个任务关系和七个特征关系的混淆矩阵26-27表示任务和特征之间的关系。图1 Landmine数据集的任务关系（上）和特征关系（下），每一行从左至右都代表7个任务（上）或者7个特征（下），列从下至上也同样代表着 7 个任务（上）或者 7 个特征（下）。2023 年第 8 期88计算机应用信息技术与信息化我们就用混淆矩阵图 1 中每一个方格代表任务之间的关系，例如在第一行第二列或者第二行第一列的格子，都表示为任务 1 和任务 2 的关系。图 1 表示特征间和任务间的关系，在图 1 中，颜色越深代表着任务或者特征的关系越接近，也就是说该任务或者特征共同学习对训练是有帮助的。3.2.2 School 数据集school 数据集由 1985 年、1986 年和 1987 年伦敦 139 所中学的 15 362 名学生的考试成绩组成，因此，共有 139 项任务，对应于每所学校学生的表现。输入包括考试 4 个学校特定属性和 3 个学生特定属性。与学校有关的特征包括有资格获得学校免费食品学生的百分比、VR 第一级（言语推理最高等级）的学生百分比、学校类别和学校名称。四个取决于学生的特征是性别、VR 等级和种族。对于每个属性值，我们用一个二进制变量替换了所有分类属性（除了百分比属性外）。我们共获得了 28 个属性。图 2 表示了该数据集的任务关系和特征关系。表 2 则展示了 MJLGP 在学校效能数据上进行十折交叉验证后的均方误差。由于特征维数过高，我们仅展示前七个特征之间的关系。表 2 school 数据集均方误差RMTLRMTFLDMTLMTRLMJLGP任务 177.5670.2380.58268.7781任务 27355.786.9757.1554.32任务 382.9279.8792.9778.3372.37任务 4112.4169.8462.3858.5957.01任务 5120.539.8587.1847.1773.51任务 6205.9466.8689.05102.0364.37任务 7124.06270.2681.21264.5654.53.2.3 Robot Inverse Dynamics 数据集Robot Inverse Dynamics 数据集输入有 21 维的输入特征，对应于机器人手臂的 7 个关节位置、7 个关节速度和 7个关节加速度，输出为机械臂的 7 个自由度的关节力矩。因此共有 7 个任务。我们对每个任务随机选择 600 个数据点作为实验数据。图 3 则表示了该数据集的任务关系和特征关系。由于特征维数过高，我们仅展示前七个特征之间的关系。图 2 school 数据集的任务关系（上）和特征关系（下），每一行从左至右都代表 7 个任务（上）或者 7 个特征（下），列从下至上也同样代表着 7 个任务（上）或者 7 个特征（下）。图3 Robot Inverse Dynamics数据集的任务关系（上）和特征关系（下），每一行从左至右都代表 7 个任务（上）或者 7 个特征（下），列从下至上也同样代表着 7 个任务（上）或者 7 个特征（下）2023 年第 8 期89计算机应用信息技术与信息化表 3 Robot Inverse Dynamics 数据集均方误差RMTLRMTFLDMTLMTRLMJLGP任务 142.3427.3656.0430.2845.27任务 233.1132.6535.2519.1312.79任务 38.248.3810.3612.267.07任务 48.075.888.494.567.81任务 50.250.220.210.240.19任务 60.490.350.70.570.12任务 70.410.30.650.350.66本文提出了一种对多任务关系学习方法的改进方法。我们的方法通过两个矩阵变量同时对全局任务关系和特征关系进行建模，并且通过拉格朗日乘子法对该方法进行求解。我们的实验证明，同时学习任务的特征和关系对学习任务是有帮助的。在一些多任务学习的应用中28-30，有时候把不同任务组合起来一起学习会比所有任务一起学习的方法效果更好。因此在未来的研究中，我们将考虑如何通过任务的关系和特征的关系将多任务学习中的任务重新组合，组成两个或者更多的多任务进行学习31。4 结论本文将多任务关系学习与多任务特征学习相结合提出了一种新颖的多任务学习算法，该算法通过两个协方差矩阵同时对全局任务关系和特征关系进行学习建模，以此来提高任务的泛化性，此外，通过协方差矩阵来描述任务之间和特征之间的三种关系：正相关、负相关、无关，并通过拉格朗日乘子法对该方法进行求解。实验结果表明，在大部分数据集上要优于对比方法，同时学习多个任务的特征关系和任务关系可以提高模型的泛化性。在多任务学习时，同时学习的任务过多或者任务的特征较多，MJLGP 学习效率就会下降，因此在一些多任务学习的应用中，有时候把不同任务组合起来一起学习会比所有任务一起学习的方法效果更好23。在未来的研究工作中，将考虑如何进一步结合任务间关系与特征间关系，以这两种关系将多任务中的任务重新组合，形成多个多任务学习目标。参考文献：1 ZHOU J,YUAN L,LIU J,et al.A multi-task learning formulation for predicting disease progressionC/Proceedings of the 17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.2011:814-822.2 ZENG N,LI H,PENG Y.A new deep belief network-based multi-task learning for diagnosis of Alzheimers diseaseJ.Neural computing and applications,2021:1-12.3 陈宇,KENDELL A,WIPF D.基于不确定性的自动驾驶多任务学习 J.智能交通系统学报,2021,5(2):234-246.4 ZHANG Y,ZHANG Y,JI D,et al.Multi-task learning for sentiment analysis in Chinese social mediaJ.Expert systems with applications,2019,135:43-54.5 SUN W,ZHANG L,GUO J,et al.Multi-task learning for sentiment classification with hierarchical attentionC/IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining(ASONAM).New York:IEEE,2018:480-487.6 YU W,XU H,YUAN Z,et al.Learning modality-specific representations with self-supervised multi-task learning for multimodal sentiment analysisC/Proceedings of the AAAI Conference on Artifi cial Intelligence.2021:10790-10797.7 唐仁洲,林军.基于多任务特征学习的知识迁移 J.自动化学报,2015,41(4):630-642.8 ZHAO M,AN B,YU Y,et al.Data poisoning attacks on multi-task relationship learningC/Proceedings of the AAAI Conference on Artifi cial Intelligence.2018,32(1):35-46.9 SOARES L B,FITZGERALD N,LING J,et al.Matching the blanks:Distributional similarity for relation learningJ.ArXiv Areprint ArXiv:2019(5):89-93.10ARGVRIOU A,EVGENIOU T,Pontil M.Convex multi-task feature learningJ.Machine learning,2008,73(3):243-272.11BONILLA E V,CHAI K,WILLIAMS C.Multi-task Gaussian process predictionJ.Advances in neural information processing systems,2017(10):19-20.12WANG,C.,RUDIN,C.,&BLEI,D.M.A convex formulation for learning task relationships in multi-task learningJ.Journal of machine learning research,2009,10,2087-2123.13ZHOU Y,LIU Y,WANG D,et al.A novel combined multi-task learning and Gaussian process regression model for the prediction of multi-timescale and multi-component of solar radiationJ.Journal of cleaner production,2021,284:710-716.14XUE Y,LIAO X,CARIN L,et al.Multi-Task Learning for Classification with Dirichlet Process PriorsJ.journal of machine learning sesearch,2007,8(1):13-21.15ZHOU Y,JIN R,HOI S C H.Exclusive lasso for multi-task feature selectionC/Proceedings of the thirteenth 2023 年第 8 期90计算机应用信息技术与信息化international conference on artificial intelligence and statistics.JMLR Workshop and Conference Proceedings,2010:988-995.16 张钰,刘建伟,左信.多任务学习 J.计算机学报,2020,43(7):1340-78.17NOACK A.Kronecker productJ.From mathworld-a wolfram web resource,2002(10):23-29.18ZHANG Z X,CHEN S S.A generalized Cauchy-Schwarz inequality and its applicationsJ.Journal of mathematical analysis and applications.2015:431(1),441-453.19GONG P,YE J,ZHANG C.Robust multi-task feature learningC/Proceedings of the 18th ACM SIGKDD international conference on knowledge discovery and data mining.2012:895-903.20YU S,TRESP V,YU K.Robust multi-task learning with t-processesC/Proceedings Of The 24th International Conference on Machine Learning.New York:AAAI,2007:1103-1110.21JALALI A,SANGHAVI S,RUAN C,et al.A dirty model for multi-task learningJ.Advances in neural information processing systems,2010,22-23.22FLOREZ-LOZANO J,CARAFFINI F,PARRA C,et al.Training data set assessment for decision-making in a multiagent landmine detection platformC/2020 IEEE Congress on Evolutionary Computation(CEC).IEEE,2020:1-8.23FIFTY C,AMID E,ZHAO Z,et al.Efficiently identifying task groupings for multi-task learningJ.Advances in neural information processing systems,2021,34:27503-27516.24SAMANT R M,BACHUTE M R,Gite S,et al.Framework for deep learning-based language models using multi-task learning in natural language understanding:A systematic literature review and future directionsJ.IEEE access,2022,10:17078-17097.25 赵存秀.基于混淆矩阵的分类器性能评价指标比较 J.电子技术与软件工程,2020,13:146-147.26 姚世祎,杨盛腾,李裕梅.基于混淆矩阵的机器学习分类评价指标研究及 Python 实践 J.Hans journal of data mining,2022,12:351.27 贺瑞芳,段绍杨.基于多任务学习的中文事件抽取联合模型 J.软件学报,2019,30(4):1015-1030.28WALLINGFORD M,LI H,ACHILLE A,et al.Task adaptive parameter sharing for multi-task learningC/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2022:7561-7570.29 孙庆凯,王小君,张义志,等.基于 LSTM 和多任务学习的综合能源系统多元负荷预测 J.电力系统自动化,2021,45(5):63-70.【作者简介】刘闯(1996)，男，贵州毕节人，硕士研究生，研究方向：模式识别。胡文军(1977)，男，安徽宣城人，博士，研究方向：模式识别。王闯(1998)，男，河南信阳人，硕士研究生，研究方向：模式识别。（收稿日期：2023-02-10 修回日期：2023-04-12）Fifth International Conference on Architectural Support for Programming Languages and Operating Systems.New York:IEEE,2020:483-495.13WEERASINGHE J,ABEL F,HAGLEITNER C,et al.Disaggregated fpgas:Network performance comparison against bare-metal servers,virtual machines and linux containersC/2016 IEEE International Conference on Cloud Computing Technology and Science(CloudCom).New York:IEEE,2016:9-17.14KWON J C,KIM N L,KANG M,et al.Design and prototyping of container-enabled cluster for high performance data analyticsC/2019 International Conference on Information Networking(ICOIN).New York:IEEE,2019:436-438.15MIN J,LIU M,CHUGH T,et al.Gimbal:enabling multi-tenant storage disaggregation on SmartNIC JBOFsC/Proceedings of the 2021 ACM SIGCOMM 2021 Conference.New York:ACM,2021:106-122.【作者简介】陶锐哲（1994），男，安徽合肥人，硕士研究生，浪潮云信息技术股份公司裸金属计算研发经理，研究方向：大规模云计算领域、裸金属计算、分布式计算等。（收稿日期：2023-03-01 修回日期：2023-05-08）(上接第 83 页）