基于异构特征的强化联邦学习模型融合方法.pdf

2023 年第 10 期计算机与数字工程收稿日期：2023年4月3日，修回日期：2023年5月12日基金项目：国家自然科学基金项目（编号：62072469）；国家重点研发计划（编号：2018YFE0116700）；山东省自然科学基金项目（编号：ZR2019MF049）；中央高校基本科研业务费专项资金（编号：2015020031）；西海岸人工智能技术创新中心建设专项（编号：2019-1-5，2019-1-6）；上海可信工业控制平台开放项目（编号：TICPSH202003015-ZC）资助。作者简介：禹发，男，硕士研究生，研究方向：深度学习，联邦学习，强化学习。赵潇楚，女，硕士研究生，研究方向：先进制造与战略管理。谷牧，男，硕士研究生，高级工程师，研究方向：智能制造，云制造。张元杰，男，硕士研究生，研究方向：深度学习。1引言AlphaGo1在围棋上接连战胜人类顶尖选手李世石与柯洁，让人们逐渐意识到了人工智能（AI）所拥有的巨大能量，期待将其应用到各行各业中来。当AI真正要落地到各个行业之中时，效果往往差强人意，究其原因，最重要的问题在于数据，大多数行业数据的数量和质量都无法满足 AI 技术的需基于异构特征的强化联邦学习模型融合方法禹发1赵潇楚2谷牧3张元杰4（1.中国石油大学（华东）计算机科学与技术学院青岛266580）（2.中德智能技术研究院青岛266071）（3.航天云网科技发展有限责任公司北京100039）（4.青岛文达通科技股份有限公司青岛266555）摘要在联邦网络中，各个设备间数据的数据呈现Non-IID（Non-Independent and Identically Distributed，非独立同分布），同时设备之间的算力状况也不同，这些异构特征会导致各个节点设备学习的模型质量好坏不一，传统联邦学习将各个节点训练结果等权重进行平均融合，使联邦学习效果不理想，针对联邦网络中这些异构特征，论文通过设计实验，将强化学习加入联邦学习的模型融合过程，代替传统的平均融合方法，为融合模型分配动态权值，提高了联邦学习在异构特征环境下的学习效果，增强了联邦学习的鲁棒性。关键词异构特征；联邦学习；强化学习；模型融合；深度学习中图分类号TP309.2DOI：10.3969/j.issn.1672-9722.2023.10.017Fusion Method of Reinforced Federated Learning ModelBased on Heterogeneous FeaturesYU Fa1ZHAO Xiaochu2GU Mu3ZHANG Yuanjie4（1.College of Computer Science and Technology，China University of Petroleum（East China），Qingdao266580）（2.Sino-German Institute of Intelligent Technologies，Qingdao266071）（3.Aerospace Cloud Network Technology Development Co.，Ltd.，Beijing100039）（4.Qingdao Windaka Technology Co.，Ltd.，Qingdao266555）AbstractIn a federated network，the data of each device is Non-IID（Non-Independent and Identically Distributed），andthe computing power between devices is also different.These heterogeneous features will cause the quality of the model learned byeach node device to be good or bad.The traditional federated learning averages the weights of the training results of each node andmakes the federated learning effect unsatisfactory.Aiming at these heterogeneous features in the federated network，this article designs experiments to add reinforcement learning to the federated learning.The model fusion process replaces the traditional averagefusion method，improves the learning effect of federated learning in a heterogeneous feature environment，and enhances the robustness of federated learning.Key Wordsheterogeneous features，federated learning，reinforcement learning，model fusion，deep learningClass NumberTP309.2总第 408期2023 年第 10 期计算机与数字工程Computer&Digital EngineeringVol.51No.102305第 51 卷求，大多数行业中，数据都是以孤岛的形式存在，行业中各个企业集团之间存在竞争壁垒，同时涉及到安全和隐私以及其他问题，几乎不可能形成一个统一的完备的行业数据集。随着整个互联网世界对于数据安全性和用户的数据隐私意识的增强，加剧了数据获取的困难性。数据的隔离和对数据隐私的重视正成为人工智能的下一个挑战，但联邦学习为我们带来了新的希望。它可以在保护本地数据的同时为多个企业建立统一的模型，从而使企业可以在以数据安全为前提的情况下共同取胜。联邦学习25的概念起初由谷歌提出，他们的主要想法是建立基于分布在多个设备上的数据集的机器学习模型，同时防止数据泄漏。最近的改进集中在克服统计挑战67和提高联邦学习的安全性89。还有一些研究努力使联邦学习更具个性化10。联邦学习的出现使在数据保持不交换的情况下，进行大规模的协同模型训练。文献 11 中使用联邦学习来帮助训练入侵检测的模型，解决了单个机构数据集有限性而导致的模型泛化性不强的问题；文献 12 基于联邦学习设计了FRL框架，提高分部学习模型质量，同时在应用于北京PM2.5监控的实验中表现出了高于中心化训练三到五倍的效率。在边缘计算方面，文献13 将联邦学习应用于边缘设备的轻量级模型训练上，并在提高准确率的情况下，缩减了模型训练时间。Kwon14等将联邦学习应用于水下物联网设备的训练中，并加入了强化学习来对联邦学习中的通信传输进行优化，提高了通信链路的效率。但是，以上对于联邦学习的应用仍存在在需要解决的问题。由于客户端设备硬件条件（CPU、内存）、网络连接（3G、4G、5G、WiFi）和电源（电池电量）的变化，联邦学习网络中每个设备的存储、计算能力和通信能力都有可能不同，加上联邦网络中设备上数据集数量与质量上的非对称性以及设备算力的差异，各节点训练的模型有好有坏同时联邦这些异构特征给联邦学习的建模、分析和评估都带来了很大挑战。传统的联邦学习算法，会将各个节点上传的模型按照等权重进行平均融合，如果某个节点模型质量差或者存在错误，会影响联邦学习全局的模型准确率，降低效率。本文提出一种基于异构特征的强化联邦学习模型融合方法，针对于联邦学习中异构特征问题，提高容错能力，保证学习效果，加入强化学习，能够动态地通过联邦网络中个设备的状态信息，调整模型融合时的权值，代替传统的平均融合方法，更好地对全局模型进行更新。2基于异构特征的强化联邦学习模型融合方法为了解决联邦学习中的异构特征问题，需要针对不同的节点情况，在融合时自适应地调整各节点的权值，得到最优的权值进行融合。我们希望这个过程可以自主地进行，并能通过训练次数增加，不断学习，更准确地得到最优权值。而强化学习可以通过代理（Agent）与环境（Environment）不断交互，去学习得到最优结果，这恰恰可以应用于联邦学习的模型融合时，权值的选择。2.1联邦学习联邦学习（Federated Learning）从本质上讲，是一种分布式的机器学习技术，或者称作一个机器学习框架。推动其产生的背景主要分为三个方面：1）在人工智能纷纷落地于应用后，逐渐暴露出来的问题是数据量的不足，一个高可用的人工智能应用通常需要依赖于大量高质量的数据集训练，现实生活中，极少有企业能满足这一点。2）全世界各个机构逐步加强了对数据的保护与监管，例如欧盟的 通用数据保护条例（GDPR）以及我国的 数据安全管理办法（征求意见稿），都对数据的流动做了限制。3）企业数据通常隐藏着企业机密且存在巨大潜在价值，不允许对外开放，这会导致数据孤岛问题。为了能够在合乎法律规范的情况下，使企业间在不泄露自己数据的情况下，共用数据集，共同训练模型，以达到提高模型准确率与泛化性的目的，联邦学习应运而生。2.2强化学习强化学习1516是机器学习算法的一个分支，它受行为主义心理学启发而产生，同时与早期的控制论、心理学、神经科学和计算机科学都有关系。强化学习指的是仿照人类的学习方法而设计出的智能体，在动态环境中不断重复“动作-反馈-学习”的方式来进行学习，智能体是强化学习的动作实体。对于自动驾驶的汽车，环境是当前的路况；对于围棋，状态是当前的棋局。在每个时刻，智能体和环境有自己的状态，如汽车当前位置和速度，路面上的车辆和行人情况。智能体根据当前状态确禹发等：基于异构特征的强化联邦学习模型融合方法23062023 年第 10 期计算机与数字工程定一个动作，并执行该动作。之后它和环境进入下一个状态，同时系统给它一个反馈值，对动作进行奖励或惩罚，以迫使智能体执行期望的动作。2.3强化联邦学习模型融合方法在传统联邦学习中，各节点上传模型，会在中心节点进行融合，生成全局模型，融合时采用平均融合的方法，即global=i=0NiN（1）然而由于各节点数据质量，算力和能量等异构性问题，各节点上传的模型质量参差不齐，如果某个节点数据集质量有错、质量差或者机器算力差会导致此节点上传模型对于全局模型的准确率提升没有帮助，甚至会有害，基于此，我们希望在联邦学习的过程中加入一种可以自适应的模型融合方法，能够根据历史的各节点模型信息，动态调节各节点模型的权重，提高有益节点的权重，降低权重甚至舍弃有害节点。强化学习能通过智能体不断与环境交互，通过奖励机制不断学习，达到最大化奖励或者特定目标。于是，我们将强化学习加入到联邦学习的模型融合过程中来，使用强化学习来代替平均融合算法。本文以强化学习算法 DQN（Deep Q-learningNetwork）为基础，将联邦学习模型融合过程形式化为一个强化学习问题，进行求解。在一个联邦网络中有N个节点：状态（State）：sS=s1s2s3s4sN，表示 N节点在模型融合时的准确率以及上一次的权值。动作（Action）：aA=A1A2A3A4AN，表示为第i个节点分配的权值。奖励（Reward）：R表示在状态s下执行动作a，得到的奖励值，在本实验中为融合后模型准确率与上一次准确率的差值。策略（Policy）：表示在状态 s 下选择一个动作，表示为a=(s)。价值函数（Value function）：奖励只代表某一次动作的奖励值，而价值函数是从长期的角度看待动作的好坏，Q(sa)是策略在状态s下，采取动作a的长期期望收益，按照策略执行动作后的回报定义为Gt=t=0+tRat(stst+1)（2）其中01称为折扣因子，表示对未来奖励的看重性，当其为0时只看重现在。状态s的价值为V(s)=EGt|St=s（3）状态s下采取动作a的动作价值函数Q为Q(sa)=EGt|St=sAt=a（4）要得使得在状态s下动作a得到最好的效果，则应使最大的价值函数取最大值，根据贝尔曼方程（Bellman equation）可得：V*(s)=ERt+1+maxV(st+1)|St=s（5）Q*(sa)=ERt+1+maxaQ(st+1a)|St=sAt=a（6）a表示下一步执行的动作，使用深度学习对此进行求解，我们把一个神经网络来作为策略，称之为Q-network，其输入为状态s，输出为下一步动作a的q值，取在接下来状态下，执行动作a后最大q值y=r+maxaQ*(sa)为目标解，即可使用均方误差（Mean Square Error），对其进行梯度下降求解，损失函数为L()=E(y-Q(sa;)2（7）这样，只需要对神经网络的参数进行训练，即可得到策略的最优解。整个算法流程如算法1所示。算法1 强化联邦学习模型融合算法1）初始化各节点权重Wi2）初始化强化学习模块网络参数，样本库D3）各子节点从中心节点获取任务，开始训练4）子节的训练完成模型后开始向强化学习模块上传模型5）强化学习网络通过状态s给出动作a，并执行得到权值wi，得到奖励值r和执行动作后状态s6）将储存入样本库D7）从样本库随机选取一批样本8）使用样本训练网络参数，更新9）使用wi进行模型融合，得到融合后模型，中心节点下发融合后模型重复3）至9），直至训练结束3实验分析3.1实验数据集一般传统机器学习使用的是独立同分布的数据集，也称 IID（Independent and Identically Distributed）数据集，而在实际联邦学习过程中，基于用户设备、地区、习惯等的不同，数据通常是非独立同分布 的 Non-IID（None-Independent and IdenticallyDistributed）数据集。为了与实际联邦学习环境相对应，我们在cifar-100数据集的基础上，进行了重新划分，将其转换为Non-IID数据集，如图1所示，2307第 51 卷左边为原始 cifar-100 数据集，右边为划分以后Non-IID的cifar-100数据集。100806040200class_id0100200300400500image_num图1正常数据分布图100806040200class_id0100200300400500image_num图2Non-IID数据集3.2实验环境为了模拟联邦学习中异构性的特点，实验中用了多台性能不同的机器当作联邦节点，以此来保证各节点训练出来的模型质量不同，模拟异构性特征，所使用节点信息如表1所示。表1实验节点信息节点序号12345678显卡型号GeForce RTX 3090GeForce RTX 2080 TiGeForce GTX 1080 TiGeForce GTX 1070GeForce GTX 1070GeForce RTX 3090GeForce GTX 1080GeForce RTX 30803.3实验设置实验在预设的八个节点上进行，使用 No-IID数据集进行模型训练，使用网络结构为resnet34，分别使用强化联邦学习模型融合算法与使用传统平均融合算法进行联邦学习过程，比较其结果。3.4实验结果图3为训练过程中各节点上传模型的准确率，从中可以看出，在Non-IID的情况下，节点8因为数据分布以及机器算力问题，在训练过程中导致了模型准确率一直不高，同时也体现了联邦学习中的异构性问题。实验结果如图4所示，在不使用任何训练trick的情况下，传统平均融合算法最后达到38.2%的准确率，使用强化联邦融合算法，弱化了节点8在融合时的权值，提高了联邦学习鲁棒性，最终到了41.49%的准确率，提高了3.29%。0.40.30.20.1acc0102030405060平均融合强化联邦融合0.41490.382图3各节点模型准确率0.40.350.30.250.20.150.10.050acc0102030405060node1node2node3node4node5node6node7node8图4平均融合与强化联邦融合准确率4结语通过实验证明了异构性在联邦学习中的影响作用，同时在联邦学习模型融合过程中，使用强化学习代替传统平均融合，提高了联邦学习的鲁棒性与模型训练的效果。但是研究仍存在不足，联邦学习除了异构性问题外，联邦学习中更关键的一点是如何抵抗联邦学习中的恶意攻击。在联邦学习中会存在恶意节点，向中心节点发送有毒模型或梯度信息，导致联邦学习无法拟合，实验的下一步研究应放在如何使用强化学习来控制节点权值，以达到免受攻击影响。参 考 文 献1D Silver，Huang A，Maddison C J，et al.Mastering thegame of Go with deep neural networks and tree search J.（下转第2329页）禹发等：基于异构特征的强化联邦学习模型融合方法23082023 年第 10 期计算机与数字工程1710.09412，2017.11Yun S，Han D，Oh S J，et al.Cutmix：Regularizationstrategy to train strong classifiers with localizable featuresC/Proceedings of the IEEE/CVF International Conference on Computer Vision，2019：6023-6032.12Tian Z，Shen C，Chen H，et al.Fcos：Fully convolutional one-stage object detectionC/Proceedings of theIEEE/CVF International Conference on Computer Vision，2019：9627-9636.13Ge Z，Liu S，Li Z，et al.OTA：Optimal Transport Assignment for Object DetectionC/Proceedings of theIEEE/CVF Conference on Computer Vision and PatternRecognition，2021：303-312.14Hu J，Shen L，Sun G.Squeeze-and-excitation networksC/Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition，2018：7132-7141.15Woo S，Park J，Lee J Y，et al.Cbam：Convolutionalblock attention module C/Proceedings of the EuropeanConference on Computer Vision（ECCV），2018：3-19.16Lin T Y，Maire M，Belongie S，et al.Microsoft coco：Common objects in context C/European Conference onComputer Vision.Springer，Cham，2014：740-755.Nature，2016（529）：484-489.2Brendan McMahan H，Moore E，Ramage D，et al.Communication-efficient learning of deep networks from decentralized data J.ArXiv：1602.05629，2016.3Konen J，McMahan H B，Ramage D，et al.Federatedoptimization：Distributed machine learning for on-deviceintelligence J.ArXiv：1610.02527，2016.4Konen J，McMahan H B，Yu F X，et al.Federatedlearning：Strategies for improving communication efficiency J.ArXiv：1610.05492，2016.5McMahan H B，Moore E，Ramage D，et al.Federatedlearning of deep networks using model averaging J.ArXiv：1602.05629，2016.6Smith V，Chiang C K，Sanjabi M，et al.Federatedmulti-task learning J.ArXiv：1705.10467，2017.7Zhao Y，Li M，Lai L，et al.Federated learning withnon-iid data J.ArXiv：1806.00582，2018.8Bonawitz K，Ivanov V，Kreuter B，et al.Practical secureaggregation for privacy-preserving machine learning C/Proceedings of the 2017 ACM SIGSAC Conference onComputerandCommunicationsSecurity，2017：1175-1191.9Geyer R C，Klein T，Nabi M.Differentially private federated learning：A client level perspectiveJ.ArXiv：1712.07557，2017.10Fallah A，Mokhtari A，Ozdaglar A.Personalized federated learning：A meta-learning approachJ.ArXiv：2002.07948，2020.11王蓉，马春光，武朋.基于联邦学习和卷积神经网络的入侵检测方法J.信息网络安全，2020，20（04）：47-54.WANG Rong，MA Chunguang，WU Peng，et al.An Intrusion Detection Method Based on Federated Learningand Convolutional Neural Network J.Information Network Security，2020，20（04）：47-54.12胡彬轩.基于联邦学习的空气质量监测系统设计与实现 D.北京：北京邮电大学，2019.HU Binxuan.The Design and Implementation of AirQuality Monitoring System Based on Federated LearningD.Beijing：Beijing University of Posts and Telecommunications，2019.13赵羽，杨洁，刘淼，等.面向视频监控基于联邦学习的智能边缘计算技术J.通信学报，2020，41（10）：109-115.ZHAO Yu，YANG Jie，LIU Miao，et al.Federated learning based intelligent edge computing technique for videosurveillance J.Journal on Communications，2020，41（10）：109-115.14Kwon D，Jeon J，Park S，et al.Multi-Agent DDPG-basedDeep Learning for Smart Ocean Federated Learning IoTNetworksJ.IEEE Internet of Things Journal，2020（99）：1.15Thrun S，Littman M L.Reinforcement learning：an introduction J.AI Magazine，2000，21（1）：103.16Volodymyr M，Koray K，David S，et al.Human-levelcontrol through deep reinforcement learning J.Nature，2019，518（7540）：529-533.（上接第2308页）2329