2022年联邦学习全球研究与应用趋势报告.pdf

人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 1 联邦学习全球研究与应用趋势报告2022 a m i n e r.c n 深圳 TR 清华大学深圳国际研究生院知识工程研究中心 北京智谱华章科技有限公司 开放群岛开源社区 人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 2 主要发现主要发现 “中美双雄”引领全球联邦学习发展“中美双雄”引领全球联邦学习发展 中国和美国的联邦学习论文发布量遥遥领先于其他国家。高被引论文之中有六成以上是来自中美两国，中美两国论文合作数量也全球最多；杰出论文之中有 45.5%来自美国、31.8%来自中国，中美两国合占达七成以上。联邦学习全球高被引论文领先的机构是谷歌（8 篇）、卡内基梅隆大学（5 篇）。中国的高被引论文量较多的机构是北京邮电大学（4 篇）、微众银行（3 篇）。杰出论文数量则是美国的卡内基梅隆大学与中国的香港科技大学各以 3 篇而并列第一。联邦学习领域的全球高被引论文作者主要聚集在中美。美国的高被引论文作者数量最多，占全球一半，也是中国的 2.6 倍。全球专利受理数量以中国地区最多，约占全球受理总量的六成，是在美国受理专利量的 4 倍。专利申请数量前三名机构全部是中国机构。开源框架主要来自中美，其中 OpenMined 推出的 Pysyft、微众银行的 FATE 和谷歌的 TFF 框架的热度居于全球前三位。未来联邦学习研究趋势将更多与算法模型和安全隐私技术相关未来联邦学习研究趋势将更多与算法模型和安全隐私技术相关 目前联邦学习研究热点主要聚焦在机器学习方法、模型训练、隐私保护三方面。未来几年研究趋势将更多涉及算法模型和安全隐私技术，如数据隐私、深度学习、差分隐私、边缘计算、物联网、云计算、移动设备、同态加密、优化问题、沟通效率等。行业应用越来越成熟，应用研究方向呈现出更多与物联网、区块链、车辆交互、5G/6G等技术融合的态势。人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 3 目目 录录 1.1.报告说明报告说明.5 5 1.1 1.1 数据范围数据范围.6 6 1.2 1.2 联邦学习知识树联邦学习知识树.6 6 2.2.引言引言 .8 8 3.3.联邦学习技术研究与应用现状联邦学习技术研究与应用现状 .1010 3.1 3.1 技术研究现状技术研究现状 .1010 3.1.1 科研论文成果现状 10 3.1.2 高被引论文分析 18 3.1.3 联邦学习的特刊、书籍和综述 32 3.1.4 联邦学习研讨会杰出论文 36 3.1.5 高被引论文作者的人才地图与画像 41 3.1.6 专利申请现状 55 3.2 3.2 联邦学习框架与系统现状联邦学习框架与系统现状 .6060 3.2.1 开源框架 60 3.2.2 非开源框架与系统 70 3.3 3.3 联邦学习行业应用现状联邦学习行业应用现状.8080 4.4.联邦学习发展趋势联邦学习发展趋势 .8787 4.1 4.1 研究趋势研究趋势.8787 4.2 4.2 技术成熟度技术成熟度 .8888 4.3 4.3 市场化与商业化趋势市场化与商业化趋势 .8989 4.4 4.4 国内外相关标准国内外相关标准.9090 4.5 4.5 生态建立与发展生态建立与发展.9292 5.5.结语结语 .9393 附录一 联邦学习领域顶级国际期刊会议列表.95 附录二 联邦学习架构和应用规范简介.96 附录三 联邦学习五份特刊的已发表文章.97 参考文献.103 致谢.107 版权说明.108 人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 5 1 1.报告说明报告说明 自上期联邦学习全球研究与应用趋势报告发布以来，联邦学习领域在科研成果持续增长的同时，其行业环境越来越规范化。尤其是随着数据安全法、关键信息基础设施安全保护条例、个人信息保护法等政策的陆续发布实施，安全行业界对信息安全与隐私数据的重视再度升级，将深度影响到联邦学习研究和应用的发展动向和趋势。因此，我们对报告进行了更新，旨在寻找与展示最新发现。联邦学习（Federated Learning）是在进行分布式机器学习的过程中，各参与方可借助其他参与方数据进行联合建模和使用模型。参与各方无需传递和共享原始数据资源，同时保护模型参数，即在数据不出本地的情况下，进行数据联合训练、联合应用，建立合法合规的机器学习模型1。联邦学习是一种新兴的人工智能基础技术，其概 念 于 2016 年 由 谷 歌 公 司 H.Brendan Mcmahan 在 论 文Federated Learning of 1 杨强、刘洋、陈天健等：联邦学习，载中国计算机学会通讯，2018 年版，第 49-55 页。2 McMahan,H.B.,Moore,E.,Ramage,D.,&y Arcas,B.A.(2016).Federated learning of deep networks using model averaging.arXiv preprint arXiv:1602.05629.3 https:/www.fedai.org/cases/utilization-of-fate-in-anti-money-laundering-through-multiple-banks/4 Liu,Y.,Huang,A.,Luo,Y.,Huang,H.,Liu,Y.,Chen,Y.,Feng,L.,Chen,T.,Yu,H.,&Yang,Q.(2020).“FedVision:An Online Visual Object Detection Platform Powered by Federated Learning,”Proceedings of the AAAI Conference on Artificial Intelligence,34(08),13172-13179.5 Li W.et al.“Privacy-Preserving Federated Brain Tumour Segmentation,”In:Suk HI.,Liu M.,Yan P.,Lian C.(eds)Machine Learning in Medical Imaging.MLMI 2019.Lecture Notes in Computer Science,vol 11861.Springer,Cham.6 Ben Tan,Bo Liu,Vincent Zheng,and Qiang Yang.2020.A Federated Recommender System for Online Services.In Fourteenth ACM Conference on Recommender Systems(RecSys 20).Association for Computing Machinery,New York,NY,USA,579581.DOI:https:/doi.org/10.1145/3383313.3411528 Deep Networks using Model Averaging 2 中最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，后经香港科技大学与微众银行杨强教授所领导团队在 2018 年将其扩展为机构间B2B 分布式联合建模架构，包括按样本、特征分割以及异构多方建模，同时可以建立去中心协调器的Peer-to-Peer 架构形式，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率，安全、可靠的机器学习。联邦学习同时包括鼓励多方持续参与合作生态的激励机制，建立正向激励的数据价值交易市场机制。当下，联邦学习已经被大量应用于金融3、安防4、医疗5、在线推荐系统6等领域。联邦学习有望成为下一代人工智能协同算法，隐私计算和协作网络的基础。人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 6 2022 联邦学习全球研究与应用趋势报告主要从技术研究、学者画像、主流框架、行业应用，以及发展趋势几大方面，较为全面深入地介绍联邦学习自 2016 年诞生以来到 2021 年的技术研究和应用进展，并展望该技术的未来发展方向与前景。本期报告不仅将数据范围扩展到 2016-2021 年、更新了相关技术数据统计、现状进展等内容，而且重点突出了对科研实践具有较大影响力的高被引论文及其作者的分析，同时增加了来自几个知名人工智能国际顶会中关于联邦学习专题研讨会的杰出论文相关分析，以展示该领域具有较高技术质量、创新力的科研成果。1 1.1.1 数据范围数据范围 本报告研究数据范围是科技情报大数据挖掘与服务系统平台 AMiner 数据库所收录的 2016-2021 年期间与联邦学习研究主题强相关的论文数据、专利数据以及公开数据等。论文的引用量数据统计截止日期为 2022 年 3 月 31 日。1 1.2.2 联邦学习联邦学习知识知识树树 本报告根据联邦学习的关键技术和相关技术，利用 AMiner 数据库中该领域的高水平学术论文，将挖掘出的全球活跃的联邦学习重要技术点表征为知识树结构，如图 1所示。人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 7 图图 1 1 联邦学习联邦学习知识树知识树 人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 8 2 2.引言引言 人工智能未来能否可持续发展面临两大困境。一是数据困境数据困境。人工智能和机器学习算法具有对数据强依赖的特性。现实中，多数行业领域存在着数据有限且质量较差的问题，并且以碎片化的形式分散存在，不足以支撑人工智能技术的实现。同时，数据源之间存在着难以打破的壁垒。由于行业竞争、隐私安全、行政手续复杂等问题，数据还多是以孤岛形式存在的。此外，研究界和企业界目前的情况是收集数据的一方通常不是使用数据的一方。因此，将分散在各地、各机构的数据进行整合用于机器学习所需的成本非常巨大。二是法律法律挑战挑战。当前，重视数据隐私和安全已经成为世界性的趋势，各国都在不断地推出和加强完善对数据安全和隐私保护的相关法规。欧盟2018 年正式施行通用数据保护条例（General Data Protection Regulation,GDPR）。在中国，全国信息安全标准委员会先后于 2017 年 12 月和2020 年 3 月发布了两版信息安全技术个人信息安全规范（GB/T 35273-2017、GB/T 35273-7 中华人民共和国网络安全法，中共中央网络安全和信息化委员会办公室、中华人民共和国国家互联网信息办公室,http:/ 8 中华人民共和国民法总则，中华人民共和国中央人民政府，http:/ 9 中华人民共和国数据安全法，中国人大网，2021 年 06 月 10 日，http:/ 10 中华人民共和国个人信息保护法，中国人大网，2021 年 08 月 20 日，http:/ 11 关键信息基础设施安全保护条例，中国政府网，2021 年 08 月 17 日http:/ 12 杨强、刘洋、陈天健等：联邦学习，载中国计算机学会通讯，2018 年版，第 49-55 页。2020），对个人信息收集、储存、使用做出了明确规定。此外，在 2017 年起实施的中华人民共和国网络安全法7 和 中华人民共和国民法总则8 中也指出网络运营者不得泄露、篡改、毁坏其收集的个人信息，并且与第三方进行数据交易时需确保在合同中明确约定拟交易数据的范围和数据保护义务。2021 年陆续公布实施了数据安全法9、个人信息保护法10、关键信息基础设施安全保护条例11，为数据安全提供了法律保护，更规范了数据的合法合规使用。针对以上困境，“狭义”联邦机器学习的概念于 2016 年由谷歌研究人员首先提出，随后成为一个解决数据孤岛问题、满足隐私保护和数据安全的一个可行性解决方案 12。联邦学习的特征是数据不出本地、各个参与者的身份和地位平等、它能够实现多个参与方在保护数据隐私、满足合法合规要求的前提下进行机器学习，协同地进行模型训练与结果预测，并且建模效果和将整个数据集放在一处建模的效果相同或相差不大（在各个数据的用户对齐（user alignment）或特征对齐（feature alignment）的条件下）12，从而实现企业间的数人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 9 据融合建模，解决数据孤岛问题。“广义”联邦学习的概念，由香港科技大学杨强教授所领导的微众银行 AI 团队在 2018 年提出，将联邦学习扩展为机构和个人间的 B2C 模式和不同机构间 B2B分布式联合建模架构，包括按样本、按特征分割以及异构多方建模，同时可以建立去中心协调器的 Peer-to-Peer 架构形式，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率，安全、可靠的机器学习和模型使用。联邦学习同时包括鼓励多方持续参与合作生态的激励机制，建立正向激励的数据价值交易市场机制。如上所述，根据孤岛数据的分布特点（用户与用户特征的重叠情况），联邦学习可以分为横向联邦学习、纵向联邦学习与联邦迁移学习13。联邦学习能够成功的一个重要根基，在于与激励机制、隐私保护等技术的融合。联邦学习激励机制研究的是如何量化每个参与方对数据联邦带来的收益，公平地与参与者分享部分收益以此作为激励，从而实现数据联邦长期的可持续经营14。为了防止恶意攻击者通过模型反演等攻击手段复现原始数据，联邦学习通过与安全多方计算（Secure Multi-Party Computation,MPC）、同态加密（Homomorphic Encryption,HE）、差分隐私（Differential Privacy,DP）和可信执行环境（Trusted Execution Environment,TEE）等隐私计算技术相融合，进一步提升对数据的隐私保护。联邦学习与隐私计算技术的融合通常需要在模型精度、模型训练效率和数据安全性这三个维度之间进行权衡和取舍。如何能够在这三个维度上得到综合性的提升，是联邦学习的一个热点研究方向。联邦学习作为未来 AI 发展的底层技术，它依靠安全可信的数据保护措施下连接数据孤岛的模式，将不断推动全球 AI 技术的创新与飞跃。随着联邦学习在更大范围和更多行业场景中的渗透及应用，它不仅能辅助人类的工作及生活，也将逐步改变人类的认知模式，促进全社会智能化水平提升，并以“合作共赢”的模式带动跨领域的企业级数据合作，有效降低技术应用的成本和门槛，催生基于联合建模的新业态，进而推动社会经济及发展15。截至目前尚没有关于联邦学习技术发展的权威统计，本报告将主要回顾其从 2016 年诞生至2021 年的技术发展趋势，作为学者们了解该技术进展的重要渠道。未来我们将定期进行该技术的阶段性回顾。13 Liu Y,Chen T,Yang Q.Secure Federated Transfer Learning FrameworkJ.IEEE Intelligent Systems,vol.35,no.4,pp.70-82,1 July-Aug.2020.14 杨强，刘洋，程勇，康焱，陈天健：联邦学习，电子工业出版社：北京，2020 年:99-99.15 微众银行人工智能部、鹏城实验室、腾讯研究院、中国信通院云大所、平安科技、招商局金融科技、电子商务与电子支付国家工程实验室(中国银联)：联邦学习白皮书 V2.0，深圳，2020 年，第 5-7 页。人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 10 3 3.联邦学习联邦学习技术研究与技术研究与应用应用现现状状 3 3.1.1 技术技术研究研究现状现状 3.1.3.1.1 1 科研科研论文论文成果成果现状现状 （1）论文发表量复合年增长率为 40%基于 AMiner 系统，通过关键词组16在标题和摘要中检索 2016 年至 2021 年论文数据。结果显示，研究时段内联邦学习相关论文共计 4576 篇，自 2016 年被提出以来，研究论文数量逐年增多，到 2021 年的复合年增长率为 40.78%，相关论文趋势如错误错误!未找到引用源。未找到引用源。所示。图图 2 2 联邦学习研究论文趋势（联邦学习研究论文趋势（2 2016016-20212021 年）年）（2 2）论文发布量论文发布量以中美两国以中美两国为为引领引领 根据论文作者所在机构所属国家进行排序分析，发现近年来联邦学习论文发布量 TOP10 国家依次是中国、美国、英国、俄罗斯、德国、印度、16 联邦学习关键词检索式：Federated Machine Learning OR Federated optimization OR federated learning OR federation learning OR(Privacy AND Distributed AND data mining)OR(Secure AND Distributed AND data mining)OR(Secure AND Multiparty)OR(Secure AND Multi-party)OR(privacy AND Multi-party)OR(privacy AND Multiparty)OR(Privacy AND Distributed AND machine learning)OR(Secure AND Distributed AND machine learning)OR(Privacy and joint learning)OR(Secure and joint learning)OR(Privacy AND Distributed AND deep learning)OR(Secure AND Distributed AND deep learning)澳大利亚、加拿大、日本和法国。相关论文量较突出的国家是中国（1245 篇）和美国（1175 篇），详细信息如图 3所示。人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 11 图图 3 3 联邦学习论文发表量联邦学习论文发表量 TOP 10 TOP 10 国家国家（2 2016016-2022021 1 年）年）（3 3）研究热点涵盖应用、系统和模型设计）研究热点涵盖应用、系统和模型设计、安全隐私三个领域安全隐私三个领域 总体研究热点总体研究热点 总体来看，基于 AMiner 系统的论文热词分析，发现 2016-2021 年联邦学习领域的研究热点 TOP 10 按热度递减依次包括：Internet of Things（物联网）、blockchain（区块链）、edge computing（边缘计算）、optimization（优化）、deep network（深度网络）、aggregation（聚合）、differential privacy（差分隐私）、healthcare（医疗保健）、Multiparty Computation（多方计算）、reinforcement learning（强化学习）等，如图 4所示。可见，在研究时段内，联邦学习的主要研究热点是关于应用及相关算法模型。此外，data heterogeneity（数据异质性）、communication efficiency（沟通效率）、wireless communication（无线通信）的研究也较热，但没能进入热点 TOP10。1245 1175 325 313 276 276 225 223 195 177 0200400600800100012001400论文量（篇）人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 12 图图 4 4 20162016-2022021 1 年联邦学习领域研究热点词云图年联邦学习领域研究热点词云图 年度研究热点年度研究热点 分年度来看，联邦学习研究热点从机器学习到优化、从信息统计到量子密码、从数据隐私到行业应用，学者们不断探索落地联邦学习的方法，一方面是利用交替方向乘子法（ADMM）、量化、压缩等方式进行联邦学习算法优化，另一方面是引入区块链、密码学、物联网等技术建立全局共享的数据集，并对抗恶意攻击和信息泄露。同时，学者们也对多任务学习、个性化及元学习等方法进行广泛的研究来应对联邦学习中的数据的非独立同分布（Non-IID）问题。各年度研究热点具体情况如下。主要研究热点包括 differential privacy,communication efficiency，deep network,edge computing,database 等技术，关注secret sharing,quantum signature,homomorphic encryption,secure aggregation 等安全技术问题，应用领域研究以biology medicine，healthcare 为主。此外，当时热点还包括 Support vector machine,graph computation,vertical federated learning 等。人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 13 延 续 了 上 年 的differential privacy,database,secure aggregation,communication efficiency 等研究热点，新增出 现 了 Multi-task learning,Quantum Key Agreement,ADMM,anomaly detection,Bayesian learning，social network,collusion attack,quantum machine,reinforcement learning 等研究热点。在应用方面，healthcare依 然 是 联 邦 学 习 的 热 点 应 用 方 向，cloud computing 和 Internet of Things 和联邦学习的结合也成为研究热点。2018 年联邦学习应用相关研究热度增加并居于前列，如 healthcare,Internet of Things,biology medicine,edging computing。同时，学者们依旧较关注 differential privacy,secret sharing,homomorphic encryption,Quantum Key Agreement,communication efficiency 等联邦学习安全与效率问题的研究。在这一阶段区块链“blockchain”技术成为热点，为联邦学习提供了保障用户隐私的新方法。2019 年，edge computing,Internet of Things,blockchain 成 为 热 门 研 究 领 域，homomorphic encryption，secret sharing,secure aggregation 等隐私保护技术依旧受到高度关注。2019 年加大了对数据异构和模型压缩等技术的研究力度，transfer learning,multi-task learning,quantization,compression 成为热点研究方向。如何在联邦学习中有效地利用资源也人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 14 成为 2019 年研究的热点之一。2020 年，edge computing,Internet of things,healthcare 依旧是联邦学习的应用热点。联邦学习中的效率和隐私保护技术依旧是研究热点。2020 年加大了对联邦学习数据异构方向的研究，热门的研究点包括 personalization 和transfer learning。同时，联邦学习激励机制“Incentive mechanism”的研究开始增加，以此激励更多机构加入数据联邦。2021 2021 年明显加大了对联邦学习技术应用的研究力度，Internet of Things 成为最热门的研究点，其次是 blockchain 和edge computing 等应 用 研 究。Deep network,optimization,aggregation,reinforcement learning 等相关算法技术研究依旧受到高度关注。同时，privacy protection，distributed learning,multiparty computation 等成为新的热点研究方向。主题热点趋势主题热点趋势 通过 TF-IDF 算法对所研究时段内每一年的联邦学习主题相关论文数量进行计算，获取论文数量TOP30 的热点词，然后聚合成联邦学习的应用（application）、系统和模型设计（system and model design）和 安 全 隐 私（secure and privacy）三个主题领域的研究热点集。这三个细分主题的研究趋势呈现出如下特征。在应用研究领域在应用研究领域，联邦学习的研究热点按照总热度由高到低依次包括物联网（Internet of things）、边 缘 计 算（edge computing）、医 疗 保 健（healthcare）、车辆交互（vehicle）、无线通信（wireless communication）、数 据 库（database）、5G（第 5 代移动网络）、以及推荐（recommendation），详细信息如图 5 所示。联邦学习近年来在物联网、边缘计算、医疗保健、数据库、车辆交互以及推荐方面的应用研究热度逐渐上升。相比而言，数据库、医疗保健的研究热度曾在 2016 年与 2017 年的研究热度相对较高且不人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 15 相上下，近三年则被其他主题的研究热度所超过，2018 年联邦学习相关的医疗保健应用研究热度明显超出其他的应用研究热度。边缘计算在 2019 年与 2020 年是联邦学习技术应用研究热度之榜首，在 2021 年则被物联网方面应用研究所赶超。联邦联邦学习在物联网方面应用研究学习在物联网方面应用研究热度热度于于2 2017017年开始出年开始出现现且且当当前最热前最热，在，在车辆车辆交互交互方面应用研究方面应用研究热度热度于于2 2018018 年开始出现，在年开始出现，在 5 5GG 方面应用研究方面应用研究热度热度则是则是从从 2 2019019 年开始出现年开始出现的的。图图 5 5 联邦学习在应用方面的研究热点趋势（联邦学习在应用方面的研究热点趋势（2 2016016-2022021 1 年）年）关于联邦学习在系统和模型设计方面的研究热点趋势情况如图 6 所示。由图可见，截止目前，在系统和模型设计方面研究热点依照热度递减分别是优化（optimization）、聚合（aggregation）、鲁 棒 性（robustness）、通 信 效 率（communication efficiency）、异 构（heterogeneity）、公平性（fairness）、资源效率（resource efficiency）和激励机制（incentive mechanism）。优化主题曾经在 2016 和 2017 年研究热度最高，经过 2018-2020 年的热度相对弱化后，在 2021 年再度成为最热门的研究主题。2017 年，资源效率和公平性相关主题研究开始崭露头角；2018 年通信效率相关研究占据热度榜第一；2019 年热度最高的是与安全聚合相关研究，同时，对联邦学习（数据和系统）异构的研究大幅提升；2020 年与异构相关研究上升为最热门，和激励机制相关的研究数量大幅提升；2021 年与优化和聚合相关主题研究上升幅度显著。从热度持续性看，聚合、优化、鲁棒性、激励机制和公平性的相关研究在研究时段内一直保持着不同程度的热度上扬。050100150200250边缘计算 物联网 无线通信 医疗保健5G数据库 车辆交互推荐论文量（篇）2016年2017年2018年2019年2020年2021年人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 16 图图 6 6 联邦学习系统和模型设计方面的研究热点趋势（联邦学习系统和模型设计方面的研究热点趋势（2 2016016-2022021 1 年）年）在安全隐私方面，联邦学习研究主题依据总热度递减依次包括区块链（blockchain）、差分隐私（differential privacy）、安 全 多 方 计 算（multiparty computation）、恶 意 攻 击（malicious attack）、隐 私 泄 露（privacy leakage）、同 态 加 密（homomorphic encryption）、网络安全（cyber security）以及容错（fault tolerance），具体热度趋势情况如图 7 所示。在研究时段内，区块链、差分隐私、多方计算、恶意攻击、隐私泄露和同态加密的研究热度总体持续逐年上涨。2016 年研究最热的是对联邦学习中恶意攻击的研究，2017 年研究最热的是差分隐私，2018 年研究最热的是安全多方计算所涉及数据安全和隐私保护技术，与区块链结合的相关研究虽然于 2018 年出现但快速成为 2019 年至2021 年最热的研究主题。020406080100120140160180异构通信效率聚合优化资源效率 鲁棒性 激励机制 公平性论文量（篇）2016年2017年2018年2019年2020年2021年人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 17 图图 7 7 联邦学习安全隐私方面的研究热点趋势（联邦学习安全隐私方面的研究热点趋势（2 2016016-2022021 1 年）年）050100150200论文量（篇）2016年2017年2018年2019年2020年2021年人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 18 3.1.3.1.2 2 高被引高被引论文论文分析分析 根据联邦学习领域论文被引用量进行排序，选取了排名前 3%的论文作为具有重大学术影响的高被引论文进行相关的作者及其所隶属机构与国家等特征分析。数据显示，本年度联邦学习领域高被引论文的最低被引次数是 120 次，是去年高被引论文最低被引次数的 3 倍，反映出该领域论文的整体学术影响力大幅提升。考虑到在科研实践中，一篇论文通常由来自不同国家或不同机构的几名作者共同合作完成，本报告采用以第一作者所属国家和机构的方法进行统计。统计分析得到以下的相关发现。（1 1）六成六成以上高被以上高被引引论文论文来自中美两国来自中美两国 根据论文第一作者所在机构的所属国家进行统计分析，发现联邦学习的近年来高被引论文发表主要是来自于美国和中国。其中，美国的高被引论文占 39.2%，虽然较上期下降了 1 个百分点，但仍为全球最多；中国的高被引论文占 26.4%，虽仍居于全球第二位，但数量比上期增加了近 10 个百分点；德国、英国、澳大利亚与新加坡也拥有一定数量的高被引论文；其余国家所发表高被引论文的占比均低于 4%，详细信息如图 8 所示。图图 8 8 联邦学习高被论文国家分布（联邦学习高被论文国家分布（2 2016016-2022021 1 年）年）（2 2）美国的）美国的论文论文被被引用引用量量全球全球显著显著领先领先 联邦学习相关论文总引用量 TOP 10 国家是美国、中国、澳大利亚、德国、新加坡、英国、印度、日本、以色列和波兰，具体信息如图 9所示。其中，美国的论文总被引用量明显高于其他国家，其较上期增长 1.6 倍，仍占据榜首；中国的论文被引用量较上期增长近 3 倍，保持第二位置。印度、以色列和波兰是本期新进入前十的国家，上期居于前十的沙特阿拉伯、韩国和瑞士本期未能进入前十。美国39.2%中国（含香港）26.4%德国6.4%英国4.8%澳大利亚4.0%新加坡4.0%其他15.2%人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 19 图图 9 9 联邦学习论文引用量联邦学习论文引用量 TOP 10 TOP 10 国家（国家（20162016-2022021 1 年）年）从领先国家来看，美国联邦学习被引用量最高的论文是谷歌公司 研究科学家 H.Brendan Mcmahan作 为 一 作 发 表 的 论 文Communication-efficient learning of deep networks from decentralized data 17，该论文于 2016 年发表于 ArXiv e-prints(2016):arXiv-1602，并在2017年收录于AISTATS(International Conference on Artificial Intelligence and Statistics)，目前其被引用 4534 次18。中国联邦学习总体论文引用量居于第二，其中被引用最高的论 17 McMahan,B.,Moore,E.,Ramage,D.,Hampson,S.,&y Arcas,B.A.(2017,April).Communication-efficient learning of deep networks from decentralized data.In Artificial Intelligence and Statistics(pp.1273-1282).PMLR.18 引用量数据统计截止到 2022 年 3 月 31 日。19 Yang,Q.,Liu,Y.,Chen,T.,&Tong,Y.(2019).Federated Machine Learning:Concept and Applications.ACM Trans.Intell.Syst.Technol.10,2,Article 12,February,2019.DOI:https:/doi.org/10.1145/3298981 20 论文的被引用量数据统计截止到 2022 年 3 月 31 日。文是香港科技大学计算机科学与工程学系教授杨强为第一作者、与微众银行 AI 部门、北京航空航天 大 学 计 算 机 学 院 的 研 究 人 员 联 合 发 表 的Federated Machine Learning:Concept and Applications19，该文被引用量 1936 次20。（3 3）谷歌谷歌拥有最多数量拥有最多数量的高被引的高被引论文论文 根据论文第一作者所属机构进行排序分析，发现从全球范围来看，联邦学习领域高被引论文来自全球 80 多家机构。谷歌的相关高被引论文数量最多，有 8 篇；卡内基梅隆大学的相关高被引论文22959941824212330147613527155285054750500010000150002000025000美国中国澳大利亚德国新加坡英国印度日本以色列波兰论文被引用量（次）本期的论文被引量上期的论文被引量人工智能之联邦学习 2022 联邦学习全球研究与应用趋势报告 20 数量居于第二，有 5 篇；以色列的巴伊兰大学与中国的北京邮电大学各有 4 篇，并列第三；弗劳恩霍夫 HHI、IBM、南洋理工大学、微众银行则各有 3篇。其余机构的高被引论文量均在 3 篇以下。在高被引论文量较多（3 篇及以上）的八家机构之中，有三家企业、五家大学或研究所；美国机构三家，中国机构两家，另外三家分别来自以色列、德国和新加坡。相关机构详细分布情况如图 10 所示。图图 1010 联邦学习联邦学习高被高被引引论文量论文量 3 3 篇及以上的篇及以上的机构（机构（20162016-2022021 1 年）年）（4 4）联邦学习十大算法）联邦学习十大算法 通过对 2016 年至 2021 年底所发表的涉及联邦学习算法的论文进行引用量排序（去除高