2022年联邦学习场景应用研究报告.pdf

联邦学习联邦学习场景应用场景应用研究报告研究报告 （2022 年）年）中国信息通信研究院泰尔终端实验室中国信息通信研究院泰尔终端实验室 2022022 2 年年 2 2 月月前前 言言数据作为数字经济和信息社会的核心资源，被认为是继土地、劳动力、资本、技术之后的又一个重要生产要素，其在企业数字化转型中发挥重要作用，并对国家治理能力、经济运行机制、社会生活方式等产生深刻影响。与此同时，数据安全的重要性愈发凸显。依法采取严密的监管措施，保障数据安全无虞，有利于为数字经济发展夯实安全基础，为国家安全和公共利益保驾护航。2021年以来，中华人民共和国数据安全法、中华人民共和国个人信息保护法 相继实施，个人隐私和产业机密数据保护日趋完善，在着重强调数据安全和个人信息保护的同时，完善了数据相关合规监管框架，为数据流通和使用进一步拓展了空间。与此同时，以联邦学习技术为代表的隐私计算赛道产业生态逐渐丰富，互联网厂商、初创专精型厂商、人工智能厂商等各领域企业纷纷加入，在进一步加深技术研究的同时，相关垂直领域的行业应用也逐渐丰富，形成百花齐放的行业发展态势。本报告在中国信息通信研究院前期对于联邦学习技术、产业的研究基础上，联合联邦学习产业链上下游企业，深入探讨联邦学习在政务、医疗、金融、广告、物流的应用价值，以期为数据应用价值的释放带来解读和参考。目目 录录一、联邦学习简介.1(一)数据隐私安全及孤岛问题.1(二)联邦学习定义.1(三)联邦学习主要作用.2(四)联邦学习技术优势.2 二、联邦学习发展历程.3(一)传统隐私保护.3(二)联邦学习.4(三)安全联邦学习.5 三、联邦学习进阶.6(一)主要技术原理.6(二)联邦学习的分类.8(三)联邦学习模型.15(四)联邦学习能力.17(五)联邦学习流程.18 四、安全联邦学习.19(一)可信计算环境.20(二)多方安全计算.21(三)同态加密.21(四)差分隐私.22(五)安全性.23(六)性能.25 五、应用场景.27(一)政务开放.27(二)医疗应用.28(三)金融应用.38(四)数字广告.56(五)物流行业.62 六、展望.63(一)政策引导、持续释放行业红利.63(二)凝聚共识、加速应用场景探索.64(三)标准建设、加强平台互联互通.64 图图 目目 录录图 1 传统机器学习和联邦学习的对比.3 图 2 联邦学习的两种架构模式.7 图 3 横向联邦学习数据分割示例.9 图 4 纵向联邦学习数据分割示例.10 图 5 迁移学习数据分割示例.11 图 6 联邦学习参与方的数据网络结构.13 图 7 VTE 数据分析示例.33 图 8 隐私保护的跨国川崎病研究.34 图 9 医学影像学深度分析引擎技术架构.35 图 10 FedCIE:电子病历结构化联邦学习框架.37 图 11 全业务信贷风控流程示意图.40 图 12 银行联邦反欺诈方案示意图.43 图 13 基于隐私计算的营销风控平台级解决方案.45 图 14 应用隐私计算后的营销风控场景表现.46 图 15 银保营销方案示意图.50 图 16 银保营销方案示意图.55 图 17 联邦学习 AI 联合建模应用于广告投放场景.59 图 18 多方数据融合反作弊模型.60 表表 目目 录录表 1 不同隐私保护计算技术的安全能力范围.25 表 2 隐私保护的不同技术路线.26 联邦学习场景应用研究报告（2022 年）1 一、一、联邦学习简介 (一一)数据隐私安全及孤岛问题数据隐私安全及孤岛问题数据孤岛普遍存在于所有需要进行数据共享和交换的系统之间，包括不同部门之间的数据信息能不能共享、不同公司之间的数据信息能不能共享，以及不同产业之间的数据能不能共享等等。在 2019 年中国互联网协会对外公布的中国网民权益保护调查报告显示，在 2019 年，七成左右的网民个人身份信息和个人网上活动信息均遭到泄露。78.2%的网民个人身份信息(姓名、学历、家庭住址、身份证号及工作单位等)被泄露；63.4%的网民个人网上活动信息(通话记录、网购记录、网站浏览痕迹、IP 地址、软件使用痕迹及地理位置等)被泄露。近半数的网民个人通讯信息(即时通讯记录、手机短信等)被泄露。2019 年因个人信息泄露导致诈骗信息、诈骗消息等原因，导致网民总体损失约 805 亿元。2021年以来，关于用户隐私泄露、数据违规的负面事件频发，公众对于数据安全和隐私保护越发关注。数据安全法个人信息保护法 等相关法律法规的颁布和实施也从法律层面为数据安全和个人隐私提供了根本保障，同时也促进了以联邦学习为代表的隐私行业的飞速发展。(二二)联邦学习定义联邦学习定义联邦学习（Federated Learning）本质是一种分布式机器学习框架，它做到了在保障数据隐私安全及合法合规的基础上，实现数据共享，共同建模。它的核心思想是在多个数据源共同参与模型训练时，不需联邦学习场景应用研究报告（2022 年）2 要进行原始数据流转的前提下，仅通过交互模型中间参数进行模型联合训练，原始数据可以不出本地。这种方式实现数据隐私保护和数据共享分析的平衡，即“数据可用不可见”的数据应用模式。(三三)联邦学习主要作用联邦学习主要作用随着信息化社会的发展，各行业积累了大量的数据，这些数据掌握在不同的实体手中，受技术、安全和监管等的限制，无法有效的分享融合，形成一个个独立的数据孤岛；而互联网和移动互联网时代的发展，加速了数据的碎片化。数据里面蕴含着重要模式（Pattern），如人类生物特征、喜好、金融信用等等。通过机器学习技术可以挖掘数据中蕴藏的这些模式，这些经过大量数据训练出来的机器学习模型已经应用在各行各业，例如医疗行业的临床辅助诊断、新药物研发、精准医疗；安全行业的人像识别、声纹识别等等。在这些应用中，模型的精度至关重要，而模型的精度核心依靠训练数据，只有经过大量数据的训练，才可能获得好模型。另一方面，由于法律政策监管、数据隐私安全等方面的顾虑，各数据所有者也不愿直接交换原始数据，导致数据无法有效汇聚，从而影响机器学习的效果，制约着 AI 模型的提高。联邦学习正是为了解决这一两难情况而出现的高效技术解决方案。(四四)联邦学习技术优势联邦学习技术优势传统的机器学习需要将数据汇聚到中心后才可以进行模型训练。在此过程中需要转移存储原始数据，随着数据量的增加，相对的成本也呈指数级增加；同时，在数据出域后，数据将变得不可控，从而导联邦学习场景应用研究报告（2022 年）3 致数据隐私泄露，埋下数据安全隐患。图 1 给出了传统机器学习和联邦学习的对比。联邦学习技术，可以实现多个机构间构建统一的数据安全、高效、合规的多源数据应用生态系统，实现跨机构的数据共享融合，通过系统扩大样本量、增加数据维度为大数据应用提供高精度模型构建的有力支撑，进而提供更丰富、高质量的大数据服务，为社会发展创造更多价值。来源：中国信息通信研究院 图 1 传统机器学习和联邦学习的对比二、联邦学习发展历程(一一)传统隐私保护传统隐私保护传统的隐私保护手段包括数据脱敏、假名化、数据消隐等。数据脱敏是信息从原始环境向目标环境交换过程中，对数据中的某些敏感信息进行一定规则的数据变形，其核心是通过剔除数据中能识别出个体的所有特征，从而达到隐私保护的目的。在涉及商业机密和个人隐私数据时，在不违反相关规则的条件下，对原始数据进行改造后才可提供使用，如个人姓名、手机号、身份证号、企业财务数据、税务、联邦学习场景应用研究报告（2022 年）4 供应链等机密数据，都需要进行脱敏处理。数据脱敏常用方法有泛化技术、抑制技术、扰乱技术、有损技术等，目前，各企事业单位，尤其政府部门均建立健全了数据脱敏的规范，数据脱敏已成为数据处理的标准流程。数据消隐和脱敏类似，但又与脱敏不同的是，数据消隐并不会直接剔除敏感的标识符或准标识符，而是通过泛化或抑制来消除数据中能够直接识别个体的部分，以避免隐私泄露。主流实现技术包括 K-匿名、L-多样性、T-亲密度以及近年发展起来的差分隐私。然而，大量研究表明，这些传统的数据保护技术其保护能力并不完善，并不能完全保证数据的隐私安全，仍然存在系统性的漏洞使其隐私保护能力大打折扣。此外，由于对原始数据的处理，在很多场景中处理后的数据并不能满足应用的需求。例如生物信息的基因数据，包含了独特的遗传标记，这些信息可用于家族血缘搜索，通过将脱敏后的受试者与身份已知的远亲联系起来，还是可以识别受试者身份。因此，基因数据脱敏不足以保护隐私，我们需要更完善高效的技术解决数据共享过程中的隐私安全问题。(二二)联邦学习联邦学习为了让数据共享更简易，同时又能保障数据安全，出现联邦学习技术框架。它可以做到在数据不流动的前提下进行数据融合共享与价值挖掘。联邦学习进行模型训练时，需要根据数据来源对任务进行分解，多个分中心在本地利用各自数据资源进行分布模型训练，相互独立又联邦学习场景应用研究报告（2022 年）5 彼此协作。它的技术理论基础可追溯到分布式数据库（distributed database）联合分析技术，Cheung 等人在 1996 年提出了分布式数据库中实现关联规则（Association Rules）挖掘。因为联邦学习涉及到数据源分布形态的不同，比如有些联邦网络中数据源之间样本上的重叠度比较多，有些则在特征属性结构上比较一致。根据不同的数据源分布联邦学习采用的分布式算法逻辑也有差异。例如，2006 年，Yu等人提出了带有隐私保护的分布式支持向量机建模，并支持处理横向和纵向分割的数据场景。联邦学习在与产业的融合上最先是医疗领域。2013 年，王爽教授团队首次发表全球第一篇联邦学习论文，正式提出了分布式隐私保护与在线学习等概念，解决了医疗领域多中心合作难题，其成果被应用于国家级生物医疗健康数据网络中，用于保护数十家医共体中的数千万病人的数据隐私。之后，联邦学习在其它领域的应用也取得了显著性进展，如 2016年起，谷歌在其安卓手机端实现带有隐私保护的横向联邦学习，用于保护手机用户数据隐私。此后，杨强教授在 2019 年通过将迁移强化学习与联邦学习进行结合，服务于自动驾驶场景。(三三)安全联邦学习安全联邦学习联邦学习虽然只传递中间计算结果，保障了原始数据的安全性。但在有些情况下，中间参数如果被攻击，还是能够还原出原始数据，因此也存在一定的安全隐患。为了弥补普通联邦学习技术中存在的补足，学术界和工业界提出了安全联邦学习。分别采用了不同的解决方案。其中基于硬件的可信联邦学习场景应用研究报告（2022 年）6 计算方案，可以保护整个计算过程安全可靠。基于同态加密或多方安全计算的密码学方案可以保障中间参数及结果发放不被攻击。而基于差分隐私的统计学方案则保证了过程与结果数据的安全性，但同时也引入了一定的计算误差。不同技术路线的保护能力、计算能力和安全信任模式也不尽相同。安全联邦学习综合利用上述技术，可以补足普通联邦学习中对于计算过程和最后结果的隐私保护缺失，为数据流通全链路提供隐私保护。同时，经过算法优化，能够处理海量数据，满足特定业务场景的需求。三、联邦学习进阶(一一)主要技术原理主要技术原理联邦学习是一种在计算过程中分享中间统计结果而不泄露原始数据的分布式算法框架，实现了数据在多中心协同计算中的隐私保护。其特点是在保护原始数据隐私安全的同时，又能保证计算结果准确性和精度。联邦学习一般认为有两种架构：客户端/服务器模式（图 2.a）和去中心化模式(图 2.b)。联邦学习场景应用研究报告（2022 年）7 来源：杭州锘崴信息科技有限公司 图 2 联邦学习的两种架构模式 客户端/服务器模式一般适用于预测全局模型参数和开展各种统计学检验。目前这种方式比较常见。它的本质是在中心节点的主导下，各节点协同分布式计算，在联邦学习的训练过程中，各个参与方拥有基于其本地数据生成的本地梯度，通过反复交换各参与方的本地梯度来实现全局模型参数的更新，并直到模型参数收敛，具体每一轮的迭代过程可分为如下几步：a.参与方在本地进行基于原始数据的隔离计算，各自使用本地样本完成模型的更新，发送加密的梯度到聚合服务器。b.聚合服务器对各方的梯度进行聚合，根据各个客户端的本地统计结果更新全局模型参数。c.聚合服务器把聚合更新后的梯度发送给各个参与方。d.各个参与方使用收到的新梯度更新本地模型参数。联邦学习场景应用研究报告（2022 年）8 这里示例中传递的是梯度，也可以是模型参数或者其它模型中间计算结果。设计合理的梯度的聚合方式和模型拆分方式不会影响最终的模型精确度。去中心化模式使用于各种分布式算法，比如稀疏线性回归，主成分分析以及支持向量机等等。其特点在于不需要中心服务器，各个相邻的客户端不断交换本地计算的中间结果，进而得到进度可靠的全局计算结果。无论哪种架构，联邦学习实体之间只传输中间结果，中间结果不涉及任何原始数据信息，从而实现了敏感数据的隐私保护。(二二)联邦学习的分类联邦学习的分类 1.按数据本部模式（1）横向联邦学习 横向联邦学习的本质是样本的联合，适用于参与机构间业态相同但触达客户不同场景，这种情况往往特征重叠多，用户重叠少（如图3 所示）。比如罕见病研究中，每个医院病例的数据维度基本一致，但它们分别有自己不同的病人，并且病例样本有限，通过联邦学习可以让这些来自不同机构的样本在保障隐私的前提下共享，提高模型训练的能力。又如，不同地区的银行间，他们的业务相似，但用户不同。联邦学习场景应用研究报告（2022 年）9 来源：中国信息通信研究院 图 3 横向联邦学习数据分割示例（2）纵向联邦学习 纵向联邦学习的本质是特征的联合，适用于各参与机构间用户重叠多，特征重叠少的场景（如图 4 所示）。比如同一地区的银行、电商公司、运营商。他们的用户集可能包含该区域的大多数居民，但银行记录了用户的收支行为相关数据，电子商务保留了用户的购买行为相关数据，运营有用于的未知数据，所以其特征空间有很大的不同。假设我们希望基于用户的购买、收支、位置数据进行信用等级评估，需要融合三方数据做回归模型。纵向联邦学习是将这些不同的特征聚合在一起，以一种隐私保护的方式计算训练损失和梯度的过程，以便用双方的数据协作构建一个模型。联邦学习场景应用研究报告（2022 年）10 来源：中国信息通信研究院 图 4 纵向联邦学习数据分割示例（3）迁移学习 迁移联邦学习适用于两个数据集的重叠较少，不仅样本不同，而且特征空间也有很大差异的场景下（如图 5 所示）。比如两个机构，一个是位于北京的电商平台，一个是位于杭州的物流公司。由于地域限制两个机构的用户群交叉点小，由于业务不同，双方的特征空间重叠也少。这种情况下可以利用迁移学习来克服数据与标签的不足，需要从公共样本获取公共表示，用于获取具有单侧特征的样本预测。迁移学习是对现有联邦学习的一个重要扩展。联邦学习场景应用研究报告（2022 年）11 来源：中国信息通信研究院 图 5 迁移学习数据分割示例 2.按拓扑结构 拓扑结构是指分布式系统中各个计算单元之间的物理或逻辑的互联关系。如图 6 所示，联邦学习按其参与方的数据网络结构主要可分为：星状结构、环状结构和点对点结构。（1）星型结构 星型拓扑结构中，联邦学习网络的各参与者通过点到点的方式连接到一个中央节点上。该中央节点作为协调者与公信方向目标节点传送信息。中央节点执行通信控制策略，任何两个节点的通信都要经过中央节点。目前大部分联邦学习系统是基于星状网络结构进行部署，即包括本地计算节点和全局协同服务节点。它在联邦学习中的作用在联邦学习场景应用研究报告（2022 年）12 于全局协调本地节点，协助它们本地模型更新，进行计算任务分发以及最终模型结果的汇集。它有如下两点：a.控制简单。任何参与方只与中央节点通信，访问协议与介质访问控制方法都很简单。b.故障诊断与隔离都很容易。中央节点对地方节点可以逐一隔离进行故障检测，单个参与方故障不会影响全局。问题主要是对中心节点的依赖太大，以及随着网络规模的扩大节点维护与协调成本线性增长。所以它比较适用于小型网络。（2）环形结构 但是在有些情况下由于网络条件或者应用场景的限制，无法使用全局协同节点，环形联邦学习1模式也被提出。环形结构是使用一个连续的环将每个节点连接在一起，没有中心节点。它能够保证一各节点上发送的信号可以被环上其他所有的节点都看到。环形结构的优势就是实现简单，对网络条件要求低，劣势就是使用场景有限，没法做复杂的协同任务。在简单的环形网中，网络中任何部件的损坏都将导致系统出现故障，这样将阻碍整个系统进行正常工作。而具有高级结构的环形网则在很大程度上改善了这一缺陷。1J.-W.Lee,J.Oh,S.Lim,S.-Y.Yun,and J.-G.Lee,“TornadoAggregate:Accurate and Scalable Federated Learning via the Ring-Based Architecture,”arXiv cs.LG,Dec.06,2020.Online.Available:http:/arxiv.org/abs/2012.03214 联邦学习场景应用研究报告（2022 年）13（3）点对点 点对点联邦学习2跟环形结构一样实现了去中心化，联邦网络之间的各参与者都处于对等的地位，有相同的功能，无主次之分，一参与者既可作为业务方，发起建模和推理研究，也可作为特征方，提供数据源。它具有以下的优势：a.不需中央节点，可在网路的各个节点共享内容和资源。b.易于扩展，不受结构限制，也不存在增加中央节点的协调维护成本。c.参与方的资源和算例普遍不会有太大差别，资源利用率较高。点对点联邦学习实现了去中心化的联邦学习范式，但是其也引入了很大的计算和通讯的成本，要想保证计算性能与客服安全隐患对结构性设计要求较高。比较使用于大型网络。来源：杭州锘崴信息科技有限公司 图 6 联邦学习参与方的数据网络结构 2 S.Warnat-Herresthal et al.,“Swarm Learning for decentralized and confidential clinical machine learning,”Nature,vol.594,no.7862,pp.265270,Jun.2021.联邦学习场景应用研究报告（2022 年）14 3.按模型精度 根据不同级别的模型精确度，联邦学习可以分为无损联邦学习和近似联邦学习。（1）无损联邦学习 联邦学习的本质是各节点协同分布式计算，在联邦学习的训练过程中，各个参与方拥有基于其本地数据生成的本地梯度，通过反复交换各参与方的本地梯度来实现全局模型参数的更新，并直到模型参数收敛。根据梯度的聚合方式和模型拆分方式的不同会会影响最终不同的模型精确度。其中无损联邦学习可以保证通过虚拟数据融合生成的全局模型完全等效于（比如，在模型参数和性能等各方面）数据汇总后的模型。目前在常用的机器学习算法中基本已经做到了无损联邦学习。（2）近似联邦学习 近似联邦学习的目标是保证通过虚拟数据融合生成的全局在模型的某些性能上和数据汇总后的模型相当（比如在预测精度）3。造成联邦学习结果有损的大致原因有：a.在联邦学习模型融合的时候，没有采用严格的梯度交换进行模型迭代，而是直接在本地各自训练模型，然后再讲参数加权平均。这种方式在水平训练的时候可以得到比较精确的近似结果。3P.Kairouz et al.,“Advances and Open Problems in Federated Learning,”arXiv cs.LG,Dec.10,2019.Online.Available:http:/arxiv.org/abs/1912.04977 联邦学习场景应用研究报告（2022 年）15 b.在使用联邦学习的同时，加入了其它隐私计算安全保障技术，比如同态加密在做同态乘法规约时会造成计算误差，差分隐私在引入噪音时，也会造成不完全精准。近似联邦学习也有它的使用场景，实际中，会根据需要在安全性、准确性、计算性能等方面做一定平衡。(三三)联邦学习模型联邦学习模型 目前基本上各类常用的机器学习算法都可以采用联邦学习的方式进行模型训练，可分别支持结构化、文本、图像等类型数据源，可在样本分类、回归预测、图像识别、基因分析、自然语言等场景进行应用。1.结构化数据 该场景下算法要处理的样本是结构化数据，比如可以以标准的格式存在数据库的二维表中，可用于分类与回归预测等分析。该类算法的数据源一般包括若干个特征变量及一个预测变量。常用的算法有感知器、逻辑回归、多元线性回归、随机森林、朴素贝叶斯、支持向量机等。其中多元线性回归可用来对样本预测值进行连续数值预测，比如根据用户的基本信息、历史消费记录等数据预测他的信贷信用值；其余可对样本进行分类，比如根据用户画像预测他是否某一产品的目标用户。根据数据来源的分布是垂直还是水平，以上每种算法又可分为同质、异质。比如逻辑回归有同质逻辑回归（水平逻辑回归）、异质逻辑回归（垂直分割逻辑回归）。联邦学习场景应用研究报告（2022 年）16 2.非结构化数据 该场景下算法要处理的样本是非结构化数据，比如文本、序列化二进制数据等数据。可在自然语言处理（NLP）、语音识别等场景应用。支持它的常用算法包括深度学习等,在实际计算过程中通常需要将非结构化数据通过词嵌入（word embedding）等方法进行向量化表示后进行相关统计分析。在该类算法的联邦学习中，根据数据源的分布特征同样可分为垂直跟水平学习两种。3.基因数据 基因数据可用于全基因组关联分析等研究。比如从人类全基因组中找出序列的变异位点，即单核苷酸多态性(Single Nucleotide Polymorphisms,SNPs)。通过对基因数据的研究分析可以找出与疾病相关的 SNPs，帮助进行疾病诊断和预防。基因数据在经过处理后也可转化为结构化数据，可以利用一系列统计学方法进行分析研究。在全基因组研究的联邦学习中，不同医疗机构或部门共同提供患者基因或其它健康指标相关的数据源，进行联合模型训练。4.图像数据 图像数据可作为图像识别模型训练时的样本数据，所产生的模型广泛的应用于图像搜索、产品识别、自动驾驶、安防等不同领域。比如在使用卷积神经网络进行图像识别或目标检测时，用户只需要输入图片，系统利用卷积窗口计算出特征值，再对中间特征通过分类或回归计算进行图像分类与目标定位。该类算法的联邦学习一般采用水平分割的方式，在多模态场景理论上也支持垂直分割。联邦学习场景应用研究报告（2022 年）17(四四)联邦学习能力联邦学习能力 联邦学习是一种在计算过程中分享中间统计结果而不泄露原始数据的分布式算法和框架。自王爽教授团队 2013 年发表后受到空前的重视，被认为是兼具隐私保护和跨机构数据共享的技术解决方案。通过联邦学习框架可以连接多个不同的数据源，实现数据的安全共享，其在数据共享过程中只交换加密的中间计算参数，而不需要交换原始数据，同时达到数据共享和隐私保护的双重目标。但是具体分析研究表明，普通的联邦学习还是存在一些风险和问题。在没有加密计算的情况下，在联邦学习阶段，每次迭代时需要交换数据源方的中间统计信息，这些信息可用于推断来自数据源的敏感私有输入数据。例如，成员资格和重建攻击是针对联邦学习的热门攻击。研究结果表明，对攻击者可以通过分析中间结果推断数据源中是否存在确切的某个个体；而在联合图像处理中，交换的梯度可以用来获取部分原始图像信息。另一方面，联邦学习本身无法支持许多数据预处理步骤，而这些对于后续步骤中的数据分析至关重要，例如重复数据消除、样本对齐、参数对齐、数据筛选等。传统的解决方案（如基于哈希的算法）容易受到字典和/或侧通道攻击，这些攻击可能会泄露敏感的输入和结果信息。具体实践中联邦学习不支持模型评估阶段的隐私保护。模型评估阶段还包括许多敏感信息，如模型参数（如商业机密）、模型输入数据（例如用户信息）、模型结果（例如诊断结果）等。由于一般联邦联邦学习场景应用研究报告（2022 年）18 学习不提供模型评估过程中的隐私保护，上述敏感信息将会泄露给模型计算方。还有一点是联邦学习不能保护数据完整性，联合计算服务器可以在学习阶段伪造中间结果，并且其他参与者可能无法检测到。简而言之，联邦学习是一种可以减少机器学习阶段交换的个体信息的有效参考技术框架，但是如果只单纯依赖联邦学习技术是无法确保在整个数据分析阶段最终保护敏感的私有数据。(五五)联邦学习联邦学习流程流程 正如前文所说，联邦学习在狭义上仅指隐私保护下实现机器学习算法的模型训练，本身不包括数据预处理、特征工程等机器学习必要步骤。实际应用落地中的联邦学习通常会涉及样本对齐、联邦数据预处理，联邦特征工程，联邦模型训练，联邦在线推理等建模全流程。1.样本对齐 根据联邦学习的分类模式，样本对齐可分为纵向联邦学习场景中的样本 ID 对齐和横向联邦学习场景中样本特征对齐。其主旨是在保护各自样本非交集的前提下，实现样本的求交，从而进行后续的建模流程。采用的主流技术包括基于哈希的算法、基于 RSA 等非对称加密技术、基于不经意传输（OT）等密码学协议等。2.联邦特征工程 特征工程是机器学习中至关重要的步骤，好的特征工程往往可以达到事半功倍的效果，在联邦学习中同样适用。为保护各自数据隐私，联邦特征工程包括联邦特征分箱、联邦相关性分析、联邦特征选择等。除了支持对本地数据的直接特征预处理（如：异常值清洗、缺失值清联邦学习场景应用研究报告（2022 年）19 洗、特征无量纲化（标准化、归一化）、特征分箱、特征编码、特征衍生、特征变换、特征交叉等）、相关性分析（如 IV 值、woe 值，斯皮尔曼相关系数等）及基于特征工程的特征选择，还应包含跨资源的联邦场景下实现。3.联邦模型训练 根据实际应用场景，构建联邦学习场景下的分类（如：逻辑回归、支持向量机、随机森林、朴素贝叶斯等）、回归（多元线性回归、广义线性回归等）、无监督（k-means、PCA、embedding 等）等联邦学习模型。4.联邦在线推理 模型训练完成后，需要部署到实际的生产环境中，对实时样本进行推理，得到联邦学习的预测值。这一阶段，除了对安全性的考量外，对效率（如每秒相应的请求数（Query Per Second）也有很高的要求。四、安全联邦学习 隐私计算是指在保护数据本身不对外泄露的前提下实现数据分析计算的技术集合。它的目标是在完成计算任务的基础上，实现数据计算过程和数据计算结果的隐私保护。联邦学习是隐私计算最常用的技术手段之一，普通联邦学习存在中间参数被攻击风险，在具体实践中也不支持模型评估阶段的隐私保护，在一些隐私保护要求比较高的场景下，还是需要更高级别的安全技术。联邦学习场景应用研究报告（2022 年）20 业界相关研究人员提出了安全联邦学习，是将传统联邦学习跟可信执行环境、多方安全计算、密码学等其它隐私计算技术相结合，根据场景侧重点发挥各技术路线各自优势，克服弊端，综合应用相关技术实现的解决方案。其中，TEE 有相对较高的执行效率、较高的处理能力。多方安全计算能够比较好的处理两方或三方数据问题，密码学技术用于协助进行数据管理、身份认证等内容，区块链用于协助实现业务流程管理、审计管理、计费等功能。通过综合利用上述技术，经过算法优化，能够处理海量数据，满足特定业务场景的需求。可实现在符合我国的数据安全法、个人信息保护法以及 GDPR、HIPAA 等严格隐私保护法律法规情况下的多中心多维度实时大数据分析计算。(一一)可信计算环境可信计算环境 2006 年 OMTP 工作组智能终端的安全团队率先提出了一种双系统解决方案：即在同一个智能终端下，除了多媒体操作系统外再提供一个隔离的安全操作系统，这一运行在隔离的硬件之上的隔离安全操作系统专门处理敏感信息以保证信息的安全，该方案即可信执行环境的前身。可信执行环境(Trusted Execution Environment,TEE)通过软硬件方法在中央处理器中构建一个安全的区域，保证其内部加载的程序和数据在机密性和完整性上得到保护。TEE 技术将硬件和软件资源划分为安全和非安全两个区域，需要隐私保护的操作在安全区域，其余在非安全区域。在联邦学习的执行过程中，可以通过将中心节点部署在可信执行环境中，通过设备中的芯片和硬件系统提供一个隔离的运行环境，有联邦学习场景应用研究报告（2022 年）21 效保证在整个计算过程，中间数据、结果数据免受其它环境的恶意行为。(二二)多方安全计算多方安全计算 1981 年 Rabin 等人首次提出不经意传输（Oblivious Transfer，OT）协议，奠定了多方安全计算的理论基础。1982 年华人图灵奖得主姚期智教授开创性提出的百万富翁问题，引入了多方安全计算概念。多方安全计算（Secure Multi-Party Computation，MPC）是指多个参与方共同参与计算一个目标任务,并且保证在参与方不串谋的前提下，每一方仅获取自己的计算结果，无法通过计算过程中的交互数据推测出其他任意一方的输入数据。MPC 主要基于混淆电路（Garbled Circuit）、秘密分享（Secret Sharing）与不经意传输（Oblivious Transfer）技术。例如，秘密分享技术是将数据以某种方式进行拆分，拆分后的数据分配给不同的计算参与者后完成联合计算。多方安全计算跟联邦学习类似，都是保障多方数据合作时的数据隐私安全，都需要多个数据源的合作；但联邦学习侧重于于多方的机器学习场景，而 MPC 更侧重于多方的通用计算函数，两者可以形成一个互补。(三三)同态加密同态加密 1978 年 Ron Rivest、Leonard Adleman Michael L.Dertouzos 提出了同态加密的概念。同态加密（Homomorphic encryption，HE）是一种允许在加密之后的数据上直接进行密文计算的技术，。利用同态加密可以实现数据存储和计算的安全外包。同态加密技术可以实现让拥联邦学习场景应用研究报告（2022 年）22 有私钥一方获得最后的加密计算结果，但参与同态加密计算方没法获得任何明文数据，从而可以保障信息安全性。同态加密也可以跟可信执行环境结合，在数据预处理、模型评估/推理等环节对传统的联邦学习进行补充。此外，同态加密分为部分同态、半同态和全同态三种模式，其中部分同态算法支持加密数据的加法或者乘法运算中的一种，半同态和全同态算法同时支持加密数据的加法或者乘法运算，但是半同态加密的数据对于密文数据的累计计算次数有一定限制。在安全性上，基于格子的同态加密算法能够有较高的抗量子攻击能力。(四四)差分隐私差分隐私 差分隐私（Differential Privacy）是 Dwork 在 2006 年针对统计数据库的隐私泄露问题提出的一种新的隐私保护定义，主要是通过在统计结果中加入随机噪声来避免由于数据变化导致的结果差异而泄露数据中的个人隐私信息。通俗的来讲，差分隐私就是确保任意单个记录在数据集中的变化（添加、删除、修改等），对于查询结果的影响微乎其微。攻击者无法通过观察由于某一个记录的变化导致的查询结果的变化来推测出个体的信息。它基于严格的数据理论，并假设攻击者可以使用任何背景知识来进行攻击，因此提供了很强的隐私保护能力。差分隐私也可以跟联邦学习、多方安全等其它技术路线结合使用，用以提高隐私计算的性能及局部数据的安全性。例如采用差分隐私与多方安全计算、同态加密、TEE 等集合，可以减少噪音的添加，增加联邦学习场景应用研究报告（2022 年）23 数据的可用性。差分隐私通过引入扰动或噪音实现对于数据隐私的保护，可以用在对联邦建模的过程中或者建模结果加入噪音，保证攻击者难以从建模过程中交换的统计信息或者建模的结果反推出敏感的样本信息。(五五)安全性安全性 通过综合利用上述技术，可以补足普通联邦学习中对于计算过程和最后结果的隐私保护缺失，为数据流通全链路提供隐私保护，在处理海量数据问题上，可以满足更广泛的业务场景需求。但不同技术路线在安全性上的能力范围各有差异。表 1 从计算过程保护、计算结果保护以及安全信任模式等不同角度分析了基于不同隐私保护技术下的安全性能。数据计算过程的隐私保护指参与方在整个计算过程中难以得到除计算结果以外的额外信息，数据计算结果的隐私保护指参与方难以基于计算结果逆推原始数据信息。1.可信执行环境 隔离的执行环境，为受信任应用程序提供了比普通操作系统更高级别的安全性。但 TEE 信任链对硬件厂商的信任依赖较高。TEE支持恶意模型假设（malicious attack model），即计算的参与方可能做出任何行为，例如背离约定好的计算协议同时尽其所能地去获得其他方的敏感隐私信息。联邦学习场景应用研究报告（2022 年）24 2.同态加密 对计算过程有比较好的保护，支持在加密数据上进行直接的密文计算，但是在多个数据源参与的情况下，私钥管理需要依赖共信第三方。同态加密通常支持半诚实模型（semi-honest model），即计算的各个参与方在计算过程中时候会严格遵守协议规范，但会尽其所能地去窥探其他参与方的敏感信息。3.联邦学习 通过中间参数交互而非个体数据的分享进行多中心的合作计算，从而实现对于多中心合作中的数据保护，但计算过程中的中间结果的交互存在可以反推原始数据的风险。联邦学习通过结合其他隐私计算技术，演化而来的安全联邦学习，可以有效的解决传统联邦学中相关问题。4.多方安全计算 其安全性有严格的密码理论证明，各方通过机密分享等方式在不分享明文数据的情况下实现多方的联合计算。但是，如果 MPC 参与方存在串谋的情况，多方的数据存在隐私风险，同时 MPC 对于网络通讯的带宽要求较高。大多数 MPC 解决方案采用半诚实模型。联邦学习场景应用研究报告（2022 年）25 5.差分隐私 可通过引入噪音来保护结果数据，有科学的统计学理论依据，结果有一定误差。但是由于加入噪音的幅度和数据集本身以及具体应用的敏感度相关，通常比较适用于大规模数据集保护。表 1 不同隐私保护计算技术的安全能力范围 类别类别 计算过程保护计算过程保护 计算结果保护计算结果保护 安全信任模式安全信任模式 可信执行环境 很高 无 硬件制造商与提供商，恶意模型假设 同态加密 高 无 同态加密秘钥管理方（共信第三方），通常为半诚实模型假设 联邦学习 中 无 交换的统计信息不会泄漏敏感的数据源信息 多方安全计算 高 无 无串谋，通常为半诚实模型假设 差分隐私 低 有 统计概率边界内的输出信息的隐私保护 安全联邦学习 很高 有 综合利用不同隐私保护计算技术，支持恶意模型假设、保护计算过程和计算结果。来源：中国信息通信研究院(六六)性能性能 从计算性能、计算精度、硬件依赖、理论支持场景、计算模式等维度对隐私保护的不同技术路线进行比较。1.可信执行环境 支持绝大多数场景下的复杂计算，计算执行效率与处理能力较高，对硬件有依赖。联邦学习场景应用研究报告（2022 年）26 2.同态加密 支持同态加法和乘法运算，需要通过加法和乘法的组合实现更高级计算的支持，通常需要引入近似计算来代替复杂计算函数。3.联邦学习 支持高性能的带有隐私保护的多中心机器学习。数据源相互配合进行梯度与权重交换，计算精度可以达到跟传统机器学习无差异。4.多方安全计算 支持多种隐私计算算子但是其通讯和计算性能问题是一大挑战。5.差分隐私 可以高效的处理大规模数据计算结果中的隐私保护问题，但会在计算结果中引入噪音和摇动。表 2 隐私保护的不同技术路线 类别类别 计算性能计算性能 计算精度计算精度 硬件依赖硬件依赖 支持场景支持场景 计算模型计算模型 可信执行环境 高 高 有 复杂计算 中心化/分布式 同态加密 低 中 无 加法和乘法计算 中心化/分布式 联邦学习 高 高 无 多中心机器学习 分布式 多方安全计算 低 中 无 基本算子计算 分布式 差分隐私 高 低 无 结果保护 中心化/分布式 来源：中国信息通信研究院 联邦学习场景应用研究报告（2022 年）27 五、应用场景(一一)政务开放政务开放 2020 年 12 月 30 日，中央全面深化改革委员会第十七次会议审议通过 关于建立健全政务数据共享协调机制加快推进数据有序共享的意见，强调要全面构建