基于同态加密的隐私保护与可验证联邦学习方案.pdf
《基于同态加密的隐私保护与可验证联邦学习方案.pdf》由会员分享,可在线阅读,更多相关《基于同态加密的隐私保护与可验证联邦学习方案.pdf(13页珍藏版)》请在咨信网上搜索。
1、NETINFOSECURITY2024年第1期隐私保护doi:10.3969/j.issn.1671-1122.2024.01.009基于同态加密的隐私保护与可验证联邦学习方案赖成喆,赵益宁,郑东(西安邮电大学网络空间安全学院,西安7 10 12 1)摘要:Cross-silo联邦学习使客户端可以在不共享原始数据的情况下通过聚合本地模型更新来协作训练一个机器学习模型。然而研究表明,训练过程中传输的中间参数也会泄露原始数据隐私,且好奇的中央服务器可能为了自身利益伪造或篡改聚合结果。针对上述问题,文章提出一种抗合谋的隐私保护与可验证cross一silo联邦学习方案。具体地,对每个客户端中间参数进行
2、加密以保护数据隐私,同时为增强系统安全性,结合秘密共享方案实现密钥管理和协同解密。此外,通过聚合签名进一步实现数据完整性和认证,并利用多项式承诺实现中央服务器聚合梯度的可验证性。安全性分析表明,该方案不仅能保护中间参数的隐私及验证数据完整性,而且能够确保聚合梯度的正确性。同时,性能分析表明,相比于现有同类方案,文章所提方案的通信开销显著降低。关键词:联邦学习;隐私保护;同态加密;多项式承诺;聚合签名中图分类号:TP309文献标志码:A文章编号:16 7 1-112 2(2 0 2 4)0 1-0 0 93-13中文引用格式:赖成喆,赵益宁,郑东.基于同态加密的隐私保护与可验证联邦学习方案J.信
3、息网络安全,2024,24(1):93-105.英文引用格式:LAI Chengzhe,ZHAO Yining,ZHENG Dong.A Privacy Preserving and Verifiable FederatedLearning Scheme Based on Homomorphic EncryptionJJ.Netinfo Security,2024,24(1):93-105.A Privacy Preserving and Verifiable Federated Learning SchemeBased on Homomorphic EncryptionLAI Chengzh
4、e,ZHAO Yining,ZHENG Dong(School of Cyberspace Security,Xian University of Posts and Telecommunications,Xian 710121,China)Abstract:Cross-silo federated learning enables clients to collaboratively train a machinelearning model by aggregating local model updates without sharing raw data.However,studies
5、 have shown that intermediate parameters transmitted during training can also leak theprivacy of raw data.A curious central server may falsify or tamper with aggregation results收稿日期:2 0 2 3-0 7-16基金项目:国家自然科学基金6 2 0 7 2 37 1;陕西省重点研发计划2 0 2 1ZDLGY06-02作者简介:赖成喆(198 5一),男,陕西,教授,博士,CCF会员,主要研究方向为无线网络安全、应用
6、密码学;赵益宁(1998 一),女,陕西,硕士研究生,主要研究方向为隐私计算、信息安全;郑东(196 4一),男,山西,教授,博士,主要研究方向为编码密码学和网络安全。通信作者:赖成喆lcz_93NETINFOSECURITY专题论文2024年第1期for its own benefit.To address these issues,an anti-collusion privacy preserving and verifiablecross-silo federated learning scheme was proposed.Specifically,the intermediate
7、parametersof each client were encrypted to protect data privacy,and key management and collaborativedecryption were achieved by combining secret sharing schemes to enhance system security.Furthermore,data integrity and authentication were achieved through aggregate signatures,and the verifiability o
8、f central server aggregation gradients was ensured using polynomialcommitments.Security analysis shows that the proposed scheme not only protects the privacyof intermediate parameters and verifies data integrity,but also ensures the correctness ofaggregation gradients.Performance analysis shows that
9、 compared to the existing schemes,theproposed scheme can significantly reduce the communication overhead.Key words:federated learning;privacy preserving;homomorphic encryption;polynomialcommitment;aggregate signature0引言近年来,深度学习强大的数据分析处理能力促进了语音识别、疾病诊断、图像识别与分类等领域的发展!。传统的机器学习训练需要收集来自不同数据源的大量数据以获得高精度的模型
10、。然而,随着以通用数据保护条例2 为代表的国内外隐私保护法律法规的颁布和实施,传统的集中训练范式受到了极大挑战和质疑,尤其是在金融、医疗、自动驾驶等行业中,服务提供商可能直接或间接收集年龄、个人收支情况、身体健康记录等用户的隐私信息。如果这些敏感信息在集中收集后被非法使用,会造成严重的隐私泄露问题。由于对隐私泄露问题的担忧以及不同企业、组织等数据源之间数据壁垒的存在,数据无法安全共享,导致数据“孤岛”现象出现,同时,各种部门或公司在其各自的数据集上进行模型训练的方式容易导致模型过拟合问题出现3。为解决隐私泄露对机器学习技术发展造成的挑战,谷歌公司提出联邦学习(FederatedLearning
11、,FL)4,实现了多个分散数据集的分布式训练。根据训练场景,联邦学习可以分为cross-device联邦学习和cross-silo联邦学习5,在cross-device 联邦学习中,客户端通常是具有有限计算能力和不可靠通信的大量移动或物联网设备。相对地,在cross-silo联邦学习中,客户端通常是具有强大的计算能力和可靠通信的少数组织(如银行、医院等机构)。联邦学习的训练过程由一个中央服务器和多个分布式的客户端组成,客户端从中央服务器下载最新的全局模型,在本地数据集上进行模型训练后得到本地更新(梯度或模型更新)并将其上传到中央服务器,中央服务器对收到的所有本地更新进行聚合得到全局更新,之后客
12、户端从中央服务器下载全局更新,进人下一轮训练,经过多轮训练迭代后得到一个趋近于传统集中式机器学习的模型6。联邦学习通过将训练数据集保留在本地,而仅共享训练中间参数的模型训练方式有效保护了数据的隐私并且解决了数据“孤岛”问题,越来越受到工业界和学术界的研究和关注。然而,由于参与训练的客户端在地理位置上是分散的,并且自身的设备、计算能力等条件不同,客户端也不是完全可靠的。不可靠客户端可以利用获取的中间参数推断其他客户端的数据或标签,或者上传有害的数据影响模型训练。例如,HITAJI8I等人基于GAN发起主动重建攻击,通过上传篡改的本地更新以引诱其他诚实客户端暴露信息,以便于从获取的中间参数中窃取更
13、多客户端的数据隐私。FU9等人基于训练过程中传输的中间参数可能包含标签信息,提出了针对纵向联邦学习的3种标签推断攻击算法,从而获取客户端的隐私数据。这些攻击方式对攻击者能力要求较低并且易实施,因此增强数据的隐私保护是联邦学习的一个重要的安全挑战。除了隐私问题,联邦学习的另一个重要的安全挑战是实现全局更新的有效验证10。联邦学习训练过程中易受中央服务器单点故障的影响。一方面,中央服务器为了节省计算资源在聚合时可能执行错误的计算或者篡改全局更新以影响模型训练;另一方面,好奇94NETINFOSECURITY2024年第1期隐私保护中央服务器可能返回精心设计的全局更新以诱导客户端泄露更敏感的数据。此
14、外,联邦学习在实际应用时依然面临许多现实挑战。首先,隐私保护技术的结合给系统带来额外的计算开销,其次,为确保中间参数传输的完整性,利用安全信道的方式导致系统通信开销的增加。因此,实现中间参数在公开信道传输的完整性以及设计一种轻量、安全的方案对系统运行至关重要。针对联邦学习中存在的问题,本文提出了一种抗合谋的、支持隐私保护与数据完整性验证的cross-silo联邦学习方案。主要贡献有:1)提出了一种隐私保护方法,通过结合Shamir秘密共享和ELGamal加密不仅保护了客户端的数据隐私,还实现了抗合谋攻击。2)基于BLS聚合签名设计了一种机制,以验证聚合阶段中央服务器收集的数据的完整性。3)基于
15、多项式承诺的隐藏性和绑定性,设计了一种能够检测中央服务器计算正确性的验证机制。1相关工作1.1隐私保护联邦学习近年来,为了进一步增强联邦学习训练中数据的隐私保护,研究者基于差分隐私、安全多方计算以及同态加密提出了大量方案。其中,WANG12等人基于拉普拉斯机制变体提出了一种本地化差分隐私联邦学习方案。ZHOU13等人提出了一种基于高斯差分隐私的联邦学习方案,通过向中间参数注入高斯噪声来保护原始数据隐私。然而,基于差分隐私的方法通常会注人噪音来实现隐私保护,噪音的添加会降低全局模型的准确性。BONAWITZ14 等人提出了Secure Aggregation模型,通过Diffie-Hellman
16、密钥交换和伪随机函数提出了双掩码协议,实现了对恶意服务器的信息隐藏,同时使用秘密共享来处理聚合过程中用户掉线、退出等问题,提高了系统的健壮性。但系统运行中需要客户端之间进行多轮交互,导致系统的通信开销较大。MOHASSELI15等人提出了一种两方模型训练的安全SGD算法,解决了两方计算下的机器学习模型训练问题。LI16等人结合多密钥全同态加密与双重解码机制实现了多密钥隐私保护深度学习。然而,全同态加密的引人导致了巨大的计算和通信开销,方案的效用显著降低。PHONG17等人和MA18等人分别采用加法和乘法同态加密机制来保护数据隐私,客户端使用公钥加密上传的本地更新,中央服务器利用同态特性计算全局
17、更新密文,接下来客户端利用私钥解密获得全局更新。然而,这两种方案中所有客户端都掌握着相同的密钥对,无法抵抗中央服务器与客户端合谋。1.2可验证联邦学习为保证客户端能够验证从中央服务器返回的全局更新,研究者提出了许多可验证的联邦学习方案。其中,XUI19等人提出了具有隐私保护和模型可验证的cross-device联邦学习框架VerifyNet,利用双掩码协议保护客户端本地梯度的隐私,同时使用同态哈希函数和伪随机函数实现对中央服务器计算的聚合梯度完整性验证。同样,HAN20等人也利用同态哈希函数来验证中央服务器聚合模型的正确性,并使用无证书签名移除可信中心。然而,同态哈希函数的引人给系统带来了额外
18、的通信开销和计算开销。为实现轻量级的验证,GUO21等人提出了VeriFL,使用承诺和同态哈希函数实现可验证聚合,具体地,系统要求每个客户端只提交梯度向量的哈希值而不是梯度本身来减少通信开销,但承诺的引入带来了额外的计算开销。FU22等人提出了VFL,通过拉格朗日插值多项式实现验证。然而,VFL要求中央服务器与客户端之间不能合谋且所有插值点的横坐标必须保持一致。JIANG23等人提出了PFLM,通过EIGamal加密和基于身份的聚合签名实现了对聚合模型的验证。然而,由于密文扩张问题,系统验证的通信开销与梯度向量的维度线性相关。ZHANG24等人利用双线性聚合签名来验证聚合模型的正确性,并使用中
19、国剩余定理来减少通信开销。MADI25等人利用可验证计算实现正确性验证,其中95NETINFOSECURITY专题论文2024年第1期(2)系统使用线性同态认证加密方案来确保数据隐私,并检查中央服务器返回的聚合模型参数正确性。然而,这两种方案都使用Paillier加密上传的中间参数以确保隐私,并且所有客户端共享相同的密钥对。因此系统要求所有客户端都是诚实的,并且客户端与中央服务器之间没有合谋,对系统的实际应用和推广造成了挑战。最近,YANG26等人提出了可验证加权平均聚合联邦学习,利用带密钥的同态哈希函数设计了一个可验证聚合标签,服务器聚合上传的标签生成聚合证明,最后,客户端通过检查聚合证明来
20、验证聚合参数的完整性。然而,由于客户端都掌握着同态哈希函数的密钥,导致参与训练的客户端需要满足较高的安全性要求。2预备知识1)C r o s s-s i lo 联邦学习CrosS-silo联邦学习是一种深度学习与分布式计算结合的机器学习技术。其一般定义为2 7:假设N个客户端(参与方)Ci,C2,CN)各自持有数据集(Di,D2,DN)。传统的集中式机器学习是将客户端各自的数据集收集后组成数据集D=DIUD,UUDN,接下来,基于D训练模型MsuUM。在联邦学习中,各个客户端在不暴露本地数据集D,的情况下,协作训练模型MpED。设VsUM和VFED分别表示传统机器学习模型MsUM和联邦学习模型
21、MFED的精度。存在非负实数S,使得公式(1)成立。IVFED-VsUM no(2)秘密分发:设共享的秘密为seF,D 构造多项式/(x)=s+aix+a2x2+a-ix-lmodq,其中a;,(2,a-1eFgo接下来D选择一个随机数xiEF,后计算f(x),并将s=(xi,(x)作为第i(i-1,2,n)个用户的秘密份额发送给Ujo(3)秘密重构:任意t个参与者公布其秘密份额S,然后根据拉格朗日插值多项式恢复秘密s,如公式(2)所示。s=f(0)=(x),xmoddi=1j-l,j+i X;-Xi3)基于椭圆曲线的ELGamal加密椭圆曲线密码2 930 1是一种密钥长度较短但安全性高的公
22、钥密码体制。设p为一个大于3的素数,有限域F,上的椭圆曲线为y2=r3+ax+b(modp),其中a,beF,且-4a+27b2-0modp。椭圆曲线上的点以及一个无穷远点对于点加法构成加法群,其标量乘法为kP,其中k为次数。基于椭圆曲线的ELGamal加密31是一种公钥加密算法,主要包括密钥生成、加法和解密3个算法。(1)密钥生成:输人安全参数入,生成有限域Fp上的椭圆曲线为E(FP),其中p为一个大素数。G为E(FP)上q阶加法循环群的生成元,选择一个随机数xEZ.作为私钥SK,计算相应的公钥PK=xG。(2)加密:给定消息M,随机选择rEZ,计算E(M)-(C,C2)-(rG,MG+rP
23、K)。(3)解密:对于E(M),计算MG=C2-xCi。(4)加法同态:给定消息M和M以及密文E(M)(1)和E(M),则消息M+M的密文为E(M+M2)=E(M)+E(M2)4)双线性映射双线性映射3 是指映射e:GjxG2-GT。G 1、G 2 和Gr是3个阶为素数p的乘法循环群,Gi和G2的生成元分别为g1、8 2。双线性映射具有以下性质。(1)双线性:对于任意的PeGi、Q e G z 以及a,beZp,有 e(P,0)=e(P,)gb。(2)非退化性:e(g1,g2)1。(3)可计算性:对于任意的PeG,和QeG2,都存在有效的算法可以计算e(P,0)。(3)96NETINFOSEC
24、URITY2024年第1期隐私保护(5)kalEZp。接下来,使用公钥pk计算多项式d(x)=0,x5)BLS聚合签名BLS聚合签名是BONEH32等人利用双线性配对实现验证和聚合的一种数字签名技术,由密钥生成、签名、验证、聚合签名、聚合验证等算法组成。(1)密钥生成:给定3个阶为素数p的乘法循环群Gi、G 2 和G,g i 和g2分别为群Gi、G 2 的生成元。生成双线性映射e:GxG2Gr和曲线哈希函数H:(0,1)*G2。接下来,用户u,随机选择一个数x;Zp,计算vi=gn。则签名公钥为V,签名私钥为Xi。(2)签名:输人私钥x,和消息m;(0,1)*,计算mi的签名o,=H(m,)并
25、输出。(3)验证:输入公钥v;和消息签名对(mi,),计算h=H(m)。如果e(gi,o)=e(v;h)成立,则接受;否则拒绝。(4)聚合签名:假设系统中n个用户U,U2,Un对应的消息签名对为(mio),则聚合签名为=oi。(5)聚合验证:输人用户U(i=1,2,n)的公钥vi,消息m;和聚合签名。计算 h=H(m),然后验证e(gi,o)=le(vi,h)是否成立,如果成立,则接受聚合签名;否则拒绝。如公式(4)所示。deg(o)deg(d)i-0的承诺值COMM=l(g i),其中deg(d)t表示多j-0项式最高项的次数。(3)承诺打开:输入公钥pk和多项式d(g),计算COMM=(g
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 同态 加密 隐私 保护 验证 联邦 学习 方案
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。