一种高效的非交互式隐私保护逻辑回归模型_唐敏.pdf

第 49卷 第 4期2023年 4月Computer Engineering 计算机工程一种高效的非交互式隐私保护逻辑回归模型唐敏，张宇浩，邓国强（桂林电子科技大学 数学与计算科学学院 广西高校数据分析与计算重点实验室，广西 桂林 541004）摘要：逻辑回归作为一种典型的机器学习算法，被广泛应用于医疗诊断、金融预测等领域。由于单个用户没有足够的样本构建高精度模型，传统的集中式训练则会导致隐私泄露，因此构建具有隐私保护的逻辑回归模型受到广泛关注。现有的要求用户和服务器之间进行交互的方案具有较高的计算成本和通信负担。提出一种高效的非交互式逻辑回归训练协议，利用具有良可分离结构的梯度更新公式，解耦样本数据和模型参数之间的计算耦合性，保证用户与服务器之间的单向单次传输性，即用户将本地数据整合并以秘密共享的方式上传给云服务器后即可离线。在训练阶段设计基于矩阵和向量运算的协议，保证服务器在每次迭代中使用固定的信息更新参数，降低计算成本和通信开销。同时，基于协议的安全性分析和数值实验，在UCI库的4个真实数据集上训练逻辑回归模型，实验结果表明，在保证模型精度的前提下，与最新的隐私保护逻辑回归方案VANE相比，该回归模型效率提升了80120倍，且训练时间与明文域相近。关键词：逻辑回归；隐私保护；良可分离结构；秘密共享；向量化开放科学（资源服务）标志码（OSID）：源代码链接：https：/ J.计算机工程，2023，49（4）：32-42，51.英文引用格式：TANG M，ZHANG Y H，DENG G Q.An efficient non-interactive and privacy-preserving logistic regression model J.Computer Engineering，2023，49（4）：32-42，51An Efficient Non-Interactive and Privacy-Preserving Logistic Regression ModelTANG Min，ZHANG Yuhao，DENG Guoqiang（Guangxi Colleges and Universities Key Laboratory of Data Analysis and Computation，School of Mathematics and Computing Science，Guilin University of Electronic Technology，Guilin 541004，Guangxi，China）【Abstract】As a typical machine learning algorithm，logistic regression is widely used in medical diagnosis，financial forecasting and other fields.Since a single user does not have enough samples to build a high-precision model，and the traditional centralized training will lead to privacy leakage，building a logistic regression model with privacy preserving has attracted extensive attention.The existing schemes that require communication between users and servers lead to high computing costs and communication burden.This paper proposes an efficient non-interactive logistic regression training protocol.Using the gradient update formula with a well-separable structure，the computational coupling between sample data and model parameters is decoupled to ensure one-direction single transmission between users and servers.That is，users can go offline after integrating local data and uploading it to the cloud servers in a secret sharing manner；In the training phase，a protocol based on matrix and vector operation is designed to ensure that the server uses fixed information update parameters in each iteration，reducing the calculation cost and communication overhead.Meanwhile，the protocol security analysis and numerical experiments are provided.The experimental results of training the logistic regression model on four real datasets from the UCI library show that，under the premise of ensuring the accuracy of the model，the efficiency is greatly improved（80-120 times）compared with the latest privacy preserving logistic regression scheme VANE，and the training time is similar to that in the plaintext domain.【Key words】logistic regression；privacy-preserving；well-separable structure；secret sharing；vectorizationDOI：10.19678/j.issn.1000-3428.00655490概述 在大数据时代下，机器学习对人们生活产生了巨大的影响1-3。逻辑回归作为典型的机器学习算法，广泛应用在医疗诊断4、文本识别5、物联网6等多个领基金项目：广西科技基地和人才专项（AD18281024）；桂林电子科技大学研究生教育创新计划项目（2022YCXS144）。作者简介：唐敏（1980），女，副教授、博士，主研方向为计算机代数、机器学习；张宇浩，硕士研究生；邓国强（通信作者），副教授、博士研究生。收稿日期：2022-08-19 修回日期：2022-09-30 Email：热点与综述文章编号：1000-3428（2023）04-0032-11 文献标志码：A 中图分类号：TP309第 49卷 第 4期唐敏，张宇浩，邓国强：一种高效的非交互式隐私保护逻辑回归模型域。通常来说，单一的用户或组织没有足够的数据构建高精度的模型，应对本地训练样本不足的方案7是聚合不同来源的数据。然而，出于隐私限制，很难将带有敏感信息的数据直接集中进行模型训练。因此，在隐私保护下构建逻辑回归模型引起人们的广泛关注。研究人员利用密码技术，针对隐私保护逻辑回归（Privacy-Preserving Logistic Regression，PPLR）模型进行研究，其中的同态加密（Homomorphic Encryption，HE）是最常用的数据安全保护技术。GUO等8采用BGN全同态加密（Fully Homomorphic Encryption，FHE）系统设计了一个逻辑回归预测阶段的隐私保护医疗预诊方案。FAN等9使用更高效的 SEAL全同态库加密数据，提出一种在训练阶段的隐私保护逻辑回归算法（PPLRA）。出 于 实 用 性 考 虑，基 于 CHEN 等10的HEAAN全同态方案，XU等11将二分类逻辑回归隐私保护模型推广到多分类。为避免全同态方案的高计算复杂性，SONG等 12 使用部分同态加密（Partial Homomorphic Encryption，PHE）保护数据，通过异步梯度共享算法交换训练中间结果而不暴露隐私，实现了对垂直分区数据的安全训练。尽管同态加密允许在不解密数据的情况下对密文直接进行计算，其输出与用同一方法处理明文的结果一致13。然而，针对机器学习模型训练问题，由于迭代次数较多、数据规模较大14，因此无论基于 FHE还是 PHE的方案都需要进行代价较大的加解密处理以及多次同态运算，效率较低；另外，用户之间或用户与服务器之间的多次交互也导致较高的通信负担。为了缩小密文训练与明文训练在计算效率上的差距，研 究 人 员 采 用 秘 密 共 享 技 术 保 护 私 有 数 据。MOHASSEL等15提出了 SecureML，极大地提高了数据维度较大时逻辑回归训练的效率。在 SecureML的基础上，MARTINE 等16引入了一个可信的第三方生成乘法三元组，进一步提高了服务器交互训练阶段的效率；ZHENG 等17提出了基于茫然传输的安全矩阵计算方案，利用 OT 扩展协议和批处理缩减了交互轮数，使训练过程所需的通信开销更低。上述基于秘密共享的隐私保护方案避免了同态加密所需的巨大计算量，在效率上有较大的提高。然而，由于训练过程由 2 台16或 3 台17非共谋的服务器协同完成，服务器之间需要多次交互，对网络的可靠性提出更高的要求。目前，有研究人员提出非交互式的隐私保护机器学习方案18-20（用户一次上传加密数据，不参与训练）。典型的代表是 2021年 WANG 等20设计的基于梯度下降的非交互式 PPLR 方案（VANE），其迭代训练过程中参数更新操作在明文下进行，因而效率较高。然而，该方案在训练前要求用户使用 Paillier 系统对m(d+1)2（m为用户数量，d为数据维度）个元素进行加密并上传给服务器，服务器端也需要聚合并解密同等规模的数据，当属性较多或用户数较多时，该方案的效率有所下降。为了解决上述方案的局限性，本文提出一个高效的具有隐私保护的逻辑回归训练方案 SLRT。定义良可分离结构，结合逻辑损失函数的近似替换策略，解耦梯度更新公式中用户数据与模型参数之间的计算耦合性，通过整合本地数据并以秘密共享方式上传给云服务器后随即离线。在此基础上，设计明文空间上基于矩阵和向量运算的训练协议，保证服务器在每轮迭代中使用固定的信息进行协同训练，减少传统秘密共享方案中服务器之间的计算开销和通信负担。1预备知识 1.1逻辑回归逻辑回归21是一种广义的线性回归分析模型，常用于解决二分类问题。给定由n个样本组成的数据集(X,Y)=(x1,y1),(xn,yn)，其中，xi=(1,x1i,x2i,xdi)T，xji表示样本xi的第 j个特征，i=1,2,n，j=1,2,d，第 1 个 元 素 1 用 于 偏 置 项 的 计 算，xi对 应 类 标 签yi-1,1。在逻辑回归算法中，使用 Sigmoid函数来构建样本xi所属类别的概率：P(yi=1|xi,)=11+e-yiTxi其中：权重向量=(0,1,d)T是优化的模型参数。在逻辑回归中通过损失函数22来评估模型的预测值和真实值之间的误差，定义为：L(X,Y,)=1ni=1nloga(1+e-yiTxi)（1）通常使用梯度下降最小化式（1）来获取最优的模型参数。在第t次迭代时，通过t+1进行更新：t+1=t-ni=1n()11+e-yiTxi-1 yixi（2）其中：为学习率。当模型参数t和t+1之间的值小于给定的阈值或达到最大迭代次数时，终止训练。1.2秘密共享1.2.1加秘密共享加秘密共享15包含 2个算法：共享算法将消息a分发给 2 个非共谋的参与方；重构算法根据共享值将原始数据a恢复出来。1）共享算法ShrA(a)。为了在 2 个参与方P0、P1之间加秘密共享一个原始消息a R，首先产生随机值a0 R作为a的一个共享值发送给参与方P0，记作0；然后1=a-a0 R作为a的另一共享值发送给参与方P1。这样a就在P0、P1之间共享，但任何一方都无法了解a的真实信息。2）重构算法RecA(0,1)。设P0拥有消息a的共享值0，P1拥有a的共享值1。为了重构一个被加共享的值a，Pr将r发送给另一方P1-r，r 0,1，或共同发给第三方，通过计算0+1重构出a。1.2.2加秘密共享乘法（SSM(a,b)）设P0有原始消息a R和b R的共享值0、0，P1有1、1，在计算完成时双方分别拥有cr=r R，r 0,1，加秘密共享乘法执行过程如下：332023年 4月 15日Computer Engineering 计算机工程1）由第三方可信机构TPA随机生成乘法三元组(u,v,z)，其中，u,v,z R，z=uv。执行共享算法ShrA()，将r、r和r分发给Pr。2）Pr本 地 计 算r=r-r和r=r-r，并将r和r发给另一方P1-r，双方各自 执 行 重 构 算 法RecA(0,1)、RecA(0,1)，恢复出e和f。3）Pr计 算r=r e f+f r+e r+r。Pr可以通过将r发送给P1-r，或共同发给第三方执行RecA(0,1)重构得到c，其中 c=a b。1.2.3加秘密共享内积（SSIP(a,b)）假 设P0有 向 量a R1 n和b Rn 1的 共 享 值0、0，P1有共享值1、1。参与方P0、P1通过执行SSIP(a,b)分别得到r=r R，r 0,1。加秘密共享内积协议执行过程如下：1）TPA随机生成Beaver s乘法三元组23(g,f,h)，其中，g R1 n，f R1 n，h=g f R。执行共享算法ShrA()，并将共享值r、r和r分发给Pr。2）参与方Pr收到乘法三元组的共享值后，本地计算r=r-r和r=r-r，并将r、r发送给另一方P1-r。Pr双方各自执行重 构 算 法RecA(0,1)、RecA(0,1)，得到d和e。3）Pr计 算r=r d e+r+r e+dr。Pr可以将r发送给P1-r，或共同发给第三方执行RecA(0,1)重构得到z，其中z=a b。2模型与安全性需求 2.1系统模型系统模型由3个部分组成：第三方可信机构TPA；用户Ci(i=1,2,m)；云服务器S0、S1。如图 1所示。1）第三方可信机构 TPA 主要负责系统初始化，生 成 训 练 参 数 以 及 乘 法 三 元 组 并 分 发 给 云 服 务器S0、S1。2）用户Ci拥有本地数据集Di，每个样本包含完整的属性。Ci首先在本地对其私有数据进行预处理，然后使用秘密共享将整合的本地局部数据矩阵拆分成两部分，分别上传给云服务器S0、S13）2 台非共谋云服务器S0和S1分别聚合来自多个用户的本地数据共享矩阵，负责协同训练获得全局模型参数的共享。2.2威胁模型与安全需求SLRT 的主要目标是在保护用户数据和模型参数隐私的前提下训练逻辑回归模型。本文考虑以下2种攻击类型：1）诚实且好奇的攻击。在SLRT系统中涉及的用户Ci和云服务器S0、S1都是诚实且好奇的，即正确地执行训练协议，但会在训练过程中尝试了解更多信息。2）共谋攻击。虽然在 SLRT 系统中 2 台云服务器是非共谋的，这在安全两方的隐私保护协议中被广泛采用15-17，但允许云服务器S0、S1通过生成合法客户端与一些本地客户端共谋，并试图从获取的数据中推断出一些隐私信息。3SLRT方案 本节详细介绍非交互式逻辑回归安全训练方案SLRT。给出良可分离结构的定义，结合逻辑损失函数近似替换策略构建新的梯度计算格式。用户对其本地数据进行预处理，使用秘密共享将局部数据矩阵拆分，分别上传给 2 台云服务器S0、S1，经S0、S1协同训练得到模型参数的共享值。图 1系统模型Fig.1System model34第 49卷 第 4期唐敏，张宇浩，邓国强：一种高效的非交互式隐私保护逻辑回归模型定义 1（良可分离结构）函数f(x,y；)具有良可分离结构，f(x,y；)可以表示为：f(x,y；)：=jgj(x,y)hj()其中：gj(x,y)是关于x和y的函数；hj()是关于的函数。具有良可分离结构的函数f可以表示函数gj和hj的乘积，其中gj和hj具有完全不同的自变量。当x、y分别表示样本特征和类标签，表示模型参数时，可以将函数f看作是机器学习训练中的梯度更新公式。如果其可表示成良可分离结构形式，则意味函数gj的计算只依赖于样本，hj只依赖于。也就是说，gj可由用户在本地计算，拥有参数的服务器一旦获得gj，即可获得梯度f(x,y；)。3.1良可分离结构的构建SLRT方案利用梯度计算公式的良可分离结构，实现用户与服务器的非交互式训练。由于梯度更新公式式（2）涉及幂运算和除法，很难将其转变为样本信息和参数信息完全分离的计算形式。WANG等20提出一种基于二阶泰勒多项式T2近似逻辑函数的良可分离结构。考虑到使用低阶的泰勒多项式可能导致精度的损失，本文采用连续最小二乘近似（Continuous Least Squares Approximation，CLSA）24构造替代函数，克服了泰勒多项式近似在远离原点时偏离原函数的局限。3.1.1逻辑函数近似CLSA 的目标是在整个给定区间a,b上找到一个近似函数，满足与原函数之间的误差平方和最小。使用 CLSA 算法，区间-4,4上近似loga(1+e-z)的二阶多项式为：l2=2z2+1z+0（3）其中：0=0.744 204；1=-0.5；2=0.085 660。图 2所示为T2和l2逼近逻辑函数的效果。将式（3）代入到式（1）中，损失函数的近似表示为：L?(X,Y,)=1n|i=1n2(xTit)2+1yi(xTit)+0|（4）此时，逻辑回归的参数更新公式转换为：0,t+1=0,t-ni=1n(22(xTit)+1yi)（5）j,t+1=j,t-ni=1n(22(xTit)+1yi)xi，j（6）其中：t为当前迭代次数；j=1,2,d。3.1.2解耦的梯度计算格式经二阶多项式l2近似逻辑函数，模型参数更新公式式（5）和式（6）具有良可分离结构，其等价于：0,t+1=j=13gj(x,y)hj()=0,t-2n2()i=1nxTi t-n1i=1nyi（7）j,t+1=j=46(x,y)hj()=j,t-2n2()i=1nxTi xi,j t-n1i=1nyixi,j（8）其中：g1(x,y)=0,h1()=0,tg2(x,y)=i=1nxTi,h2()=2n2tg3(x,y)=i=1nyi,h3()=-n1g4(x,y)=0,h4()=j,tg5(x,y)=i=1nxTi xi,j,h5()=2n2tg6(x,y)=i=1nyi xi,j,h6()=-n1注意到g2(x,y)、g3(x,y)、g5(x,y)、g6(x,y)仅与样本有关，且在每次迭代过程中保持不变。结合式（7）和式（8），注意到g2(x,y)、g3(x,y)、g5(x,y)、g6(x,y)不泄露单个样本数据，同时能为服务器提供模型训练所需的信息，所以用户在本地计算g2(x,y)、g3(x,y)、g5(x,y)、g6(x,y)并上传给服务器后即可离线。为保护 模 型 参 数 和 提 高 计 算 效 率，g2(x,y)、g3(x,y)、g5(x,y)、g6(x,y)将以秘密共享的形式上传给S0和S1。若采用高次近似多项式替代逻辑函数，仍可构造具有良可分离的结构的参数更新公式，但形式上比二次近似要复杂得多。3.2局部数据共享矩阵生成根据第 3.1.2节设计的梯度计算格式，为了让S0、S1获得g2(x,y)、g3(x,y)、g5(x,y)、g6(x,y)的共享，用户Ci首先对本地数据集进行预处理。设用户Ci（i=1,2,m）拥有数据集：Di=(xi1,yi1),(xi2,yi2),(xini,yini)图 2T2和 l2逼近逻辑函数拟合效果Fig.2Fitting effect of T2 and l2 approximate logical function352023年 4月 15日Computer Engineering 计算机工程其中：(xik,yik)=(1,xik,1,xik,2,xik,d,yik)；ni表示用户Ci拥有的样本数。首先，用户Ci对数据集Di中的每个样本(xik,yik)计算 Aik：Aik=(1,xik,1,xik,2,xik,d)T(xik,1,xik,2,xik,d,yik)得到样本矩阵：Aik=|xik,1xik,dyikxik,1 xik,1xik,d xik,1yik xik,1xik,1 xik,dxik,d xik,dyik xik,d（9）然后，Ci计算本地局部数据矩阵：Ai=k=1niAik=|k=1nixik,1k=1nixik,dk=1niyikk=1nixik,1xik,1k=1nixik,dxik,1k=1niyikxik,1k=1nixik,1xik,dk=1nixik,dxik,dk=1niyikxik,d（10）最后，对矩阵Ai中每个元素(Ai)pq，p=1,2,d+1，q=1,2,d+1，执行ShrA(Ai)pq)，将Ai拆分成下式：r=|k=1nixik,1rk=1nixik,drk=1niyikrk=1nixik,1 xik,1rk=1nixik,d xik,1rk=1niyik xik,1rk=1nixik,1 xik,drk=1nixik,d xik,drk=1niyik xik,dr 其中：r 0,1，满足Ai=r+1-r。用户Ci将矩阵0上传给S0，将1上传给S1，用于生成全局训练数据矩阵，随即离线。3.3全局逻辑回归模型训练本节给出S0和S1进行全局逻辑回归模型训练的详细过程。3.3.1全局数据共享矩阵生成当Sr收到所有用户Ci上传的本地数据共享矩阵后，通过计算r得到全局数据共享矩阵：r=i=1mr=|i=1mk=1niri=1mk=1niri=1mk=1niri=1mk=1niri=1mk=1niri=1mk=1niri=1mk=1niri=1mk=1niri=1mk=1nir由于云服务器得到的是经过预处理的本地训练数据矩阵，其每个元素为多个样本属性之和的共享值，因此S0、S1即使共谋也不可能窃取单个样本信息，同时避免了传统的秘密共享方案在每次迭代过程中由于样本和参数的计算耦合性而造成的服务器之间多轮通信。为了简化记号，用r表示矩阵r中的元素(r)ij，r表示矩阵r中的元素(r)i(d+1)，i=1,2,d+1，j=1,2,d。于是r可表示为：r=|rrrrrrrrr（11）3.3.2全局模型参数更新通过第3.1.2节可以发现，非交互式逻辑回归训练的关键是获得g2(x,y)、g3(x,y)、g5(x,y)、g6(x,y)，其可以通过Ci预处理本地数据，再经过S0、S1聚合得到。此时，式（7）和式（8）可通过式（12）、式（13）计算：0,t+1=0,t-n(22(v0 t)+1u0)（12）j,t+1=j,t-n(22(vj t)+1uj)（13）其中：j=1,2,d。v0、vj、u0、uj可由式（11）得到：v0=(RecA(0,1),RecA(0,1),RecA(0,1)vj=(RecA(0,1),RecA(0,1,RecA(0,1)u0=RecA(0,1)uj=RecA(0,1)（14）通过式（14），服务器就能计算式（12）和式（13），从而自行完成整个逻辑回归模型的训练。下文介绍S0、S1利用聚合生成的全局数据共享矩阵r协同训练模型。3.3.3全局逻辑回归安全训练S0、S1生成全局数据共享矩阵r后，通过以下步骤进行全局逻辑回归模型训练：1）TPA 首先负责初始化16工作，选择学习率，最大迭代次数itermax，随机选择乘法三元组(g,f,h)，模型参数初始值0=(0,1,d)，利用共享算法ShrA()将(g,f,h)和0拆分成两部分，分发给S0、S1。2）Sr(r 0,1)利 用SSIP(v0,)、SSIP(vj,)计 算r、r。36第 49卷 第 4期唐敏，张宇浩，邓国强：一种高效的非交互式隐私保护逻辑回归模型3）Sr更新模型参数：r=r-n(22r+1r)（15）r=r-n(22r+1r)（16）其中：j=1,2,d。4）Sr重复执行步骤 2、步骤 3 直至达到最大迭代次数，最终获得模型参数的共享值r。算法 1 给出了全局逻辑回归安全训练的形式化描述。算法 1 全局逻辑回归安全训练算法输入 用户Ci数据样本集(xik，yik)，其中，i=1，2，m，k=1，2，ni输出 模型参数*的共享0、11.Ci：2.利用本地样本(xik，yik)生成样本矩阵Aik。3.聚合样本矩阵Aik获得本地局部数据矩阵Ai。4.对Ai中的每个元素执行ShrA(Ai)pq)，得到本地数据共享矩阵0、1。5.将0上传给S0，1上传给S1。6.TPA：7.初始化学习率，最大迭代次数itermax。8.随机生成乘法三元组(g，f，h)和0，执行共享 算法ShrA()，将共享值分发给服务器Sr。9.Sr：10.根据全局数据共享矩阵r得到r，r，r，r11.t 0。12.While t itermax do13.Sr之间执行SSIP(v0，)，SSIP(vj，)计算r、r。14.利用式（15）和式（16）更新模型参数。15.t t+1。16.End While17.返回 0，1。4安全性分析 在 SLRT框架中需要保护两方面的信息：用户Ci的私有数据；服务器Sr，r 0,1训练完成的模型参数。如第 2.2节所述，敌手主要包括：1）诚实且好奇的 云 服 务 器A1（Type-I）；2）诚 实 且 好 奇 的 用 户A2（Type-II）；3）云服务器与部分用户共谋的敌手A3（Type-III）。在整个训练过程中，TPA 只负责初始化和分发参数，无法访问用户和模型参数信息。4.1数据隐私4.1.1抗诚实且好奇的攻击Type-I攻击：证明Ci的数据不能被敌手A1获得。用户Ci使用共享算法ShrA()将整合得到的本地局部数据矩阵Ai拆分成0、1，并将其上传给A1。对Ai的每个元素(Ai)pq Ai，算法ShrA(Ai)pq)利用a0 R将其拆分为0、1。由于a0是Ci均匀随机选择的，因此A1不能获得(Ai)pq的真实值。Type-II攻击：证明某个特定用户Ci的数据不能被其他用户（敌手A2）获得。在 SLRT 中，训练过程是非交互式的，用户独立地将其私有数据经预处理后上传到云服务器S0和S1，随即离线，A2与用户Ci之间不存在信息交换，因此无法获得Ci的数据。4.1.2抗共谋攻击Type-III攻击：SLRT 允许云服务器与一些本地客户端共谋。用户Ci将数据以秘密共享的形式上传，在威胁模型中假设S0、S1是非共谋的，因此A3除了得到其他用户局部数据矩阵Ai的共享r外，无法获得更多信息，即 SLRT的数据隐私是抗共谋攻击的。4.2模型隐私4.2.1抗诚实且好奇的攻击Type-I攻击：证明模型参数不能被A1获得。模型参数由 TPA 随机初始化为0、1并分发给S0、S1。在训练阶段，Sr通过加秘密共享内积协议计算r、r，所需乘法三元组通过 TPA预生成并分发给Sr。参数更新式（15）、式（16）仅包含秘密共享加法和乘法操作，而秘密共享协议是满足 UC（Universal Composability）安全的15，因此，在训练期间，A1无法根据模型参数中间结果或优化结果的共享推断出模型参数。Type-II攻击：SLRT考虑的是一种完全非交互的情形，训练得到的模型参数不会返回到Ci。S0和S1可以利用以秘密共享的形式存储的模型参数为用户提 供 预 测 服 务，即A2不 会 得 到 有 关 模 型 的 任 何信息。4.2.2抗共谋攻击Type-III攻击：模型参数中间结果或优化结果是共享在两台云服务器之间的，即Sr拥有r及其他中间结果，记作r，Ci拥有其本地数据Ai，显然Sr和部分Ci共谋，A3也无法根据Ai,r,r推断出完整的模型，因此SLRT的模型隐私是抗共谋攻击的。从上述分析可以得出 SLRT 满足系统的安全性需求。5实验与结果分析 本节从精度、计算开销和通信开销等方面分析和测试 SLRT的性能。1）在现有的交互式 PPLR 方案12，22中，数据所有者的通信开销随着迭代次数的增加呈线性增长，不同于本文提出的非交互式方案，用户开销保持不变。2）已有的基于秘密共享的 PPLR 方案15-17由于未经数据预处理，在参数更新过程中无法使用固定的信息，需要不经意传输或混淆电路协议，产生较大的通信量和计算负担。3）与本文最相近的工作 VANE20是目前最新的372023年 4月 15日Computer Engineering 计算机工程支持线性回归、岭回归和逻辑回归的非交互式联邦学习方案，与 PPLR方案相比效率有较大提升。因此，下文通过理论分析和数值实验将 SLRT与VANE进行对比。5.1实验设置数值实验在局域网环境下完成，使用 3.20 GHz，Intel 4核 8 GB 内存，i5处理器，搭载 Win10系统的计算机分别模拟用户和云服务器，并将它们托管在同一区域的局域网上执行训练任务，因此整个实验过程仅存在少量网络延迟。使用 Python 3.7 对来自 UCI 的 4 个公开的真实数据集 Diabetes Datasets（DD）25、Wisconsin Breast Cancer data base（WIBC）26、Heart Disease Data base set（HDD）27、Australian Credit Approval Data set（ACAD）28分别进行逻辑回归训练来评估 SLRT 和VANE 的精度和计算开销。数据集的特征数和样本数如表 1所示。5.2SLRT和 VANE理论计算量与通信量对比本节仅记录 SLRT 和 VANE 方案中计算复杂度高的步骤和操作。具体来说，令tmat、tadd、tsmul、texp、tinv和tmul分别表示生成本地局部数据矩阵、加秘密共享、加秘密共享内积、模指数、模逆和模乘的运算。使用 m、d、n 和 l分别表示用户数量、特征维度、训练样本量和迭代次数。1）SLRT和 VANE计算量对比在 SLRT 和 VANE 中完整的训练过程包含预处理和服务器训练两个阶段，其中：预处理包含用户生成本地局部数据矩阵和数据加密操作（SLRT采用秘密共享，VANE 采用部分同态）；训练阶段均不与用户交互，由服务器协同或单独完成。在 SLRT 中，预处理的所有操作均在明文下进行，包含生成本地局部数据矩阵和对矩阵元素进行ShrA()操 作，总 计 算 开 销 为m tmat+m(d+1)2 tadd。VANE 除了包含生成本地局部数据矩阵的计算开销m tmat，代价更大的操作在于使用 Paillier系统加密本地数据矩阵，计算量为2m(d+1)2(texp+tmul)。在服务器训练阶段，VANE 首先利用 Paillier 系统的加同态性，在密文下聚合来自用户的本地局部数据矩阵，进而解密获得全局训练数据矩阵，计算量为(d+1)2(tinv+2tmul+texp)，最后在明文下执行训练，此操作运算量极小，可忽略不计。SLRT由服务器协同执行加秘密共享内积协议完成模型训练，计算量为l tmul。表 2 所示为用户和服务器在 SLRT 和 VANE 下的理论计算量。由于加秘密共享操作的时间远小于Paillier密码系统加密数据的时间，SLRT中服务器在明 文 下 执 行 加 秘 密 共 享 内 积 协 议 的 时 间 远 小 于VANE 中使用 Paillier密码系统聚合和解密数据矩阵的 时 间，因 而 无 论 在 预 处 理 阶 段 还 是 训 练 阶 段，SLRT 的效率都优于 VANE 方案，在数值实验中进一步得到了验证。2）SLRT和 VANE通信量对比在 VANE 中，用户经预处理获得的本地局部数据矩阵的维度是(d+1)(d+1)，使用 Paillier系统对矩阵中每个元素进行加密并上传给云服务器。每个密文的长度为2，其中，是安全参数，一般取 1 024 或2 048，VANE的通信量为2m(d+1)2。在 SLRT中，用户经预处理同样获得(d+1)2个元素的本地局部数据矩阵，拆分成两部分后上传给S0和S1。在训练阶段的每次迭代过程中，S0、S1执行SSIP()，需要交互传输 2个(d+1)维的向量，整个训练阶段传输数据个数为2l(d+1)。因此，SLRT的总通信量为2(d+1)2+2l(d+1)个明文数据。由于传输一个明文数据所需通信量远远小于一个 Paillier密码系统的密文数据，迭代次数l通常在数千次以内，SLRT的通信开销低于 VANE。5.3精度测试精准率和召回率为评价机器学习模型精度的常用指标。其中，精准率表示正确预测为正的占全部预测为正的比例，召回率表示正确预测为正的占全部实际为正的比例。使用 5-折交叉验证法，如表 3所示，SLRT 的模型精确率与 VANE 相当。同时，给出了原始模型在非隐私保护下的训练结果 baseline，发现 SLRT的模型精确率与明文下的结果相当。表 1数据集信息 Table 1Information of the datasets单位：个数据集DD25WIBC26HDD27ACAD28特征数891314样本数768699294690正例数500458150307负例数268241120383表 2SLRT和 VANE计算量比较 Table 2Calculation quantity comparison of SLRT and VANE方案SLRTVANE用户m(tmat+(d+1)2 tadd)m tmat+2m(d+1)2(texp+tmul)云服务器l tsmul(d+1)2(tinv+(m+2)tmul+texp)表 3不同数据集的模型精确率 Table 3Model accuracy of different datasets数据集DDWIBCHDDACAD迭代数/103次2211精确率/%SLRT78.297.597.597.4VANE77.698.797.497.4baseline78.598.897.597.6召回率/%SLRT78.396.896.098.4VANE78.098.795.197.7baseline78.898.797.798.538第 49卷 第 4期唐敏，张宇浩，邓国强：一种高效的非交互式隐私保护逻辑回归模型5.4性能评估为测试 2种方案在实际机器上的运行效率，记录了 SLRT和 VANE的预处理时间、总训练时间，并评估样本数、用户数、迭代次数的变化对 2种方案的影响。1）原始数据集下总训练时间对比图 3（a）比较了原始数据集下 SLRT 和 VANE 进行逻辑回归训练的总训练时间，包括本地预处理时间（图 3（b）与服务器训练时间，其中，l=1 000，m=10。SLRT 的效率比 VANE 提高了至少 102倍。主要原因在于：在迭代次数l和用户数量m相同的情况下，影响 2 种方案的重要因素在于使用的密码技术不同，SLRT 中的主要操作为明文下执行的ShrA()和SSIP()，其计算量远小于 VANE 中 Paillier系统加密、聚合和解密数据矩阵。2）SLRT 与 VANE 的预处理时间随样本数量变化对比SL