基于随机掩码和对抗训练的文本隐私保护实验_吴舟婷.pdf
《基于随机掩码和对抗训练的文本隐私保护实验_吴舟婷.pdf》由会员分享,可在线阅读,更多相关《基于随机掩码和对抗训练的文本隐私保护实验_吴舟婷.pdf(5页珍藏版)》请在咨信网上搜索。
1、 实 验 技 术 与 管 理 第 40 卷 第 8 期 2023 年 8 月 Experimental Technology and Management Vol.40 No.8 Aug.2023 收稿日期:2023-03-31 基金项目:国家 242 信息安全专项(2019A021,2020A065)作者简介:吴舟婷(1988),女,安徽六安,博士,实验师,硕士研究生导师,研究方向为网络空间安全、自然语言处理等,。引文格式:吴舟婷,罗森林.基于随机掩码和对抗训练的文本隐私保护实验J.实验技术与管理,2023,40(8):72-76.Cite this article:WU Z T,LUO S
2、 L.Privacy preservation experiment based on random masking and adversarial training for text representationJ.Experimental Technology and Management,2023,40(8):72-76.(in Chinese)ISSN 1002-4956 CN11-2034/T DOI:10.16791/ki.sjg.2023.08.011 基于随机掩码和对抗训练的文本隐私保护实验 吴舟婷,罗森林(北京理工大学 信息与电子学院,北京 100081)摘 要:针对深度学习
3、文本表示隐私保护面临可用性与隐私性难以平衡的问题,该文提出一种基于随机掩码和对抗训练的文本表示隐私保护算法 RMAT。该算法首先对原始输入文本序列做随机掩盖,之后注入差分隐私噪声,并结合模拟攻击器与任务分类器间的对抗训练,实现深度学习文本表示的隐私脱敏。文章通过理论推导证明了算法满足差分隐私要求,并用 5 个公开数据集的实验结果验证了算法在提供完备隐私保障的同时提升了脱敏文本的可用性。通过本项实验,学生不仅对深度学习文本表示模型面临的安全风险有了更清晰的认识,还提升了利用深度学习方法分析和解决安全问题的能力。关键词:隐私安全;文本表示;差分隐私;对抗训练 中图分类号:TP391.1 文献标识码
4、:A 文章编号:1002-4956(2023)08-0072-05 Privacy preservation experiment based on random masking and adversarial training for text representation WU Zhouting,LUO Senlin(School of Information and Electronics,Beijing Institute of Technology,Beijing 100081,China)Abstract:To address the problem of striking the
5、 privacy-utility balance for the privacy protection of deep-learning based text representation,this paper proposes a privacy preservation algorithm for text representation based on random mask and adversarial training.The algorithm first masks the original input text sequence randomly,and then injec
6、ts differential privacy noise,and combines the adversarial training between the simulated attacker and the task classifier to realize the privacy preservation of deep learning text representation.Through theoretical derivation,the paper proves that the algorithm meets the differential privacy requir
7、ements,and verifies that the algorithm improves the usability of desensitized text while providing complete privacy protection with experimental results of five public datasets.Through this experiment,students not only have a clearer understanding of the security risks faced by the deep-learning tex
8、t representation model,but also improve their ability to analyze and solve security problems by using the deep learning method.Key words:privacy security;text representation;differential privacy;adversarial training 1 研究背景 近年来,基于大规模语料训练的文本表示(text representation)1-2已成为大多数自然语言处理任务的基础模块。然而,深度文本表示在广泛应用的
9、同时也增加了隐私数据泄露的风险3-4。通常,训练深度文本表示的语料内容非常广泛,可能携带个人隐私信息,包括姓名、性别、年龄等,而训练得到的文本向量()f x在传输和应用过程中可能遭遇隐私窃取攻击,进而导致隐私数据泄露5-6。例如,图 1 中用户可能为了获取语法校正、外文翻译等服务而向云端发送包含个人隐私信息的表示向量7,攻击者就可以通过窃取文本嵌入向量,恢复出原始文本中的敏感属性,甚至是原始文本8。因此,对文本表示提供隐私保护至关重要9。吴舟婷,等:基于随机掩码和对抗训练的文本隐私保护实验 73 图 1 针对深度文本表示的隐私攻击 目前文本表示隐私保护的方法大体上可分为基于对抗训练的经验类方法
10、和基于差分隐私的理论类方法。Xie 等 10、Elazar 等11、Feyisetan 等12以及 Basu等13通过引入模拟攻击者实现隐私攻击与目标任务之间的对抗训练,基于目标函数中的攻击效果惩罚项实现隐私保护。然而,目前经验性的隐私保护方法仅从实验角度验证了文本表示模型具备隐私保护能力,未提供理论上严格证明的隐私保护效果,无法穷尽所有样本验证其隐私脱敏效果的完备性。另一类基于差分隐私机制的方法如 Lyu 等(2020)14和 Plant(2021)等15,通过在文本表示向量中加入标定噪声的方法实现-差分隐私16,提供理论严格证明的隐私脱敏效果。但是由于噪声的注入,文本表示的可用性也会随之下
11、降。针对上述问题,本文提出一种基于随机掩码(random masking)和对抗训练(adversarial training)的差分隐私文本脱敏算法,简称 RMAT 算法。该算法首先对原始输入文本序列做随机掩码之后再注入差分隐私噪声,并结合模拟攻击者与目标任务的对抗训练,在确保隐私保护效果的同时提升文本可用性。本文通过理论证明,说明结合随机掩码的差分隐私方法仍然符合-差分隐私定义,可提供严格的隐私保护。同时,由于随机掩盖使得脱敏噪声仅叠加在部分输入单词上,可降低噪声对目标任务的影响,使本文算法具备更高的可用性。2 算法流程 2.1 算法模块 基于随机掩码和对抗训练的差分隐私文本脱敏算法流程如
12、图 2 所述,具体可分为随机掩盖、文本编码、噪声注入以及对抗训练等模块。首先,随机掩盖模块生成与原始序列等长的 0、1 序列,0 值出现的概率由参数控制。将掩盖序列与原始序列点乘即可实现将输入序列随机遮盖掉。其次,文本编码模块利用预训练语言模型将输入的字符掩盖序列编码为表示向量。之后,DP 噪声注入模块首先生成拉普拉斯噪声,并叠加入表示向量,实现差分噪声注入。最后,对抗训练模块包含模拟隐私攻击和目标任务分类两部分,隐私攻击器的目的在于降低向量所包含的隐私信息,训练目标任务分类器则是为了确保文本表示仍保留有效的语义信息。算法 1:RMAT 差分隐私脱敏算法 输入:输入数据 x,标签 y,随机掩盖
13、概率,隐私信息标签 z 对输入序列随机掩盖:,0,1Dmnn=xxII 文本编码:e()mf=xx 归一化表示向量:eeeemin/(maxmin)=-exxxxx 扰动噪声注入:e,Lap()erb=+?ixxr 对抗训练:;(),frpta=+LLLx y z 图 2 RMAT 差分隐私脱敏算法(算法 1)2.2 随机掩码模块 随机掩码模块的输入为原始文本序列12,w w=x Dw,iw表示输入单词,序列长度为 D。遮盖序列nI是长度为 D 的0,1序列,其中包含 0 的个数等于随机掩盖概率乘以序列长度 D。再通过文本序列与掩盖序列的点乘nxI得到随机遮盖序列m:x ,0,1Dmnn=xx
14、II(1)2.3 编码器模块 编码器的功能是将输入文本映射到低维语义空间,因此编码器的效果与目标任务密切相关。考虑到预训练语言模型在 NLP 领域的成功,本文首先用BERT 模型获取原始文本序列的表示向量,之后利用两层全连接层进一步完成语义压缩,获得最终文本表示向量:e()mf=xx(2)2.4 噪声注入模块 噪声注入模块需要将扰动噪声叠加到文本表示向量ex上。扰动噪声向量r是维度与ex相同的向量,其中每一维ri则是服从拉普拉斯分布的独立同分布随机变量。拉普拉斯分布的位置参数为 0,尺度参数为/bf=。f则是输入函数的敏感度。考虑到确定一个无边界文本表示函数的灵敏度实际上是不可行的,参考 Sh
15、okri 和 Shmatikov(2015)的做法,ex的范围被限制为0,1。这样,函数的灵敏度在ex的各维上求和是相同的,即1f=。噪声注入后的向量为:ee=+?xxr(3)74 实 验 技 术 与 管 理 2.5 对抗训练模块 对抗训练模块包括隐私攻击器和目标分类器。隐私攻击器与任务分类器均采用相同的模型结构,由一层全连接层网络和一层 dropout 组成。对抗训练的过程分为两步,首先训练模拟隐私攻击器降低文本表示所包含的隐私信息;之后,训练目标任务分类器确保表示向量在注入噪声后仍保留有效的语义信息。隐私攻击器的输出为预测的隐私标签,采用交叉熵(,)aei?xzL作为目标函数。之后利用梯度
16、反向传播更新分类器参数,分类器梯度计算公式为:11(,)maiaeizm=?xL(4)其中,zi表示第 i 个样本的隐私标签。为了达到抵御攻击和提升分类准确率的目的,将任务分类器的优化目标表示为目标预测损失和隐私预测损失的组合:;(),frata=+LLLx y z (5)其中,x表示原始文本序列,y表示任务分类器的分类标签,z表示隐私分类器的隐私标签,f表示文本编码器参数,r表示任务分类器参数,a表示攻击分类器参数。目标预测的输出为分类标签,采用交叉熵(,)te?L xy作为目标函数。隐私预算损失则利用参数更新后的隐私攻击器计算出相应损失aL,并利用超参实现可用性和隐私性的平衡。3 理论证明
17、 差分隐私机制的目标在于,通过加入随机噪声来确保公开的输出结果不会因为一个个体是否在数据集中而产生明显的变化。其严格的定义意味着,无论攻击者拥有怎样的背景知识,都可通过差分隐私来保证数据隐私不会泄露,同时也能够保证数据的可用性。为了证明本文算法符合差分隐私定义,以下的理论证明分为差分隐私定义和算法有效性推导两部分。3.1 差分隐私定义和性质 定义定义 1:对于一个随机算法()xA,Range()A为算法()xA可以输出的所有值的集合。对于任意一对相邻数据集 D 和 D,Range()A的任意子集S满足:Pr()e Pr()AADSDS(6)则称算法()xA满足-差分隐私,其中参数为隐私保护预算
18、。相邻数据集指的是两个数据集仅在一个样本记录存在差异。对于连续数值型输入例如表格数据、表示向量等,可以通过在输入中叠加拉普拉斯噪声的方法实现差分隐私。符合差分隐私的算法具有非常多的重要性质,包括顺序合成性质、平行合成性质、中凸性以及变换不变性。下面重点介绍变换不变性。性质 1:给定一个算法1A满足-差分隐私,则对于任意算法2A,在对1A做变换后得到算法21()()=AA A,该算法A满足-差分隐私。这个性质说明差分隐私对于后处理算法具有免疫性,如果一个算法的结果满足-差分隐私,那么在这个结果上进行的任何处理都不会对隐私保护有所影响。也就是说,本文算法在注入噪声进行对抗训练后,不会损害隐私保护效
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 随机 掩码 对抗 训练 文本 隐私 保护 实验 吴舟婷
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。