基于联邦学习的多源数据用户画像设计方案.pdf

第 卷第 期 年 月南 京 邮 电 大 学 学 报（自 然 科 学 版）（）：基于联邦学习的多源数据用户画像设计方案陈 晶，彭长根，谭伟杰，贵州大学 公共大数据国家重点实验室，贵州 贵阳 贵州大学 计算机科学与技术学院，贵州 贵阳 贵州大学 贵州省大数据产业发展应用研究院，贵州 贵阳 摘要：中小微型企业在用户画像实际应用中缺乏足够的数据和特征标签，难以得到精准的结果。同时，跨行业、跨部门数据以集中方式进行训练会导致隐私泄露。针对以上问题，提出了一种基于联邦学习的多源数据用户画像设计方案。该方案设计了联邦画像系统框架，利用联邦学习的计算机制和隐私求交算法，实现了多源数据共享，保证了各方数据集的隐私安全。实验表明，对比本地画像方案和部分多源数据画像方案，所提方案能够大幅度提高预测精度，具有更高的隐私安全性和算法扩展性。关键词：用户画像；数据共享；数据隐私安全；联邦学习；预测准确率中图分类号：文献标志码：文章编号：（），：，：；收稿日期：；修回日期：本刊网址：基金项目：国家自然科学基金（，）资助项目作者简介：陈晶，男，硕士研究生；彭长根（通信作者），男，博士，教授，博士生导师，引用本文：陈晶，彭长根，谭伟杰基于联邦学习的多源数据用户画像设计方案南京邮电大学学报（自然科学版），（）：年中共中央、国务院发布关于构建更加完善的要素市场化配置体制机制的意见后，数据的市场价值更为突出。用户画像作为一种面向大数据个性化服务的数据价值分析手段，依据多样化、大体量的用户行为、背景、性格等属性标签进行画像建模，深度挖掘数据的潜在关联价值。然而，在实际应用场景中，除大型互联网企业拥有足够体量的数据外，很多中小微型企业因缺少足够数据特征来描绘出精准的画像模型，进而无法准确反映用户特征，难以提供有效的决策支撑。另外，由于行业竞争、隐私安全以及复杂的管理方式，将不同企业、不同政府部门的数据采用集中方式处理会引起数据的泄露，存在隐私安全风险。与此同时，各国政府和组织也出台了相关的隐私条例，如 年欧盟发布的通用数据保护条例、年 月加州通过的加州消费者隐私法案、年 月 日正式施行的中华人民共和国个人信息保护法。一方面这些法律法规对用户数据隐私保护提供了强有力的保障，另一方面也从法律层面限制了中小微型企业跨域联合训练用户画像的可能性，导致其陷入了进退两难的困境。为了解决中小微型企业面临的数据体量不足和跨部门跨区域合作面临的异构数据资源难以整合、数据隐私安全难以保证等问题，提出了一种基于联邦学习的多源数据用户画像设计方案，通过加密隐私梯度聚合方式，在数据不出域的前提下完成多参与方画像模型的联合训练，为中小微型企业决策分析提供支持。相关工作用户画像是能够基于用户信息、用户行为等相关信息分析挖掘其潜在价值的技术。用户画像的概念最早 年由 提出，随着数据价值的提升，用户画像技术被广泛应用于各行业各领域，对于用户画像技术的研究也逐渐成为热门。年，等通过矩阵来描述数据集，基于类别邻域和用户邻域平滑预测结果。年，单晓红等通过 个属性维度，以 工具建立画像本体，分析用户评价的情感极性。等基于 词频设置计算模型，通过用户聊天数据绘制个性模型。年，等基于网格化商旅数据，对比了用户画像基于 回归、决策树、随机森林、梯度提升决策树和 五种算法模型的预测精度。年，等在 结构的基础上提出了 模型算法，在偏好推荐中取得较好效果。等将随机森林算法与用户画像技术相结合，与反向传播神经网络算法进行对比，识别准确率提升了。等使用单热编码转换特征数据，并根据不同数据匹配使用神经网络、等机器学习算法来预测用户的情感倾向。然而该方案缺少足够的用户特征，预测精度只有。上述文献方案中针对各自的数据集进行画像建模，在数据处理、推荐算法、画像模型优化等方面取得了一定的成果。然而，在数据体量较小或缺少数据标签的情况下，以上方案难以取得较好的效果，用户画像的特征维度不高，预测结果不可用。为了解决上述困境，相关学者基于分布式环境和多源数据融合技术对用户画像展开了新一轮的研究。年，等深入研究区块链分布式环境中公开数据的建模方法，基于 无监督人工神经网络处理海量数据。然而 等指出，该方案距离准确理解和预测 用户行为还相去甚远。雷鸣等在 系统基础上，结合分布式技术和 技术，实现了对非结构化数据的分布式处理。苗光尧等改进 聚类算法，从数据、特征、决策三层融合多模态数据，取得了更高的画像精度。袁苗苗等结合 分词算法和 加权算法融合不同领域的数据集建立画像，该方法中多领域标签库构建流程如图 所示。上述方案在分布式环境和多数据集场景中进行了一定的探索研究，然而，分布式数据处理后，依旧需要在存储组件中汇总数据进行集中计算，存在隐私泄露的风险。另外，上述方案中数据的使用依旧局限于单个参与方，没有从根本上解决多参与方联合训练画像的需求。因此，如何实现多域联合画像训练，以及其中面临的隐私安全问题还有待研究。图 多领域标签库构建流程图 方案设计联邦学习实质上是一种基于分布式机器学习的南京邮电大学学报（自然科学版）年框架，基于此框架，不同的参与方通过中央服务器共同训练所需模型，与此同时，各自所持有的隐私数据依旧保留在本地。联邦学习的分布式框架既保留了机器学习的模型训练功能，又抛弃了数据中心的集中式训练方式，因此巧妙地规避了传统机器学习所面临的隐私风险和数据安全防治成本。自 年 等提出 技术后，该技术依靠其与加密技术深度结合的分布式计算方式，在解决数据隐私泄露、数据跨区域共享难等问题方面具有不可替代的优势，并在应用中取得了较多成果。因此，考虑到将联邦学习技术应用到传统的用户画像模型分析中，以解决其面临的数据集成困境和数据隐私壁垒，从而能够得到更加全面的画像，挖掘出更多的数据潜在价值。联邦画像系统框架设计本方案系统框架如图 所示。图 系统框架图本文面向多个参与方持有数据集共同参与用户画像模型训练的应用场景，提出了基于联邦学习的用户画像方案。本方案共分为 层：用户数据层、数据隐私求交层、模型加密训练层、用户画像评估层。用户数据层是参与方提供自己的本地数据库参与联合训练；隐私求交层根据参与方数量和数据量，通过加密算法求出公共的隐私数据集，作为整个数据处理和模型训练的基础；模型加密训练层通过对数据的处理和模型的迭代训练完成画像模型并计算各参与方的贡献度完成激励分配；用户画像评估层主要从用户覆盖率、预测准确率、训练效率、安全性分析和可扩展性等 个方面进行评估。基于加密求交的联邦学习联邦学习技术能够有效地减少数据聚合引发的隐私泄露风险，根据参与方的数据集属性不同可以分为 大类，分别是横向联邦学习、纵向联邦学习和联邦迁移学习。其中纵向联邦学习主要应用于不同企业之间有较多的客户属性交集的情况，在跨行业合作中有着更好的应用前景。传统的训练方式下，多个参与方的不同特征值需要在训练前进行连接生成新的数据集，然而在联邦学习中不同参与方不能直接进行数据传输，因此引入第三方密钥中心，对数据样本进行加密求交后，再进行加密的模型训练，其主要步骤如图 所示。图 联邦学习训练步骤图其中模型加密训练模块的流程，如图 所示。本文所提方案在联邦学习训练前的数据加密求交阶段，主要使用基于 和哈希函数联合加密的方式完成。参与方 基于参与方 提供的公钥对数据集 进行加密得到，再代入 得到，将加密后的数据集发送至参与方，基于私钥解密得到基于 加密的 数据集的映射表，将 代入，并基于 的映射得出 的映射表，将新得到的映射表发送至参与方，通过两个映射表的连接运算得到新的映射，基于此再进行密文下的 运算，通过映射关系寻得对应的明文数据集。第 期陈 晶，等：基于联邦学习的多源数据用户画像设计方案图 模型加密训练流程图算法 加密求交算法。输入：，输出：（，），（，）（，）（，）（，）（，）（，）（，）（，）（）（）（，）（）（，）（，）（），由于文中每个参与方携带数据集样本的体量不相同，每个参与方在训练过程中标签所占有的权重也是不一样的，为了区分并整合各个参与方的训练权重，采用了 算法。该算法能够根据各方持有数据权重，通过局部随机梯度下降方式对数据持有方本地模型进行优化，再聚合至中心服务器。中心服务器的目标函数（）如式（）所示，其中 表示参与方的数量，表示各参与方的数据总量，表示第 个参与方的数据量，第 个参与方的本地目标函数用（）表示。（）（）（）本地目标函数（）如式（）所示，其中 表示第 个数据集中的训练样本，样本的个数用 表示，（）为本地的损失函数。（）（）（）训练过程中采用梯度下降算法（）进行目标函数优化，本地的更新算法如式（）所示，中心服务器的梯度聚合如式（）所示，其中 表示固定的学习率，表示训练轮次。，（）（），（）模型加密训练层模型训练层从功能上划分为 大模块：数据处理、模型训练、激励分配。各参与方无需提供本地的数据信息，所以模型梯度传输也是加密进行的，在保证了数据隐私安全的同时完成了对联合画像模型的训练。数据处理不同于传统的用户画像数据处理步骤，该方案在完成数据预处理的同时，需要和各参与方进行多轮通信，以确保各参与方的本地数据能够得到相同程度的清洗。同时依据数据特征处理工程，识别各参与方提供数据量和数据质量的不同，作为激励分配的指标。基于数据处理模块能够在保证各参与方数据隐私的同时剔除大量弱相关信息，减少了数据干扰和冗余，提高数据质量以获得更高精度的画像模型。模型训练本文分别采用了 聚类算法和随机森林算法对数据进行分析建模。聚类算法在无监督学习中属于典型算法，其算法思想主要分为 个步骤。（）将数据集划分为 个非空子集，并在每个子集中选取一个点作为初始的中心聚集点；（）计算所有样本与 个中心点的欧氏距离，找到距离最近的中心点，再归类到相应子集中；南京邮电大学学报（自然科学版）年（）重新计算分类后的每个子集的中心点；（）重复进行步骤 和步骤，直到完成收敛。在确定完模型之后，通过第三方分发密钥，各参与方在本地进行模型训练，之后向服务器上传本地的加密梯度信息，中心服务器聚合后进行梯度更新，重复迭代直至模型收敛。同时基于每个参与方提供的梯度信息，计算出相对应的模型贡献度，以作为最终的激励分配指标之一。实验设计与结果分析 实验环境本文实验以 联邦学习开源框架为基础，在两个参与方联合运算场景下，基于 和 操作系统进行实验，实验环境具体配置如表 所示。表 实验环境表 （）（）（）（）（）（）（）实验数据本文实验初始数据集来源于科大讯飞基于用户画像的商品推荐挑战赛，出于数据安全要求，该数据集所有数据均已进行脱敏处理。依据本实验实际要求，对数据集进行了手工扩充和分类处理，并结合联邦学习机制对数据集进行如下划分。：完整的数据集，拥有 条样本数据、个样本、个特征标签、个输入特征，数据集中包含推荐购买成功数据 条（），推荐购买失败数据 条（）。：参与方 所持有的数据集，拥有 条样本数据、个样本、个特征标签、个输入特征，数据集中包含推荐购买成功数据 条，推荐购买失败数据 条。：参与方 所持有的数据集，拥有 条样本数据、个样本、个输入特征。：补齐 的特征标签，用作实验对比分析。：测试数据集，拥有 条完整的样本数据。结果分析联邦画像方案旨在解决用户画像中面临的单数据域标签数量不足和多域联合训练中面临的隐私安全问题。为了验证该方案的性能，比如预测准确率、训练效率、安全性等，分别基于两种算法的本地画像模型，以及文献方案进行分析比较。预测准确率比较基于数据集、，通过单机部署的 聚类算法和随机森林算法分别训练用户画像，获得最终的画像模型预测的准确率，并以此作为基准，用来对比联邦画像方案、文献方案、文献方案的预测准确率。如表 所示，相同数据体量下，由于随机森林算法综合考虑多个决策树结果预测，其生成的画像模型预测准确率高于 无监督聚类算法。当使用数据集 时，由于缺少所需要的特征标签，画像模型不可用，预测准确率为。同时，对比表 中不同数据集获得的预测结果可知，随着数据体量的缩减，所训练出的画像模型的预测准确率也随之下降，且当数据体量降低到一定值时，如，其预测结果最高仅为，基本不可用。表 本地画像预测准确率对比数据集方案模型算法准确率 本地画像本地画像 本地画像本地画像 本地画像本地画像 本地画像本地画像 如表 所示，由于 数据集缺少特征标签，对比表 和表 中准确率可知，联合数据集采用多源数据融合方案的画像建模并没有取得太多准确率的提升，反而由于融合了属性标签，缺少相对的特征输出，导致准确率下降。由于多源数据融合方案只能够依据设定好的算法进行建模，相较于联邦画像方案缺少了算法的灵活性，联邦画像方案依靠其中心化服务器的训练方式，各参与方可以提前协商设置所需要的模型算法，具有更好的算法扩展性和兼容性。对比 和 两组数据集，第 期陈 晶，等：基于联邦学习的多源数据用户画像设计方案联邦画像方案由于在隐私求交阶段完成了数据的对齐工作，在未补充特征标签的情况下取得了与完整数据集相似的预测准确率，而两种多源数据融合画像方案只在完整的标签数据集中取得了较为良好的准确率，不适用于中小微企业联合训练中缺少标签的应用场景。表 多源数据画像预测准确率对比数据集方案模型算法准确率 文献方案文献方案联邦画像方案联邦画像方案 文献方案文献方案联邦画像方案联邦画像方案 综合分析表、表，对比表 中本地画像的：（），（），：（），（）的准确率，虽然联邦学习在数据处理阶段去除了一定的数据量，但提高了数据的总体特征维度，数据整合后的联邦画像模型最终预测的准确率远高于两个各自独立的数据集，其对比结果如图 所示。图 联邦画像和本地画像准确率对比图 训练效率比较使用数据集、，比较 聚类算法和随机森林算法分别基于本地画像和联邦画像训练轮次和模型收敛之间的关系，结果如图 所示。由图 可知，联邦画像在训练 轮后模型开始收敛，而本地部署的画像模型在训练 轮后才开始收敛，基于联邦学习的分布式训练方式与本地单机部署的训练方式对比，其画像模型在更少的轮次中完成收敛。这是因为在前期的数据处理阶段，已经筛选剔除了不相关信息，减少了算法实现中对于中值的反复尝试，从而提高了整体的训练效率。对比图 中最高的（）准确率为 和最低的（）准确率为，均能够保证画像模型最终的可用性。对比两种算法分别基于联邦学习和单机模式下的 个数值，其预测结果的误差在 以内。图 训练轮次和模型收敛关系图为了验证本文提出的联邦画像方案在实际网络中的效率，进一步研究方案的可用性，实验分析了联邦画像在使用相同的千兆路由器和光纤宽带情况下，均采用同步更新策略迭代模型参数，分析对比训练 轮所花费的总开销与通信开销。首先基于两个参与方，改变数据体量进行测试，获得结果如图 所示；然后基于 万条数据，分别测试分析两方、三方、四方的开销，如图 所示。图 开销和数据量关系图 开销和参与方数量关系南京邮电大学学报（自然科学版）年由图 与图 可知，随着数据体量和参与方的增加，联邦画像训练开销越来越大，且参与方增加所产生的开销要高于数据量增加产生的开销。同时，分析图 和图 可知，训练中通信开销占总开销的比重超过，这是因为联邦画像训练过程中需要不断地进行通信，同步迭代模型梯度参数，因此需要更多的通信开销，实际使用中还可以进一步优化。安全性分析联邦画像方案引入联邦学习技术，能够在数据不出域的情况下完成多参与方的联合画像训练，杜绝了恶意参与方对联合数据的非法获取，保证了数据隐私安全。对比传统的集中式画像训练，一旦数据库遭受攻击，所有数据隐私都会泄露，联邦画像基于中心服务器的训练方式，即使部分参与方数据库遭受攻击，也不会影响其他参与方，具有更高的容错性。模型训练过程中，中心服务器仅仅聚合各方的梯度信息，并不接触完整的模型数据，恶意的参与方截获梯度信息也不能从中推演出训练数据，从而保护模型和数据的隐私安全。综上所述，联邦画像方案较之本地画像方案和多源数据融合方案具有更高的隐私安全性；在缺少标签的跨域联合训练中较多源数据融合画像方案能够更好地覆盖用户，获得更高的预测准确率；相较于预先设定好的模型算法，联邦画像方案能够根据各参与方需求，设置合适的模型，具有更好的可扩展性；对于数据量不足的参与方，联合画像训练能够极大地提升画像模型的精度和维度，从而获得更好的应用市场。结束语针对中小微企业的用户画像实际应用中数据体量不足、数据维度不丰富、数据共享难、数据隐私难以保证的问题，提出了基于联邦学习框架的用户画像实现方案，通过加密的数据集求交，保护了多参与方数据隐私，获得了更加完整的训练交集。在梯度参数迭代过程中根据参与方数据权重，使用 算法更新模型，获得了精确的画像模型。实验对比了 算法和 算法基于本地画像模型和多源数据融合画像方案的预测精度和训练效率，实验结果表明对比单个参与方的训练方式，本方案能够提供更为精确的画像预测模型，并且在更少的轮次完成模型收敛。相较于多源数据融合方式，更适用于参与方缺少特征标签的情况，同时具有更好的算法扩展性和应用前景。下一阶段，主要解决本方案中遇到的一些问题，比如对于更大体量的数据集进行画像训练时，联邦学习模型训练过程中出现的数据落盘现象，导致标签更新出现延迟。同时，随着数据维度和用户参与方的增加，模型训练的通信开销会逐渐增大，导致整体画像训练时长增加。如何解决联邦画像模型中大体量数据的标签快速更新，降低高纬度数据的训练通信开销还需要进行更加深入的研究。参考文献：李永宁，温建东如何理解要素市场化配置改革 构建更加完善的要素市场化配置体制机制的意见解读中国发展观察，（）：，：“”，（）：（）彭珂，朱涛面向中小微企业的大数据采集和精准服务解决方案研究中国高新科技，（）：，（）：（）微众银行 项目组联邦学习白皮书 （）刘畅，贺滢睿，付伟恒欧盟通用数据保护条例域外执行机制研究 信息网络安全，（）：，（）：（）吴沈括，孟洁，薛颖，等 年加州消费者隐私法案中的个人信息保护信息安全与通信保密，（）：，（）：（）高玉宝中华人民共和国个人信息保护法背景下的大数据发展图书馆理论与实践，（）：，第 期陈 晶，等：基于联邦学习的多源数据用户画像设计方案（）：（）：，：，（）：单晓红，张晓月，刘晓燕基于在线评论的用户画像研究 以携程酒店为例情报理论与实践，（）：，：，（）：（），（）：，：，（）：，（）：，（）：，：，（）：雷鸣，陈凯华，武国良，等基于分布式技术的气象大数据共享服务系统设计与实现计算机应用与软件，（）：，（）：，（）苗光尧，安静，黄小花等基于多源数据融合的电力用户画像构建方法研究自动化技术与应用，（）：，（）：（）袁苗苗，侯瑞春，陶冶，等基于多数据源融合的用户画像构建方法计算机与数字工程，（）：，（）：（），（）：，：，：，：，：，：，：（），（）：杨庚，王周生联邦学习中的隐私保护研究进展南京邮电 大 学 学 报（自 然 科 学 版），（）：，南京邮电大学学报（自然科学版）年 （），（）：（），：，（）：，（）：科大讯飞基于用户画像的商品推荐挑战赛 ：？：？（）（责任编辑：潘雪松）声明为适应我国信息化建设的需要，扩大作者学术交流渠道，实现期刊编辑、出版工作的网络化，本刊已加入中国学术期刊（光盘版）、中国期刊网全文数据库、万方数据 数字化期刊群和中文科技期刊数据库，并已许可中国学术期刊（光盘版）电子杂志社在中国知网及其系列数据库产品中，以数字化方式复制、汇编、发行、信息网络传播本刊全文，作者著作权使用费随本刊稿酬一次性给付。如不同意将文章编入相关数据库，请在来稿时声明，本刊将做适当处理。本刊编辑部第 期陈 晶，等：基于联邦学习的多源数据用户画像设计方案