联邦学习中的个性化改善隐私 - 准确性权衡

ICMLFeb, 2022

联邦学习中的个性化改善隐私 - 准确性权衡

Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning

Alberto Bietti, Chen-Yu Wei, Miroslav Dudík, John Langford, Zhiwei Steven Wu

TL;DR研究分布式机器学习系统，并基于修正的随机优化算法实现私人级联学习，在保证局部模型私密性的同时，与全局模型进行协调，提升了准确性和隐私保护的平衡。

Abstract

Large-scale machine learning systems often involve data distributed across a collection of users. federated learning algorithms leverage this structure by communicating model updates to a central server, rather t

federated learning differential privacy stochastic optimization personalized learning machine learning

发现论文，激发创造

联邦学习的个性化技术综述

本文调查了针对非独立同分布数据的个性化联邦学习的研究，此技术可让多方参与联合学习，从而达到隐私保护的目的。

Mar, 2020

面向隐私保护的联邦协作过滤个性化推荐系统

本文介绍了一个基于随机梯度方法的联邦协作过滤模型，并将其应用于用户推荐系统，旨在提高用户隐私保护，且实验表明，在联邦实现中，相较于标准实现而言，推荐系统的性能并未降低。

Jan, 2019

通过本地训练增强联邦学习中的隐私保护

通过提出联邦私有局部训练算法（Fed-PLT），本文解决了联邦学习中昂贵的通信和隐私保护等挑战，通过局部参与和训练，在中央协调员和计算代理之间显著减少通信轮次，实现了局部训练对准确性的无影响匹配。同时，代理具有从不同局部训练求解器中选择的灵活性，如（随机）梯度下降和加速梯度下降，还探讨了如何利用局部训练来增强隐私，并推导了差分隐私边界及其与局部训练轮次的依赖关系，通过理论分析和分类任务的数值结果与其他技术进行比较，评估了所提算法的有效性。

Mar, 2024

自适应个性化联邦学习

本文提出了一种自适应个性化联邦学习算法，采用局部和整体模型混合的方法来提高模型的个性化能力，并使用通信高效的最优化方法来协同学习个性化模型，实验证明了该算法的有效性与泛化理论的正确性。

Mar, 2020

局部差分隐私下联邦学习中的实用聚合

本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

Jul, 2020

可证明的个性化和强健联邦学习

本文提出采用简单的基于阈值的聚类算法以及本地客户端梯度的方法来解决联邦学习个性化问题，在保证最优收敛保障的同时，算法具有健壮性。

Jun, 2023

分布式个性化在线联邦学习

我们提出了一个新的去中心化个性化在线联邦学习设置，用于在在线环境中学习，在每个客户端上学习个性化模型，并在去中心化环境中学习。我们解决了两个技术挑战：如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数，并通过学习的聚合权重选择最有帮助的邻居减少通信成本。

Nov, 2023

使用分散聚合进行具有差分隐私的联邦学习

移动设备、隐私、实用性、联邦学习和差分隐私是该研究的主要关键词，研究通过在联邦学习中采用差分隐私的实验环境并使用基准数据集来探讨隐私与实用性之间的平衡问题。

Nov, 2023

在个性化层上进行联合学习

本文介绍了 FedPer，一种基本 + 个性化层式的联邦深度前馈神经网络训练方法，旨在对抗数据异质性的负面影响，提升联邦学习的训练效果。FedPer 的有效性在 CIFAR 数据集和 Flickr 个性化图像美学数据集上得到了证明。

Dec, 2019

基于理论原则的联邦学习 —— 以平衡隐私和效用为目标

提出一个保护机制的通用学习框架，通过扭曲模型参数保护隐私，可以在联合学习中实现个性化的隐私保护与数据价值间的权衡。在理论和实验证明该算法有效，提高了隐私维护的联合学习方法。

May, 2023