私有和联邦随机凸优化: 集中系统的高效策略

Jul, 2024

私有和联邦随机凸优化: 集中系统的高效策略

Private and Federated Stochastic Convex Optimization: Efficient Strategies for Centralized Systems

Roie Reshef, Kfir Y. Levy

TL;DR在集中式系统中的联邦学习（FL）中，本文解决了在受信任和不受信任服务器场景下保护隐私的挑战，分析了这种设置在随机凸优化（SCO）框架中，并设计了一种方法，以确保差分隐私（DP）同时保持同质和异质数据分布的最佳收敛速率。我们基于一种最近的随机优化技术的方法，提供了线性的计算复杂度，与非私有FL方法相当，并减少了梯度混淆。这项工作在各种服务器信任环境中平衡隐私、效率和稳健性，增强了DP在FL中的实用性。

Abstract

This paper addresses the challenge of preserving privacy in federated learning (FL) within centralized systems, focusing on both trusted and untrusted server scenarios. We analyze this setting within the

发现论文，激发创造

差分隐私联邦学习：客户端视角

提出了一种新的算法，通过差分隐私保护的联邦优化算法来处理联邦学习中的差分攻击问题，能够在只牺牲模型性能的小量代价下保持客户端差分隐私。

Dec, 2017

差分隐私联邦学习算法及性能分析

采用微分隐私概念，提出一种在模型聚合之前加入人工噪音的差分隐私框架，证明该框架可以在不同保护级别下满足差分隐私。同时，优化了聚合轮数、系统总参与用户数和随机选取的用户数，实现了在不同隐私保护和性能要求下的隐私保护联邦学习算法设计，并通过仿真实验证明了该理论的正确性。

Nov, 2019

无需可信服务器的私有联邦学习：凸损失的最优算法

本文探讨了交叉跨层联合学习中数据隐私保护的问题，提出了基于ISRL-DP的加速算法，并在分类和回归任务中展示了较好的隐私-准确性平衡。

Jun, 2021

具分布式探测的差分隐私联邦贝叶斯优化

在联邦学习中添加差分隐私框架来保护用户隐私，并结合分布式探索技术进一步提高效能，从而实现隐私保护和效能之间的权衡。

Oct, 2021

用户级私有凸优化

该研究介绍了一种新的具有用户级差分隐私保证的随机凸优化机制，收敛速度类似于Levy等人（2021）；Narayanan等人（2022）的先前工作，但有两个重要改进。该机制不需要对损失进行任何平滑性假设，同时也是第一个其用户级隐私所需最小用户数不依赖于维度，仅对所需超额误差有对数依赖的界限。其主要思想是表明强凸损失的最优化器具有低局部删除敏感性，以及一种具有低局部删除敏感性函数的输出扰动方法，这可以独立地被广泛关注。

May, 2023

基于局部差异隐私联邦学习的动态隐私分配与复合目标

本文提出了一种局部差分隐私联邦学习算法，用于强凸但可能非光滑问题，以保护每个参与者的梯度免受诚实但好奇的服务器的侵犯，并通过给共享信息添加人工噪声来保证隐私，并动态分配时变噪声方差以最小化一个预定义的隐私预算约束下的优化误差上界，从而可以在无需调整迭代次数的情况下，在可接近最优解的周围实现隐私保护和效用，数值结果表明该算法优于现有的方法。

Aug, 2023

保护隐私的联邦原始-对偶学习用于模型稀疏化的非凸和非平滑问题

提出了一种用于非凸和非平滑联邦学习问题的新型原始-对偶算法，结合双向模型稀疏化和差分隐私，以保证强隐私，通过真实数据上的大量实验验证了该算法的有效性和比某些最先进的联邦学习算法更出色的性能，并验证了所有分析结果和特性。

Oct, 2023

用户级差分隐私随机凸优化：具有最优收敛速率的高效算法

我们研究了具有用户级隐私的差分隐私随机凸优化（DP-SCO），其中每个用户可能拥有多个数据项。我们开发了新算法用于用户级DP-SCO，在多项式时间内获得凸和强凸函数的最优速率，并且在维度上只要求用户数量呈对数增长。此外，我们的算法是第一个在多项式时间内获得非平滑函数最优速率的算法。这些算法基于多遍DP-SGD，结合了一种集中数据的新颖私有均值估计过程，在估计梯度的平均值之前应用了一个异常值移除步骤。

Nov, 2023

具有异构分布式差分隐私约束的非参数回归的最优联邦学习

该论文研究了在分布式样本中进行非参数回归的联邦学习，其中每个样本服务器都遵守不同的差分隐私约束。在考虑到不同服务器的变化样本大小和差分隐私约束的异构设置中，该论文同时考虑了全局和逐点估计，并建立了在Besov空间上的收敛最优速率。通过提出分布式隐私保护估计器并研究其风险性质，该论文还建立了匹配的极小下界，对于全局和逐点估计，在对数因子上与之相符。这些发现揭示了统计准确性与隐私保护之间的权衡，特别是在整个隐私框架中分发数据所带来的损失，除了隐私预算之外。这种洞察力捕捉到了在更大的样本中更容易保持隐私的民间智慧，并探索了在分布式隐私约束下逐点估计和全局估计之间的差异。

Jun, 2024

通用联邦学习的收敛差分隐私分析：f-DP 视角

本研究针对联邦学习中隐私保护不足的问题展开，探讨了现有对于噪声联邦差分隐私分析的局限性。通过引入 f-DP 分析方法，论文证明了 Noisy-FedAvg 方法在隐私保护中的收敛下界，以及 Noisy-FedProx 方法的稳定隐私下界，为联邦学习的隐私保护提供了理论支持，并可推广应用至其他差分隐私分析框架。

Aug, 2024