本地差分隐私下带 Top-k 维度选取的联邦随机梯度下降

Mar, 2020

本地差分隐私下带 Top-k 维度选取的联邦随机梯度下降

FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection

Ruixuan Liu, Yang Cao, Masatoshi Yoshikawa, Hong Chen

TL;DR本文提出了一种名为 FedSel 的两阶段框架，用于解决联邦学习中梯度隐私问题。该框架利用 Top-k 维度的贡献来选择维度，以减轻噪声注入的问题，同时在真实和合成数据集上进行的实验也证明了该框架在隐私保护、准确性和时间复杂度方面的有效性和效率优于现有的解决方案。

Abstract

As massive data are produced from small gadgets, federated learning on mobile devices has become an emerging trend. In the federated setting, Stochastic Gradient Descent (SGD) has been widely used in federated learning<

federated learning stochastic gradient descent privacy dimension selection machine learning

发现论文，激发创造

局部差分隐私下联邦学习中的实用聚合

本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

Jul, 2020

防范梯度泄漏攻击的分布式 SGD 安全技术

本文提出了一种梯度泄露弹性分布式随机梯度下降方法，并通过差分隐私噪声控制来保证隐私安全，实验分析表明，该方法在保障差分隐私安全、模型性能和抗梯度泄露攻击性能方面优于现有方法。

May, 2023

LDP-Fed: 本地差分隐私联邦学习

LDP-Fed 是一个具有正式隐私保证的新型联邦学习系统，使用本地差分隐私（LDP），有别于现有的 LDP 协议，其可以处理来自参与者的高维连续值参数。

Jun, 2020

基于学习的声明性隐私保护联邦数据管理框架

该研究提出了一种端到端的工作流程，用于自动化隐私保护技术，通过使用差分隐私随机梯度下降（DP-SGD）算法训练的深度学习模型替换实际数据的部分以回答查询，以平衡联邦查询处理中的隐私和准确性。

Jan, 2024

差分隐私下的联邦迁移学习

在这篇论文中，我们以一个联邦迁移学习框架解决了数据异构性和隐私保护这两个突出的挑战，旨在在遵守隐私约束的同时通过利用来自多个异构源数据集的信息来增强目标数据集上的学习能力。我们严格地提出了 “联邦差分隐私” 的概念，为每个数据集提供隐私保证而不依赖于可信任的中央服务器。在此隐私约束下，我们研究了三个经典的统计问题，即一维均值估计、低维线性回归和高维线性回归。通过研究极小化速率和确定这些问题的隐私成本，我们展示了联邦差分隐私是介于已确立的本地和中央模型差分隐私之间的一个中间隐私模型。我们的分析涵盖了数据异构性和隐私，突出了在联邦学习中二者的基本成本，并强调了跨数据集的知识迁移的好处。

Mar, 2024

使用稀疏模型扰动的联邦学习：在客户端级别的差分隐私下提高准确性

本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案，该方案采用 Sparsified Model Perturbation (SMP) 技术，在保持高模型准确性的同时，提供客户端级差分隐私保证，并使用 Renyi DP 提供紧密的隐私分析，并证明了 Fed-SMP 收敛性，通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。

Feb, 2022

在客户端差分隐私下实现更平缓的模型优化路径和更好的泛化效果的联邦学习

通过梯度扰动和局部平坦模型来提高权重扰动鲁棒性和性能，进而减少感知信息泄露，DP-FedSAM 算法在 DPFL 中达到最先进的性能。

May, 2023

联邦学习攻击：响应式 Web 用户界面从用户梯度中恢复训练数据

本研究展示了一种基于局部差分隐私的交互式网络演示，展现了联合学习在局部差分隐私下的力量，并且演示了局部差分隐私如何防止不受信任的聚合器从联邦学习中恢复用户的敏感训练数据，同时提出了衡量聚合器还原数据程度的指标 exp-hamming recovery。

Jun, 2020

增强稀疏化隐私与自适应优化的联邦学习

这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

Aug, 2020

隐私保护分布式 SVD 的联邦功率方法

通过 Federated Learning 框架的机制，我们提出了一种叫做 FedPower 的算法以支持现代设备用户集体学习中的部分奇异值分解。该算法通过多个本地迭代和全局聚合的替换，以改进通信效率，并解决了用户数据隐私保护的问题。

Mar, 2021