differentially private sgd | BriefGPT

关键词differentially private sgd

搜索结果 - 5

PCDP-SGD: 通过预先投影提高差分隐私 SGD 的收敛性
在本文中，我们提出了一个通用的框架 PCDP-SGD，通过在梯度剪裁之前进行投影操作，旨在压缩冗余的梯度范数并保留更关键的顶部梯度分量。此外，我们将 PCDP-SGD 扩展为差分隐私联邦学习（DPFL）的基本组成部分，用于减轻数据异构挑战并
PDF7 months ago
偏见感知最小化：理解和降低私有 SGD 中的估计器偏差
通过此研究，我们展示了样本梯度范数与 DP-SGD 中使用的梯度估计偏差之间的关系，并提出了 Bias-Aware Minimization（BAM）方法，用以降低私有梯度估计器的偏差，我们还提供了对 CIFAR-10、CIFAR-100
PDF10 months ago
大规模差分隐私 BERT
本文探究了使用差分隐私 SGD（DP-SGD）进行 BERT-Large 的大规模预训练。通过仔细的实现和批量大小增加，我们提高了 DP-SGD 步骤的实用性，并使用增加的批量大小计划提高了其效率。
PDF3 years ago
ICML低秩再参数化实现大规模私有学习
本文提出了一种再参数化方案来解决在大型神经网络上应用差分隐私 SGD 所面临的巨大存储成本与附加噪声的问题，该方案使用梯度承载矩阵和残差权重矩阵重构每个权重矩阵，并设计了基于梯度承载矩阵上的梯度扰动算法，成功地在 BERT 模型上实现了差分
PDF3 years ago
审计差分隐私机器学习：隐私难道不够隐私？(Auditing Differentially Private Machine Learning: How Private is Private SGD?)
我们使用新的数据污染攻击研究不同 ially Private SGD 的隐私保护是否比其最先进的分析保证更好，并量化实现差异隐私算法提供的隐私保护，以便在分析隐私的工作上实现补充和影响。
PDF4 years ago