May, 2024

用于差分隐私模型训练的分带平方根矩阵因式分解

TL;DR我们提出了一种新的矩阵分解方法 BSR,通过利用标准矩阵平方根的特性,可以有效地处理大规模问题,并且构造了解析表达式用于处理具有动量和权重衰减的随机梯度下降,从而克服了与当前最先进的差分隐私模型训练相关方法相比的高计算开销,同时证明了这种逼近质量在集中和联合学习环境中都成立,并通过数值实验证明使用 BSR 训练的模型性能与现有最佳方法相当,同时完全避免了计算开销。