Jun, 2024
私隐差分深度学习的高效可扩展训练
Towards Efficient and Scalable Training of Differentially Private Deep
Learning
TL;DR差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的DP-SGD实现和使用低精度进行训练，最后我们还研究了使用多达80个GPU的扩展行为。