Aug, 2023

偏见感知最小化：理解和降低私有 SGD 中的估计器偏差

PDF
TL;DR通过此研究，我们展示了样本梯度范数与 DP-SGD 中使用的梯度估计偏差之间的关系，并提出了 Bias-Aware Minimization（BAM）方法，用以降低私有梯度估计器的偏差，我们还提供了对 CIFAR-10、CIFAR-100 和 ImageNet-32 数据集上隐私 - 效用权衡的实证证据。
发现论文，激发创造
  • 含噪声 SGD 中的隐式偏差：与差分隐私训练的应用

    使用小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。这种随机梯度下降的特定噪声结构被认为是导致这种隐式偏差的原因。使用差分隐私（DP）确保 DNN 的训练时，DP-SGD 会向截断梯度添加高斯噪声。然而，大批量训练仍然导致显著的性能下降，这构成了一个重要的挑战，因为强 DP 保证需要使用大规模批次。我们首先展示这种现象也适用于无噪声 SGD（无截断的 DP-SGD），表明随机性（而不是截断）是这种隐式偏差的原因，即使加入了额外的各向同性高斯噪声。我们在线性最小二乘和对角线线性网络设置中理论上分析了连续版本的无噪声 SGD 所得到的解，并揭示了隐式偏差确实被额外的噪声放大。因此，大批量 DP-SGD 训练的性能问题根源于 SGD 的相同潜在原则，为大批量训练策略的潜在改进提供了希望。

    Feb, 2024

  • 带权重剪枝的 DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 隐私保护的剪切 SGD 算法：偏差放大和修正

    本文研究了在预测性场景下剪裁随机梯度下降（SGD）算法的收敛性质，分析了其可能产生的偏差放大现象，并提出了两种解决方案和相应的实验验证。

    Apr, 2024

  • 差分隐私锐度感知训练

    本文探讨了在进行差分隐私训练时，模型性能的降级问题，并提出了一种新的训练方法来缓解隐私和优化之间的权衡，实验证明该方法可以改善模型的性能。

    Jun, 2023

  • 不是所有的噪声都是相同计算的：不同隐私学习从大样本率中受益

    本文着重研究了隐私预算的问题，提出了一套训练范式，通过调整噪声比例，使更多的噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。

    Oct, 2021

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024

  • 无抽样或洗牌的实用且保密的 (深度) 学习

    使用差分隐私的 Follow-The-Regularized-Leader（DP-FTRL）是一种比 DP-SGD 更加灵活的模型训练方法，在隐私、准确性和计算方面表现都很好，特别适用于联邦学习等实际场景，同时也不需要使用任何隐私扩展。

    Feb, 2021

  • 使用 Langevin 动态实现神经网络差分隐私训练，并获得预测不确定性校准

    通过将随机梯度 Langevin 动力学用于差分私有随机梯度下降，我们实现了更可靠的不确定性估计，在医学诊断等安全关键应用中具有重要意义。

    Jul, 2021

  • 差分隐私非凸优化的标准化 / 裁剪随机梯度下降与扰动

    本文探讨了确保差分隐私的两个算法 DP-SGD 和 DP-NSGD，并在非凸优化设定下分析了这两种算法的收敛行为及其梯度范数的速度，同时介绍了 DP-NSGD 的正则化因子如何控制偏差和噪声的平衡。

    Jun, 2022