Aug, 2023

偏见感知最小化：理解和降低私有SGD中的估计器偏差

HTML
PDF
TL;DR通过此研究，我们展示了样本梯度范数与DP-SGD中使用的梯度估计偏差之间的关系，并提出了Bias-Aware Minimization（BAM）方法，用以降低私有梯度估计器的偏差，我们还提供了对CIFAR-10、CIFAR-100和ImageNet-32数据集上隐私-效用权衡的实证证据。
发现论文，激发创造
  • 私有SGD中的梯度裁剪：几何角度的理解

    本文研究深度学习中涉及到隐私保护的问题，探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用，并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。

    Jun, 2020

  • 通过JL投影实现快速和内存高效的差分隐私-SGD

    本文提出了DP-SGD-JL和DP-Adam-JL，使用Johnson-Lindenstrauss投影来快速逼近每个样本的梯度范数，从而使优化器的训练时间和内存需求接近于其非DP版本，在IMDb数据集上实现了好的隐私与准确性折衷，并且隐私分析使用Dong等人提出的f-DP框架来证明。

    Feb, 2021

  • 不是所有的噪声都是相同计算的：不同隐私学习从大样本率中受益

    本文着重研究了隐私预算的问题，提出了一套训练范式，通过调整噪声比例，使更多的噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。

    Oct, 2021

  • 差分隐私非凸优化的标准化/裁剪随机梯度下降与扰动

    本文探讨了确保差分隐私的两个算法DP-SGD和DP-NSGD，并在非凸优化设定下分析了这两种算法的收敛行为及其梯度范数的速度，同时介绍了DP-NSGD的正则化因子如何控制偏差和噪声的平衡。

    Jun, 2022

  • 梯度看起来相似：DP-SGD中的敏感性经常被高估

    本文发展了一种新的DP-SGD分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 带权重剪枝的DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023

  • 含噪声SGD中的隐式偏差：与差分隐私训练的应用

    使用小批量随机梯度下降（SGD）训练深度神经网络（DNNs）相对于大批量训练具有卓越的测试性能。这种随机梯度下降的特定噪声结构被认为是导致这种隐式偏差的原因。使用差分隐私（DP）确保DNN的训练时，DP-SGD会向截断梯度添加高斯噪声。然而，大批量训练仍然导致显著的性能下降，这构成了一个重要的挑战，因为强DP保证需要使用大规模批次。我们首先展示这种现象也适用于无噪声SGD（无截断的DP-SGD），表明随机性（而不是截断）是这种隐式偏差的原因，即使加入了额外的各向同性高斯噪声。我们在线性最小二乘和对角线线性网络设置中理论上分析了连续版本的无噪声SGD所得到的解，并揭示了隐式偏差确实被额外的噪声放大。因此，大批量DP-SGD训练的性能问题根源于SGD的相同潜在原则，为大批量训练策略的潜在改进提供了希望。

    Feb, 2024

  • 隐私保护的剪切SGD算法：偏差放大和修正

    本文研究了在预测性场景下剪裁随机梯度下降（SGD）算法的收敛性质，分析了其可能产生的偏差放大现象，并提出了两种解决方案和相应的实验验证。

    Apr, 2024

  • 基于固定大小小批量的差分隐私随机梯度下降：有替换和无替换情况下的更紧RDP保证

    本研究解决了差分隐私随机梯度下降（DP-SGD）在使用固定大小子采样时隐私保障的不紧问题。提出了一种新的Rényi差分隐私账户模型，提供了更好的可计算界限，并证明在采样概率的主导阶数上，Poisson子采样与无替换的固定大小子采样是相同的。最显著的发现表明，固定大小子采样在实践中展现出更低的方差和优越的内存使用效率，因此在许多情况下优于Poisson子采样。

    Aug, 2024

  • 通过非单调自适应缩放梯度权重增强DP-SGD

    本研究针对传统差分隐私技术在梯度处理上对模型准确性的影响，提出了一种新方法DP-PSASC，通过非单调自适应缩放梯度替换传统的剪切，改善了对小梯度的重 weighting。研究表明，该方法在保持隐私保护的同时，提高了模型在多种数据集上的性能，具有较大的应用潜力。

    Nov, 2024