Jul, 2023

批次裁剪和自适应逐层裁剪对差分隐私随机梯度下降算法的应用

PDF
TL;DR本文提出了一种新的自适应层裁剪方法（ALC），并对批量裁剪（BC）和 ALC 进行了严格的差分隐私（DP）证明，实验证明我们改进后的 BC 和 ALC 应用于 CIFAR-10 的 resnet-18 上能够收敛，而 IC 和 ALC 的 DPSGD 却不能。
differential private stochastic gradient descentclipped gradientsbatch normalization layersbatch clippingadaptive layerwise clipping
发现论文，激发创造
  • 采用样本适应裁剪的差分隐私学习

    本文提出了一种基于自适应非单调权重函数的差分隐私逐样本自适应剪裁算法（DP-PSAC），通过一个严谨的理论收敛分析和若干个主流视觉和语言任务的实验验证，我们发现 DP-PSAC 能够同时保证差分隐私和显著降低更新值和真正批量平均梯度之间的偏差，其算法效果优于同领域的相关工作 NSGD/Auto-S。

    Dec, 2022

  • AdaCliP: 面向隐私 SGD 的自适应剪辑

    本研究提出了 AdaCliP 差分隐私 SGD 算法，通过对梯度进行逐坐标自适应剪辑的方式，可以降低加入的噪音，从而得到更准确的模型。

    Aug, 2019

  • 推理与干扰：在差分隐私随机梯度下降中剪裁、修剪和损失景观的作用

    差分隐私随机梯度下降（DP-SGD）相对于普通随机梯度下降（SGD）在大型神经网络上具有较差的训练和测试性能。通过对两种方法的详细研究和比较，我们揭示了一些新的见解。通过分别分析 DP-SGD 在早期和晚期阶段的行为，我们发现 DP-SGD 在早期阶段进展较慢，而晚期阶段的行为决定了最终结果。对 DP-SGD 的剪切和噪声添加步骤进行单独分析，我们发现噪声引入了误差，但是当梯度下降没有被剪切时，可以从这些误差中恢复，而剪切似乎比噪声具有更大的影响。这些效应在高维空间（大型神经网络）中被放大，其中损失区域占据了较低的维度空间。我们基于理论和大量实验的论证认为，幅值修剪可以作为一种合适的降维技术，在这方面可以改善 DPSGD 的测试准确性。

    Nov, 2023

  • 无剪切偏差的差分隐私 SGD：一种误差反馈方法

    我们提出了一种新的误差反馈（EF）DP 算法作为 DPSGD-GC 的替代方案，它不仅提供了逐渐减小的效用界限而且不引入恒定的剪裁偏差，更重要的是，它允许独立于问题进行剪裁阈值的任意选择。

    Nov, 2023

  • 自动剪裁：更轻松更强大的差分隐私深度学习

    本论文提出了一种易于使用的替代方案 AutoClipping，它消除了任何 DP 优化器（包括 DP-SGD，DP-Adam，DP-LAMB 等）调整剪辑参数 R 的需要，提供了和现有 DP 优化器一样私密和计算有效的自动变体，但不需要 DP 特定的超参数，因此使 DP 训练像标准的非私密训练一样易于处理，在非凸环境中采用自动 DP-SGD 的严格收敛分析表明其具有与标准 SGD 相匹配的渐近收敛速度，并证明该算法在各种语言和视觉任务上优于或与最先进的方法相匹配，可以很容易地用最少的更改应用于现有的代码库。

    Jun, 2022

  • 带权重剪枝的 DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023

  • 独立剪切本体和尾部：带重尾的 DPSGD 的高概率保证

    我们提出了一种新方法，使用子空间识别技术来区分主体和尾梯度，并使用不同的剪切阈值来减少剪切损失，从而在深度学习中减少梯度的规范，并在实验中得到了显著的结果。

    May, 2024

  • Auto DP-SGD：通过自动裁剪阈值和噪声乘数估计实现隐私和准确性的双重改进

    自动差分隐私随机梯度下降 (Auto DP-SGD) 方法通过基于深度学习模型的梯度范数自动裁剪阈值估计和缩放每个训练样本的梯度来改善算法的实用性，并引入自动噪声乘数衰减机制以提高准确性。在各种基准数据集上，Auto DP-SGD 在隐私和准确性方面优于现有的 DP-SGD 方法，并通过降低标度因子和使用学习率调度器来提高隐私性能，而不会显著降低准确性。

    Dec, 2023

  • 关于组间剪辑在差分隐私优化中的准确性和高效性

    在本研究中，我们深入研究了差分隐私优化中关键组成部分之一的逐样本梯度剪裁方式，发现不同的剪裁方式具有相同的时间复杂度，但存在准确性 - 内存消耗的权衡关系：粗粒度全部层剪裁通常提供最佳准确性，但相比于细粒度的分组剪裁，会带来更高的内存开销。我们通过收敛性理论和复杂性分析形式化表达了这种权衡关系。重要的是，我们证明了在更大的模型中，分组剪裁与全部层剪裁之间的准确性差距越来越小，而分组剪裁的内存优势仍然存在。因此，分组剪裁允许对大型模型进行差分隐私优化，以同时实现高准确性和低内存峰值。

    Oct, 2023

  • 自适应剪裁差分隐私学习

    该论文提出了一种新的针对联合学习中用户级差分隐私训练神经网络的方法，它通过自适应裁剪来解决不同设备以及不同学习任务下的裁剪行为的设置问题，并通过实验表明该方法与现有的裁剪方式相比具有显著的性能提升。

    May, 2019