Dec, 2023

PCDP-SGD: 通过预先投影提高差分隐私 SGD 的收敛性

PDF
TL;DR在本文中，我们提出了一个通用的框架 PCDP-SGD，通过在梯度剪裁之前进行投影操作，旨在压缩冗余的梯度范数并保留更关键的顶部梯度分量。此外，我们将 PCDP-SGD 扩展为差分隐私联邦学习（DPFL）的基本组成部分，用于减轻数据异构挑战并实现高效通信。实验结果表明，在计算机视觉任务中，PCDP-SGD 相对于最先进的 DP-SGD 变体实现了更高的准确性。此外，当在本地训练集上保证差分隐私时，PCDP-SGD 优于当前的联邦学习框架。
发现论文，激发创造
  • 动态差分隐私保护随机梯度下降

    本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

    Oct, 2021

  • 通过 JL 投影实现快速和内存高效的差分隐私 - SGD

    本文提出了 DP-SGD-JL 和 DP-Adam-JL，使用 Johnson-Lindenstrauss 投影来快速逼近每个样本的梯度范数，从而使优化器的训练时间和内存需求接近于其非 DP 版本，在 IMDb 数据集上实现了好的隐私与准确性折衷，并且隐私分析使用 Dong 等人提出的 f-DP 框架来证明。

    Feb, 2021

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024

  • 带权重剪枝的 DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023

  • 基于共识算法的差分隐私分散深度学习

    本研究提出了一种基于不同隐私的分散式深度学习方法，该方法对协作学习的数据进行隐私保护，保障节点之间数据的安全交换。实验结果表明，在稀疏图和不均匀数据分布下，不同隐私梯度跟踪具有抗干扰性，并且可在不向其他代理共享原始数据的情况下学习高准确性模型。

    Jun, 2023

  • DPDR: 差分隐私深度学习的梯度分解与重构

    通过提出 DPDR（差分隐私训练框架）实现隐私保护，通过提前梯度分解和重构、保护增量信息以及更新模型来提高隐私预算的利用效率，理论分析和广泛实验表明 DPDR 在收敛速度和准确性上优于现有基线方法。

    Jun, 2024

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 基于模拟退火的差分隐私随机梯度下降算法

    本文提出了一个基于模拟退火算法的差分隐私随机梯度下降（SA-DPSGD）方案，该方案通过对候选更新进行概率筛选，使得梯度下降朝着正确方向进行，并最终获得更准确的模型。在 MNIST、FashionMNIST 和 CIFAR10 数据集上进行的实验结果表明，与现有方法相比，本文提出的方案更为有效。

    Nov, 2022

  • 随机梯度下降噪声的隐私泄露可能会收敛，即使对于非凸损失函数

    本文研究了 DP-SGD 算法在限制梯度影响的条件下，对于具有省略凸性和平滑性假设的损失函数，随着迭代次数的增加，其隐私泄露的收敛速度是指数级的。同时，文章还分析了非正则 DP-SGD 的隐私损失。

    May, 2023

  • 无剪切偏差的差分隐私 SGD：一种误差反馈方法

    我们提出了一种新的误差反馈（EF）DP 算法作为 DPSGD-GC 的替代方案，它不仅提供了逐渐减小的效用界限而且不引入恒定的剪裁偏差，更重要的是，它允许独立于问题进行剪裁阈值的任意选择。

    Nov, 2023