ICMLJun, 2024

私隐差分深度学习的高效可扩展训练

PDF
TL;DR差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。
发现论文，激发创造
  • 基于共识算法的差分隐私分散深度学习

    本研究提出了一种基于不同隐私的分散式深度学习方法，该方法对协作学习的数据进行隐私保护，保障节点之间数据的安全交换。实验结果表明，在稀疏图和不均匀数据分布下，不同隐私梯度跟踪具有抗干扰性，并且可在不向其他代理共享原始数据的情况下学习高准确性模型。

    Jun, 2023

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 通过尺度解锁高精度差分隐私图像分类

    本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

    Apr, 2022

  • 采样机制下的个性化 DP-SGD

    基于个性化采样机制的深度学习 DP-SGD 扩展算法，支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。

    May, 2023

  • 动态差分隐私保护随机梯度下降

    本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

    Oct, 2021

  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • 基于模拟退火的差分隐私随机梯度下降算法

    本文提出了一个基于模拟退火算法的差分隐私随机梯度下降（SA-DPSGD）方案，该方案通过对候选更新进行概率筛选，使得梯度下降朝着正确方向进行，并最终获得更准确的模型。在 MNIST、FashionMNIST 和 CIFAR10 数据集上进行的实验结果表明，与现有方法相比，本文提出的方案更为有效。

    Nov, 2022

  • LazyDP: 协同设计算法 - 软件以实现可扩展训练差分私有推荐模型

    本研究通过对 DP-SGD 进行详细的特性分析，提出了 LazyDP 算法与软件协同设计，解决了使用 DP-SGD 训练推荐系统时的计算和内存挑战，从而大幅提高训练吞吐量同时确保数学上等效的差分隐私推荐系统模型。

    Apr, 2024

  • 无抽样或洗牌的实用且保密的 (深度) 学习

    使用差分隐私的 Follow-The-Regularized-Leader（DP-FTRL）是一种比 DP-SGD 更加灵活的模型训练方法，在隐私、准确性和计算方面表现都很好，特别适用于联邦学习等实际场景，同时也不需要使用任何隐私扩展。

    Feb, 2021

  • 通过 JL 投影实现快速和内存高效的差分隐私 - SGD

    本文提出了 DP-SGD-JL 和 DP-Adam-JL，使用 Johnson-Lindenstrauss 投影来快速逼近每个样本的梯度范数，从而使优化器的训练时间和内存需求接近于其非 DP 版本，在 IMDb 数据集上实现了好的隐私与准确性折衷，并且隐私分析使用 Dong 等人提出的 f-DP 框架来证明。

    Feb, 2021