Jun, 2024

单个时期和大批量下的 DP-SCO 的最优速率

PDF
TL;DR我们提出了一种新的差分隐私算法，叫做加速差分隐私随机递归梯度下降（Accelerated-DP-SRGD），它能够在只对当前步骤的新信息进行隐私代价计算的情况下实现最优 DP - 随机凸优化（DP-SCO）错误，通过仅使用数据集上的单个时期并以 Nesterov 的加速速率收敛，解决了从 DP 持续计数中生成相关噪声的问题，最后还展示了我们的算法在 MNIST 和 CIFAR-10 上对多类逻辑回归的优越性。
differentially private machine learningdp-sgdaccelerated-dp-srgdoptimal dp-stochastic convex optimizationnesterov's accelerated rate
发现论文，激发创造
  • 用户级差分隐私随机凸优化：具有最优收敛速率的高效算法

    我们研究了具有用户级隐私的差分隐私随机凸优化（DP-SCO），其中每个用户可能拥有多个数据项。我们开发了新算法用于用户级 DP-SCO，在多项式时间内获得凸和强凸函数的最优速率，并且在维度上只要求用户数量呈对数增长。此外，我们的算法是第一个在多项式时间内获得非平滑函数最优速率的算法。这些算法基于多遍 DP-SGD，结合了一种集中数据的新颖私有均值估计过程，在估计梯度的平均值之前应用了一个异常值移除步骤。

    Nov, 2023

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024

  • 非欧几里得差分隐私随机凸优化：线性时间内的最优收敛率

    本文系统研究了在不同的 normed space 下，拥有标准平滑性假设的 Differentially private stochastic convex optimization 问题，提出了新的算法并证明了其优于之前已知的算法

    Mar, 2021

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 基于模拟退火的差分隐私随机梯度下降算法

    本文提出了一个基于模拟退火算法的差分隐私随机梯度下降（SA-DPSGD）方案，该方案通过对候选更新进行概率筛选，使得梯度下降朝着正确方向进行，并最终获得更准确的模型。在 MNIST、FashionMNIST 和 CIFAR10 数据集上进行的实验结果表明，与现有方法相比，本文提出的方案更为有效。

    Nov, 2022

  • 关于私人在线凸优化：在 $l_p$ 几何和高维情境赌徒中的最优算法

    研究了使用差分隐私保护的在线随机凸优化问题，提出了一种具有递归梯度的私有在线 Frank-Wolfe 算法，可在线性时间内实现最优超额风险，并证明递归梯度的方差缩减结果在非平稳场景下也有理论保证。同时，该算法也被扩展到 p=1 的情况，可实现几乎与维度无关的超额风险。

    Jun, 2022

  • 采样机制下的个性化 DP-SGD

    基于个性化采样机制的深度学习 DP-SGD 扩展算法，支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。

    May, 2023

  • 通过尺度解锁高精度差分隐私图像分类

    本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

    Apr, 2022

  • 具有最佳速率的隐私随机凸优化

    本研究针对随机凸优化问题的不同隐私算法进行了研究，通过分析算法的稳定性以确保泛化，得出了当参数的情况在实践中最为普遍时，隐私 SCO 的渐近收敛率与非隐私的 SCO 相同，即都为 1/√n.

    Aug, 2019

  • 无抽样或洗牌的实用且保密的 (深度) 学习

    使用差分隐私的 Follow-The-Regularized-Leader（DP-FTRL）是一种比 DP-SGD 更加灵活的模型训练方法，在隐私、准确性和计算方面表现都很好，特别适用于联邦学习等实际场景，同时也不需要使用任何隐私扩展。

    Feb, 2021