Jun, 2024

单个时期和大批量下的DP-SCO的最优速率

HTML
PDF
TL;DR我们提出了一种新的差分隐私算法，叫做加速差分隐私随机递归梯度下降（Accelerated-DP-SRGD），它能够在只对当前步骤的新信息进行隐私代价计算的情况下实现最优DP-随机凸优化（DP-SCO）错误，通过仅使用数据集上的单个时期并以Nesterov的加速速率收敛，解决了从DP持续计数中生成相关噪声的问题，最后还展示了我们的算法在MNIST和CIFAR-10上对多类逻辑回归的优越性。
发现论文，激发创造
  • DP-LSSGD: 隐私保护ERM中提高效用的随机优化方法

    本研究提出DP-LSSGD，一种基于差分隐私的SGD算法，通过Laplacian smoothing减少噪音并保证同样的隐私保证，让训练凸和非凸机器学习模型更加稳定，同时使得模型泛化更好。

    Jun, 2019

  • 动态差分隐私保护随机梯度下降

    本文提出了动态DP-SGD算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

    Oct, 2021

  • 基于模拟退火的差分隐私随机梯度下降算法

    本文提出了一个基于模拟退火算法的差分隐私随机梯度下降（SA-DPSGD）方案，该方案通过对候选更新进行概率筛选，使得梯度下降朝着正确方向进行，并最终获得更准确的模型。在MNIST、FashionMNIST和CIFAR10数据集上进行的实验结果表明，与现有方法相比，本文提出的方案更为有效。

    Nov, 2022

  • 随机梯度下降噪声的隐私泄露可能会收敛，即使对于非凸损失函数

    本文研究了 DP-SGD 算法在限制梯度影响的条件下，对于具有省略凸性和平滑性假设的损失函数，随着迭代次数的增加，其隐私泄露的收敛速度是指数级的。同时，文章还分析了非正则 DP-SGD 的隐私损失。

    May, 2023

  • 基于二阶方法的更快差分隐私凸优化

    本文研究了使用一阶和二阶优化方法的隐私保护凸优化问题，其中开发了一种基于正则化的三次牛顿法的私有算法，并在逻辑斯蒂回归问题上获得了性能优越性。

    May, 2023

  • 梯度看起来相似：DP-SGD中的敏感性经常被高估

    本文发展了一种新的DP-SGD分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 用户级差分隐私随机凸优化：具有最优收敛速率的高效算法

    我们研究了具有用户级隐私的差分隐私随机凸优化（DP-SCO），其中每个用户可能拥有多个数据项。我们开发了新算法用于用户级DP-SCO，在多项式时间内获得凸和强凸函数的最优速率，并且在维度上只要求用户数量呈对数增长。此外，我们的算法是第一个在多项式时间内获得非平滑函数最优速率的算法。这些算法基于多遍DP-SGD，结合了一种集中数据的新颖私有均值估计过程，在估计梯度的平均值之前应用了一个异常值移除步骤。

    Nov, 2023

  • DPSUR: 通过选择性更新和发布加速差分隐私随机梯度下降

    DPSUR是基于选择性更新和发布的差分隐私训练框架，通过评估每次迭代的梯度并只使用导致收敛的更新，实现了比DPSGD更快的收敛速度，实验结果表明DPSUR在收敛速度和模型效用方面明显优于之前的研究成果。

    Nov, 2023

  • 非凸复合损失函数中循环采样的差分隐私随机梯度下降的最后迭代的隐私保护

    对于最常用的DP-SGD变体，即通过循环替换方式采样批次、进行梯度裁剪并仅发布最后一个DP-SGD迭代，我们在不假设凸性、平滑性或Lipschitz连续性的损失函数的情况下，建立了新的Rényi差分隐私（RDP）界限，假设DP-SGD的步长相对于损失函数中的拓扑常数较小，且损失函数是弱凸的。此外，当目标函数的弱凸参数趋近于零时，我们的界限趋于以前建立的凸界限。对于非Lipschitz平滑的损失函数，我们提供了一种随着DP-SGD迭代次数的扩展良好的界限。

    Jul, 2024

  • 通过非单调自适应缩放梯度权重增强DP-SGD

    本研究针对传统差分隐私技术在梯度处理上对模型准确性的影响，提出了一种新方法DP-PSASC，通过非单调自适应缩放梯度替换传统的剪切，改善了对小梯度的重 weighting。研究表明，该方法在保持隐私保护的同时，提高了模型在多种数据集上的性能，具有较大的应用潜力。

    Nov, 2024