Oct, 2021

自适应差分隐私经验风险最小化

HTML
PDF
TL;DR本文提出了一种自适应的（随机）梯度扰动方法用于差分隐私经验风险最小化，在每次迭代中将添加的随机噪声优化适应于步长;我们将这个过程称为自适应差分隐私（ADP）学习。 通过相同的隐私预算，我们证明了ADP方法相比于加入香草随机噪音的标准差分隐私方法，可以显著提高实用保证性能。 我们的方法特别适用于具有时间变化学习率的基于梯度的算法，包括AdaGrad（Duchi等，2011）的变体。 我们进行了大量的数字实验，以展示所提出的自适应差分隐私算法的有效性。
发现论文，激发创造
  • 差分隐私经验风险最小化：高效算法和严格误差界

    本文为凸经验风险最小化问题提供了一系列不同的差分隐私算法，并同时给出了相应的下界，且不同的隐私模型需要使用完全不同的算法，这些算法在多项式时间内运行，并且适用于很多简单光滑的函数家族。

    May, 2014

  • 平滑目标高效的私有ERM

    本文综述了不同凸且光滑目标函数的梯度下降算法与输出扰动方法，不仅能达到近乎最优的效用，而且也提高了以前的隐私优化算法的运行时间。同时，对于非凸光滑目标函数，还提出了RRPSGD算法，并附上了隐私保障的收敛性证明。实验表明，我们的算法在效益和运行时间方面始终优于现有方法。

    Mar, 2017

  • 差分隐私经验风险最小化与输入扰动

    提出了一种新的差分隐私ERM框架：输入扰动。在这种框架中，每个数据贡献者独立地对其数据进行随机化并将扰动数据提交给数据库。我们证明了该框架在一定条件下，确保了使用随机化数据学习到的模型最终满足差分隐私，同时确保本地差分隐私得到了保证。该方法也展示了有关模型的风险界限。

    Oct, 2017

  • 重新审视差分隐私线性回归：无界域中的最优自适应预测和估计

    本文研究了在差分隐私约束下的线性回归问题，恢复了特征、标签和系数域在优化误差和估计误差中的正确依赖性，并提出了两种简单修改的差分隐私算法：后验采样和充足统计扰动，并展示它们可升级为能针对每个实例利用数据相关量并行为几乎最优的自适应算法。作者在36个数据集上进行了广泛的实验，结果表明两种自适应算法优于现有技术。

    Mar, 2018

  • 自适应每次迭代隐私预算的集中式差分隐私梯度下降

    本文说明如何通过更加精心地分配每个迭代的隐私预算，从而改进基于梯度的算法，提高其对模型拟合的性能。

    Aug, 2018

  • 自适应剪裁差分隐私学习

    该论文提出了一种新的针对联合学习中用户级差分隐私训练神经网络的方法，它通过自适应裁剪来解决不同设备以及不同学习任务下的裁剪行为的设置问题，并通过实验表明该方法与现有的裁剪方式相比具有显著的性能提升。

    May, 2019

  • 私有随机非凸优化: 自适应算法和更紧的泛化界

    研究不同ially private (DP)算法在随机非凸优化中的应用，通过提供对私有梯度法的分析，提出了DP RMSProp和DP Adam等最佳算法来达成更快的收敛速度，在两个流行的深度学习任务中，证明了DP自适应梯度法比标准的DP SGD更具有优势。

    Jun, 2020

  • 凸优化的私有自适应梯度方法

    本研究探讨了差分隐私凸优化中的自适应算法，通过实现不同差分隐私变量Stochastic Gradient Descent（SGD）算法和Adagrad算法的私有版本，证明了我们的私有版本的Adagrad优于自适应SGD，而这又优于传统的SGD。我们提供了两种算法的后悔上界，并表明这些上限是最优的。

    Jun, 2021

  • 带辅助信息的私有自适应优化

    AdaDPS是一种通用的框架，使用非敏感侧面信息对梯度进行预处理，可以在私有环境中有效地使用自适应方法，降低噪音所需的数量，从而改善优化性能。在大规模文本和图像基准测试中，相对于强基线，AdaDPS平均提高了7.7％（绝对）的准确度，实现了最先进的隐私效用权衡。

    Feb, 2022

  • 改善差分隐私线性学习器的目标扰动的隐私性和实用性

    在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与DP-SGD具有竞争力。

    Dec, 2023