Dec, 2023

改善差分隐私线性学习器的目标扰动的隐私性和实用性

PDF
TL;DR在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与 DP-SGD 具有竞争力。
privacy-preserving machine learningdifferentially private stochastic gradient descentobjective perturbation mechanismhyperparametersunconstrained convex generalized linear problems
发现论文，激发创造
  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • DP-LSSGD: 隐私保护 ERM 中提高效用的随机优化方法

    本研究提出 DP-LSSGD，一种基于差分隐私的 SGD 算法，通过 Laplacian smoothing 减少噪音并保证同样的隐私保证，让训练凸和非凸机器学习模型更加稳定，同时使得模型泛化更好。

    Jun, 2019

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024

  • 梯度扰动在差分隐私凸优化中的价值被低估了

    本文探讨梯度扰动在差分私有性上优劣的影响。我们发现在不同凸优化问题中，期望曲率可更好地决定噪声扰动的实际效果，而不是最小曲率。进一步实验表明使用高级组合方法的梯度扰动比其他扰动方法表现更好。

    Nov, 2019

  • 个性化差分隐私的岭回归

    个性化差分隐私机器学习：使用个人数据点隐私级别训练 Ridge 回归模型的方法 (PDP-OP)，在提供严格隐私保证和模型准确性的前提下，改善差分隐私中的隐私 - 准确性平衡。

    Jan, 2024

  • 动态差分隐私保护随机梯度下降

    本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

    Oct, 2021

  • 采样机制下的个性化 DP-SGD

    基于个性化采样机制的深度学习 DP-SGD 扩展算法，支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。

    May, 2023

  • 带权重剪枝的 DP-SGD

    通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

    Oct, 2023

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 平滑目标高效的私有 ERM

    本文综述了不同凸且光滑目标函数的梯度下降算法与输出扰动方法，不仅能达到近乎最优的效用，而且也提高了以前的隐私优化算法的运行时间。同时，对于非凸光滑目标函数，还提出了 RRPSGD 算法，并附上了隐私保障的收敛性证明。实验表明，我们的算法在效益和运行时间方面始终优于现有方法。

    Mar, 2017