DP-LSSGD: 隐私保护 ERM 中提高效用的随机优化方法

Jun, 2019

DP-LSSGD: 隐私保护 ERM 中提高效用的随机优化方法

DP-LSSGD: A Stochastic Optimization Method to Lift the Utility in Privacy-Preserving ERM

Bao Wang, Quanquan Gu, March Boedihardjo, Farzin Barekat, Stanley J. Osher

TL;DR本研究提出 DP-LSSGD，一种基于差分隐私的 SGD 算法，通过 Laplacian smoothing 减少噪音并保证同样的隐私保证，让训练凸和非凸机器学习模型更加稳定，同时使得模型泛化更好。

Abstract

machine learning (ML) models trained by differentially private stochastic gradient descent (DP-SGD) have much lower utility than the non-private ones. To mitigate this degradation, we propose a dp laplacian smoothing sg

machine learning differential privacy dp laplacian smoothing sgd convex and nonconvex models generalization

发现论文，激发创造

私隐差分深度学习的高效可扩展训练

差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

Jun, 2024

改善差分隐私线性学习器的目标扰动的隐私性和实用性

在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与 DP-SGD 具有竞争力。

Dec, 2023

梯度看起来相似：DP-SGD 中的敏感性经常被高估

本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

Jul, 2023

动态差分隐私保护随机梯度下降

本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

Oct, 2021

关于利用差分隐私和经典正则化技术进行优化的效用与保护

该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

Sep, 2022

采样机制下的个性化 DP-SGD

基于个性化采样机制的深度学习 DP-SGD 扩展算法，支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。

May, 2023

基于模拟退火的差分隐私随机梯度下降算法

本文提出了一个基于模拟退火算法的差分隐私随机梯度下降（SA-DPSGD）方案，该方案通过对候选更新进行概率筛选，使得梯度下降朝着正确方向进行，并最终获得更准确的模型。在 MNIST、FashionMNIST 和 CIFAR10 数据集上进行的实验结果表明，与现有方法相比，本文提出的方案更为有效。

Nov, 2022

带权重剪枝的 DP-SGD

通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

Oct, 2023

使用 Langevin 动态实现神经网络差分隐私训练，并获得预测不确定性校准

通过将随机梯度 Langevin 动力学用于差分私有随机梯度下降，我们实现了更可靠的不确定性估计，在医学诊断等安全关键应用中具有重要意义。

Jul, 2021

从私有化数据中训练生成模型

本文提出了一种基于局部差分隐私的生成对抗网络训练方法，通过熵正则化 Wasserstein 距离的组合使用来降噪数据分布，有效地缓解了正则化偏差和隐私噪声效应。

Jun, 2023