Jan, 2020

通过 $f$-分歧改善边界，增强隐私保护保证

HTML
PDF
TL;DR该研究使用 f-分歧 的联合作用，推导出满足给定的 Renyi 差分隐私(RDP)水平的机制的最佳差分隐私(DP)参数，并将其应用于表征随机梯度下降的隐私保证的“Moments Accountant”框架，与最先进的技术相比，我们的范围可能导致相同隐私预算的深度学习模型的训练过程增加约100次随机梯度下降迭代。
发现论文，激发创造
  • 自适应每次迭代隐私预算的集中式差分隐私梯度下降

    本文说明如何通过更加精心地分配每个迭代的隐私预算，从而改进基于梯度的算法，提高其对模型拟合的性能。

    Aug, 2018

  • 机器学习的贝叶斯差分隐私

    提出了基于贝叶斯的差分隐私方法，并实验表明基于样本数据分布的隐私保护方法比传统方法更实用有效。

    Jan, 2019

  • 高斯差分隐私

    本文提出$f$-差分隐私，一种新的隐私松弛定义，避免了使用发散松弛的一些困难，并支持隐私定义的组合和代数推理。同时，作者通过介绍高斯差分隐私，一个基于测试两个移动高斯函数的$f$-差分隐私的单参数家族，并通过数学证明和计算机实验了演示工具，进一步完善并解决了隐私数据分析的问题。

    May, 2019

  • DP-LSSGD: 隐私保护ERM中提高效用的随机优化方法

    本研究提出DP-LSSGD，一种基于差分隐私的SGD算法，通过Laplacian smoothing减少噪音并保证同样的隐私保证，让训练凸和非凸机器学习模型更加稳定，同时使得模型泛化更好。

    Jun, 2019

  • 采样高斯机制的Rényi 差分隐私

    通过数值计算和密度提升实现了对SGM（Sampled Gaussian Mechanism）的精确计算，进一步探究了其隐私性质。

    Aug, 2019

  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了dropout和l2正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • 通过 $f$-差分隐私统一增强混合机制的隐私边界

    该研究聚焦于利用f-DP改进随机初始化的洗牌模型和一次迭代的差分隐私梯度下降（DP-GD）算法的隐私界限，并得到了洗牌模型的交替函数的闭式表达式，同时研究了随机初始化对于DP-GD的隐私影响。

    Oct, 2023

  • 差分隐私的偏移插值

    这篇论文通过建立“迭代的隐私放大”现象的统一框架，改进了先前分析的方法，有效地量化了差分隐私算法的隐私泄露，并扩展到各种设置和概念中，进而在 strongly convex optimization 领域中实现了第一个精确的隐私分析。

    Mar, 2024

  • 通过残差扰动进行数据隐私保护的深度学习

    本研究针对深度学习中的数据隐私问题，提出了一种基于随机微分方程的残差扰动方法，能够有效保护隐私同时减小实用性损失。通过理论证明和实证研究，我们展示了该方法不仅保证了差分隐私，还在效率和实用性上优于现有的主流不同ially私有随机梯度下降算法。

    Aug, 2024

  • 基于固定大小小批量的差分隐私随机梯度下降：有替换和无替换情况下的更紧RDP保证

    本研究解决了差分隐私随机梯度下降（DP-SGD）在使用固定大小子采样时隐私保障的不紧问题。提出了一种新的Rényi差分隐私账户模型，提供了更好的可计算界限，并证明在采样概率的主导阶数上，Poisson子采样与无替换的固定大小子采样是相同的。最显著的发现表明，固定大小子采样在实践中展现出更低的方差和优越的内存使用效率，因此在许多情况下优于Poisson子采样。

    Aug, 2024