Oct, 2020

通过离散化 Langevin MCMC 的 Rényi 散度分析加速差分隐私采样器

HTML
PDF
TL;DR本文旨在通过使用从Rényi距离获得收敛速度的Langevin动态算法，给出Differentially Private算法的快速实现方法，特别是对于平滑，强凸f的情况。
发现论文，激发创造
  • 差分隐私统计估计的收敛速率

    本研究探讨了差分隐私的统计估计问题，并且提出了差分隐私比较准确的估计方法，其中加入了随机噪声以提高数据的隐私保护性，同时也介绍了Gross Error Sensitivity，将其与差分隐私紧密联系。

    Jun, 2012

  • 私有学习和加噪：纯差分隐私与近似差分隐私

    该研究通过将真正的差分隐私和近似（ε，Δ）-差分隐私应用于优化问题中，研究比较了私有学习和消毒的样本复杂性，同时构建了用于高维中的点函数，阈值函数和轴对齐矩形的私有学习器以及标签私有学习，证明了VC 维完全刻画了学习带标签隐私的样本复杂性。

    Jul, 2014

  • 快速差分隐私矩阵分解

    提出了一种简单的算法来实现可证明偏差私有性以及良好性能的差异性私人协作过滤。通过差分隐私和贝叶斯后验采样的新型连接方式，该算法可有效实现。同时，通过精细的系统设计和利用数据的幂律行为最大化CPU缓存带宽，我们可以在单个PC上以8.5百万每秒的速率生成1024维模型实现推荐。

    May, 2015

  • 高维分布私密学习

    本文介绍了用于两种基本高维学习问题的新型、计算有效和差分隐私算法：学习多元高斯分布和在布尔超立方体上学习乘积分布。我们的算法的样本复杂度几乎与这些任务的最优非隐私学习器的样本复杂度相匹配，表明隐私在这些问题上是几乎免费的。

    May, 2018

  • 高斯差分隐私

    本文提出$f$-差分隐私，一种新的隐私松弛定义，避免了使用发散松弛的一些困难，并支持隐私定义的组合和代数推理。同时，作者通过介绍高斯差分隐私，一个基于测试两个移动高斯函数的$f$-差分隐私的单参数家族，并通过数学证明和计算机实验了演示工具，进一步完善并解决了隐私数据分析的问题。

    May, 2019

  • 采样高斯机制的Rényi 差分隐私

    通过数值计算和密度提升实现了对SGM（Sampled Gaussian Mechanism）的精确计算，进一步探究了其隐私性质。

    Aug, 2019

  • 基于纯差分和高斯差分隐私的可处理的MCMC私密学习

    提出了一种使用后验抽样和近似采样方法相结合的算法，通过引入噪声来保持隐私性，并结合局部化步骤，在DP-ERM问题中实现了最佳的速率。

    Oct, 2023

  • 通过 $f$-差分隐私统一增强混合机制的隐私边界

    该研究聚焦于利用f-DP改进随机初始化的洗牌模型和一次迭代的差分隐私梯度下降（DP-GD）算法的隐私界限，并得到了洗牌模型的交替函数的闭式表达式，同时研究了随机初始化对于DP-GD的隐私影响。

    Oct, 2023

  • 差分隐私的偏移插值

    这篇论文通过建立“迭代的隐私放大”现象的统一框架，改进了先前分析的方法，有效地量化了差分隐私算法的隐私泄露，并扩展到各种设置和概念中，进而在 strongly convex optimization 领域中实现了第一个精确的隐私分析。

    Mar, 2024

  • 精确的最小最大最优局部差分隐私采样

    本研究针对局部差分隐私下的采样问题，填补了隐私-效用权衡的基础分析空白。我们定义了私有采样的最小最大效用-隐私权衡，并为有限和连续数据空间精确刻画了该权衡，提出了针对所有f-散度的普适最优采样机制。我们的实验表明，该机制在理论效用和经验效用方面均优于基线模型。

    Oct, 2024