Oct, 2023

通过 $f$- 差分隐私统一增强混合机制的隐私边界

PDF
TL;DR该研究聚焦于利用 f-DP 改进随机初始化的洗牌模型和一次迭代的差分隐私梯度下降（DP-GD）算法的隐私界限，并得到了洗牌模型的交替函数的闭式表达式，同时研究了随机初始化对于 DP-GD 的隐私影响。
differentially privatemachine learning algorithmsprivacy boundsshuffling modelsone-iteration differential private gradient descent
发现论文，激发创造
  • 差分隐私的偏移插值

    这篇论文通过建立 “迭代的隐私放大” 现象的统一框架，改进了先前分析的方法，有效地量化了差分隐私算法的隐私泄露，并扩展到各种设置和概念中，进而在 strongly convex optimization 领域中实现了第一个精确的隐私分析。

    Mar, 2024

  • 通过 $f$- 分歧改善边界，增强隐私保护保证

    该研究使用 f - 分歧 的联合作用，推导出满足给定的 Renyi 差分隐私 (RDP) 水平的机制的最佳差分隐私 (DP) 参数，并将其应用于表征随机梯度下降的隐私保证的 “Moments Accountant” 框架，与最先进的技术相比，我们的范围可能导致相同隐私预算的深度学习模型的训练过程增加约 100 次随机梯度下降迭代。

    Jan, 2020

  • 高斯差分隐私

    本文提出 $f$- 差分隐私，一种新的隐私松弛定义，避免了使用发散松弛的一些困难，并支持隐私定义的组合和代数推理。同时，作者通过介绍高斯差分隐私，一个基于测试两个移动高斯函数的 $f$- 差分隐私的单参数家族，并通过数学证明和计算机实验了演示工具，进一步完善并解决了隐私数据分析的问题。

    May, 2019

  • 超越校准点：差分隐私中的机制比较

    在差分隐私机器学习中，我们引入了度量机制之间差分隐私保护强度的 $\Delta$- 散度，并在 $(\varepsilon, \delta)$、$f$-DP 和贝叶斯解释方面加以解释。通过应用实例，我们展示了我们的技术可以促进明智的决策，并揭示了差分隐私隐患中的差距。

    Jun, 2024

  • 躲藏在克隆之中：洗牌隐私扩增的简单且几乎最优分析

    随机洗牌可显著提高局部随机化数据的差分隐私保证，我们提出了一种基于新方法的差分隐私算法，其具有渐近最优的依赖性，应用于洗牌模型中的频率估计，是简单且近乎最优的算法。

    Dec, 2020

  • 高斯差分隐私深度学习

    本文研究了深度学习中隐私方面的问题，提出了一种新的隐私定义 ——f - 差分隐私，并利用其可处理复合和子采样的性质，推导出了一种更简单的隐私分析方法。在图像分类、文本分类和推荐系统等任务中的实验结果表明，该方法可以在保证隐私的前提下提高神经网络的预测准确率。

    Nov, 2019

  • 无抽样或洗牌的实用且保密的 (深度) 学习

    使用差分隐私的 Follow-The-Regularized-Leader（DP-FTRL）是一种比 DP-SGD 更加灵活的模型训练方法，在隐私、准确性和计算方面表现都很好，特别适用于联邦学习等实际场景，同时也不需要使用任何隐私扩展。

    Feb, 2021

  • DP-SGD 对记录级推断的闭式界限

    通过对 DP-SGD 算法进行具体分析，本文提出了一种新的方法，用于评估机器学习模型对特定记录类型的威胁（例如成员和属性推断）的隐私，而无需经过 DP 的间接方式。同时，还提供了一种与数据相关的边界用于对抗属性推论。

    Feb, 2024

  • 纯差分隐私与近似差分隐私之间

    该研究通过指定参数 delta 来构建一个全新的下界，从而优化（epsilon，delta）差分隐私算法在高维数据库上精确回答统计查询的样本复杂度。除了新的下界之外，该研究还提出了纯粹和近似的差分隐私算法，用于回答任意统计查询，并通过对比标准拉普拉斯和高斯机制在最坏情况下精度保证方面的样本复杂度，改善了对该问题的解决方法。

    Jan, 2015

  • 近似最优差分隐私强化学习

    本研究提出一种基于差分隐私约束条件的在线探索强化学习算法，该算法达到了非隐私算法的信息理论下限，同时利用隐私发布噪音技术获得了隐私保护，解决了个性化医疗等隐私数据应用中数据使用安全的问题。

    Dec, 2022