本论文介绍了一个新算法,用于计算隐私随机变量的数字组成,可用于计算机制的组合的准确差分隐私参数。该算法可以在多项式对数 (k) 的时间和内存使用情况下自我组合机制 k 次。该方法不仅适用于子采样高斯机制等广泛机制的分析,还可扩展至组合同类别别不同机制的情况,并改进了运行时间和内存使用率。
Jul, 2022
本研究研究以 Rényi 差分隐私为视角的 DP 组合,通过证明一个更简单的复合定理并提供小型常量,从而使其足够实用,以应用于 DP 深度学习中进行在线噪声或批处理大小调整以提高模型准确性,在固定的总隐私损失内以停止微调模型以减少总隐私损失的操作
Mar, 2021
本文介绍了中心模型、本地 DP 模型和洗牌 DP 模型,并提出了在洗牌 DP 模型下用于机器学习的两种基本聚合方法,其精度接近中心 DP 算法,而通信效率与不加隐私约束的通信需求基本匹配。
Jun, 2021
这篇论文通过建立 “迭代的隐私放大” 现象的统一框架,改进了先前分析的方法,有效地量化了差分隐私算法的隐私泄露,并扩展到各种设置和概念中,进而在 strongly convex optimization 领域中实现了第一个精确的隐私分析。
Mar, 2024
本文发展了一种新的 DP-SGD 分析方法,该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题,具有更好的隐私保障,特别是对正确分类的数据点而言。
Jul, 2023
本文提出两种新的不同 ially private 的方法,实现了凸优化的最优解,使用较少的梯度计算,同时需要对数据有轻度平滑性的假设。
May, 2020
本文提出 $f$- 差分隐私,一种新的隐私松弛定义,避免了使用发散松弛的一些困难,并支持隐私定义的组合和代数推理。同时,作者通过介绍高斯差分隐私,一个基于测试两个移动高斯函数的 $f$- 差分隐私的单参数家族,并通过数学证明和计算机实验了演示工具,进一步完善并解决了隐私数据分析的问题。
May, 2019
该研究聚焦于利用 f-DP 改进随机初始化的洗牌模型和一次迭代的差分隐私梯度下降(DP-GD)算法的隐私界限,并得到了洗牌模型的交替函数的闭式表达式,同时研究了随机初始化对于 DP-GD 的隐私影响。
Oct, 2023
我们考虑计算子采样差分私有机制组合的紧密隐私保证的问题。我们的主要贡献在于解决了两个常见的困惑:一是有些隐私估计者认为,子采样机制组合的隐私保证是通过自组合未组合机制的最坏情况数据集来确定的;二是泊松子采样有时被假设具有与无替换采样相似的隐私保证,但我们表明这两种采样方案的隐私保证可能存在显著差异。具体而言,我们给出了一个示例,其中泊松子采样的 ε≈1,而无替换采样的 ε>10。这对于实际可选择的 DP-SGD 参数而言是可能发生的。
May, 2024
研究不同 ially private (DP) 算法在随机非凸优化中的应用,通过提供对私有梯度法的分析,提出了 DP RMSProp 和 DP Adam 等最佳算法来达成更快的收敛速度,在两个流行的深度学习任务中,证明了 DP 自适应梯度法比标准的 DP SGD 更具有优势。
Jun, 2020