机器学习的贝叶斯差分隐私
本文探讨了“浓缩差分隐私”的概念,将其用Renyi散度重新构建,得到更为精确的量化结果,并探讨了一些相关问题。同时,本文还通过给出“近似浓缩差分隐私”的定义,将这种方法与“近似差分隐私”相统一。
May, 2016
本文提出一种差分隐私变分推理方法,该方法基于双重随机变分推理,并通过剪辑和扰动梯度来加入差分隐私,并通过子采样来增加隐私保护的效率。该方法在强隐私保证下的准确性接近于非私密级别,是以前基于抽样方法的替代品的明显改进。
Oct, 2016
探讨在分类和回归等多种模型中,为实现个体预测隐私保护所需的成本,以及通过训练多个模型并使用标准的聚合技术来预测,以降低聚合步骤引入的开销,并建立所有不同隐私预测算法的强广义保证,从而研究机器学习中差分隐私的最优样本调整量。
Mar, 2018
本文提出了元素级差分隐私的概念,以更好地保护个人数据并维持数据分析的实用性;研究者提供了定义和分析,并开发了几种私人估计和学习方法,并在多种实际应用中进行了验证。
Dec, 2019
该研究使用 f-分歧 的联合作用,推导出满足给定的 Renyi 差分隐私(RDP)水平的机制的最佳差分隐私(DP)参数,并将其应用于表征随机梯度下降的隐私保证的“Moments Accountant”框架,与最先进的技术相比,我们的范围可能导致相同隐私预算的深度学习模型的训练过程增加约100次随机梯度下降迭代。
Jan, 2020
研究了如何在单个数据集上执行自适应分析,确保每个参与者的差分隐私损失不超过预先指定的预算,提出了一种基于个性化隐私损失估计的更紧密的隐私损失计算方法,并应用于噪声梯度下降分析中。
Aug, 2020
本文提出了一种基于估计验证释放(EVR)的新差分隐私范式来限制DP组合中的隐私泄露,其中隐私参数的限制通过将其估计转化为严格上限的形式来解决。这个范式包含隐私验证和基于 Monte Carlo 技术的不同的 DP accountant,通过本文的实证研究表明,EVR 增加了隐私保护和机器学习性能的平衡。
Apr, 2023
该研究通过黑盒模型对Differentially Private Stochastic Gradient Descent (DP-SGD)算法进行了近乎严格的审计,通过成员推理攻击经验性地估计了DP-SGD的隐私泄漏,并且估计结果接近理论DP边界。
May, 2024