相对高斯机制及其在私人梯度下降中的应用
本文针对高维情况下的差分隐私数据分析算法中的高斯机制,提出了一种经过优化的高斯机制,通过解决其方差在隐私程度较高和较低的限制,直接利用高斯累积分布函数进行方差校准,采用基于自适应估计技术的后处理步骤实现抑噪,实验证明该方法相比于经典高斯机制,能减少至少三分之一的噪声方差,并且在高维情境下能够显著提高其精确性。
May, 2018
本文提出$f$-差分隐私,一种新的隐私松弛定义,避免了使用发散松弛的一些困难,并支持隐私定义的组合和代数推理。同时,作者通过介绍高斯差分隐私,一个基于测试两个移动高斯函数的$f$-差分隐私的单参数家族,并通过数学证明和计算机实验了演示工具,进一步完善并解决了隐私数据分析的问题。
May, 2019
该研究提出了一种新型的异构高斯机制(HGM),用于保护深度神经网络的差分隐私,并具有针对对抗性攻击的可证明强鲁棒性。HGM可以提供灵活的噪声分布来平衡模型效用和隐私损失,并在第一个隐藏层注入高斯噪声以获得强鲁棒性保护。该研究理论分析和实验验证显示,相比基准方法,HGM机制显着提高了不同ially private深度神经网络在各种模型攻击下的鲁棒性。
Jun, 2019
该研究使用 f-分歧 的联合作用,推导出满足给定的 Renyi 差分隐私(RDP)水平的机制的最佳差分隐私(DP)参数,并将其应用于表征随机梯度下降的隐私保证的“Moments Accountant”框架,与最先进的技术相比,我们的范围可能导致相同隐私预算的深度学习模型的训练过程增加约100次随机梯度下降迭代。
Jan, 2020
本文研究差分隐私算法包括DP-SGD等在进行多次训练来微调算法超参数时产生的隐私泄漏问题,并提出了基于Renyi差分隐私的超参数搜索方法,结果表明虽然调整超参数的确会带来隐私泄漏,但只要每次候选训练运行本身是差分隐私的,那么泄漏就是适度的。
Oct, 2021
我们提供了一个新的算法框架,用于差分隐私估计一般函数,该框架根据底层数据集的难度进行动态调整。我们构建在先前的工作基础上,通过接近逆过程的数据集,即称为逆敏感性机制的指数机制选择一个输出的范例。我们的框架稍微修改了接近度度量,并提供了稀疏向量技术的简单有效应用。我们打破这个假设,以更自然地处理偏差-方差平衡,这也关键地允许我们将方法扩展到无界数据。考虑到这种平衡,我们提供了强有力的直觉和实证验证,表明我们的技术在与底层数据集的距离是非对称的情况下尤为有效。我们以$O(n)$的时间高效实现了这些问题,并通过实验证明我们的技术能够显著改进差分隐私估计。
Nov, 2023
使用高斯噪音在测量上报延时过程中的分析显示,在对底层查询进行了有界假设的前提下,对于Report Noisy Max可以提供纯先验差分隐私界限,而对于Above Threshold可以提供纯后验差分隐私界限,并且所得到的界限是紧的且取决于可使用标准方法进行数值评估的闭合表达式。
Feb, 2024