Jun, 2021

标签差分隐私的反面：PATE 和 ALIBI

PDF
TL;DR本研究提出了两种新的隐私保护机制，分别基于 Laplace 机制和 PATE 框架，用标准基准测试表明其有效性；此外，本文也表明其算法隐私保护保障的理论分析与实证评估相结合，才能更好地评价其隐私保护性能。
privacy-preservingdifferential privacymachine learninglaplace mechanismpate framework
发现论文，激发创造
  • 差分隐私是否在实践中防止了后门攻击？

    通过实证研究，我们调查了 DP-SGD 和 PATE 在防止后门攻击方面的有效性，并首次检验了 PATE 在文献中的作用。我们的实验揭示了超参数和训练数据集中后门数量对 DP 算法成功的影响。此外，我们提出了 Label-DP 作为 DP-SGD 和 PATE 的更快、更准确的替代方法。我们得出的结论是，尽管 Label-DP 算法通常提供较弱的隐私保护，但准确的超参数调整可以使其在防御后门攻击并保持模型准确性方面更有效。

    Nov, 2023

  • 适应性拉普拉斯机制：深度学习中的差分隐私保护

    本文提出了一种新颖的机制来保护深度神经网络的差分隐私，其中包括对神经元的仿射变换、损失函数的扰动方法，并在特征与输出间加入更多 / 更少的噪声。理论分析和实验结果证明该机制相对于现有解决方案具有更高的有效性。

    Sep, 2017

  • 使用 PATE 进行可扩展私有学习

    本文介绍 Private Aggregation of Teacher Ensembles (PATE) 这种利用集合的 “教师” 模型来构建 “学生” 隐私机器学习模型的方法，并提出一些新的机制来更好地实现差分隐私，在大规模的数据集上进行了检验。

    Feb, 2018

  • DP-SGD 与 PATE：哪一个对模型准确度的影响更少？

    本文比较了两种应用差分隐私机制（DP-SGD 和 PATE）训练深度学习模型的公平性表现，结果发现虽然 PATE 也存在公平性问题，但相对于 DP-SGD 影响更小。文章给出了一些可行的解决方向以取得更好的公平 - 隐私权衡。

    Jun, 2021

  • 判别式对抗隐私：在神经网络中平衡准确性和成员隐私

    本文提出了一种名为 “判别性对抗隐私”（DAP）的新型学习技术，该技术通过达到模型性能、速度和隐私之间的平衡来解决 DP 的局限性。DAP 依靠对抗训练，基于一种新的损失函数，该函数能够最小化预测误差并最大化 MIA 的误差。此外，我们引入了一种名为 “准确性隐私权”（AOP）的新指标来捕捉性能 - 隐私权衡。最后，为了验证我们的观点，我们将 DAP 与不同的 DP 情景进行比较，并从性能、时间和隐私保护角度分析结果。

    Jun, 2023

  • 机器学习的贝叶斯差分隐私

    提出了基于贝叶斯的差分隐私方法，并实验表明基于样本数据分布的隐私保护方法比传统方法更实用有效。

    Jan, 2019

  • G-PATE：基于教师鉴别器私有聚合的可扩展差分隐私数据生成器

    本文提出了一种新的基于 PATE 框架的隐私保护数据生成模型（G-PATE），它利用生成对抗网络生成数据，并结合隐私聚合机制以确保强大的隐私保证，相对于现有方法，G-PATE 显著提高了隐私预算的使用效率。

    Jun, 2019

  • DPMLBench：差分隐私机器学习的整体评估

    我们通过对改进的 DPML 算法的效用和防御能力对成员推断攻击进行了整体度量，在图像分类任务中我们首次提出了具有机器学习生命周期其中改进的分类法的分类体系。我们通过使用实验来表明了 DP 能够有效地抵御成员推断攻击，并且敏感性绑定技术，如每个样本梯度剪辑，在防御中起着重要作用。 标签 DP 算法可以实现较小的效用损失，但对攻击十分脆弱。我们的研究结果可以支持数据拥有者使用 DPMLBench 部署 DPML 算法，并作为研究人员和实践者的基准工具。

    May, 2023

  • 隐私保护贝叶斯数据分析的理论与实践

    使用 Laplace 机制对数据进行隐私保护的方法效率与非私有后验推断相同，可用于敏感军事记录的时间序列分析，并具有隐私预算的有效利用优势。

    Mar, 2016

  • 解读本地差分隐私、平均贝叶斯隐私和最大贝叶斯隐私之间的相互作用

    我们综合研究引入了贝叶斯隐私并深入探讨了局部差分隐私及其贝叶斯对应之间错综复杂的关系，揭示了新的有关效用和隐私之间的权衡。

    Mar, 2024