Jun, 2022

私有 ERM 中隐私保护的实用性差分隐私：理解 Epsilon 对实用性的影响

PDF
TL;DR通过理论探索差分隐私强度参数 epsilon 对学习模型效用的影响，建立并提出了一种可以在任意 epsilon 值下对效用进行估计的实用方法，该方法在实验结果表现出高精度估计和广泛适用性，同时能够在保障隐私的前提下提供较强的效用保证。
发现论文，激发创造
  • 差分隐私：选择 Epsilon 的经济方法

    本文从实践角度讨论差分隐私，提出一个基于公式的简单模型来平衡隐私保护和结果准确性之间的权衡，并使用该模型来选择关键参数 epsilon。研究表明，在一些情况下，差分隐私研究可以比非私密研究更加准确。

    Feb, 2014

  • 差分隐私经验风险最小化

    本研究提出了一个隐私保护的机器学习算法，基于差分隐私定义，首先将 Dwork 等人的输出扰动思想应用于 ERM 分类，然后通过扰动目标函数来设计一个新的 objective perturbation 方法，对于满足某些凸性和可微性条件的损失函数和正则化方法，我们证明了我们的算法可以保护隐私，并提供线性和非线性核的泛化界，同时我们提供了一种隐私保护的技术来调整通用机器学习算法的参数，从而为训练过程提供了端到端的隐私保证。实验结果表明，与输出扰动方法相比，我们的 objective perturbation 方法在处理隐私保护和学习性能间的固有权衡方面更加卓越。

    Dec, 2009

  • 优先考虑准确度：选择不泄露隐私的差分隐私阈值以满足准确度约束的 ERM

    本文提出了一种名为噪声约简框架的通用方法，能够应用于各种私有经验风险最小化 (ERM) 算法，使用它们来 “搜索” 隐私级别的空间，以找到在满足准确性约束下最强的隐私级别，并仅产生对搜索的隐私级别数量的对数开销。

    May, 2017

  • 差分隐私经验风险最小化：高效算法和严格误差界

    本文为凸经验风险最小化问题提供了一系列不同的差分隐私算法，并同时给出了相应的下界，且不同的隐私模型需要使用完全不同的算法，这些算法在多项式时间内运行，并且适用于很多简单光滑的函数家族。

    May, 2014

  • 大 Epsilon 下的差分隐私如何抵御实际成员推理攻击？

    为了解决差分隐私机制中存在的理论与实践的差距，并理解大隐私参数如何防止实际的成员隐私攻击，本文引入了一种新的隐私概念，即实际成员隐私，并定量分析了指数机制和高斯机制的实际成员隐私参数。研究结果表明，较大的差分隐私参数往往对应较小的实际成员隐私参数，从而在实际成员隐私攻击方面提供了强大的隐私保护。基于这些发现，为从业者在选择差分隐私参数方面提供了有原则的指导。

    Feb, 2024

  • 重新审视差分隐私的经验风险最小化问题：更快且更广泛

    本文研究不同设置下差分隐私经验风险最小化问题，提出了比以前更少的梯度复杂度的算法，并从凸损失函数推广到满足 Polyak-Lojasiewicz 条件的非凸函数，给出比传统算法更紧的上界。

    Feb, 2018

  • Epsilon*: 机器学习模型的隐私度量

    介绍了 Epsilon*，一种新的隐私度量方法，用于衡量在隐私保护策略的部署之前、期间或之后单个模型实例的隐私风险。该度量不需要访问训练数据抽样或模型训练算法。

    Jul, 2023

  • 隐私成本：具有差分隐私的参数估计的最佳收敛速率

    探讨平衡标准误差和隐私保护之间的关系，提出了最小化极限风险下的差分隐私约束的算法，包括隐私迭代硬阈值追踪，以及在实际数据集中表现出的数值表现。

    Feb, 2019

  • 差分隐私的非交互式局部模型中的经验风险最小化

    本文研究了在非交互式局部差分隐私（LDP）模型下经验风险最小化（ERM）问题，利用 Bernstein 多项式逼近方法和内积多项式逼近技术提出了两种解决高维数据下样本复杂度指数级上升的方法，最终提出了用于学习 k 维边际查询和平滑查询的（高效的）非交互式局部差分隐私算法。

    Nov, 2020

  • 差分隐私学习：稳定性，可学性，ERM 原则的充要性

    本文研究了在差分隐私约束下的学习能力，揭示了隐私、稳定性和学习能力之间的一些复杂关系，并且提出了一个通用算法，可以在普遍条件下私下学习广泛的学习问题。

    Feb, 2015