Oct, 2017

差分隐私经验风险最小化与输入扰动

PDF
TL;DR提出了一种新的差分隐私 ERM 框架：输入扰动。在这种框架中，每个数据贡献者独立地对其数据进行随机化并将扰动数据提交给数据库。我们证明了该框架在一定条件下，确保了使用随机化数据学习到的模型最终满足差分隐私，同时确保本地差分隐私得到了保证。该方法也展示了有关模型的风险界限。
differential privacyinput perturbationermprivacy parametersexcess risk bound
发现论文，激发创造
  • 差分隐私经验风险最小化

    本研究提出了一个隐私保护的机器学习算法，基于差分隐私定义，首先将 Dwork 等人的输出扰动思想应用于 ERM 分类，然后通过扰动目标函数来设计一个新的 objective perturbation 方法，对于满足某些凸性和可微性条件的损失函数和正则化方法，我们证明了我们的算法可以保护隐私，并提供线性和非线性核的泛化界，同时我们提供了一种隐私保护的技术来调整通用机器学习算法的参数，从而为训练过程提供了端到端的隐私保证。实验结果表明，与输出扰动方法相比，我们的 objective perturbation 方法在处理隐私保护和学习性能间的固有权衡方面更加卓越。

    Dec, 2009

  • 重访差分隐私回归：从学习理论中得到的经验教训及其影响

    通过差分隐私和稳定学习理论的显式连接，提出了一种更好的隐私 / 实用性权衡方法，以便为所有凸型 Lipschitz 有界学习任务获得更好的权衡，并将其应用在医疗数据上，以获得更准确的模型。但改进后的隐私机制使得不同隐私机制更容易受到模型反演攻击的影响。

    Dec, 2015

  • 差分隐私经验风险最小化：高效算法和严格误差界

    本文为凸经验风险最小化问题提供了一系列不同的差分隐私算法，并同时给出了相应的下界，且不同的隐私模型需要使用完全不同的算法，这些算法在多项式时间内运行，并且适用于很多简单光滑的函数家族。

    May, 2014

  • 基于差分隐私的加权经验风险最小化程序及其在结果加权学习中的应用

    将差分隐私应用于加权经验风险最小化，提出了第一个具备严格理论证明的差分隐私加权经验风险最小化算法，并评估了在真实临床试验中的可行性和性能。

    Jul, 2023

  • 扰动和投影：差分隐私的相似性和边际

    重新审视了差分隐私的输入扰动框架，介绍了有效算法用于保护隐私的发布余弦相似度和计算多特征边际查询，扩展结果适用于稀疏数据集，提供理论视角解释快速输入扰动算法在实践中的良好表现。

    Jun, 2024

  • 差分隐私的非交互式局部模型中的经验风险最小化

    本文研究了在非交互式局部差分隐私（LDP）模型下经验风险最小化（ERM）问题，利用 Bernstein 多项式逼近方法和内积多项式逼近技术提出了两种解决高维数据下样本复杂度指数级上升的方法，最终提出了用于学习 k 维边际查询和平滑查询的（高效的）非交互式局部差分隐私算法。

    Nov, 2020

  • 超出最坏情况的私有经验风险最小化：约束集几何形状的影响

    本文介绍了隐私保护数据集下 Empirical Risk Minimization（ERM）的改进算法 —— 不同 ially private ERM Algorithm。该算法通过利用限制条件的几何特性，在 Lipschitz、强凸和光滑函数等情况下，提供了更严格的误差上界，并针对稀疏线性回归（LASSO）提出了新的下界。

    Nov, 2014

  • 优先考虑准确度：选择不泄露隐私的差分隐私阈值以满足准确度约束的 ERM

    本文提出了一种名为噪声约简框架的通用方法，能够应用于各种私有经验风险最小化 (ERM) 算法，使用它们来 “搜索” 隐私级别的空间，以找到在满足准确性约束下最强的隐私级别，并仅产生对搜索的隐私级别数量的对数开销。

    May, 2017

  • 自适应差分隐私经验风险最小化

    本文提出了一种自适应的（随机）梯度扰动方法用于差分隐私经验风险最小化，在每次迭代中将添加的随机噪声优化适应于步长；我们将这个过程称为自适应差分隐私（ADP）学习。 通过相同的隐私预算，我们证明了 ADP 方法相比于加入香草随机噪音的标准差分隐私方法，可以显著提高实用保证性能。 我们的方法特别适用于具有时间变化学习率的基于梯度的算法，包括 AdaGrad（Duchi 等，2011）的变体。 我们进行了大量的数字实验，以展示所提出的自适应差分隐私算法的有效性。

    Oct, 2021

  • 具有相关输入扰动的差分隐私范围查询

    本研究提出了一种类别的局部差分隐私机制，用于线性查询（尤其是范围查询），利用相关输入扰动来同时实现无偏、一致、统计透明，并通过准确性目标（可以是特定查询间隔或由分层数据库结构表示）对效用要求进行控制。所提出的级联抽样算法精确且高效地实例化了该机制。我们的界限表明，我们在获得近乎最优效用的同时与输出扰动方法在经验上具有竞争力。

    Feb, 2024