Epsilon*: 机器学习模型的隐私度量

Jul, 2023

Epsilon*: Privacy Metric for Machine Learning Models

Diana M. Negoescu, Humberto Gonzalez, Saad Eddin Al Orjany, Jilei Yang, Yuliia Lut...

TL;DR介绍了 Epsilon*，一种新的隐私度量方法，用于衡量在隐私保护策略的部署之前、期间或之后单个模型实例的隐私风险。该度量不需要访问训练数据抽样或模型训练算法。

Abstract

We introduce Epsilon*, a new privacy metric for measuring the privacy risk of a single model instance prior to, during, or after deployment of privacy mitigation strategies. The metric does not require access to

privacy metric privacy risk privacy loss membership inference attack differential privacy

发现论文，激发创造

私有 ERM 中隐私保护的实用性差分隐私：理解 Epsilon 对实用性的影响

通过理论探索差分隐私强度参数 epsilon 对学习模型效用的影响，建立并提出了一种可以在任意 epsilon 值下对效用进行估计的实用方法，该方法在实验结果表现出高精度估计和广泛适用性，同时能够在保障隐私的前提下提供较强的效用保证。

Jun, 2022

大 Epsilon 下的差分隐私如何抵御实际成员推理攻击？

为了解决差分隐私机制中存在的理论与实践的差距，并理解大隐私参数如何防止实际的成员隐私攻击，本文引入了一种新的隐私概念，即实际成员隐私，并定量分析了指数机制和高斯机制的实际成员隐私参数。研究结果表明，较大的差分隐私参数往往对应较小的实际成员隐私参数，从而在实际成员隐私攻击方面提供了强大的隐私保护。基于这些发现，为从业者在选择差分隐私参数方面提供了有原则的指导。

Feb, 2024

差分隐私：选择 Epsilon 的经济方法

本文从实践角度讨论差分隐私，提出一个基于公式的简单模型来平衡隐私保护和结果准确性之间的权衡，并使用该模型来选择关键参数 epsilon。研究表明，在一些情况下，差分隐私研究可以比非私密研究更加准确。

Feb, 2014

使用输出特定和数据解析隐私配置文件探究 ML 模型的数据集级隐私转变

本文研究了衡量数据集上 DP 机制对模型隐私保护的能力的新指标 - 隐私覆盖度，并提出了使用该指标排名训练集中样本隐私的方法，进而使用观察到的邻域分布的不可区分性转换来选择 epsilon 值。

Jun, 2023

衡量成员隐私

研究机器学习模型，提出用 Differential Training Privacy（DTP）来评估发布分类器的隐私风险，并倡导使用 DTP 作为决策过程中的参考，如若分类器 DTP 的值高于 1，则不应发布。

Dec, 2017

纯差分隐私与近似差分隐私之间

该研究通过指定参数 delta 来构建一个全新的下界，从而优化（epsilon，delta）差分隐私算法在高维数据库上精确回答统计查询的样本复杂度。除了新的下界之外，该研究还提出了纯粹和近似的差分隐私算法，用于回答任意统计查询，并通过对比标准拉普拉斯和高斯机制在最坏情况下精度保证方面的样本复杂度，改善了对该问题的解决方法。

Jan, 2015

针对差分隐私的攻击感知噪声校准

我们的研究提出了一种新方法，通过直接校准噪声规模到期望的攻击风险水平，而无需选择隐私预算参数 ε，从而显著降低噪声规模，提高模型的准确性，同时保护隐私。

Jul, 2024

差分隐私经验风险最小化

本研究提出了一个隐私保护的机器学习算法，基于差分隐私定义，首先将 Dwork 等人的输出扰动思想应用于 ERM 分类，然后通过扰动目标函数来设计一个新的 objective perturbation 方法，对于满足某些凸性和可微性条件的损失函数和正则化方法，我们证明了我们的算法可以保护隐私，并提供线性和非线性核的泛化界，同时我们提供了一种隐私保护的技术来调整通用机器学习算法的参数，从而为训练过程提供了端到端的隐私保证。实验结果表明，与输出扰动方法相比，我们的 objective perturbation 方法在处理隐私保护和学习性能间的固有权衡方面更加卓越。

Dec, 2009

分享与否：普通民众愿意为了提供差分隐私自然语言处理系统而接受哪些风险？

利用行为研究实验，研究确定实际参与者愿意共享的 epsilon 阈值，以确定涉及敏感文本数据的两个实际 NLP 场景的人们的行为。

Jul, 2023

巨型数据集 ImageNet 规模下使用差分隐私进行训练

本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

Jan, 2022