参照数据在实证隐私防御中的作用：一个警示故事

Oct, 2023

参照数据在实证隐私防御中的作用：一个警示故事

A Cautionary Tale: On the Role of Reference Data in Empirical Privacy Defenses

Caelin G. Kaplan, Chuan Xu, Othmane Marfoq, Giovanni Neglia, Anderson Santana de Oliveira

TL;DR在隐私保护机器学习领域，我们提出了一种基于经验的隐私防御方案，旨在在不显著降低模型效用的情况下实现训练数据隐私的满意水平。通过研究现有的防御方法以及对比参考数据的可用性和隐私处理，我们设计了一种基线防御方法，通过权重经验风险最小化处理训练和参考数据集，使得模型效用、训练数据隐私和参考数据隐私能够得到合理的评估和比较。我们的实验结果表明，这种基线方法对于相对隐私水平的参考和训练数据几乎总是优于最为广泛研究的、当前最先进的经验隐私防御方法。同时，我们的研究还揭示了现有方法在在模型效用、训练数据隐私和参考数据隐私之间无法有效权衡的问题。总的来说，我们的工作强调了在比较隐私防御方法时，需要对模型效用、训练数据隐私和参考数据隐私进行适当评估。

Abstract

Within the realm of privacy-preserving machine learning, empirical privacy defenses have been proposed as a solution to achieve satisfactory levels of training data privacy without a significant drop in model utility. Most existing defenses against membership inference attacks assume a

privacy-preserving machine learning empirical privacy defenses reference data privacy baseline defense triad model utility

发现论文，激发创造

机器学习隐私防护评估误导性的研究

现有经验性隐私评估存在严重陷阱，忽略了差分隐私的可证明保证，无法准确评估最易受攻击样本的隐私泄露，使用弱攻击方法且避免与实际差分隐私基准进行比较。在五个实证隐私防御案例中，我们发现先前的评估低估了隐私泄露量一个数量级。在我们更强的评估方法下，我们研究的任何经验性防御方法都无法与合理调优、高效的 DP-SGD 基线竞争（具备虚无可证明保证）。

Apr, 2024

一参数防御 —— 利用差分隐私抵御数据推断攻击

本文提出了一种采用差分隐私机制的数据推断攻击防御方法，通过调节一个参数，即隐私预算，处理成员推断和模型反演两种类型的攻击。该方法能够保持分类精度，并通过修改和标准化置信度得分矢量来保护成员隐私信息。实验结果表明，该方法对于成员推断和模型反演两种攻击是一种有效且及时的防御方法，不影响模型分类准确度。

Mar, 2022

管理您的私人和公共数据：降低推断攻击对您隐私的威胁

本文提出了一种隐私保护的实用方法，使用通用的统计推断框架捕获推断攻击下的隐私威胁并满足效用约束，采用隐私保护概率映射技术对发布的数据进行扭曲处理，同时解决了实际中遇到的实用挑战，通过引入量化步骤和减少优化大小的方法，我们的方法在保证数据原版用途的情况下，取得了良好的隐私保护效果。

Aug, 2014

差分隐私与对抗鲁棒机器学习：实证评估

使用敌对训练和差分隐私训练的组合，本研究探讨了针对同时攻击的防御方法。通过使用成员推断攻击来基准测试 DP-Adv 技术的性能，并实证显示该方法的隐私性与非鲁棒私有模型相当。此外，该研究还强调了在动态训练范式中探索隐私保证的需求。

Jan, 2024

保护机器学习模型免受对抗样本的安全隐患

本文研究机器学习中的安全和隐私领域，重点探究性会员推断攻击是否会受到对抗性的防御方法的影响，并通过实验验证证明对抗性的防御方法可以增加目标模型的风险。

May, 2019

机器学习模型隐私风险的系统评估

本文研究了机器学习模型的隐私风险和成员推理攻击，提出了一种基于预测熵修改的推理攻击和一个新的隐私风险得分指标，同时对已有的防御机制进行了基准攻击，实验结果表明个体样本的隐私风险得分分布差异很大，同时确定源风险的主要因素与模型敏感性、综合误差和特征嵌入有关系。

Mar, 2020

数据库中的效用 - 隐私权衡问题：一种信息论方法

本文提出了一种信息论框架，以量化保护隐私和提供有用信息之间的平衡，并将此框架应用于分类和数值数据，提供了合适的编码方案和实践价值。

Feb, 2011

数据毒化攻击的认证防御

对使用用户提供数据训练的机器学习系统进行的数据毒化攻击问题进行了探讨，构建了数据异常移除后采用经验风险最小化的防御方法下的攻击损失上限并给出了攻击方法，检验了在 MNIST-1-7，Dogfish 数据集上其防御能力较强，而在 IMDB 情感数据集上加入 3% 的毒化数据可将测试误差从 12% 提升至 23%。

Jun, 2017

机器学习模型增强攻击下的成员推断攻击

通过成员推理攻击作为审核工具，我们提出了一个综合的假设检验框架，不仅能够以一致的方式正式表达先前的工作，还可以设计新的成员推理攻击，使用参考模型来实现任意误报率的显著更高的功率（真正的阳性率），并解释为什么不同的攻击效果不同，并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。

Nov, 2021

基于差分隐私的加权经验风险最小化程序及其在结果加权学习中的应用

将差分隐私应用于加权经验风险最小化，提出了第一个具备严格理论证明的差分隐私加权经验风险最小化算法，并评估了在真实临床试验中的可行性和性能。

Jul, 2023