自信过度是一件危险的事：通过强制执行不那么自信的预测来减轻成员推理攻击

Jul, 2023

自信过度是一件危险的事：通过强制执行不那么自信的预测来减轻成员推理攻击

Overconfidence is a Dangerous Thing: Mitigating Membership Inference Attacks by Enforcing Less Confident Prediction

Zitao Chen, Karthik Pattabiraman

TL;DR本文提出了一种名为HAMP的新型防御技术，其通过高熵软标签和熵基正则化等手段，实现了在不需要额外数据的情况下，同时实现强大的成员隐私和高准确度。同时，作者也对该技术在五个基准数据集上进行了广泛的评估，证明了其能够提供一致的高准确率和强大的成员隐私。

Abstract

machine learning (ML) models are vulnerable to membership inference attacks (MIAs), which determine whether a given input is used for training the target model. While there have been many efforts to mitigate MIAs

发现论文，激发创造

使用对抗正则化的成员隐私机器学习

介绍了一种隐私机制，用于训练机器学习模型以保证隐私，并使用敌对训练算法最小化模型的分类损失和最大的成员推断攻击，从而提高模型的鲁棒性和泛化性能，该机制在深度神经网络上的测试结果表明，可以在可接受的分类误差下显著降低成员推断攻击的风险。

Jul, 2018

机器学习模型隐私风险的系统评估

本文研究了机器学习模型的隐私风险和成员推理攻击，提出了一种基于预测熵修改的推理攻击和一个新的隐私风险得分指标，同时对已有的防御机制进行了基准攻击，实验结果表明个体样本的隐私风险得分分布差异很大，同时确定源风险的主要因素与模型敏感性、综合误差和特征嵌入有关系。

Mar, 2020

关于正则化对抗隶属推断攻击的有效性

探索深度学习模型对隐私泄露的影响及规避方法，并评估不同正则化机制对防御成员推理攻击的有效性与隐私保护性。

Jun, 2020

采样攻击：通过重复查询放大成员推断攻击

该研究关注于机器学习模型中有关成员推断攻击的问题，并提出了一种新的会员推断技术——抽样攻击，进一步研究了两种最近的攻击模型以及针对这些攻击的防御方法，最终发现在预测输出时的输出微扰技术是一种简单易行的隐私保护方法，对预测结果的影响较小。

Sep, 2020

一种新的集成架构通过自蒸馏来缓解成员推断攻击

该论文提出了一个名为SELENA的隐私保护机器学习模型训练框架，其中包括Split-AI和Self-Distillation两个主要组件，通过对训练数据进行随机切分和数据自蒸馏处理的方式抵御针对成员隐私泄漏的攻击。实验证明，SELENA相对于目前现有的技术有更好的成员隐私保证及模型精度表现的平衡。

Oct, 2021

LTU攻击用于会员推理

本文针对在训练器和训练模型公开发布的情况下对预测模型，如机器学习分类器进行成员推理攻击的问题，提出一种新颖的防御性机制，包括预防过拟合和加入一定的随机性。通过QMNIST和CIFAR-10数据集的实验证实了本文的理论结果。

Feb, 2022

分割：使用扩散模型保护击剑会员隐私

通过引入生成模型，我们提出了一种新颖的防御框架来保护深度学习模型免受成员推断攻击，其中我们的防御方法在输入样本上工作，不需要修改目标模型的训练或推理阶段，从而在隐私性和模型效用之间取得新的最佳表现。

Dec, 2023

凸凹损失函数降低会员推断的隐私风险

机器学习模型在隶属推断攻击中容易受到攻击，本论文提出了一种新方法——凸-凹损失，使得训练损失的分布具有很高的方差，增强对隶属推断攻击的防御能力，并取得了在隐私-效用权衡方面的最佳平衡。

Feb, 2024

深度学习的实际成员隐私理解

我们应用最先进的成员推理攻击方法，系统地测试了对大型图像分类模型进行微调时的实际隐私漏洞，重点在于了解使其易受成员推理攻击的数据集和样本的特性。就数据集的特性而言，我们发现数据集中每个类别的示例数量与成员推理攻击的脆弱性之间存在强烈的幂律依赖性，通过攻击的真阳率在低假阳率下衡量。对于单个样本来说，在训练结束时较大的梯度与成员推理攻击的脆弱性存在强相关性。

Feb, 2024

深度学习模型中实施成员推断攻击的方法

现代机器学习（ML）生态系统提供了大量的ML框架和代码库，可以极大地促进ML模型的开发。本研究考虑了恶意ML提供者供应模型训练代码给数据持有者的情况，该提供者无法访问训练过程，只能以黑盒查询方式访问结果模型。我们展示了一种新形式的成员推断攻击，比以往的攻击更强大，使对手能够可靠地取消识别所有训练样本，并且被攻击的模型仍然保持与未受损对照模型相当的性能。此外，我们还展示了被污染的模型可以在常见的成员隐私审核下有效伪装被放大的成员泄漏，只有对手知道的一组秘密样本才能揭示。总体而言，我们的研究不仅指出了最坏情况下的成员隐私泄漏，还揭示了现有隐私审核方法的一个常见问题，需要未来努力重新思考机器学习模型中的隐私审核实践。

Jul, 2024