课程学习中的隐私风险综合研究

Oct, 2023

A Comprehensive Study of Privacy Risks in Curriculum Learning

Joann Qiongna Chen, Xinlei He, Zheng Li, Yang Zhang, Zhou Li

TL;DR通过演示对课程学习的影响，我们的研究填补了对机器学习隐私泄露的缺乏评估。我们发现，课程学习对会员推理攻击更加有效，但对属性推理攻击的影响较小。我们还提出了一种新的会员推理攻击方法以及针对课程学习的防御解决方案。

Abstract

Training a machine learning model with data following a meaningful order, i.e., from easy to hard, has been proven to be effective in accelerating the training process and achieving better model performance. The key enabling technique is curriculum learning (CL), which has seen great s

curriculum learning privacy membership inference attack attribute inference attack defense techniques

发现论文，激发创造

关于正则化对抗隶属推断攻击的有效性

探索深度学习模型对隐私泄露的影响及规避方法，并评估不同正则化机制对防御成员推理攻击的有效性与隐私保护性。

Jun, 2020

基于学习的难度校准提升成员推断攻击

通过使用基于学习的困难度校准方法，我们提出了一种新的成员推理攻击（Membership Inference Attacks）方法，以显著提高真正正例率（TPR）在低假正例率（FPR）下的性能。

Jan, 2024

深度学习的实际成员隐私理解

我们应用最先进的成员推理攻击方法，系统地测试了对大型图像分类模型进行微调时的实际隐私漏洞，重点在于了解使其易受成员推理攻击的数据集和样本的特性。就数据集的特性而言，我们发现数据集中每个类别的示例数量与成员推理攻击的脆弱性之间存在强烈的幂律依赖性，通过攻击的真阳率在低假阳率下衡量。对于单个样本来说，在训练结束时较大的梯度与成员推理攻击的脆弱性存在强相关性。

Feb, 2024

不确定性、校准和成员推断攻击：信息论视角

模拟结果表明，会员推理攻击的效果可以很好地通过得出的分析边界进行预测。

Feb, 2024

对比学习的隐私风险量化与减轻

本文针对对比度学习的隐私问题进行了首次隐私分析，实验结果表明，相对于监督学习模型，对比学习模型更易受到属性推断攻击，但其会导致的成员推断攻击风险较小。为解决这一问题，提出了一种新的隐私保护对比度学习机制 Talos，通过对抗式训练成功地缓解了属性推断威胁，同时保持了其成员隐私和模型效用。

Feb, 2021

探究数据依赖下的成员推断攻击

本文研究了在考虑统计依赖性的情况下，Differentially Private 训练算法在 Membership Inference Attack 防御中的可行性，发现在存在依赖性的情况下，DP 无法提供有效保护。作者通过对离线对攻击的实验表明，数据样本之间的依赖关系严重影响了 Membership Inference Attack 的性能表现。

Oct, 2020

机器学习中的成员推断攻击：一项调查

本文首次对机器学习中的成员推理攻击及其防御措施进行了全面调查，提供了攻击和防御的分类学及其优缺点，并指出了相关领域的研究限制和未来方向，为研究社区提供了参考。

Mar, 2021

凸凹损失函数降低会员推断的隐私风险

机器学习模型在隶属推断攻击中容易受到攻击，本论文提出了一种新方法 —— 凸 - 凹损失，使得训练损失的分布具有很高的方差，增强对隶属推断攻击的防御能力，并取得了在隐私 - 效用权衡方面的最佳平衡。

Feb, 2024

通过自提示校准对精调大型语言模型进行实用的成员推断攻击

基于自校准概率变异的成员推断攻击（SPV-MIA）提出了一种新的对严格微调但无过拟合和隐私保护的 LLMs 泄露隐私的成员推断攻击方法。

Nov, 2023

成员推断攻击的数据和模型依赖性

该论文分析了成员推理攻击的成功因素，发现数据集和训练模型的多个属性共同影响攻击成功率，提出使用这些属性作为正则化器以保护机器学习模型免受攻击。经实验证明，该方法可将攻击准确率降低多达 25％，而不影响机器学习模型的预测效果。

Feb, 2020