Jun, 2023

高斯会员推理隐私

PDF
TL;DR本文通过提出一种新的隐私概念，以及对噪声随机梯度下降 (Stochastic Gradient Descent) 下的可能性比率进行的成员推断攻击的理论分析，建立了一组 $f$-Membership Inference Privacy ($f$-MIP) 保障。此分析还提出了一种用于检查提供的隐私保护的方法，同时还强调控制攻击者在可靠地推断给定点是否属于训练集时，批大小、模型参数数量和数据特征等各种因素的重要性。
发现论文，激发创造
  • 自适应采样高斯机制的最优成员推断界限

    该论文通过利用差分隐私（DP）进行模型训练，探索模型曾经训练过的数据样本是否存在于模型中。该方法提出了具有实际强度的适用于广泛使用的高斯机制，并提供了一种新的关于弱隐私保护下成员推断攻击的理论界的计算方法。作者在 CIFAR10 数据集上的实验表明，该方法具有领先于最佳的成员推断界。

    Apr, 2022

  • 生成分布对生成模型的成员推断攻击足够

    通过仅利用目标生成模型的生成分布和辅助非成员数据集，我们提出了对各种生成模型（如生成对抗网络、变分自编码器、隐式函数和新兴的扩散模型）的第一个广义成员推断攻击，验证了所有生成模型都对我们的攻击易受攻击，我们呼吁设计和发布生成模型时要注意此类隐私泄漏风险。

    Oct, 2023

  • 探究数据依赖下的成员推断攻击

    本文研究了在考虑统计依赖性的情况下，Differentially Private 训练算法在 Membership Inference Attack 防御中的可行性，发现在存在依赖性的情况下，DP 无法提供有效保护。作者通过对离线对攻击的实验表明，数据样本之间的依赖关系严重影响了 Membership Inference Attack 的性能表现。

    Oct, 2020

  • 机器学习模型增强攻击下的成员推断攻击

    通过成员推理攻击作为审核工具，我们提出了一个综合的假设检验框架，不仅能够以一致的方式正式表达先前的工作，还可以设计新的成员推理攻击，使用参考模型来实现任意误报率的显著更高的功率（真正的阳性率），并解释为什么不同的攻击效果不同，并最小化攻击不确定性到数据点的存在或缺失的一个比特秘密。

    Nov, 2021

  • 通过差异度获得更好的成员推理隐私测量

    这篇论文提出了一种基于差异理论的新的经验隐私度量方法，作为一种对成员推断攻击族群的优势的上限，不需要训练多个模型，可用于大规模的 Imagenet 分类模型，并在最近和更复杂的训练方法中具有更高的优势。

    May, 2024

  • 嘈杂邻居：针对 LLMs 的高效成员推断攻击

    该研究论文介绍了一种高效的方法，通过在嵌入空间中添加随机噪声，在推理模式下操作目标模型，生成目标样本的 “噪声邻居”，以评估 LLMs 的隐私风险。研究结果表明，该方法与使用影子模型的效果相近，展示了它在实际隐私审计场景中的可用性。

    Jun, 2024

  • 使用对抗正则化的成员隐私机器学习

    介绍了一种隐私机制，用于训练机器学习模型以保证隐私，并使用敌对训练算法最小化模型的分类损失和最大的成员推断攻击，从而提高模型的鲁棒性和泛化性能，该机制在深度神经网络上的测试结果表明，可以在可接受的分类误差下显著降低成员推断攻击的风险。

    Jul, 2018

  • 深度学习的实际成员隐私理解

    我们应用最先进的成员推理攻击方法，系统地测试了对大型图像分类模型进行微调时的实际隐私漏洞，重点在于了解使其易受成员推理攻击的数据集和样本的特性。就数据集的特性而言，我们发现数据集中每个类别的示例数量与成员推理攻击的脆弱性之间存在强烈的幂律依赖性，通过攻击的真阳率在低假阳率下衡量。对于单个样本来说，在训练结束时较大的梯度与成员推理攻击的脆弱性存在强相关性。

    Feb, 2024

  • 通过知识转移确保机器学习模型的会员隐私

    提出了一种新的防御称为 “用于成员隐私的蒸馏（DMP）”，该方法可以提供比其他现有防御更好的成员隐私和分类准确性之间的权衡，使用蒸馏技术训练机器学习模型，从而避免成员推理攻击。

    Jun, 2019

  • 通过自提示校准对精调大型语言模型进行实用的成员推断攻击

    基于自校准概率变异的成员推断攻击（SPV-MIA）提出了一种新的对严格微调但无过拟合和隐私保护的 LLMs 泄露隐私的成员推断攻击方法。

    Nov, 2023