MMAug, 2019

关于推断机器学习模型中的训练数据属性

PDF
TL;DR机器学习模型的 API 访问泄漏了训练数据集记录的信息。该文证明：成员推断攻击 (MIA) 可能足以构建更强的属性推断攻击 (AIA)，但 MIA 可能不足以建立成功的 AIA，并提出了松散的 AIA 概念，其目标是仅近似猜测缺失属性。
machine learning modelsmembership inference attacksattribute inference attacksdataset recordstraining records
发现论文，激发创造
  • 理解对泛化良好的学习模型的成员推断

    通过发现训练实例可能对模型造成的独特影响，我们发现过度拟合是 Membership Inference Attack（MIA）成功的一个必要条件而不是充分条件，提出了一种新的 generalized MIA（GMIA）及其用于攻击机器学习模型中存在的脆弱示例的技术，结果显示现有的泛化技术无法有效保护这些脆弱示例。

    Feb, 2018

  • 机器学习模型属性推理攻击的 (不) 可行性

    本文研究了在使用机器学习模型提供服务时出现的数据隐私问题，尤其是会员推理攻击和属性推理攻击，并发现基于成员推理攻击的模型很少容易受到属性推理攻击，但是基于近似属性推理的攻击可以获取接近真实属性的结果。

    Mar, 2021

  • 机器学习模型隐私成员推断攻击的基本限制

    会员推断攻击可以揭示出某个特定数据点是否属于训练数据集，并潜在地暴露个人敏感信息。本文探讨了与机器学习模型上的会员推断攻击相关的基本统计限制。具体而言，我们首先推导了统治这类攻击的有效性与成功的统计量。然后，我们研究了几种情况，并提供了对这个感兴趣的统计量的上下界。这使得我们能够推导出攻击的准确性与样本数量以及学习模型的其他结构参数之间的关系，在某些情况下，这些参数可以直接根据数据集进行估计。

    Oct, 2023

  • 成员推断攻击的数据和模型依赖性

    该论文分析了成员推理攻击的成功因素，发现数据集和训练模型的多个属性共同影响攻击成功率，提出使用这些属性作为正则化器以保护机器学习模型免受攻击。经实验证明，该方法可将攻击准确率降低多达 25％，而不影响机器学习模型的预测效果。

    Feb, 2020

  • 机器学习中的成员推断攻击：一项调查

    本文首次对机器学习中的成员推理攻击及其防御措施进行了全面调查，提供了攻击和防御的分类学及其优缺点，并指出了相关领域的研究限制和未来方向，为研究社区提供了参考。

    Mar, 2021

  • 探究数据依赖下的成员推断攻击

    本文研究了在考虑统计依赖性的情况下，Differentially Private 训练算法在 Membership Inference Attack 防御中的可行性，发现在存在依赖性的情况下，DP 无法提供有效保护。作者通过对离线对攻击的实验表明，数据样本之间的依赖关系严重影响了 Membership Inference Attack 的性能表现。

    Oct, 2020

  • 关于多重成员推断攻击和目标模型的数据点漏洞

    本文通过定义新的指标来反映数据点在多重成员推断攻击下的脆弱性，从而捕捉多次攻击和不同目标模型下的脆弱数据点。作者运用可扩展性和灵活性的会员推断攻击平台 (VMIAP) 实现 54 次成员推断攻击，发现攻击模型对某些数据点情有独钟，同时发现数据点的脆弱性与攻击模型和目标模型有关。

    Oct, 2022

  • 在平均值中迷失：一种评估机器学习模型成员推理攻击的新特定设置

    使用权重初始化作为唯一的随机源，我们提出了一种新的、特定的用于对 ML 模型的成员识别攻击（MIAs）进行评估的设置，从而准确评估了与特定数据集训练的模型的发布相关的风险。

    May, 2024

  • 不确定性、校准和成员推断攻击：信息论视角

    模拟结果表明，会员推理攻击的效果可以很好地通过得出的分析边界进行预测。

    Feb, 2024

  • 为什么要训练更多？通过记忆进行有效和高效的成员推断

    该研究通过选择具有高记忆得分的样本，旨在最大化攻击成功的同时，将阴影模型的数量减少近两个数量级，并且通过了全面的实验验证。

    Oct, 2023