Nov, 2023

Scale-MIA：一种可扩展的潜在空间重构模型逆推攻击方法，针对安全联邦学习

PDF
TL;DRScale-MIA 是一种新型的模型反演攻击（MIA），能够有效且准确地从聚合更新中恢复客户的训练样本，即使在系统使用强大的安全聚合协议保护下。
federated learningmodel inversion attacksdata privacysecure aggregation protocollatent space representations
发现论文，激发创造
  • 通过自提示校准对精调大型语言模型进行实用的成员推断攻击

    基于自校准概率变异的成员推断攻击（SPV-MIA）提出了一种新的对严格微调但无过拟合和隐私保护的 LLMs 泄露隐私的成员推断攻击方法。

    Nov, 2023

  • 评估联邦学习中的成员推断攻击和防御

    成员推理攻击（MIAs）对联邦学习中的隐私保护构成了日益严重的威胁。本文评估了现有的 MIAs 和相应的防御策略，并提出了使用数据替换作为一种防御策略来实现隐私保护和模型效用之间的最佳平衡。

    Feb, 2024

  • MIA-BAD：增强会员推断攻击及其联邦学习的缓解方法

    本文提出了一种改进的批量生成攻击数据集的增强型会员推断攻击（MIA-BAD）方法，研究了批量生成攻击数据集对 MIA 方法准确性的影响，以及如何通过联邦学习（FL）方法减轻 MIA-BAD 引入的威胁，并通过大量实验展示了 MIA-BAD 方法的定性效果。

    Nov, 2023

  • 在平均值中迷失：一种评估机器学习模型成员推理攻击的新特定设置

    使用权重初始化作为唯一的随机源，我们提出了一种新的、特定的用于对 ML 模型的成员识别攻击（MIAs）进行评估的设置，从而准确评估了与特定数据集训练的模型的发布相关的风险。

    May, 2024

  • 基于学习的难度校准提升成员推断攻击

    通过使用基于学习的困难度校准方法，我们提出了一种新的成员推理攻击（Membership Inference Attacks）方法，以显著提高真正正例率（TPR）在低假正例率（FPR）下的性能。

    Jan, 2024

  • 大型语言模型是否受到成员推断攻击的影响？

    成员推理攻击的大规模评估发现在多种设置中，大型语言模型的预训练数据上的成员推理攻击表现较差，主要原因是庞大数据集和较少训练迭代之间的结合，以及成员和非成员之间存在模糊的边界。我们识别出特定的设置，这些设置中语言模型易受成员推理攻击影响，并证明这种成功可以归因于分布变化，例如成员和非成员从看似相同的领域，但具有不同的时间范围。我们提供了代码和数据，形成了一个统一的基准测试套件，包括所有现有的成员推理攻击方案，以支持未来的研究工作。

    Feb, 2024

  • 成员推断攻击的数据和模型依赖性

    该论文分析了成员推理攻击的成功因素，发现数据集和训练模型的多个属性共同影响攻击成功率，提出使用这些属性作为正则化器以保护机器学习模型免受攻击。经实验证明，该方法可将攻击准确率降低多达 25％，而不影响机器学习模型的预测效果。

    Feb, 2020

  • 通过动态记忆学习的模型逆推攻击

    提出了一种新颖的动态记忆模型逆向攻击（DMMIA），它利用历史学习的知识与样本交互来诱导多样性生成，并通过构建两种类型的原型（被称为 Intra-class Multicentric Representation 和 Inter-class Discriminative Representation）注入关于历史学习知识的信息，从而获得更具多样性和区分性的生成结果。实验证明，DMMIA 攻击方法优于现有的模型逆向攻击方法。

    Aug, 2023

  • 不确定性、校准和成员推断攻击：信息论视角

    模拟结果表明，会员推理攻击的效果可以很好地通过得出的分析边界进行预测。

    Feb, 2024

  • 黑盒解密：基于置信度的模型反演攻击与分布转移

    本文提出了一种称为 CG-MI 的置信度引导模型反演攻击方法，利用预训练的可公开获取的生成对抗网络（GAN）的潜在空间作为先验信息和无梯度优化器，在不同数据分布的黑盒设置中实现了高分辨率的模型反演攻击。实验证明，我们的方法在 Celeba 和 Facescrub 的不同分布设置中，比 SOTA 黑盒 MIA 的攻击效果提高了超过 49％和 58％。此外，我们的方法能够生成与白盒攻击产生的质量相当的高质量图像。我们的方法为黑盒模型反演攻击提供了实用而有效的解决方案。

    Feb, 2024