May, 2023

通过近端初始化实现扩散模型的高效成员推断攻击

PDF
TL;DR本文研究了扩散模型在音频生成等任务中的隐私问题，并提出了一种查询式基础的成员推断攻击 (MIA)，即近端初始化攻击 (PIA)，它利用在 t=0 时初始化的 ε 和预测点得到的 groundtruth 轨迹来推断成员。通过实验结果表明，该方法可以在离散时间和连续时间扩散模型中仅使用两个查询便实现了竞争性能。同时，本研究还首次研究了扩散模型在文本转语音 (TTS) 任务中对成员推断攻击的鲁棒性。实验结果表明，具有 mel-spectrogram 输出的模型容易受到 MIA 攻击，而具有音频输出的模型相对较为鲁棒。
发现论文，激发创造
  • 稳定扩散模型中的隐私威胁

    该研究介绍了一种新的会员推理攻击方法，针对稳定扩散计算机视觉模型，特别关注了由 StabilityAI 开发的高度复杂的稳定扩散 V2。我们的研究揭示了稳定扩散模型的输出存在的隐私漏洞，利用这些信息，我们设计了一种只需要反复查询受害模型的黑盒会员推理攻击方法。该研究对会员特征进行了多种测量，并讨论了最佳实践。通过 ROC AUC 方法评估了攻击的有效性，在推断会员信息方面成功率达到 60％。该论文对机器学习中的隐私和安全问题做出了贡献，并强调了对会员推理攻击实施强大防御措施的迫切性。我们的研究结果促使重新评估稳定扩散模型的隐私影响，并敦促从业者和开发者采取增强安全措施以防范此类攻击。

    Nov, 2023

  • 扩散模型是否容易受到成员推断攻击的威胁？

    本文研究了基于扩散的生成模型对成员隐私的攻击风险，提出了一种新的黑盒成员隐私攻击方法 SecMI，并通过对标准扩散模型和文本 - 图像扩散模型等不同数据的实验结果展示其高准确性。

    Feb, 2023

  • 面向扩散模型的黑盒成员推断攻击

    通过黑盒成员推断攻击方法，在不需要访问模型的内部 U-net 的情况下，构建了一个 DALL-E 生成的数据集进行全面评估，实验结果优于以前的研究。

    May, 2024

  • 基于概率波动的生成模型成员推断攻击

    我们提出了一种概率波动评估成员推理攻击（PFAMI），通过分析给定记录周围的整体概率波动趋势来检测这些趋势，从而推断成员身份的黑盒式攻击，实验证明 PFAMI 相对于最佳基线可以提高攻击成功率（ASR）约 27.9%。

    Aug, 2023

  • 生成分布对生成模型的成员推断攻击足够

    通过仅利用目标生成模型的生成分布和辅助非成员数据集，我们提出了对各种生成模型（如生成对抗网络、变分自编码器、隐式函数和新兴的扩散模型）的第一个广义成员推断攻击，验证了所有生成模型都对我们的攻击易受攻击，我们呼吁设计和发布生成模型时要注意此类隐私泄漏风险。

    Oct, 2023

  • 通过自提示校准对精调大型语言模型进行实用的成员推断攻击

    基于自校准概率变异的成员推断攻击（SPV-MIA）提出了一种新的对严格微调但无过拟合和隐私保护的 LLMs 泄露隐私的成员推断攻击方法。

    Nov, 2023

  • 扩散模型的成员推断

    本文研究了针对敏感数据的扩散模型的成员推理攻击，提出了基于损失和似然的两种攻击方法，并在各种隐私敏感数据相关的数据集上评估了攻击效果和影响攻击性能的因素。此外，还评估了我们攻击方法在差分隐私的扩散模型上的性能。

    Jan, 2023

  • 通过分位数回归对扩散模型进行的成员推断攻击

    扩散模型具有高质量输出，但容易泄漏训练数据的具体信息，我们提出了成员推断攻击一文，通过量化回归模型预测训练集以外示例的重构损失分布，并使用自定义阈值在重构损失上进行假设检验，最终确定数据点是否属于训练集。我们还提供了简单的引导技术，通过多个弱攻击者的多数成员预测来提高准确性，相较于以往的攻击方法而言，我们的攻击方法计算成本低得多。

    Dec, 2023

  • 大规模多模型实用成员推理攻击：一个试点研究

    利用余弦相似度阈值和弱监督攻击方法，对多模式模型进行成员推断攻击，研究表明 CLIP 模型容易受到攻击，而弱监督攻击方法在低误报率下平均性能提高 17%，至少比基准方法有效率提高 7 倍。

    Sep, 2023

  • 不确定性、校准和成员推断攻击：信息论视角

    模拟结果表明，会员推理攻击的效果可以很好地通过得出的分析边界进行预测。

    Feb, 2024