Nov, 2023

稳定扩散模型中的隐私威胁

PDF
TL;DR该研究介绍了一种新的会员推理攻击方法，针对稳定扩散计算机视觉模型，特别关注了由 StabilityAI 开发的高度复杂的稳定扩散 V2。我们的研究揭示了稳定扩散模型的输出存在的隐私漏洞，利用这些信息，我们设计了一种只需要反复查询受害模型的黑盒会员推理攻击方法。该研究对会员特征进行了多种测量，并讨论了最佳实践。通过 ROC AUC 方法评估了攻击的有效性，在推断会员信息方面成功率达到 60％。该论文对机器学习中的隐私和安全问题做出了贡献，并强调了对会员推理攻击实施强大防御措施的迫切性。我们的研究结果促使重新评估稳定扩散模型的隐私影响，并敦促从业者和开发者采取增强安全措施以防范此类攻击。
membership inference attacksstable diffusion modelsprivacy vulnerabilitiesblack-box miaprivacy and security in machine learning
发现论文，激发创造
  • 针对大规模扩散模型的更真实成员推断攻击

    本文研究生成扩散模型的会员推断攻击，通过提出一种公正的评估框架，发现之前提出的评估机制无法充分了解该问题的有效性，因此揭示了该攻击仍然是大型扩散模型的难点，难以保护相关的隐私和版权问题。

    Jun, 2023

  • 扩散模型是否容易受到成员推断攻击的威胁？

    本文研究了基于扩散的生成模型对成员隐私的攻击风险，提出了一种新的黑盒成员隐私攻击方法 SecMI，并通过对标准扩散模型和文本 - 图像扩散模型等不同数据的实验结果展示其高准确性。

    Feb, 2023

  • 面向扩散模型的黑盒成员推断攻击

    通过黑盒成员推断攻击方法，在不需要访问模型的内部 U-net 的情况下，构建了一个 DALL-E 生成的数据集进行全面评估，实验结果优于以前的研究。

    May, 2024

  • 扩散模型的成员推断

    本文研究了针对敏感数据的扩散模型的成员推理攻击，提出了基于损失和似然的两种攻击方法，并在各种隐私敏感数据相关的数据集上评估了攻击效果和影响攻击性能的因素。此外，还评估了我们攻击方法在差分隐私的扩散模型上的性能。

    Jan, 2023

  • 通过近端初始化实现扩散模型的高效成员推断攻击

    本文研究了扩散模型在音频生成等任务中的隐私问题，并提出了一种查询式基础的成员推断攻击 (MIA)，即近端初始化攻击 (PIA)，它利用在 t=0 时初始化的 ε 和预测点得到的 groundtruth 轨迹来推断成员。通过实验结果表明，该方法可以在离散时间和连续时间扩散模型中仅使用两个查询便实现了竞争性能。同时，本研究还首次研究了扩散模型在文本转语音 (TTS) 任务中对成员推断攻击的鲁棒性。实验结果表明，具有 mel-spectrogram 输出的模型容易受到 MIA 攻击，而具有音频输出的模型相对较为鲁棒。

    May, 2023

  • 通过分位数回归对扩散模型进行的成员推断攻击

    扩散模型具有高质量输出，但容易泄漏训练数据的具体信息，我们提出了成员推断攻击一文，通过量化回归模型预测训练集以外示例的重构损失分布，并使用自定义阈值在重构损失上进行假设检验，最终确定数据点是否属于训练集。我们还提供了简单的引导技术，通过多个弱攻击者的多数成员预测来提高准确性，相较于以往的攻击方法而言，我们的攻击方法计算成本低得多。

    Dec, 2023

  • 生成分布对生成模型的成员推断攻击足够

    通过仅利用目标生成模型的生成分布和辅助非成员数据集，我们提出了对各种生成模型（如生成对抗网络、变分自编码器、隐式函数和新兴的扩散模型）的第一个广义成员推断攻击，验证了所有生成模型都对我们的攻击易受攻击，我们呼吁设计和发布生成模型时要注意此类隐私泄漏风险。

    Oct, 2023

  • 深度学习的实际成员隐私理解

    我们应用最先进的成员推理攻击方法，系统地测试了对大型图像分类模型进行微调时的实际隐私漏洞，重点在于了解使其易受成员推理攻击的数据集和样本的特性。就数据集的特性而言，我们发现数据集中每个类别的示例数量与成员推理攻击的脆弱性之间存在强烈的幂律依赖性，通过攻击的真阳率在低假阳率下衡量。对于单个样本来说，在训练结束时较大的梯度与成员推理攻击的脆弱性存在强相关性。

    Feb, 2024

  • 成员推断攻击的不同脆弱性

    本文研究了会员推断攻击对人群子组的不平等影响，能够识别给定的数据记录是否属于模型的训练数据，并提出了解决方法，包括算法的公平性和差分隐私。通过实验，证明在现实环境中存在明显的不平等影响。

    Jun, 2019

  • 一次难以防御的攻击：通过条件扩散模型实现仅凭标签进行的模型推断

    本文提出了在标签黑盒情况下使用条件扩散模型的新型 MIA 方法，可以在不需要额外优化的情况下恢复目标的精确样本，并将 Learned Perceptual Image Patch Similarity 作为评估度量之一进行系统定量和定性评估，实验证明，该方法可以在标签黑盒情况下生成与目标相似且准确的数据，并且优于先前方法的生成器

    Jul, 2023