扩散模型是否容易受到成员推断攻击的威胁?
本文研究生成扩散模型的会员推断攻击,通过提出一种公正的评估框架,发现之前提出的评估机制无法充分了解该问题的有效性,因此揭示了该攻击仍然是大型扩散模型的难点,难以保护相关的隐私和版权问题。
Jun, 2023
该研究介绍了一种新的会员推理攻击方法,针对稳定扩散计算机视觉模型,特别关注了由 StabilityAI 开发的高度复杂的稳定扩散 V2。我们的研究揭示了稳定扩散模型的输出存在的隐私漏洞,利用这些信息,我们设计了一种只需要反复查询受害模型的黑盒会员推理攻击方法。该研究对会员特征进行了多种测量,并讨论了最佳实践。通过 ROC AUC 方法评估了攻击的有效性,在推断会员信息方面成功率达到 60%。该论文对机器学习中的隐私和安全问题做出了贡献,并强调了对会员推理攻击实施强大防御措施的迫切性。我们的研究结果促使重新评估稳定扩散模型的隐私影响,并敦促从业者和开发者采取增强安全措施以防范此类攻击。
Nov, 2023
通过仅利用目标生成模型的生成分布和辅助非成员数据集,我们提出了对各种生成模型(如生成对抗网络、变分自编码器、隐式函数和新兴的扩散模型)的第一个广义成员推断攻击,验证了所有生成模型都对我们的攻击易受攻击,我们呼吁设计和发布生成模型时要注意此类隐私泄漏风险。
Oct, 2023
本文研究了针对敏感数据的扩散模型的成员推理攻击,提出了基于损失和似然的两种攻击方法,并在各种隐私敏感数据相关的数据集上评估了攻击效果和影响攻击性能的因素。此外,还评估了我们攻击方法在差分隐私的扩散模型上的性能。
Jan, 2023
利用扩散模型内在的生成先验,提出了一种用于训练成员推断的新方法,通过对图像进行连续退化和恢复的比较,判断其是否属于训练样本,并且在准确性和可理解性等方面优于现有方法。
Mar, 2024
扩散模型具有高质量输出,但容易泄漏训练数据的具体信息,我们提出了成员推断攻击一文,通过量化回归模型预测训练集以外示例的重构损失分布,并使用自定义阈值在重构损失上进行假设检验,最终确定数据点是否属于训练集。我们还提供了简单的引导技术,通过多个弱攻击者的多数成员预测来提高准确性,相较于以往的攻击方法而言,我们的攻击方法计算成本低得多。
Dec, 2023
本文研究了扩散模型在音频生成等任务中的隐私问题,并提出了一种查询式基础的成员推断攻击 (MIA),即近端初始化攻击 (PIA),它利用在 t=0 时初始化的 ε 和预测点得到的 groundtruth 轨迹来推断成员。通过实验结果表明,该方法可以在离散时间和连续时间扩散模型中仅使用两个查询便实现了竞争性能。同时,本研究还首次研究了扩散模型在文本转语音 (TTS) 任务中对成员推断攻击的鲁棒性。实验结果表明,具有 mel-spectrogram 输出的模型容易受到 MIA 攻击,而具有音频输出的模型相对较为鲁棒。
May, 2023
本文研究了会员推断攻击对人群子组的不平等影响,能够识别给定的数据记录是否属于模型的训练数据,并提出了解决方法,包括算法的公平性和差分隐私。通过实验,证明在现实环境中存在明显的不平等影响。
Jun, 2019
本文首次对机器学习中的成员推理攻击及其防御措施进行了全面调查,提供了攻击和防御的分类学及其优缺点,并指出了相关领域的研究限制和未来方向,为研究社区提供了参考。
Mar, 2021