振荡泄密:微调扩散模型能够放大生成的隐私风险
本文研究了针对敏感数据的扩散模型的成员推理攻击,提出了基于损失和似然的两种攻击方法,并在各种隐私敏感数据相关的数据集上评估了攻击效果和影响攻击性能的因素。此外,还评估了我们攻击方法在差分隐私的扩散模型上的性能。
Jan, 2023
本文研究了图像扩散模型,如DALL-E 2,Imagen和Stable Diffusion,发现它们从训练数据中记忆单个图像并在生成时发射此类图像,总结了此类模型的隐私风险和影响隐私保护培训的新进展。
Jan, 2023
本文研究了基于扩散的生成模型对成员隐私的攻击风险,提出了一种新的黑盒成员隐私攻击方法SecMI,并通过对标准扩散模型和文本-图像扩散模型等不同数据的实验结果展示其高准确性。
Feb, 2023
本文提出了一种针对Diffusion Model的保护图像的方法,通过生成样本特定的扰动噪声使训练数据难以被Diffusion Model学习,以此保护隐私和版权。
Jun, 2023
本文研究生成扩散模型的会员推断攻击,通过提出一种公正的评估框架,发现之前提出的评估机制无法充分了解该问题的有效性,因此揭示了该攻击仍然是大型扩散模型的难点,难以保护相关的隐私和版权问题。
Jun, 2023
该研究介绍了一种新的会员推理攻击方法,针对稳定扩散计算机视觉模型,特别关注了由StabilityAI开发的高度复杂的稳定扩散V2。我们的研究揭示了稳定扩散模型的输出存在的隐私漏洞,利用这些信息,我们设计了一种只需要反复查询受害模型的黑盒会员推理攻击方法。该研究对会员特征进行了多种测量,并讨论了最佳实践。通过ROC AUC方法评估了攻击的有效性,在推断会员信息方面成功率达到60%。该论文对机器学习中的隐私和安全问题做出了贡献,并强调了对会员推理攻击实施强大防御措施的迫切性。我们的研究结果促使重新评估稳定扩散模型的隐私影响,并敦促从业者和开发者采取增强安全措施以防范此类攻击。
Nov, 2023
在此篇文章中,我们提出了一种为私有扩散模型优化参数效率的微调策略,通过减少可训练参数的数量来增强隐私-效用平衡,从而在DP合成方面取得了最先进的性能,在广泛研究的数据集上明显超过了先前的基准(如CelebA-64数据集上的小隐私预算下,仅有0.47M个可训练参数,在先前最先进结果上实现了超过35%的改进)。
Jun, 2024
本研究针对共享模型权重时潜在的隐私泄露问题进行探讨。通过设计变分网络自编码器,研究发现对手可以凭借模型权重重建出与私人图像相似的图像。此外,现有的防御方法均无法有效保护私密数据的隐私而不影响微调模型的实用性。
Sep, 2024