扩散模型的高效差分隐私微调
研究训练以潜在空间作为输入的LDM的方法,与传统的Diffusion Models相比,通过使用预训练的自动编码器将高维像素空间降为低维潜在空间,大大提高了训练效率,并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数,最终的实验结果表明该方法在生成高质量合成图像时表现突出。
May, 2023
本文提出了一种针对Diffusion Model的保护图像的方法,通过生成样本特定的扰动噪声使训练数据难以被Diffusion Model学习,以此保护隐私和版权。
Jun, 2023
基于离散扩散模型的数据生成方法的隐私保护能力在理论上进行了开拓性研究,重点研究了每个数据点的潜在隐私泄露,并通过数据预处理减少离散扩散模型生成的合成数据的隐私风险。同时,实验证实了理论研究结果对合成数据和真实世界数据的适用性。
Oct, 2023
数据隐私保护是研究者们越来越关注的问题之一。扩散模型(DMs),尤其是严格的差分隐私,可以潜在地生成既具有高度隐私性又具有视觉质量的图像。然而,在保护特定数据属性的隐私方面存在挑战,目前的模型在这方面通常表现不佳。为了解决这些挑战,我们引入了PAC隐私保护扩散模型,该模型利用扩散原理并确保可能近似正确(PAC)隐私。我们通过将一个私有分类器引导集成到Langevin采样过程中来增强隐私保护。此外,鉴于测量模型隐私存在的差距,我们开发了一种新的度量标准来衡量隐私水平。我们的模型通过这个新的度量标准进行评估,并通过PAC上界的高斯矩阵计算,在基准测试中显示出优于现有领先的私有生成模型的隐私保护性能。
Dec, 2023
扩散模型存在隐私风险,其中Shake-to-Leak( S2L) 是一种新的风险,通过操纵数据以微调预训练模型,可以增强现有的隐私风险,尤其在扩散模型下还比过去认识的更严重。
Mar, 2024
发展首个具有可证明的隐私保证并能生成高质量图像样本的差分隐私检索增强生成算法,通过在文本提示中引入从私有检索数据集检索的样本,无需在检索数据集上微调,利用先进的生成模型生成高质量图像样本,并提供隐私保证。
Mar, 2024
我们研究了扩散模型在生成高分辨率图像数据方面的应用,使用基于梯度的协作训练方法,我们设计了一种融合优化模型(GIDM),以减小梯度反演攻击的风险,并进一步提出了三重优化模型(GIDM+)来解决隐私保护方面的挑战。通过广泛的评估结果,我们发现共享梯度对于扩散模型的数据保护存在漏洞,即使是高分辨率图像也可以被高质量地重建。
May, 2024
在此篇文章中,我们提出了一种为私有扩散模型优化参数效率的微调策略,通过减少可训练参数的数量来增强隐私-效用平衡,从而在DP合成方面取得了最先进的性能,在广泛研究的数据集上明显超过了先前的基准(如CelebA-64数据集上的小隐私预算下,仅有0.47M个可训练参数,在先前最先进结果上实现了超过35%的改进)。
Jun, 2024
本研究解决了在隐私敏感领域训练生成模型时数据受限的问题。通过引入DP-SAD方法,结合随机对抗蒸馏训练私有扩散模型,显著提高了生成图像的质量。研究表明,该方法有效提升了生成模型的隐私保护和图像质量,具有较大的应用潜力。
Aug, 2024
本研究针对共享模型权重时潜在的隐私泄露问题进行探讨。通过设计变分网络自编码器,研究发现对手可以凭借模型权重重建出与私人图像相似的图像。此外,现有的防御方法均无法有效保护私密数据的隐私而不影响微调模型的实用性。
Sep, 2024