隐私蒸馏:降低多模态扩散模型的再识别风险
本文研究了图像扩散模型,如DALL-E 2,Imagen和Stable Diffusion,发现它们从训练数据中记忆单个图像并在生成时发射此类图像,总结了此类模型的隐私风险和影响隐私保护培训的新进展。
Jan, 2023
本文探讨了使用具有随机性生成模型的方法来实现隐私保护数据生成,通过将深度模型的连续模数限制在适当的范围内以获得隐私保护,并实验证明了其有效性。
Apr, 2023
基于离散扩散模型的数据生成方法的隐私保护能力在理论上进行了开拓性研究,重点研究了每个数据点的潜在隐私泄露,并通过数据预处理减少离散扩散模型生成的合成数据的隐私风险。同时,实验证实了理论研究结果对合成数据和真实世界数据的适用性。
Oct, 2023
数据隐私保护是研究者们越来越关注的问题之一。扩散模型(DMs),尤其是严格的差分隐私,可以潜在地生成既具有高度隐私性又具有视觉质量的图像。然而,在保护特定数据属性的隐私方面存在挑战,目前的模型在这方面通常表现不佳。为了解决这些挑战,我们引入了PAC隐私保护扩散模型,该模型利用扩散原理并确保可能近似正确(PAC)隐私。我们通过将一个私有分类器引导集成到Langevin采样过程中来增强隐私保护。此外,鉴于测量模型隐私存在的差距,我们开发了一种新的度量标准来衡量隐私水平。我们的模型通过这个新的度量标准进行评估,并通过PAC上界的高斯矩阵计算,在基准测试中显示出优于现有领先的私有生成模型的隐私保护性能。
Dec, 2023
合成数据和生成模型在隐私保护的数据共享解决方案中迅速崛起,并通过在表格综合机上实施全面的实证分析,突出了五种最先进表格综合机的实用-隐私权衡,提出了一个新的差分隐私表格潜在扩散模型,称为DP-TLDM,能够在保持可比较的隐私风险水平的同时,显著提高合成数据的实用性。
Mar, 2024
利用扩散模型内在的生成先验,提出了一种用于训练成员推断的新方法,通过对图像进行连续退化和恢复的比较,判断其是否属于训练样本,并且在准确性和可理解性等方面优于现有方法。
Mar, 2024
扩散模型存在隐私风险,其中Shake-to-Leak( S2L) 是一种新的风险,通过操纵数据以微调预训练模型,可以增强现有的隐私风险,尤其在扩散模型下还比过去认识的更严重。
Mar, 2024
在此篇文章中,我们提出了一种为私有扩散模型优化参数效率的微调策略,通过减少可训练参数的数量来增强隐私-效用平衡,从而在DP合成方面取得了最先进的性能,在广泛研究的数据集上明显超过了先前的基准(如CelebA-64数据集上的小隐私预算下,仅有0.47M个可训练参数,在先前最先进结果上实现了超过35%的改进)。
Jun, 2024
本研究解决了在隐私敏感领域训练生成模型时数据受限的问题。通过引入DP-SAD方法,结合随机对抗蒸馏训练私有扩散模型,显著提高了生成图像的质量。研究表明,该方法有效提升了生成模型的隐私保护和图像质量,具有较大的应用潜力。
Aug, 2024
本研究解决了在实际应用中深度模型可能造成的隐私泄露问题,提出了一种判别生成蒸馏方法以学习隐私保护的深度模型。该方法通过利用私人数据精炼知识并转移到学生网络,有效平衡了高效用与强隐私之间的关系,实验结果表明该方法在隐私保护和准确性保持方面均表现出色。
Sep, 2024