扩散模型的视觉隐私审计
在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。
Jun, 2024
数据隐私保护是研究者们越来越关注的问题之一。扩散模型（DMs），尤其是严格的差分隐私，可以潜在地生成既具有高度隐私性又具有视觉质量的图像。然而，在保护特定数据属性的隐私方面存在挑战，目前的模型在这方面通常表现不佳。为了解决这些挑战，我们引入了 PAC 隐私保护扩散模型，该模型利用扩散原理并确保可能近似正确（PAC）隐私。我们通过将一个私有分类器引导集成到 Langevin 采样过程中来增强隐私保护。此外，鉴于测量模型隐私存在的差距，我们开发了一种新的度量标准来衡量隐私水平。我们的模型通过这个新的度量标准进行评估，并通过 PAC 上界的高斯矩阵计算，在基准测试中显示出优于现有领先的私有生成模型的隐私保护性能。
Dec, 2023
研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。
May, 2023
本文研究重建攻击和隐私保护，通过实验表明较大的隐私预算不能保护模型的成员推断，但可以保护好非常罕见的秘密，并提出一种相同机制的更好的重建攻击隐私保证。
Feb, 2022
发展首个具有可证明的隐私保证并能生成高质量图像样本的差分隐私检索增强生成算法，通过在文本提示中引入从私有检索数据集检索的样本，无需在检索数据集上微调，利用先进的生成模型生成高质量图像样本，并提供隐私保证。
Mar, 2024
通过扩散模型并利用梯度指导的微调方法，我们提出了一种新的重建攻击方法，可通过泄露的梯度从图像处理系统中窃取私密的高分辨率图像。实验结果表明，我们的攻击方法能够成功恢复和窃取分辨率高达 512 x 512 像素的图像。此外，我们的攻击方法在图像重建的像素级准确性和时间效率方面明显优于其他攻击基准方法，并在一定程度上使差分隐私失效。
Jun, 2024
该研究提出利用预训练扩散模型生成目标类别的数据点的方法，突破先前攻击者需要准确的先验目标分布的限制，以此发动神经网络模型逆推攻击的严重性。
Jan, 2023
人工智能模型对其训练数据的信息泄漏存在漏洞，而隐私增强技术，如差分隐私，旨在规避这些弱点。通过设置可量化的隐私预算，差分隐私为训练模型提供最强大的保护，同时限制推断训练样本的风险或重建原始数据的风险。本研究对比了在不同隐私预算下人工智能模型的性能与理论风险界限和重建攻击的实证成功。研究结果表明，使用很大的隐私预算可以防止重建攻击，而性能下降微不足道。因此，我们得出结论，在处理敏感数据时，完全不使用差分隐私是不负责任的，并为隐私风险和模型性能之间的平衡找到了基础，为进一步的讨论奠定了基础。
Dec, 2023
通过评估数据的统计相似性来衡量隐私是不可靠和不一致的，而生成模型只应以差分隐私为标准以保护数据隐私。本文针对领先公司提供的隐私度量指标进行分析，揭示了一些关键的推理缺陷，并提出了成功恢复生成模型中绝大部分用于训练的异常记录的重构攻击 ReconSyn。研究表明，仅将差分隐私应用于模型或使用低效的生成器不能减轻 ReconSyn 对隐私的泄露风险，因为泄露主要来自于度量指标。总体而言，我们的工作提醒从业人员不要偏离既定的隐私保护机制。
Dec, 2023