在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。

Jun, 2024

数据隐私保护是研究者们越来越关注的问题之一。扩散模型（DMs），尤其是严格的差分隐私，可以潜在地生成既具有高度隐私性又具有视觉质量的图像。然而，在保护特定数据属性的隐私方面存在挑战，目前的模型在这方面通常表现不佳。为了解决这些挑战，我们引入了 PAC 隐私保护扩散模型，该模型利用扩散原理并确保可能近似正确（PAC）隐私。我们通过将一个私有分类器引导集成到 Langevin 采样过程中来增强隐私保护。此外，鉴于测量模型隐私存在的差距，我们开发了一种新的度量标准来衡量隐私水平。我们的模型通过这个新的度量标准进行评估，并通过 PAC 上界的高斯矩阵计算，在基准测试中显示出优于现有领先的私有生成模型的隐私保护性能。

Dec, 2023

通过对 DDPM 模型进行简单修改，可以在保持高质量样本的同时达到具有竞争力的对数似然值，并学习反向扩散过程的方差，从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能，并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。

Feb, 2021

本文提出了离散去噪扩散概率模型（D3PM），用于离散数据的扩散式生成模型，包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要，且提出的新损失函数在字符级别文本生成上取得了很好的效果。

Jul, 2021

研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

May, 2023

通过实证研究探讨差分隐私参数选择的挑战，揭示了实际数据与重建目标之间领域转变的关系，提出了基于扩散模型的重建攻击方法，并证明了真实数据先验对于重建的影响，现有的重建边界不良模拟了数据先验的风险，并且扩散模型可以作为有效的隐私泄漏审计工具。

Mar, 2024

使用低维适应和差分隐私的参数高效微调扩散模型可生成有用的合成样本，并保证了微调数据的隐私保护。

Jun, 2024

本研究研究以 Rényi 差分隐私为视角的 DP 组合，通过证明一个更简单的复合定理并提供小型常量，从而使其足够实用，以应用于 DP 深度学习中进行在线噪声或批处理大小调整以提高模型准确性，在固定的总隐私损失内以停止微调模型以减少总隐私损失的操作

Mar, 2021

本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

Jan, 2023

我们采用差分隐私的框架研究了敏感数据分析的方法，通过将均匀采样步骤替换为私有分布估计器，我们改进了 Boedihardjo 等人工作的算法，并提供了离散和连续分布的计算保证，适用于多种统计任务。

May, 2024