May, 2023

差分隐私潜在扩散模型

PDF
TL;DR研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。
diffusion modelslatent diffusion modelsdifferential privacyhigh-quality image datasetsautoencoders
发现论文，激发创造
  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 扩散模型的差分隐私微调

    在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。

    Jun, 2024

  • 扩散模型的高效差分隐私微调

    使用低维适应和差分隐私的参数高效微调扩散模型可生成有用的合成样本，并保证了微调数据的隐私保护。

    Jun, 2024

  • 潜变扩散模型用于属性保护的图像匿名化

    本文介绍了基于潜在扩散模型（LDMs）的图像匿名化的方法，该方法是首次根据 LDMs 进行图像匿名化的方法，实现了身份混淆并更好地保留了原始图像内容。

    Mar, 2024

  • PAC 隐私保护扩散模型

    数据隐私保护是研究者们越来越关注的问题之一。扩散模型（DMs），尤其是严格的差分隐私，可以潜在地生成既具有高度隐私性又具有视觉质量的图像。然而，在保护特定数据属性的隐私方面存在挑战，目前的模型在这方面通常表现不佳。为了解决这些挑战，我们引入了 PAC 隐私保护扩散模型，该模型利用扩散原理并确保可能近似正确（PAC）隐私。我们通过将一个私有分类器引导集成到 Langevin 采样过程中来增强隐私保护。此外，鉴于测量模型隐私存在的差距，我们开发了一种新的度量标准来衡量隐私水平。我们的模型通过这个新的度量标准进行评估，并通过 PAC 上界的高斯矩阵计算，在基准测试中显示出优于现有领先的私有生成模型的隐私保护性能。

    Dec, 2023

  • LMD：潜在蒙版扩散技术加速图像重建

    本文介绍了一种更快的图像重建框架 LMD，通过潜在遮蔽扩散方法，将高分辨率图像投影和重建在潜在空间中，设计了渐进遮蔽扩散模型，通过三种不同的调度器逐渐提高遮蔽比例，以从简单到困难地重建潜在特征，从而加快模型训练速度，同时保持了原始准确性，并在下游任务中显著提高推理速度。

    Dec, 2023

  • 扩散模型的视觉隐私审计

    通过实证研究探讨差分隐私参数选择的挑战，揭示了实际数据与重建目标之间领域转变的关系，提出了基于扩散模型的重建攻击方法，并证明了真实数据先验对于重建的影响，现有的重建边界不良模拟了数据先验的风险，并且扩散模型可以作为有效的隐私泄漏审计工具。

    Mar, 2024

  • DP-RDM：无需微调将扩散模型应用于私有领域

    发展首个具有可证明的隐私保证并能生成高质量图像样本的差分隐私检索增强生成算法，通过在文本提示中引入从私有检索数据集检索的样本，无需在检索数据集上微调，利用先进的生成模型生成高质量图像样本，并提供隐私保证。

    Mar, 2024

  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023

  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

    Apr, 2023