Dec, 2023

PAC 隐私保护扩散模型

PDF
TL;DR数据隐私保护是研究者们越来越关注的问题之一。扩散模型（DMs），尤其是严格的差分隐私，可以潜在地生成既具有高度隐私性又具有视觉质量的图像。然而，在保护特定数据属性的隐私方面存在挑战，目前的模型在这方面通常表现不佳。为了解决这些挑战，我们引入了 PAC 隐私保护扩散模型，该模型利用扩散原理并确保可能近似正确（PAC）隐私。我们通过将一个私有分类器引导集成到 Langevin 采样过程中来增强隐私保护。此外，鉴于测量模型隐私存在的差距，我们开发了一种新的度量标准来衡量隐私水平。我们的模型通过这个新的度量标准进行评估，并通过 PAC 上界的高斯矩阵计算，在基准测试中显示出优于现有领先的私有生成模型的隐私保护性能。
data privacy protectiondiffusion modelsdifferential privacypac privacy preserving diffusion modelprivacy levels
发现论文，激发创造
  • 差分隐私潜在扩散模型

    研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

    May, 2023

  • 扩散模型的视觉隐私审计

    通过实证研究探讨差分隐私参数选择的挑战，揭示了实际数据与重建目标之间领域转变的关系，提出了基于扩散模型的重建攻击方法，并证明了真实数据先验对于重建的影响，现有的重建边界不良模拟了数据先验的风险，并且扩散模型可以作为有效的隐私泄漏审计工具。

    Mar, 2024

  • 扩散模型的差分隐私微调

    在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。

    Jun, 2024

  • 关于离散去噪扩散模型的固有隐私属性

    基于离散扩散模型的数据生成方法的隐私保护能力在理论上进行了开拓性研究，重点研究了每个数据点的潜在隐私泄露，并通过数据预处理减少离散扩散模型生成的合成数据的隐私风险。同时，实验证实了理论研究结果对合成数据和真实世界数据的适用性。

    Oct, 2023

  • 学习差分隐私概率模型保护隐私的图像生成

    本文提出一种学习差分隐私概率模型（DPPM），用于生成具有差分隐私保证的高分辨率图像，通过训练模型以适合训练数据的分布并在过程中执行随机响应机制，然后进行哈密顿动力学采样以及由训练概率模型预测的差分隐私运动方向，以获得保护隐私信息的图像，相比其他最先进的差分隐私生成方法，我们的方法可以生成高达 256x256 具有显着视觉质量和数据实用性的图像，大量实验表明我们的方法的有效性。

    May, 2023

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 扩散模型的高效差分隐私微调

    使用低维适应和差分隐私的参数高效微调扩散模型可生成有用的合成样本，并保证了微调数据的隐私保护。

    Jun, 2024

  • 判别式对抗隐私：在神经网络中平衡准确性和成员隐私

    本文提出了一种名为 “判别性对抗隐私”（DAP）的新型学习技术，该技术通过达到模型性能、速度和隐私之间的平衡来解决 DP 的局限性。DAP 依靠对抗训练，基于一种新的损失函数，该函数能够最小化预测误差并最大化 MIA 的误差。此外，我们引入了一种名为 “准确性隐私权”（AOP）的新指标来捕捉性能 - 隐私权衡。最后，为了验证我们的观点，我们将 DAP 与不同的 DP 情景进行比较，并从性能、时间和隐私保护角度分析结果。

    Jun, 2023

  • 医学影像隐私保护的大规模、公平、准确训练 AI 模型

    本文旨在通过比较隐私保护性训练和非隐私训练，在胸部放射图诊断方面评估两种方法的准确性和公平性，研究发现，在隐私预算为 7.89 的情况下，DP 卷积神经网络与非私有卷积神经网络相比，在保持较高准确性的前提下，性能仅下降了 2.6% 左右，同时，隐私保护训练并不会加剧针对年龄、性别或共病的歧视。

    Feb, 2023

  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023