Jun, 2024

扩散模型的差分隐私微调

PDF
TL;DR在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。
differential privacydiffusion modelsdp-sgdprivacy-utility trade-offparameter efficiency
发现论文，激发创造
  • 扩散模型的高效差分隐私微调

    使用低维适应和差分隐私的参数高效微调扩散模型可生成有用的合成样本，并保证了微调数据的隐私保护。

    Jun, 2024

  • 差分隐私潜在扩散模型

    研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

    May, 2023

  • 关于离散去噪扩散模型的固有隐私属性

    基于离散扩散模型的数据生成方法的隐私保护能力在理论上进行了开拓性研究，重点研究了每个数据点的潜在隐私泄露，并通过数据预处理减少离散扩散模型生成的合成数据的隐私风险。同时，实验证实了理论研究结果对合成数据和真实世界数据的适用性。

    Oct, 2023

  • 扩散模型的视觉隐私审计

    通过实证研究探讨差分隐私参数选择的挑战，揭示了实际数据与重建目标之间领域转变的关系，提出了基于扩散模型的重建攻击方法，并证明了真实数据先验对于重建的影响，现有的重建边界不良模拟了数据先验的风险，并且扩散模型可以作为有效的隐私泄漏审计工具。

    Mar, 2024

  • DP-RDM：无需微调将扩散模型应用于私有领域

    发展首个具有可证明的隐私保证并能生成高质量图像样本的差分隐私检索增强生成算法，通过在文本提示中引入从私有检索数据集检索的样本，无需在检索数据集上微调，利用先进的生成模型生成高质量图像样本，并提供隐私保证。

    Mar, 2024

  • 通过尺度解锁高精度差分隐私图像分类

    本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

    Apr, 2022

  • 具有有限公共数据的差分隐私模型的预训练

    通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

    Feb, 2024

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 巨型数据集 ImageNet 规模下使用差分隐私进行训练

    本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

    Jan, 2022

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024