May, 2023

基于基础模型 API 的不同 ially Private 合成数据 1: 图像

PDF
TL;DR利用 API 来生成差分隐私合成数据的方法（DPSDA），不需要模型训练，通过 Private Evolution（PE）框架解决了这个问题，在 synthetic images 取得了很好的效果，同样适用于处理像 Stable Diffusion 这样的大型基础模型。
differentially private synthetic dataapi-based approachprivate evolutionscalable privacy protectionlarge foundation models
发现论文，激发创造
  • 通过基础模型 API 生成差分隐私合成数据 2: 文本

    我们提出了一种名为 Aug-PE 的增强版 PE 算法，应用于文本的复杂情境，通过 API 访问大型语言模型，生成差分隐私的合成文本，实验证明 Aug-PE 可以产生具有竞争性效用的差分隐私合成文本，从而便捷地在隐私保护的语言模型应用中提供更可访问的路线。

    Mar, 2024

  • 精细选择 1% 数据集进行预训练！生成带语义查询的差分私有图像数据

    DP 图像数据合成方法 PRIVIMAGE 通过精选预训练数据、轻参数化生成模型和隐私保护梯度下降等技术，实现高保真度和高效用性的 DP 数据集的创建，并在综合实验中展现出超越业界方法的合成性能和资源节约效果。

    Oct, 2023

  • 利用大型语言模型生成私有合成文本

    本文研究了使用敏感数据集生成新的差分隐私数据集作为替代方法，通过使用预先训练好的生成式语言模型并在敏感数据上进行私有调优，然后利用该模型可以产生差分隐私合成数据集，同时展示了训练目标及少调参数可提高合成数据的质量并与直接使用差分隐私训练下游分类器性能竞争力几乎相同，还可用于调整同一模型等级的分类器。

    Jun, 2023

  • ViP：面向计算机视觉的差分隐私基础模型

    本文主要介绍了使用差分隐私 DP 保证训练基础视觉模型的方法，以规避互联网规模数据的隐私和法律风险，并通过对 LAION400M 数据集上训练的视觉 Transformer ViP 的评估，展示了在严格隐私预算下获得可行的准确性和质量。

    Jun, 2023

  • 具有有限公共数据的差分隐私模型的预训练

    通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

    Feb, 2024

  • 前向传递中差分隐私聚合实现的图像合成

    DPFA 是一种有效的隐私保护生成模型，通过前向聚合的方式代替后向加噪来减少信息损失和敏感性，并通过不对称训练方法解决了不当批次大小对合成数据效用的影响。

    Apr, 2023

  • 通过尺度解锁高精度差分隐私图像分类

    本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

    Apr, 2022

  • 解锁差分隐私图像分类的准确度与公平性

    预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

    Aug, 2023

  • 扩散模型的差分隐私微调

    在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。

    Jun, 2024

  • 差分隐私深度生成模型的统一视角

    利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。

    Sep, 2023