Sep, 2023

差分隐私深度生成模型的统一视角

PDF
TL;DR利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。
machine learningprivacy concernsdifferentially private data publishingdeep neural networksprivacy-preserving learning
发现论文，激发创造
  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 通过深度生成模型实现的差分隐私发布（技术报告）

    本文提出了一个名为 dp-GAN 的数据发布框架，采用差分隐私的方式对原始数据进行训练，从而可以生成任意数量的合成数据来进行各种分析任务，该框架具有理论上的隐私保证，保留了所发布模型的可接受效用，并且采用多重优化策略实现了实用的训练可扩展性和稳定性。

    Jan, 2018

  • 利用大型语言模型生成私有合成文本

    本文研究了使用敏感数据集生成新的差分隐私数据集作为替代方法，通过使用预先训练好的生成式语言模型并在敏感数据上进行私有调优，然后利用该模型可以产生差分隐私合成数据集，同时展示了训练目标及少调参数可提高合成数据的质量并与直接使用差分隐私训练下游分类器性能竞争力几乎相同，还可用于调整同一模型等级的分类器。

    Jun, 2023

  • 利用梯度衍生的度量对不同 ially private 训练中的数据选择和估值进行优化

    研究了如何在严格保护隐私的情况下，利用梯度信息来选择有利于模型训练的数据，解决在协同训练深度学习模型中，难以区分出有用数据点的问题。

    May, 2023

  • 差分隐私自然语言模型：最新进展与未来方向

    该研究综述了近年来在自然语言处理（NLP）领域中，如何在保护敏感数据的隐私同时实现良好性能的关键挑战。为了保护数据隐私， 差分隐私（DP）成为了隐私数据分析的有效技术。本文着重探讨了在 DP 深度学习模型中的自然语言处理 (DP-NLP) 的最新研究进展，并阐述了一些挑战和未来方向。

    Jan, 2023

  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016

  • 具有鉴别信息的私有集生成

    本研究提出了一种基于判别信息的生成模型训练方法，通过优化一小部分样本的代表性，以实现高维数据的差分隐私保护，并有效提升了现有生成模型的样本效用。

    Nov, 2022

  • 针对时间序列、连续型和离散型开放数据的差分隐私生成对抗网络

    本文提出了一种隐私保护的数据发布框架，该框架基于差分隐私，可以适应不同类型的数据，使用深度学习和生成模型来生成数据，具有良好的效率和实用性，并在法国公共管理和经典基准数据集上进行了验证。

    Jan, 2019

  • 从私有化数据中训练生成模型

    本文提出了一种基于局部差分隐私的生成对抗网络训练方法，通过熵正则化 Wasserstein 距离的组合使用来降噪数据分布，有效地缓解了正则化偏差和隐私噪声效应。

    Jun, 2023

  • 具有有限公共数据的差分隐私模型的预训练

    通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

    Feb, 2024