ExpM+NF：超越 DPSGD 的差分隐私机器学习

Nov, 2023

ExpM+NF：超越 DPSGD 的差分隐私机器学习

ExpM+NF: Differentially Private Machine Learning that Surpasses DPSGD

Robert A. Bridges, Vandy J. Tombs, Christopher B. Stanley

TL;DR我们提出了 ExpM+NF 方法，它通过使用指数机制（ExpM）和辅助归一化流（NF）来在私有数据上训练具有预定差分隐私保证的机器学习（ML）模型。我们在多个分类任务上通过 Logistic 回归和 GRU-D 进行实验，ExpM+NF 实现了非私有训练准确率的 93% 以上，比 DPSGD 具有更高的准确性和更好的隐私保护能力。此工作对差分私有 ML 的可能性进行了实质性的推进，并提供了该方法的局限性和未来方向。

Abstract

In this pioneering work we formulate ExpM+NF, a method for training machine learning (ML) on private data with pre-specified differentially privacy guarantee $\varepsilon>0, \delta=0$, by using the Exponential Mechanism (ExpM) and an auxiliary Normalizing Flow (NF). We articulate theoretical benefits of ExpM+NF over Differentially Private Stochastic Gradient

expm+nf differentially private ml privacy guarantee logistic regression gru-d

发现论文，激发创造

DP-NMT：可扩展的差分隐私机器翻译

DP-NMT 是一个开源框架，旨在提供一个平台给研究人员以 DP-SGD 算法为基础开发隐私保护的神经机器翻译系统，通过整合多种模型、数据集和评估指标，解决了目前存在的 DP-SGD 实现细节不清晰、代码不透明和可复现性不足的问题。

Nov, 2023

通过尺度解锁高精度差分隐私图像分类

本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

Apr, 2022

大 Epsilon 下的差分隐私如何抵御实际成员推理攻击？

为了解决差分隐私机制中存在的理论与实践的差距，并理解大隐私参数如何防止实际的成员隐私攻击，本文引入了一种新的隐私概念，即实际成员隐私，并定量分析了指数机制和高斯机制的实际成员隐私参数。研究结果表明，较大的差分隐私参数往往对应较小的实际成员隐私参数，从而在实际成员隐私攻击方面提供了强大的隐私保护。基于这些发现，为从业者在选择差分隐私参数方面提供了有原则的指导。

Feb, 2024

混合专家模型的差分隐私训练

本研究调查了差分隐私 (Differential Privacy) 在自然语言处理领域中混合专家模型 (Mixture of Experts models) 训练中的整合。通过对大规模语言模型 (Large Language Models) 在数十亿参数上进行训练，利用海量数据集，使其具备了强大的语言能力和新兴的能力，但这一增长带来了重大的计算和隐私问题。我们的研究通过探索具备计算效率的 MoE 模型及 DP 的应用来解决这些问题。我们首次尝试在 DP 的约束下训练 MoE 模型，解决了其架构以及 DP 整合的复杂性所带来的独特挑战。我们的初步实验研究表明，MoE 模型可以通过 DP 有效训练，并与非隐私对照组有竞争力的性能。本次研究旨在为隐私保护的 MoE 模型领域提供有价值的洞察力，为该领域进一步的研究奠定基础，并为未来的发展提供引导。

Feb, 2024

巨型数据集 ImageNet 规模下使用差分隐私进行训练

本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

Jan, 2022

基于元学习的噪声感知差分隐私回归

通过使用模拟数据来训练元学习模型，将 Convolutional Conditional Neural Process (ConvCNP) 与改进的 DP 机制相结合，从而提供准确、良好校准的预测模型，并在非高斯数据上优于 DP 高斯过程（GP）基线模型。

Jun, 2024

DPNAS: 带有差分隐私的深度学习神经架构搜索

本文提出 DPNAS 框架，采用神经架构搜索自动生成深度学习模型，以实现隐私保护学习，我们证明了该框架的有效性，所生成模型 DPNASNet 在隐私 / 效用权衡方面达到了最先进的表现。

Oct, 2021

通过 $f$- 差分隐私统一增强混合机制的隐私边界

该研究聚焦于利用 f-DP 改进随机初始化的洗牌模型和一次迭代的差分隐私梯度下降（DP-GD）算法的隐私界限，并得到了洗牌模型的交替函数的闭式表达式，同时研究了随机初始化对于 DP-GD 的隐私影响。

Oct, 2023

基于纯差分和高斯差分隐私的可处理的 MCMC 私密学习

提出了一种使用后验抽样和近似采样方法相结合的算法，通过引入噪声来保持隐私性，并结合局部化步骤，在 DP-ERM 问题中实现了最佳的速率。

Oct, 2023

通过 JL 投影实现快速和内存高效的差分隐私 - SGD

本文提出了 DP-SGD-JL 和 DP-Adam-JL，使用 Johnson-Lindenstrauss 投影来快速逼近每个样本的梯度范数，从而使优化器的训练时间和内存需求接近于其非 DP 版本，在 IMDb 数据集上实现了好的隐私与准确性折衷，并且隐私分析使用 Dong 等人提出的 f-DP 框架来证明。

Feb, 2021