神经崩溃与差分隐私：NoisyGD 实现近乎完美的表示学习的奇异行为

ICMLMay, 2024

神经崩溃与差分隐私：NoisyGD 实现近乎完美的表示学习的奇异行为

Neural Collapse Meets Differential Privacy: Curious Behaviors of NoisyGD with Near-perfect Representation Learning

Chendi Wang, Yuqing Zhu, Weijie J. Su, Yu-Xiang Wang

TL;DR通过在公共数据集上进行预训练的大规模表示学习显著增强下游任务中的差分隐私学习，神经坍塌现象的理论解释，研究不同预训练模型下的特征质量及差分隐私微调的鲁棒性问题，以及采用特征归一化和维度降低方法改善差分隐私微调的策略。

Abstract

A recent study by De et al. (2022) has reported that large-scale representation learning through pre-training on a public dataset significantly enhances differentially private (DP) learning in downstream tasks, despite the high dimensionality of the feature space. To theoretically expl

representation learning differentially private learning neural collapse fine-tuning dimension reduction

发现论文，激发创造

记忆膨胀：建模标签噪声下的神经崩溃

本文探讨了神经坍塌现象及其在分类问题中的应用，提出了限制表达能力的神经网络模型和误差扩散现象的模型，并证明标签平滑方法可以提高分类任务的泛化能力。

Jun, 2022

自然语言处理的差分隐私表示：形式保证和隐私公平性的实证研究

提出了一种名为 DPNR 的深度学习方法，该方法使用差分隐私实现了对文本中提取的表示的隐私保护，并通过在强健训练中集成 DP 噪声表示来维护学习表示的效用。实验结果表明，DPNR 可以在不显著牺牲主要任务性能的情况下大大减少隐私泄露。

Oct, 2020

基于元学习的噪声感知差分隐私回归

通过使用模拟数据来训练元学习模型，将 Convolutional Conditional Neural Process (ConvCNP) 与改进的 DP 机制相结合，从而提供准确、良好校准的预测模型，并在非高斯数据上优于 DP 高斯过程（GP）基线模型。

Jun, 2024

具有有限公共数据的差分隐私模型的预训练

通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

Feb, 2024

巨型数据集 ImageNet 规模下使用差分隐私进行训练

本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

Jan, 2022

预修剪和梯度下降改进差分隐私图像分类

通过引入预剪枝和梯度删除来减少参数空间和提高可伸缩性，从而提高深度神经网络的训练，同时解决了差分隐私在训练过程中的可扩展性问题。

Jun, 2023

解锁差分隐私图像分类的准确度与公平性

预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

Aug, 2023

超越平均数：差分隐私原型的私有转移学习

通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL 提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。

Jun, 2024

大型语言模型能成为强差分私有学习器

使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

Oct, 2021

通过尺度解锁高精度差分隐私图像分类

本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

Apr, 2022