隐私微调的有选择预训练

May, 2023

Selective Pre-training for Private Fine-tuning

Da Yu, Sivakanth Gopi, Janardhan Kulkarni, Zinan Lin, Saurabh Naik...

TL;DR介绍了一种通用框架，用于解决训练文本预测模型的问题，实现用户数据的隐私保护和固定大小以满足内存和推理时间要求，主要利用区分隐私的预训练和 fine-tune，优化模型交迁和达到高效压缩。

Abstract

Suppose we want to train text prediction models in email clients or word processors. The models must preserve the privacy of user data and adhere to a specific fixed size to meet memory and inference time requirements. We introduce a generic framework to solve this problem. Specificall

text prediction models privacy preservation fixed-size model pre-training differential privacy

发现论文，激发创造

具有有限公共数据的差分隐私模型的预训练

通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

Feb, 2024

差分隐私语言模型受益于公共预训练

通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

Sep, 2020

语言模型差分隐私微调

本篇研究提供了更简单、更稀疏、更快速的算法来实现大规模预训练语言模型的差分隐私微调，在许多标准 NLP 任务上实现了最先进的隐私与实用性平衡。我们提出了一个元框架来解决这个问题，并在该领域中取得了最好的实用效果、隐私性、私有训练的计算和存储成本。

Oct, 2021

隐私保护模型用于法律自然语言处理

本文阐述了利用不同隐私保护训练配置扩大自监督学习 Transformer 模型的规模，提供 Domain Adaptation 和 Privacy Protection，实现在法律领域 NLP 下的无监督超大规模训练的技术，这在之前尚未得到解决。

Nov, 2022

利用差分隐私私密微调大型语言模型

通过使用基于 Edgeworth 会计师的有限样本隐私保证 DP 框架，我们提出了一种针对 LLM 的 DP 细调框架 ewtune，该框架直接降低了噪声的影响，且在自然语言理解任务上将最新的 LLMs 性能提高了 1.1％。

Oct, 2022

隐私保护预测

探讨在分类和回归等多种模型中，为实现个体预测隐私保护所需的成本，以及通过训练多个模型并使用标准的聚合技术来预测，以降低聚合步骤引入的开销，并建立所有不同隐私预测算法的强广义保证，从而研究机器学习中差分隐私的最优样本调整量。

Mar, 2018

深度学习差分隐私模型发布

提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

Apr, 2019

大规模语言模型微调的分裂与隐私化框架

该研究论文提出了一种 Split-and-Privatize（SAP）框架，通过调整现有的分割学习架构来减轻 Model-as-a-Service（MaaS）细调中的模型和数据隐私泄露风险，实验证明该框架可以在斯坦福情感树库数据集上提高实证隐私性能 62%，而模型性能仅降低 1%。

Dec, 2023

基础模型偏置项差分隐私微调

提出了一种不修改网络架构、参数高效、计算高效的模型无关机制 DP-BiTFiT，实现了对长序列和高分辨率图片的隐私保护微调，达到了 DP 算法的最高精度及标准微调的效率，其速度和内存使用量是 DP full fine-tuning 的 2-30 倍和 2-8 倍，使得现有隐私保护微调方法的计算难点得以攻克。

Sep, 2022

在联邦学习中通过私有化定制预调优以更好地匹配用户数据

介绍了一种用于联合学习的隐私保护方法 —— FreD，该方法使用分布式的差分隐私均值和协方差估计器计算大型语言模型在中央（公共）数据集和联合私人客户数据上生成嵌入的 Fréchet 距离，以可靠和私密的方式评估 Prefinetuning 数据集的质量。使用 FreD，通过以下步骤，演示了一种新的私人 FL 训练方法的概念证明：（1）定制 Prefinetuning 数据集以更好地匹配用户数据（2）Prefinetuning（3）执行 FL-finetuning。

Feb, 2023