ICLROct, 2021
语言模型差分隐私微调
Differentially Private Fine-tuning of Language Models
Da Yu, Saurabh Naik, Arturs Backurs, Sivakanth Gopi, Huseyin A. Inan...
TL;DR本篇研究提供了更简单、更稀疏、更快速的算法来实现大规模预训练语言模型的差分隐私微调,在许多标准 NLP 任务上实现了最先进的隐私与实用性平衡。我们提出了一个元框架来解决这个问题,并在该领域中取得了最好的实用效果、隐私性、私有训练的计算和存储成本。