Apr, 2024
激励公共大型语言模型为私人设备应用合成数据
Prompt Public Large Language Models to Synthesize Data for Private On-device Applications
Shanshan Wu, Zheng Xu, Yanxiang Zhang, Yuanbo Zhang, Daniel Ramage
TL;DR通过在公共数据上进行预训练可以改善差分隐私联合学习 (FL) 的性能。本文研究了如何利用在公共数据上训练的大规模语言模型 (LLMs) 来改善与 DP 和 FL 一起训练的设备上语言模型的预训练数据的质量。我们精心设计了 LLM 提示来过滤和转换现有公共数据，并生成类似于真实用户数据分布的新数据。在 Gboard 的真实用户数据上进行评估时，我们在合成数据集上预训练的模型相对于在标准公共数据集上预训练的基线模型在下一个单词预测准确性方面分别实现了 19.0% 和 22.8% 的改善。此外，在数百万台移动设备上进行差分隐私 FL 调优期间，我们的方法达到了优于或可与基线相媲美的评估准确性，而我们的最终模型在生产 A/B 测试中优于基线。我们的实验证明了 LLMs 在合成接近私有分布的数据时的优势，即使不访问私有数据，还提出了进一步减少分布差距的未来研究方向。