May, 2024
全球联合训练语言模型
Worldwide Federated Training of Language Models
Alex Iacob, Lorenzo Sani, Bill Marino, Preslav Aleksandrov, Nicholas Donald Lane
TL;DR通过联邦学习,在全球范围内构建联邦的语言模型训练系统 (WorldLM),以解决大规模语言模型训练所面临的法律、安全、隐私等挑战,并通过局部模型本地化、残差层嵌入等方法,提升性能并保护隐私。