Nov, 2022
BLOOM: 一种含 176B 个参数的多语言开放访问语言模型
BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
BigScience Workshop, Teven Le Scao, Angela Fan, Christopher Akiki, Ellie Pavlick...
TL;DRBLOOM 是一个 176B 参数的解码器 - 只有 Transformer 语言模型,它使用 ROOTS 语料库进行训练,并在多任务提示微调后达到了竞争力强的结果。该研究呼吁公开此类研究并在负责任的 AI 许可下发布其模型和代码,以便未来的研究和应用。