BriefGPT.xyz
May, 2023
GPT-SW3：针对北欧语言的自回归语言模型
GPT-SW3: An Autoregressive Language Model for the Nordic Languages
HTML
PDF
Ariel Ekgren, Amaru Cuba Gyllensten, Felix Stollenwerk, Joey Öhman, Tim Isbister...
TL;DR
本篇论文介绍了第一个本地大型生成语言模型GPT-SW3的开发过程，包括数据收集和处理、训练配置和指令微调、评估以及发布策略的考虑，并希望该论文能为其他研究者在小语种的大型生成模型的开发提供指南和参考。
Abstract
This paper details the process of developing the first native large
generative language model
for the
nordic languages
, GPT-SW3. We cover all parts of the development process, from data collection and processing,
→