BriefGPT.xyz
Jan, 2024
TinyLlama：一种开源的小型语言模型
TinyLlama: An Open-Source Small Language Model
HTML
PDF
Peiyuan Zhang, Guangtao Zeng, Tianduo Wang, Wei Lu
TL;DR
TinyLlama是一个小型预训练语言模型，通过利用开源社区的先进技术（如FlashAttention）提高计算效率，在一系列下游任务中表现出色，超过了同规模的现有开源语言模型。
Abstract
We present
tinyllama
, a compact 1.1B
language model
pretrained
on around 1 trillion tokens for approximately 3 epochs. Building on the arc
→