BriefGPT.xyz
Ask
alpha
关键词
data-efficient pretraining
搜索结果 - 1
层层为重要且不同：每一层都重要 BERT
该研究介绍了针对数据高效预训练语言模型的一种新型 Transformer 体系结构修改方法。该方法通过参与 BabyLM 挑战赛，赢得了 extsc {strict} 和 extsc {strict-small} 两个赛道。我们的方法允许每
→
PDF
8 months ago
Prev
Next