BriefGPT.xyz
Ask
alpha
关键词
train-test overlap
搜索结果 - 1
ACL
数据去重对语言模型的训练有益
研究发现现有的语言模型数据集包含大量近似重复的示例和长的重复子串。因此,在这些数据集上训练的语言模型的超过 1%的非提示输出是直接从训练数据复制的。我们开发了两个工具,使我们能够定位训练数据集中的冗余数据,以便通过去重来训练模型,减少内存化
→
PDF
3 years ago
Prev
Next