subword vocabulary size | BriefGPT

关键词subword vocabulary size

搜索结果 - 1

大词汇量提升大型语言模型
本文通过实证研究了子词词汇大小与大型语言模型（LLM）性能之间的关系，以提供关于如何定义词汇大小的洞见。实验结果表明，更大的词汇大小可提高 LLM 的性能。此外，我们考虑了一个持续训练的情景，其中一个预训练的语言模型在不同的目标语言上进行训
PDF10 days ago