Apr, 2024
关于语言模型中(近似)重复的子词的影响
On the Effect of (Near) Duplicate Subwords in Language Modelling
Anton Schäfer, Thomas Hofmann, Imanol Schlag, Tiago Pimentel
TL;DR研究论文中,我们主要探讨了词元化对语言模型训练效率的影响,发现在完全重复设置下,语言模型训练需要大约多出 17% 的数据量。此外,研究还发现自然存在的近义词对语言模型的性能产生了负面影响,限制了表现的潜力。