ACLJun, 2024
语言模型的优势是什么？
What Makes Language Models Good-enough?
Daiki Asami, Saku Sugawara
TL;DR心理语言学研究发现，人类可能会构建一个对于当前任务而言足够好的语言输入表示。本研究探讨了使语言模型学习类似人类好还是足够好的语言处理的体系结构特征。我们关注 Transformers 中层数和自注意头数，并创建了一个好而足够的语言处理评估数据集，用于测试两种可信度类型、八种构造类型和三种记忆成本对语言处理的影响。通过对 GELP 的标注，我们首先进行了一项众包实验，该实验的设计遵循了先前的心理语言学研究。然后，我们评估了模型在标注 GELP 上的表现，结果显示完整的模型以及层数较少和 / 或自注意头较少的模型均表现出足够好的性能。这一结果表明，具有较浅层数和较少自注意头的模型可以学习足够好的语言处理。