May, 2022

BERT 之后:其他木偶对语言的理解

TL;DR利用oLMpics基准和心理语言学探测数据集,我们对包括T5、BART和ALBERT在内的 29个模型进行了多样化的分析。结果表明,这些模型都无法以零样本的方式解决组成性问题,并且全局模型决策也不能预测模型的语言能力。