EMNLPSep, 2021
多语言预训练中的表征语义共同体发现
Discovering Representation Sprachbund For Multilingual Pre-Training
Yimin Fan, Yaobo Liang, Alexandre Muzio, Hany Hassan, Houqiang Li...
TL;DR介绍了一种新的多语种预训练模型方法,基于语言的相似性将目标语言划分为若干组,并对每组构建一个预训练模型,实验中在跨语言基准测试中与强基线模型相比获得了显著的提升。