ACLOct, 2021
BERT 多语言模型的时间?分离跨语言传输的关键要素
When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer
Ameet Deshpande, Partha Talukdar, Karthik Narasimhan
TL;DR该论文在多语言语言模型上进行了大规模实证研究,并发现词嵌入的对齐程度与零 - shot 迁移的性能密切相关,因此需要在多语言模型中专门改善词嵌入的对齐程度。