ACLOct, 2020
VECO: 变量和灵活的跨语言预训练模型,用于语言理解和生成
VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation
Fuli Luo, Wei Wang, Jiahao Liu, Yijia Liu, Bin Bi...
TL;DR本文提出了一种在 Transformer 编码器中添加交叉注意力模块的方法,用于处理多语言预训练中的语言依赖关系问题,并在多种跨语言任务中获得新的最先进结果。