EMNLPApr, 2021
MT6: 多语言预训练文本转文本 Transformer 及其翻译数据对
MT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs
Zewen Chi, Li Dong, Shuming Ma, Shaohan Huang Xian-Ling Mao, Heyan Huang...
TL;DR该研究旨在提高跨语言文本之间转换的效果。通过使用三种跨语言文本 - to-text 预训练任务和部分非自回归目标,将 Multilingual T5 的结果进一步提高到 mT6。经过实验验证,该方法提高了基于八个多语言基准数据集的跨语言转移能力。