ACLJul, 2021
神经机器翻译预训练的复制行为研究
On the Copying Behaviors of Pre-Training for Neural Machine Translation
Xuebo Liu, Longyue Wang, Derek F. Wong, Liang Ding, Lidia S. Chao...
TL;DR本文研究了使用预训练语言模型来初始化神经机器翻译模型的好处,在发现预训练对机器翻译的副作用时,提出了一种名为 “copying penalty” 的方法来控制解码过程中的复制行为,实验证明,该方法可以提高预训练的机器翻译模型的翻译性能。