May, 2023

填补上下文表示中的域间差距,用于k近邻神经机器翻译

TL;DR本研究提出了一种新颖的方法来增强 $k$NN-MT 的数据存储器的检索能力,通过重构原始数据存储器来解决上游和下游域之间存在的显著差距。该方法设计了一个修订者来修订关键表示,使其更适合下游域。修订者使用收集的语义相关键-查询对进行训练,并通过两个提出的损失进行优化:一个是关键查询语义距离,确保每个修订后的关键表示与其相应查询有语义相关性 , 另一个是 L2 - 规范损失,鼓励修订关键表示有效保留上游 NMT 模型所学的知识。在域自适应任务上的大量实验表明,我们的方法可以有效提高 $k$NN-MT 的数据存储器检索和翻译质量。