神经机器翻译的非参数无监督域自适应
本文提出了一种基于句子级检索的最近邻机器翻译框架,用于快速领域自适应,该框架旨在大大提高 kNN-MT 模型的解码和存储效率,并且不会影响翻译性能。实验证明,该框架不仅能够达到与 NMT 模型相同的速度,且能够显著减少存储要求。
Feb, 2023
本文分析了 $k$NN-MT 的理论和实证研究,以及针对多域实验和单词级别的分析,发现在特定情况下,结合 $k$NN-MT 和适配器的方法能够实现与在域测试集上微调相当的翻译性能,并在域外测试集上取得更好的性能,同时,优化上下文表示可以弥补低频特定领域词汇召回方面 $k$NN-MT 与微调的差距。
May, 2023
本文针对神经机器翻译中的无监督领域自适应问题,提出一种跨语料库数据选择方法,通过对多语言 BERT 进行对比学习,实现源语言和目标语言之间的表示对齐,从而实现零样本领域分类器的可转移性,并且通过联合学习翻译任务和领域区分任务来适应新领域。我们在五个不同的领域和三种语言对的神经机器翻译上进行了跨语料库数据选择方法的评估,并在 COVID-19 疫情实时翻译中进行了应用验证, 实验结果表明,我们提出的方法相对于基线方法的 BLEU 指标得分提高了 1.5 个百分点。
Sep, 2021
本研究提出了一种新颖的方法来增强 $k$NN-MT 的数据存储器的检索能力,通过重构原始数据存储器来解决上游和下游域之间存在的显著差距。该方法设计了一个修订者来修订关键表示,使其更适合下游域。修订者使用收集的语义相关键 - 查询对进行训练,并通过两个提出的损失进行优化:一个是关键查询语义距离,确保每个修订后的关键表示与其相应查询有语义相关性 , 另一个是 L2 - 规范损失,鼓励修订关键表示有效保留上游 NMT 模型所学的知识。在域自适应任务上的大量实验表明,我们的方法可以有效提高 $k$NN-MT 的数据存储器检索和翻译质量。
May, 2023
该论文探讨了加速最近邻机器翻译的几种方法,其中介绍了一种简单但有效的缓存策略,避免了之前出现过的类似上下文的再次检索。翻译质量和运行时间表明了这些解决方案的有效性。
Apr, 2022
本文提出了一种用于领域自适应的非参数翻译解决方案 “k 最近邻机器翻译(kNN-MT)”,并通过在聚类的基础上通过对比学习的方式构建紧凑网络,提高了检索效率并且在大型数据集上取得了更好或相当的性能表现,同时对于不同领域的通用性很强。
Apr, 2022
本文提出了一种无监督的自适应方法,使用伪域内语料库通过微调预先训练的域外 NMT 模型,借助词典诱导提取域内词汇,并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库,在 20 对自适应设置和两种模型架构的五个领域中,我们的方法始终显示出提高,而不需要使用任何域内平行句子,改进了未经过调整的模型高达 14 BLEU 和强反向翻译基线的最高 2 BLEU。
Jun, 2019
本文介绍了 $k$NN-Adapter 方法,该方法是基于检索增强语言模型,通过将语言模型的输出和目标域数据存储中的检索结果进行自适应加权插值,有效地适应黑盒大型语言模型到新的领域。实验结果表明,$k$NN-Adapter 方法显著提高了语言模型的困惑度,在训练数据有限的情况下比微调更有效。
Feb, 2023