Nov, 2022

需要什么知识？走向可解释的 kNN-MT 领域自适应存储

PDF
TL;DR该文研究了建立一个外部数据存储器，探究了 NMT 模型需要哪些知识，并提出了 “本地正确性” 作为描述单个条目的潜在翻译正确性的新方法。经验研究表明，我们的调查成功地发现了 NMT 模型容易失败并需要相关知识的情况。在六个不同的目标领域和两种语言对的实验中，剪枝根据局部正确性为 kNN-MT 领域适应带来了轻量级和更可解释的存储。
domain adaptationknn-mtinterpretabilitylocal correctnessnmt model
发现论文，激发创造
  • 神经机器翻译的非参数无监督域自适应

    提出了一种基于自动编码器的 $k$NN-MT 方法，可以利用目标语言的单语句子构建有效的数据库来达到无监督的领域自适应翻译，从而提高翻译的准确性和可靠性。

    Sep, 2021

  • 简单且可扩展的最邻近机器翻译

    本文提出了一种基于句子级检索的最近邻机器翻译框架，用于快速领域自适应，该框架旨在大大提高 kNN-MT 模型的解码和存储效率，并且不会影响翻译性能。实验证明，该框架不仅能够达到与 NMT 模型相同的速度，且能够显著减少存储要求。

    Feb, 2023

  • 加速 k 最近邻机器翻译

    通过提出的多层感知器神经网络与 kNN-MT 系统结合，成功减少了冗余的检索操作，并显著降低了 kNN 检索的开销，虽然会导致轻微的翻译质量下降，但该方法可以与所有现有的 kNN-MT 系统配合使用。

    Dec, 2023

  • 基于聚类的高效 k 近邻机器翻译

    本文提出了一种用于领域自适应的非参数翻译解决方案 “k 最近邻机器翻译（kNN-MT）”，并通过在聚类的基础上通过对比学习的方式构建紧凑网络，提高了检索效率并且在大型数据集上取得了更好或相当的性能表现，同时对于不同领域的通用性很强。

    Apr, 2022

  • 填补上下文表示中的域间差距，用于 k 近邻神经机器翻译

    本研究提出了一种新颖的方法来增强 $k$NN-MT 的数据存储器的检索能力，通过重构原始数据存储器来解决上游和下游域之间存在的显著差距。该方法设计了一个修订者来修订关键表示，使其更适合下游域。修订者使用收集的语义相关键 - 查询对进行训练，并通过两个提出的损失进行优化：一个是关键查询语义距离，确保每个修订后的关键表示与其相应查询有语义相关性 ， 另一个是 L2 - 规范损失，鼓励修订关键表示有效保留上游 NMT 模型所学的知识。在域自适应任务上的大量实验表明，我们的方法可以有效提高 $k$NN-MT 的数据存储器检索和翻译质量。

    May, 2023

  • 自适应最近邻机器翻译

    本研究提出了一种新的 kNN-MT 方法，使用轻量级的元 k 网络动态确定每个目标令牌的 k 值，该方法能够有效过滤检索结果中的噪声并显著优于传统的 kNN-MT 模型，在四个基准机器翻译数据集上得到了验证，并在其他领域展现了其普适性。

    May, 2021

  • 最近邻机器翻译是输出投影层上的元优化器

    本文分析了 $k$NN-MT 的理论和实证研究，以及针对多域实验和单词级别的分析，发现在特定情况下，结合 $k$NN-MT 和适配器的方法能够实现与在域测试集上微调相当的翻译性能，并在域外测试集上取得更好的性能，同时，优化上下文表示可以弥补低频特定领域词汇召回方面 $k$NN-MT 与微调的差距。

    May, 2023

  • 学习独立检索表示用于最近邻神经机器翻译

    本文提出 kNN-MT 中耦合机器翻译任务和语料库检索任务的表示方法不够优化，对此使用对比学习进行区分，并提出一种高效的构建负样本的方法。在五个领域的实验结果表明，相比原始的 kNN-MT 方法，我们的方法提高了检索准确性和 BLEU 分数。

    Sep, 2022

  • 神经机器翻译最近邻知识蒸馏

    本文提出一种改进机器翻译模型的方法，即将 NN search 前置，并通过最近邻知识蒸馏（NN-KD）训练基本 NMT 模型直接学习 NN 知识，可以更好地解决机器翻译中的过度纠正问题，并在保持训练和解码速度不变的情况下，实现了比 NN-MT 等现有方法更好的结果。

    May, 2022

  • 面向鲁棒的 k 近邻机器翻译

    本文研究并发现 kNN-MT 的性能下降问题，提出了一种信心增强的 kNN-MT 模型，结合鲁棒训练和两种扰动方式以达到在基准数据集上实现显着改进和更好的鲁棒性的效果。

    Oct, 2022