Feb, 2023

kNN-BOX: 最近邻生成的统一框架

PDF
TL;DR本论文提出了一种新的生成范式，即使用 token-level 符号数据存储器来扩充基础神经模型，已在机器翻译中取得了有优异的成果。我们介绍了一个名为 kNN-BOX 的统一框架，该框架将数据存储增强方法分解为三个模块，并提供了七种流行的 kNN-MT 变体的实现。实验结果表明，使用 kNN-BOX 可以在各种生成任务中显著提高性能。
neural modeltoken-leveldatastore-augmentationknn generationmachine translation
发现论文，激发创造
  • knn-seq: 高效，可扩展的 kNN-MT 框架

    k-nearest-neighbor machine translation improves neural machine translation by utilizing a vector database of translation examples, and the paper presents an efficient framework called knn-seq to handle large datasets.

    Oct, 2023

  • 加速 k 最近邻机器翻译

    通过提出的多层感知器神经网络与 kNN-MT 系统结合，成功减少了冗余的检索操作，并显著降低了 kNN 检索的开销，虽然会导致轻微的翻译质量下降，但该方法可以与所有现有的 kNN-MT 系统配合使用。

    Dec, 2023

  • 基于聚类的高效 k 近邻机器翻译

    本文提出了一种用于领域自适应的非参数翻译解决方案 “k 最近邻机器翻译（kNN-MT）”，并通过在聚类的基础上通过对比学习的方式构建紧凑网络，提高了检索效率并且在大型数据集上取得了更好或相当的性能表现，同时对于不同领域的通用性很强。

    Apr, 2022

  • 简单且可扩展的最邻近机器翻译

    本文提出了一种基于句子级检索的最近邻机器翻译框架，用于快速领域自适应，该框架旨在大大提高 kNN-MT 模型的解码和存储效率，并且不会影响翻译性能。实验证明，该框架不仅能够达到与 NMT 模型相同的速度，且能够显著减少存储要求。

    Feb, 2023

  • 基于块的最近邻机器翻译

    本文提出了一种新的基于分块的 $k$NN-MT 模型，在机器翻译领域中具有显著的速度优势，同时实现了对域适应能力的支持。

    May, 2022

  • 最近邻机器翻译

    本研究提出 $k$- 最近邻机器翻译方法，基于神经翻译模型的表示进行相似性搜索，不需要额外训练，适用于广泛的场景，并且可以通过使用特定于域的数据存储库来适应不同的领域，显著提高翻译性能。

    Oct, 2020

  • 自适应最近邻机器翻译

    本研究提出了一种新的 kNN-MT 方法，使用轻量级的元 k 网络动态确定每个目标令牌的 k 值，该方法能够有效过滤检索结果中的噪声并显著优于传统的 kNN-MT 模型，在四个基准机器翻译数据集上得到了验证，并在其他领域展现了其普适性。

    May, 2021

  • 面向鲁棒的 k 近邻机器翻译

    本文研究并发现 kNN-MT 的性能下降问题，提出了一种信心增强的 kNN-MT 模型，结合鲁棒训练和两种扰动方式以达到在基准数据集上实现显着改进和更好的鲁棒性的效果。

    Oct, 2022

  • 多语种 K 最近邻机器翻译

    通过使用多种语言的表示方法结合成一个数据存储，我们可以在低资源翻译质量上获得显著改进（高达 + 3.6 BLEU），同时对高资源翻译质量也有所提高（高达 + 0.5 BLEU）。我们的实验证实了通过使用语言相似性进行数据存储创建，可以实现四分之一大小的多语言数据存储，从而提高了翻译速度（提升了 5.3 倍）.

    Oct, 2023

  • 快速最近邻机器翻译

    本文提出了一种快速的 $k$ 最近邻机器翻译模型，通过使用仅限于相同查询令牌的最近令牌级邻居来限制查询空间，从而大大提高了解码效率，并实现了与 $k$NN-MT 相当的性能表现，只比标准 NMT 模型慢两倍。

    May, 2021