神经机器翻译最近邻知识蒸馏 | BriefGPT - AI 论文速递

ACLMay, 2022

神经机器翻译最近邻知识蒸馏

Nearest Neighbor Knowledge Distillation for Neural Machine Translation

Zhixian Yang, Renliang Sun, Xiaojun Wan

TL;DR本文提出一种改进机器翻译模型的方法，即将 NN search 前置，并通过最近邻知识蒸馏（NN-KD）训练基本 NMT 模型直接学习 NN 知识，可以更好地解决机器翻译中的过度纠正问题，并在保持训练和解码速度不变的情况下，实现了比 NN-MT 等现有方法更好的结果。

Abstract

k-nearest-neighbor machine translation (nn-mt), proposed by Khandelwal et al. (2021), has achieved many state-of-the-art results in machine translation tasks. Although effective, →

k-nearest-neighbor machine translation nn-mt nearest neighbor knowledge distillation nmt model overcorrection problem

发现论文，激发创造

自适应最近邻机器翻译

本研究提出了一种新的 kNN-MT 方法，使用轻量级的元 k 网络动态确定每个目标令牌的 k 值，该方法能够有效过滤检索结果中的噪声并显著优于传统的 kNN-MT 模型，在四个基准机器翻译数据集上得到了验证，并在其他领域展现了其普适性。

May, 2021

最近邻机器翻译

本研究提出 $k$- 最近邻机器翻译方法，基于神经翻译模型的表示进行相似性搜索，不需要额外训练，适用于广泛的场景，并且可以通过使用特定于域的数据存储库来适应不同的领域，显著提高翻译性能。

Oct, 2020

简单且可扩展的最邻近机器翻译

本文提出了一种基于句子级检索的最近邻机器翻译框架，用于快速领域自适应，该框架旨在大大提高 kNN-MT 模型的解码和存储效率，并且不会影响翻译性能。实验证明，该框架不仅能够达到与 NMT 模型相同的速度，且能够显著减少存储要求。

Feb, 2023

序列级知识蒸馏

本文介绍了在神经机器翻译中应用知识蒸馏技术，包括传统的单词级别预测和两种新的序列级知识蒸馏模型。在现有最优模型的基础上，我们的学生模型在运行速度增加的同时，表现损失不大。此外，通过权重剪枝，还极大地减小了模型的参数数量。

Jun, 2016

快速最近邻机器翻译

本文提出了一种快速的 $k$ 最近邻机器翻译模型，通过使用仅限于相同查询令牌的最近令牌级邻居来限制查询空间，从而大大提高了解码效率，并实现了与 $k$NN-MT 相当的性能表现，只比标准 NMT 模型慢两倍。

May, 2021

加速 k 最近邻机器翻译

通过提出的多层感知器神经网络与 kNN-MT 系统结合，成功减少了冗余的检索操作，并显著降低了 kNN 检索的开销，虽然会导致轻微的翻译质量下降，但该方法可以与所有现有的 kNN-MT 系统配合使用。

Dec, 2023

最近邻机器翻译是输出投影层上的元优化器

本文分析了 $k$NN-MT 的理论和实证研究，以及针对多域实验和单词级别的分析，发现在特定情况下，结合 $k$NN-MT 和适配器的方法能够实现与在域测试集上微调相当的翻译性能，并在域外测试集上取得更好的性能，同时，优化上下文表示可以弥补低频特定领域词汇召回方面 $k$NN-MT 与微调的差距。

May, 2023

非参数知识蒸馏在端到端语音翻译中的解耦

无需转录，用非参数存储库从数据角度提高语音翻译数据效率

Apr, 2023

面向鲁棒的 k 近邻机器翻译

本文研究并发现 kNN-MT 的性能下降问题，提出了一种信心增强的 kNN-MT 模型，结合鲁棒训练和两种扰动方式以达到在基准数据集上实现显着改进和更好的鲁棒性的效果。

Oct, 2022

基于聚类的高效 k 近邻机器翻译

本文提出了一种用于领域自适应的非参数翻译解决方案 “k 最近邻机器翻译（kNN-MT）”，并通过在聚类的基础上通过对比学习的方式构建紧凑网络，提高了检索效率并且在大型数据集上取得了更好或相当的性能表现，同时对于不同领域的通用性很强。

Apr, 2022