用扰动的kNN-MT生成多样化的翻译
本研究提出$k$-最近邻机器翻译方法,基于神经翻译模型的表示进行相似性搜索,不需要额外训练,适用于广泛的场景,并且可以通过使用特定于域的数据存储库来适应不同的领域,显著提高翻译性能。
Oct, 2020
本研究提出了一种新的kNN-MT方法,使用轻量级的元k网络动态确定每个目标令牌的k值,该方法能够有效过滤检索结果中的噪声并显著优于传统的kNN-MT模型,在四个基准机器翻译数据集上得到了验证,并在其他领域展现了其普适性。
May, 2021
本研究提出比以往更细致的“多样性”框架,将其分为词汇和句法多样性,并针对低资源和中资源机器翻译任务,提出创新的度量标准用于衡量这些不同方面的多样性。实证分析表明,使用核采样生成反向翻译能够提高最终模型性能,并且这种生成方法具有很高的词汇和句法多样性。研究还发现证据表明词汇多样性比句法多样性更重要。
Jun, 2022
本文研究并发现kNN-MT的性能下降问题,提出了一种信心增强的kNN-MT模型,结合鲁棒训练和两种扰动方式以达到在基准数据集上实现显着改进和更好的鲁棒性的效果。
Oct, 2022
本文提出了一种基于句子级检索的最近邻机器翻译框架,用于快速领域自适应,该框架旨在大大提高 kNN-MT 模型的解码和存储效率,并且不会影响翻译性能。实验证明,该框架不仅能够达到与 NMT 模型相同的速度,且能够显著减少存储要求。
Feb, 2023
本文分析了$k$NN-MT的理论和实证研究,以及针对多域实验和单词级别的分析,发现在特定情况下,结合$k$NN-MT和适配器的方法能够实现与在域测试集上微调相当的翻译性能,并在域外测试集上取得更好的性能,同时,优化上下文表示可以弥补低频特定领域词汇召回方面$k$NN-MT与微调的差距。
May, 2023
研究探究了在微调阶段引入kNN预测的统计数据来提高基线翻译模型,发现通过引入gating机制,kNN的真实概率和强化学习三种方法,相比于传统的微调,可以在四个标准机器翻译数据集上实现一致的改进,尤其于翻译语法关系或功能词时表现出更大的提升。
May, 2023
k-nearest-neighbor machine translation improves neural machine translation by utilizing a vector database of translation examples, and the paper presents an efficient framework called knn-seq to handle large datasets.
Oct, 2023
通过提出的多层感知器神经网络与 kNN-MT系统结合,成功减少了冗余的检索操作,并显著降低了 kNN 检索的开销,虽然会导致轻微的翻译质量下降,但该方法可以与所有现有的 kNN-MT系统配合使用。
Dec, 2023
非参数NMT领域自适应研究中,提出了基于k最近邻机器翻译的动态检索方法,通过线性插值系数lambda调整质量分布预测,同时引入基于多层感知机的分类器以及动态生成阈值的方法,从而提高模型的效率和适应性。
Jun, 2024