EMNLPOct, 2023

基于多 Levenshtein Transformer 的基于例子的神经机器翻译模型

PDF
TL;DR提出了一种新颖的基于检索增强的 Levenshtein Transformer 架构，旨在提高 Retrieval-Augmented Machine Translation 的透明度，并通过编辑多个模糊匹配的示例来改善翻译得分。
retrieval-augmented machine translationramtdomain adaptationtransparencylevenshtein transformer
发现论文，激发创造
  • 检索增强的神经机器翻译中的从内存中检索示例：系统性比较

    通过实验研究了不同的检索方法对几种翻译体系结构的影响，以更好地理解检索和生成两个过程之间的相互作用。研究表明，检索技术的选择会影响翻译结果，且不同体系结构之间存在方差。此外，研究还探讨了增加示例数量和多样性的效果，普遍上是积极的。

    Apr, 2024

  • 通过利用翻译记忆进行检索增强机器翻译的优化示例选择

    检索增强机器翻译通过检索类似实例的翻译记忆，以条件化神经解码器的预测。我们的目标是改进上游检索步骤，并考虑固定下游基于编辑的模型：多 Levenshtein Transformer。该任务是找到一组能够最大化源句子整体覆盖率的例子。为此，我们依赖于次模函数的理论，并探索优化这种覆盖的新算法。我们评估这些性能改进对机器翻译任务的影响。

    May, 2024

  • 通过控制源和模糊匹配交互来改进检索增强的神经机器翻译

    提出了一种新的方法，控制源句子和前 K 模糊匹配目标语言句子之间的交互，用于零样本自适应的机器翻译模型，实验证明该方法超越了以前的方法，提高了 BLEU 的分数，并在多个语言对和领域上进行了测试。

    Oct, 2022

  • 通过建议重排序提高检索增强翻译的稳健性

    使用翻译记忆进行模糊匹配的神经机器翻译系统，存在与测试数据不匹配的领域问题。作者提出了一种简单的方法，在训练期间暴露模糊匹配，从而使系统对与测试数据不匹配的翻译记忆具有更好的容错性，并且该模型在使用相关翻译记忆的情况下仍然具有竞争力。

    Oct, 2022

  • 将翻译记忆集成到非自回归机器翻译中

    本文研究利用 Translation Memory 对 Levenshtein Transformer 进行改进来进行非自回归机器翻译，通过调整数据表示和引入额外的删除操作，提高了解码效率。同时讨论了利用 Translation Memory 训练模型的方法，减少了多模态问题，无需使用知识蒸馏。

    Oct, 2022

  • 基于相关性的神经查询翻译的多任务架构

    本文介绍了一种利用多任务学习方法训练神经机器翻译模型并进行相关性辅助任务（RAT）来进行搜索查询翻译的方法。我们的多任务学习方法在意大利语 - 英语查询文档数据集上达到了 16% 的改进效果，并通过定量和定性分析展示了该模型的平衡和精准的翻译生成和正则化效果。

    Jun, 2019

  • 具有对比翻译记忆的神经机器翻译

    本文提出了一种新的检索增强 NMT 模型，用于对比检索翻译记忆，利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益，实验结果表明，该模型在基准数据集上优于现有算法。

    Dec, 2022

  • 基于双向翻译的生成真实对抗样本方法

    利用 Doubly Round-Trip Translation 和 Masked Language Models 构建 NMT 对抗样本，有效提高 NMT 模型的鲁棒性。

    Apr, 2022

  • 利用 ULMFit 和回译进行低资源文本分类

    通过深度学习模型数据增强技术，本文提高了 IMDB 电影评论数据集的文本分类准确性，其中采用了 Wei 和 Zou（2019）介绍的随机 token 扰动和将其翻译回到英语的回译技术，而回译技术的效果优于其他技术。最终，通过使用回译技术进行测试时间增强并将 ULMFit 模型与其他模型组合，实现了小幅度的性能提升。

    Mar, 2019

  • 重新思考翻译记忆增强神经机器翻译

    本研究通过概率检索和方差 - 偏差分解原理，重新思考了翻译记忆增强神经机器翻译（TM-augmented NMT）。研究发现，TM-augmented NMT 能够很好地拟合数据，但对训练数据的波动更为敏感，为同一翻译任务上最近报告的矛盾现象提供了解释。本文提出了一种简单而有效的 TM-augmented NMT 模型，以促进方差和解决矛盾现象。广泛的实验表明，在两种低方差（低资源和即插即用）方案以及高资源情景下，所提出的 TM-augmented NMT 均实现了相对于传统 NMT 和现有 TM-augmented NMT 的一致的收益。

    Jun, 2023