EMNLPDec, 2022

具有对比翻译记忆的神经机器翻译

PDF
TL;DR本文提出了一种新的检索增强 NMT 模型，用于对比检索翻译记忆，利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益，实验结果表明，该模型在基准数据集上优于现有算法。
发现论文，激发创造
  • 基于单语翻译记忆的神经机器翻译

    本研究提出了一种新的框架，使用单语记忆并以跨语言方式进行可学习的记忆检索，以增强神经机器翻译性能，并展示其在较低资源和领域适应情况下的有效性。

    May, 2021

  • 搜索引擎引导的非参数神经机器翻译

    本研究提出了一种基于注意力机制的神经机器翻译（NMT）模型，并允许它在训练后访问整个平行句子对训练集。该模型由两个阶段组成：检索阶段和翻译阶段，实现了在源句子和一组检索的平行句子对之间的平滑翻译。在三种语言（En-Fr，En-De 和 En-Es）上的实证评估表明，该方法显著优于基准方法，并且当检索到更相关的平行句子对时，改进效果更为显著。

    May, 2017

  • 重新思考翻译记忆增强神经机器翻译

    本研究通过概率检索和方差 - 偏差分解原理，重新思考了翻译记忆增强神经机器翻译（TM-augmented NMT）。研究发现，TM-augmented NMT 能够很好地拟合数据，但对训练数据的波动更为敏感，为同一翻译任务上最近报告的矛盾现象提供了解释。本文提出了一种简单而有效的 TM-augmented NMT 模型，以促进方差和解决矛盾现象。广泛的实验表明，在两种低方差（低资源和即插即用）方案以及高资源情景下，所提出的 TM-augmented NMT 均实现了相对于传统 NMT 和现有 TM-augmented NMT 的一致的收益。

    Jun, 2023

  • 通过对比增强上下文

    通过最大化巴洛双生损失来提高神经机器翻译性能，从而得到含义丰富的表示，并通过语言分类和与最先进的方法进行对比，评估我们表示的语言无关性。

    Jan, 2024

  • 通过建议重排序提高检索增强翻译的稳健性

    使用翻译记忆进行模糊匹配的神经机器翻译系统，存在与测试数据不匹配的领域问题。作者提出了一种简单的方法，在训练期间暴露模糊匹配，从而使系统对与测试数据不匹配的翻译记忆具有更好的容错性，并且该模型在使用相关翻译记忆的情况下仍然具有竞争力。

    Oct, 2022

  • 利用检索到的翻译片段指导神经机器翻译

    通过搜索引擎检索以前见过的语句，然后提取这些语句中与源语句匹配的 $n$-grams 以实现将历史翻译例子加入到神经机器翻译模型中，因此提高翻译效果。

    Apr, 2018

  • 检索增强的神经机器翻译中的从内存中检索示例：系统性比较

    通过实验研究了不同的检索方法对几种翻译体系结构的影响，以更好地理解检索和生成两个过程之间的相互作用。研究表明，检索技术的选择会影响翻译结果，且不同体系结构之间存在方差。此外，研究还探讨了增加示例数量和多样性的效果，普遍上是积极的。

    Apr, 2024

  • 使用翻译记忆推进神经机器翻译

    本文介绍了一种将翻译记忆集成到神经机器翻译系统中的简单有效方法，并在多个数据集上获得实验性能显著优于强基线模型的结果。

    Jan, 2023

  • SMDT: 选择性记忆增强神经文档翻译

    本文提出了一种选择性存储增强神经文档翻译模型，通过从训练语料库中检索相似的双语句对来增强全局上下文信息，并扩展双流注意力模型以捕捉局部上下文和多样化的全局上下文，该统一方法使我们的模型可以优雅地在三个公开的文档级机器翻译数据集上训练，并显著优于以前的文档级 NMT 模型。

    Jan, 2022

  • 超越对比学习：一种多语言检索的变分生成模型

    本文提出了一种新的多语种文本嵌入生成模型 —— VMSST，通过在 $N$ 种语言的并行数据上运行，通过一个引入的近似算法，在多语种语境中鼓励源分离，我们在比较学习多语种文本嵌入的对比和基于生成的方法时，对其进行了仔细的大规模比较，并对其进行了语义相似性、位文本挖掘、跨语言问题检索等任务的评估，从而证明了其优越性。

    Dec, 2022