ACLFeb, 2024

机器翻译中的马尔可夫性质再考察

PDF
TL;DR在这篇论文中，我们重新审视了神经机器翻译中的马尔可夫性质，并设计了一个马尔可夫自回归变压器（MAT），并对其在四个 WMT 基准测试上的性能进行了全面评估。我们的研究结果表明，拥有大于 4 阶的 MAT 能够生成与传统自回归变压器相媲美的质量的翻译结果。此外，令人意外的是，我们还发现利用更高阶的 MAT 并没有特别有助于翻译较长的句子。
markov propertyneural machine translationmarkov autoregressive transformerwmt benchmarksautoregressive transformers
发现论文，激发创造
  • 半自回归神经机器翻译

    本论文提出一种用于快速序列生成的新型模型：半自回归 Transformer (SAT)，该模型在保持全局自回归属性的同时减轻了本地自回归属性，从而能够在每个时间步骤同时产生多个连续的词。在英德翻译和中英翻译任务上进行的实验证明，SAT 实现了翻译质量和解码速度之间的良好平衡。

    Aug, 2018

  • 非自回归神经机器翻译

    本文提出一种新的神经机器翻译模型，通过避免自回归的特性，以并行方式生成输出，进而做到了比先前方法更低的延迟时间。通过知识蒸馏，潜在变量，以及多样本策略梯度微调等技术手段，几乎没有损失性能，达到了先进的翻译效果。

    Nov, 2017

  • 将翻译记忆集成到非自回归机器翻译中

    本文研究利用 Translation Memory 对 Levenshtein Transformer 进行改进来进行非自回归机器翻译，通过调整数据表示和引入额外的删除操作，提高了解码效率。同时讨论了利用 Translation Memory 训练模型的方法，减少了多模态问题，无需使用知识蒸馏。

    Oct, 2022

  • 使用 Delta 后验的确定性推断实现潜变量非自回归神经机器翻译

    LaNMT 是一种基于最近的改进方法的潜变量非自回归模型，具有连续潜变量和确定性推断过程，在推断期间，翻译的长度自动适应，在 ASPEC Ja-En 数据集上的解码速度比自回归算法快 8.6 倍，在 WMT'14 En-De 数据集上，解码速度比自回归基线快 12.5 倍，且独立的并行解码和教师模型再评分可以将性能差距进一步降至 1.0 BLEU point。

    Aug, 2019

  • 非自回归机器翻译参考文献改写

    本文介绍了一种针对非自回归神经机器翻译（NAT）多模问题的解决方案：引入一种重新表述器 (rephraser) 来为 NAT 提供更好的训练目标，并通过强化学习优化该目标，从而提高 NAT 翻译质量，在主要 WMT 基准和 NAT 基线上实验表明相比原始 NAT 的翻译质量有了明显的提高，且最优实验方案的推理效率是自回归 Transformer 的 14.7 倍。

    Nov, 2022

  • 非自回归机器翻译的基于提示的训练

    该论文提出了一种新的方法，通过利用隐藏状态和单词对齐的提示，帮助训练非自回归翻译模型，实现了比以前的非自回归翻译模型更显着的改进，甚至可以与强大的基于 LSTM 的自回归翻译模型基线相媲美但在推理速度上快一个数量级。

    Sep, 2019

  • 非自回归机器翻译：速度不像看起来那么快

    本研究对非自回归模型及自回归模型在机器翻译中的效率进行了探究，并提出了对非自回归模型的进一步实验和评测。

    May, 2022

  • 非自回归神经机器翻译的模仿学习

    本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模型有更快的翻译速度。在推断时并行采样句子长度，WMT16 Ro→En 的 BLEU 值达到 31.85，而 IWSLT16 En→De 的 BLEU 值为 30.68。

    Jun, 2019

  • 全非自回归神经机器翻译：技巧窍门

    本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

    Dec, 2020

  • 混合回归神经机器翻译

    本文提出了一种叫做混合回归翻译的翻译模型，它结合了自回归翻译和非自回归翻译模式的优势，通过在自回归过程中预测部分结果，再通过非自回归方式填充其余结果的方式，开发出了一种基于这两种模式的翻译模型，并对其效率和准确性进行了评估和比较。

    Oct, 2022