Nov, 2023

基于概率无上下文文法的非自回归机器翻译

PDF
TL;DRNon-autoregressive Transformer (NAT) 通过引入 Probabilistic Context-Free Grammar (PCFG) 提升了神经机器翻译的表达能力，并缩小了 NAT 与 AT 模型之间的翻译质量差距。
non-autoregressive transformerneural machine translationpcfg-natprobabilistic context-free grammartranslation quality
发现论文，激发创造
  • 全非自回归神经机器翻译：技巧窍门

    本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

    Dec, 2020

  • RenewNAT: 为非自回归 Transformer 续期潜在翻译

    本文提出了一种名为 RenewNAT 的灵活框架，实现了高效和有效的翻译过程，结合了自然语言机器翻译的全非自回归模型和迭代模型。通过在单个通道中生成潜在的翻译结果，RenewNAT 在不引入额外模型参数和解码延迟的情况下，显着提高强大的全自然模型（例如 GLAT 和 DSLP）的性能。

    Mar, 2023

  • 辅助规则下的非自回归机器翻译

    本文提出通过在 NAT 模型的训练过程中引入两个辅助正则化项来提高解码器的隐藏表示质量，以解决重复和不完整翻译的问题，并在几个基准数据集上进行了广泛实验，表明正则化策略是有效的，可以显著提高 NAT 模型的准确性和效率。

    Feb, 2019

  • 带增强解码器输入的非自回归神经机器翻译

    本文提出了两种增强解码器输入以提高 NAT 模型的翻译准确性的方法，并表明这些方法在 WMT14 英德任务和 WMT16 英罗马任务中比 NAT 基线高出 $5.11$ BLEU 分数和 $4.72$ BLEU 分数。

    Dec, 2018

  • 通过学习目标分类编码实现非自回归式翻译

    本文提出了一种将 CNAT 学习的分类代码作为潜变量引入非自回归解码器的方法，从而解决其输入依赖性建模缺乏的限制，实现机器翻译任务中与多个强基线相比相当或更好的性能。

    Mar, 2021

  • 非自回归翻译的渐进式多粒度训练

    本文证明 non-autoregressive translation 偏爱学习细粒度语言知识，并提出了逐步加深语言粒度的 multi-granularity training 方法，实验结果表明该方法能够提高短语翻译准确率、模型排序能力，并且更加确定的细粒度语言知识能进一步提升翻译质量。

    Jun, 2021

  • 邻居不是陌生人：在低频词汇限制下改进非自回归翻译

    该研究探讨了非自回归翻译方法中因最近度高而导致的限制条件处理不良的问题，并提出一种基于 source-side context 的插件算法，即 Aligned Constrained Training，来提高翻译品质，尤其针对一些不常见的限制条件。

    Apr, 2022

  • 为非自回归神经机器翻译检索连续信息

    本论文提出了两种增强 Non-Autoregressive Transformer (NAT) 翻译能力的方法：一种基于一种新的强化学习算法的序列级训练方法，叫做 Reinforce-NAT；还有一种名为 FS-decoder 的新型 Transformer 解码器，可以将目标顺序信息融合到解码器的顶层中。实验结果表明，Reinforce-NAT 在三个翻译任务上的表现优于基线模型 NAT，FS-decoder 的翻译性能与自回归 Transformer 相当，但速度更快。

    Jun, 2019

  • 利用对比学习优化非自回归变换器

    本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。

    May, 2023

  • 基于课程学习的非自回归神经机器翻译的微调

    通过引入课程学习到 NAT 的微调过程中，本文提出的方法在 BLEU 度量上比以往的 NAT 基线有很大改进，同时在推理期间的速度比 AT 基线快 10 倍以上。

    Nov, 2019