ACLJun, 2021

非自回归翻译的渐进式多粒度训练

PDF
TL;DR本文证明 non-autoregressive translation 偏爱学习细粒度语言知识，并提出了逐步加深语言粒度的 multi-granularity training 方法，实验结果表明该方法能够提高短语翻译准确率、模型排序能力，并且更加确定的细粒度语言知识能进一步提升翻译质量。
non-autoregressive translationmulti-granularity trainingtranslation accuracymodel reordering abilityfine-grained knowledge
发现论文，激发创造
  • 非自回归翻译的多粒度优化

    本论文提出了一种针对非自回归机器翻译的多粒度优化方法，利用反向传播集成不同粒度的翻译段的模型行为反馈，实现在 WMT 基准测试集上超越对比模型，且在 WMT'16 En-Ro 上实现了最佳性能，在 WMT'14 En-De 上实现了高竞争的结果。

    Oct, 2022

  • 非自回归神经机器翻译的任务级课程学习

    本研究提出了一种训练曲线，通过任务级别的课程学习（TCL-NAT）将模型训练从更简单的自回归翻译（AT）任务平滑转移到困难的非自回归翻译（NAT）任务，其中引入了中间任务 - 半自回归翻译（SAT），可以通过调整参数 k，平衡翻译速度和准确性，达到在四个数据集上显著提高翻译准确性的效果。

    Jul, 2020

  • 全非自回归神经机器翻译：技巧窍门

    本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

    Dec, 2020

  • 基于课程学习的非自回归神经机器翻译的微调

    通过引入课程学习到 NAT 的微调过程中，本文提出的方法在 BLEU 度量上比以往的 NAT 基线有很大改进，同时在推理期间的速度比 AT 基线快 10 倍以上。

    Nov, 2019

  • 非自回归神经机器翻译的序列级训练

    本文提出了一种使用序列级训练目标来训练非自回归神经机器翻译模型的方法，通过几种为非自回归定制的新型强化算法，基于 BLEU 等序列级评价指标优化 NAT 模型的训练；介绍了一种基于 Bag-of-Ngrams（BoN）差异的 NAT 模型的新型训练目标；并通过三阶段训练策略将这两种方法结合起来应用，验证了该方法在多项任务中的鲜明表现。

    Jun, 2021

  • 利用对比学习优化非自回归变换器

    本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。

    May, 2023

  • 辅助规则下的非自回归机器翻译

    本文提出通过在 NAT 模型的训练过程中引入两个辅助正则化项来提高解码器的隐藏表示质量，以解决重复和不完整翻译的问题，并在几个基准数据集上进行了广泛实验，表明正则化策略是有效的，可以显著提高 NAT 模型的准确性和效率。

    Feb, 2019

  • 非自回归机器翻译共享编码器的多任务学习

    通过多任务学习和编码器共享，将自回归机器翻译的知识转移到非自回归机器翻译模型中，实现翻译质量的提升。

    Oct, 2020

  • 非自回归翻译的成果

    最近的研究发现非自回归翻译方法与自回归方法在性能上存在一定差距，且传统的评估指标不太相关。本文通过系统评估四种非自回归方法，并结合人工评估，发现尽管性能差距在缩小，但当前领先的非自回归方法仍然不如自回归方法，在更可靠的评估指标下表现不佳。此外，我们还发现明确建模依赖关系对于生成自然语言并推广到其他序列是至关重要的。

    May, 2024

  • RenewNAT: 为非自回归 Transformer 续期潜在翻译

    本文提出了一种名为 RenewNAT 的灵活框架，实现了高效和有效的翻译过程，结合了自然语言机器翻译的全非自回归模型和迭代模型。通过在单个通道中生成潜在的翻译结果，RenewNAT 在不引入额外模型参数和解码延迟的情况下，显着提高强大的全自然模型（例如 GLAT 和 DSLP）的性能。

    Mar, 2023