Nov, 2019

基于位置学习的非自回归 Transformer

PDF
TL;DR本研究提出 PNAT，将位置建模作为非自回归文本生成过程的一个潜变量。实验结果表明，PNAT 在机器翻译和转述生成任务中取得了最佳结果，优于几个强基线模型。
发现论文，激发创造
  • 非自回归 Transformer 模型的学习

    本文分析了非自回归 Transformer 的学习挑战，提出统一视角来理解存在的成功。研究表明，我们的视角可以解释 NAT 学习中的现象并指导新的训练方法的设计。

    Jun, 2022

  • 使用扰动长度感知位置编码进行非自回归神经机器翻译

    本文提出了一种采用扰动的长度感知位置编码的序列级知识蒸馏方法，并将其应用于学生模型 Levenshtein Transformer 中，以提高非自回归神经机器翻译的翻译效果。实验结果表明，该方法在 WMT14 德语到英语翻译中相较传统方法提升了最大 BLEU 值 2.5 点，但输出的句子长度更长。

    Jul, 2021

  • 利用对比学习优化非自回归变换器

    本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。

    May, 2023

  • 通过学习目标分类编码实现非自回归式翻译

    本文提出了一种将 CNAT 学习的分类代码作为潜变量引入非自回归解码器的方法，从而解决其输入依赖性建模缺乏的限制，实现机器翻译任务中与多个强基线相比相当或更好的性能。

    Mar, 2021

  • 全非自回归神经机器翻译：技巧窍门

    本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

    Dec, 2020

  • 神经机器翻译及其扩展中的非自回归生成调查

    本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

    Apr, 2022

  • 基于概率无上下文文法的非自回归机器翻译

    Non-autoregressive Transformer (NAT) 通过引入 Probabilistic Context-Free Grammar (PCFG) 提升了神经机器翻译的表达能力，并缩小了 NAT 与 AT 模型之间的翻译质量差距。

    Nov, 2023

  • 带增强解码器输入的非自回归神经机器翻译

    本文提出了两种增强解码器输入以提高 NAT 模型的翻译准确性的方法，并表明这些方法在 WMT14 英德任务和 WMT16 英罗马任务中比 NAT 基线高出 $5.11$ BLEU 分数和 $4.72$ BLEU 分数。

    Dec, 2018

  • 为非自回归神经机器翻译检索连续信息

    本论文提出了两种增强 Non-Autoregressive Transformer (NAT) 翻译能力的方法：一种基于一种新的强化学习算法的序列级训练方法，叫做 Reinforce-NAT；还有一种名为 FS-decoder 的新型 Transformer 解码器，可以将目标顺序信息融合到解码器的顶层中。实验结果表明，Reinforce-NAT 在三个翻译任务上的表现优于基线模型 NAT，FS-decoder 的翻译性能与自回归 Transformer 相当，但速度更快。

    Jun, 2019

  • 具有依赖感知解码器的非自回归翻译

    本文提出了一种能够从两个角度增强神经机器翻译（Non-autoregressive translation）解码器内部的目标依存性的新方法，并在四个 WMT 翻译任务上进行试验。结果表明，该方法相较于其他神经机器翻译方法，能够将 BLEU 得分提高 1.88 分而且性能并不受影响。

    Mar, 2022