半自回归神经机器翻译

EMNLPAug, 2018

Semi-Autoregressive Neural Machine Translation

Chunqi Wang, Ji Zhang, Haiqing Chen

TL;DR本论文提出一种用于快速序列生成的新型模型：半自回归 Transformer (SAT)，该模型在保持全局自回归属性的同时减轻了本地自回归属性，从而能够在每个时间步骤同时产生多个连续的词。在英德翻译和中英翻译任务上进行的实验证明，SAT 实现了翻译质量和解码速度之间的良好平衡。

Abstract

Existing approaches to neural machine translation are typically autoregressive models. While these models attain state-of-the-art translation quality, they are suffering from low parallelizability and thus slow a

neural machine translation autoregressive models semi-autoregressive transformer decoding speed translation quality

发现论文，激发创造

非自回归神经机器翻译多模态错误恢复的学习

提出一种称为 RecoverSAT 的半自回归模型，用于非自回归神经机器翻译，其将翻译分成段并同时生成，同时每个段是逐个生成记号来预测的，通过动态确定段长度并删除重复部分，能够解决重复和缺失记号的多模态问题。与相应的自回归模型相比，该模型在保持相当性能的同时，实现了 4 倍以上的加速。

Jun, 2020

非自回归神经机器翻译

本文提出一种新的神经机器翻译模型，通过避免自回归的特性，以并行方式生成输出，进而做到了比先前方法更低的延迟时间。通过知识蒸馏，潜在变量，以及多样本策略梯度微调等技术手段，几乎没有损失性能，达到了先进的翻译效果。

Nov, 2017

混合回归神经机器翻译

本文提出了一种叫做混合回归翻译的翻译模型，它结合了自回归翻译和非自回归翻译模式的优势，通过在自回归过程中预测部分结果，再通过非自回归方式填充其余结果的方式，开发出了一种基于这两种模式的翻译模型，并对其效率和准确性进行了评估和比较。

Oct, 2022

带增强解码器输入的非自回归神经机器翻译

本文提出了两种增强解码器输入以提高 NAT 模型的翻译准确性的方法，并表明这些方法在 WMT14 英德任务和 WMT16 英罗马任务中比 NAT 基线高出 $5.11$ BLEU 分数和 $4.72$ BLEU 分数。

Dec, 2018

全非自回归神经机器翻译：技巧窍门

本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

Dec, 2020

非自回归流式 Transformer 用于同声翻译

提出了一种非自回归流式 Transformer（NAST）用于同时机器翻译（SiMT），通过通过一种新的编码器和非自回归解码器拓宽了读 / 写策略并降低延迟损失，实验证明 NAST 优于以往自回归 SiMT 基线模型。

Oct, 2023

为非自回归神经机器翻译检索连续信息

本论文提出了两种增强 Non-Autoregressive Transformer (NAT) 翻译能力的方法：一种基于一种新的强化学习算法的序列级训练方法，叫做 Reinforce-NAT；还有一种名为 FS-decoder 的新型 Transformer 解码器，可以将目标顺序信息融合到解码器的顶层中。实验结果表明，Reinforce-NAT 在三个翻译任务上的表现优于基线模型 NAT，FS-decoder 的翻译性能与自回归 Transformer 相当，但速度更快。

Jun, 2019

使用连接时序分类的端到端非自回归神经机器翻译

提出基于 CTC 的非自回归结构，可用于神经机器翻译，相比其他的非自回归结构，本文所提出的模型可以进行端到端的训练，并在 WMT 英罗马尼亚和英德数据集上实现了可比的翻译质量及较大的速度提升。

Nov, 2018

非自回归神经机器翻译的模仿学习

本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模型有更快的翻译速度。在推断时并行采样句子长度，WMT16 Ro→En 的 BLEU 值达到 31.85，而 IWSLT16 En→De 的 BLEU 值为 30.68。

Jun, 2019

用句法监督的 Transformer 加速神经机器翻译

本文介绍了一种基于句法指导的 Transformer 模型（SynST），它可以在预测出分块解析树之后自动并行地生成目标语言的所有标记，从而提高了翻译速度。一系列的实验表明，相比基线的自回归 Transformer 模型，SynST 模型在 En-De 和 En-Fr 数据集上实现了更高的 BLEU 分数，且速度快了约 5 倍。

Jun, 2019