本论文提出一种用于快速序列生成的新型模型：半自回归 Transformer (SAT)，该模型在保持全局自回归属性的同时减轻了本地自回归属性，从而能够在每个时间步骤同时产生多个连续的词。在英德翻译和中英翻译任务上进行的实验证明，SAT 实现了翻译质量和解码速度之间的良好平衡。

Aug, 2018

本研究旨在提高非自回归模型的神经机器翻译的效率和性能，通过将语言的句法和语义结构以及目标句子中的中间潜在对齐纳入一个非自回归 Transformer 模型。实验证明，该模型在速度上显著提高，与现有的多个最先进的非自回归模型相比，在保持翻译质量的同时表现突出。

Jan, 2021

提出了一种非自回归流式 Transformer（NAST）用于同时机器翻译（SiMT），通过通过一种新的编码器和非自回归解码器拓宽了读 / 写策略并降低延迟损失，实验证明 NAST 优于以往自回归 SiMT 基线模型。

Oct, 2023

本研究提出了 DSLP 模型，可以通过使用深度监督和层次预测训练非自回归 Transformer 以进行高效且高性能的机器翻译，实验结果表明，与基础模型相比，我们的方法始终改善了 BLEU 得分，尤其在推理效率方面提高了 14.8 倍。

Oct, 2021

我们提出了一种新颖的非自回归生成框架用于同时语音翻译 (NAST-S2X)，它将语音到文本和语音到语音任务整合到统一的端到端框架中。实验结果表明，NAST-S2X 在语音到文本和语音到语音任务中优于现有模型，在不到 3 秒的延迟内实现了高质量的同时口译，并在离线生成中提供了 28 倍的解码加速。

Jun, 2024

本研究提出了一种全非自回归神经机器翻译（NAT）的方案，采用依赖关系减少等方法，缩短推理延迟同时提升翻译质量，在三个翻译基准测试中实现了新的全自然机器翻译模型的最高水平，并在推理时间上取得了大约 16.5 倍的速度提升。

Dec, 2020

本文提出了一种从结构输入到结构输出的端到端翻译架构，其中联合建模和生成目标翻译及其相应的句法图。我们设计了一个自适应动态时空图卷积解码器（Dyn-STGCD），它可以消费源功能表示及其句法图，并同时自回归生成目标句法图和令牌。我们在五个广泛认可的翻译基准测试中进行了大量实验，验证了我们的提议相对于基线和其他语法感知变体的一致改进。

May, 2023

本论文提出了两种增强 Non-Autoregressive Transformer (NAT) 翻译能力的方法：一种基于一种新的强化学习算法的序列级训练方法，叫做 Reinforce-NAT；还有一种名为 FS-decoder 的新型 Transformer 解码器，可以将目标顺序信息融合到解码器的顶层中。实验结果表明，Reinforce-NAT 在三个翻译任务上的表现优于基线模型 NAT，FS-decoder 的翻译性能与自回归 Transformer 相当，但速度更快。

Jun, 2019

该论文介绍了一种使用单个解码器共同生成自动语音识别和语音翻译输出的流式 Transformer-Transducer，并提出了一种联合令牌级串行输出训练方法以实现有效的 ASR 和 ST 内容生成，其平均 ASR 延迟为 1 秒，ST 延迟为 1.3 秒，在多语言情况下优化了输出质量表现。

Jul, 2023

本文介绍了如何将神经转录器引入流式端到端语音翻译（ST）中，提出了基于注意力池化的 Transformer transducer（TT）模型以及在多语言 ST 中的应用，结果表明 TT 模型不仅显著减少了推理时间，而且在英德翻译上优于基于 ASR 和 MT 的非流式级联 ST。

Apr, 2022