通过将隐藏状态表示成有向无环图，在非自回归的情况下同时捕获多个翻译，并促进快速预测，DA-Transformer 在 WMT 基准测试的原始训练数据上实验表明，DA-Transformer 比以前的 NATs（非自回归 transform）平均优于 3 BLEU，是第一个在不依赖于知识蒸馏的情况下实现与自回归 Transformer 竞争性结果的 NAT 模型。

May, 2022

本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

Apr, 2022

本文提出了一种基于 BERT 的非自回归文本生成模型，通过引入新的解码策略（ratio-first）以及机制来解决 NAG 模型中的两个问题，并在三个文本生成任务上进行全面评估，证明该模型在速度和性能上均优于现有的非自回归基线模型，在许多强自回归模型上也取得了有竞争力的性能.

Feb, 2021

该研究提出一种新的训练策略，使用最近邻作为 NAR 解码器的初始状态，并进行迭代编辑来改进文本生成质量，结果表明该方法在机器翻译和数据到文本任务上均获得了较高的翻译质量和更少的解码迭代次数。

Aug, 2022

通过展开去噪并展示其在下游生成任务中的最先进结果，我们研究了 T5 模型的非自回归无监督预训练。

Nov, 2023

本文提出了一种基于 DA-Transformer 模型和从模型分布中采点的对比约束的非自回归 Transformer 模型，通过这种方式减轻模态学习的难度，取得了在机器翻译，文本摘要和改写等多个基准数据集中显著的最新非自回归 Transformer 模型的性能。

May, 2023

利用大规模单语语料，基于知识蒸馏的方式提升非自回归神经机器翻译模型的效果，并成功地在 WMT14 En-De 和 WMT16 En-Ro 新闻翻译任务上验证了模型的性能提升。

May, 2020

Directed Acyclic Transformer（有向无环 Transformer）是一种快速的非自回归（NAR）模型，它在神经机器翻译中表现良好。然而，在应用于一般的自然语言生成（NLG）任务时存在两个问题：频繁的词汇外（OOV）错误和无法准确生成实体名称。我们引入了 Control-DAG，一种用于我们的 Directed Acyclic T5（DA-T5）模型的约束解码算法，它提供了词汇、词汇表和长度控制。我们展示了 Control-DAG 在 Schema Guided Dialogue 和 DART 数据集上显著提升了 DA-T5 的表现，为任务导向对话和数据到文本的自然语言生成领域建立了强大的非自回归结果。

Apr, 2024

本文提出了一种基于维特比解码的 DA-Transformer 模型，能够在保持速度优势的同时提高翻译效果，适用于非自回归模型的神经机器翻译。

Oct, 2022

本文分析了非自回归 Transformer 的学习挑战，提出统一视角来理解存在的成功。研究表明，我们的视角可以解释 NAT 学习中的现象并指导新的训练方法的设计。

Jun, 2022