- 并联自回归重评分的非自回归端到端语音翻译
本文提出了一种基于非自回归模型 (NAR) 的高效端到端语音翻译 (E2E-ST) 系统 ——Orthros，使用条件掩蔽语言模型 (CMLM) 和连接主义时间分类 (CTC) 模型作为 NAR 解码器，并采用两种训练方法来增强 CMLM - 一种有效的非自回归式口语理解模型
本文提出了一种新型非自回归对话系统核心部件 ——Layered-Refine Transformer，其包含 Slot Label Generation 和 Layered Refine Mechanism，通过在训练期间有效获取依赖信息， - ACL蒸馏数据复杂度如何影响非自回归机器翻译的质量和置信度？
研究表明，非自回归模型在机器翻译中表现良好，但由于其需要从自回归模型中提炼知识，受到了一定的限制。本文针对这个问题进行了研究，通过实验发现，虽然减少词汇多样性和减少重新排序复杂性都有助于 NAR 学习更好的源和目标之间的对齐关系，从而提高翻 - ACL潜在对齐是否能提高自回归机器翻译？
探讨使用潜在对齐目标训练自回归机器翻译模型时遇到的困难及其理论解释。
- ACL将句法和语义结构丰富非自回归变压器用于神经机器翻译
本研究旨在提高非自回归模型的神经机器翻译的效率和性能，通过将语言的句法和语义结构以及目标句子中的中间潜在对齐纳入一个非自回归 Transformer 模型。实验证明，该模型在速度上显著提高，与现有的多个最先进的非自回归模型相比，在保持翻译质 - Align-Refine: 迭代实时对准实现非自回归式语音识别
本研究提出了一种基于迭代重对齐的端到端 Transformer 模型，在语音识别中优化了 CTC（Connectionist Temporal Classification）对齐，允许长度可变的插入和删除操作。该模型在一个迭代过程中具有很强 - COLING使用自审机制将序列信息注入条件掩码翻译模型
提出了一种自我审核机制来为条件掩蔽翻译模型注入顺序信息，以改进其翻译精度，而且通过知识蒸馏，该模型甚至可以超过传统的从左到右的 Transformer 模型，同时加速解码。
- ICML一种基于 EM 方法的非自回归条件序列生成方法
本文提出的一种新方法使用统一的 EM 框架共同优化 AR 和 NAR 模型，以有效地引导系统消除输出序列中的多模态，评估结果表明，该方法在机器翻译任务上实现了具有竞争力的性能，同时显著减少了推理延迟。
- ACL非自回归模型的序列生成研究
该研究通过提出一种分析模型来表征 Non-autoregressive 模型生成不同序列任务的难易程度，并发现知识蒸馏和源 - 目标对齐技术可以帮助提升 Non-autoregressive 模型的准确性，减少目标序列的依赖性。
- 提高非自回归机器翻译的流畅度
本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。
- 基于位置学习的非自回归 Transformer
本研究提出 PNAT，将位置建模作为非自回归文本生成过程的一个潜变量。实验结果表明，PNAT 在机器翻译和转述生成任务中取得了最佳结果，优于几个强基线模型。
- 序列模型的快速结构化解码
非自回归序列模型为了减少推理时间，通常会假定每个单词的生成过程彼此独立，但这会导致结果不一致。本文提出了一种结构化推理模块，使用高效的 CRF 近似算法来建模动态转换技术，以提高翻译的一致性，并在不影响推理速度的前提下，显著提高了翻译性能。
- EMNLPFlowSeq：基于生成流的非自回归条件序列生成
提出一种使用生成流的非自回归序列生成模型，以提高非自回归序列生成的效率。在三个神经机器翻译基准数据集上进行了评估，与最先进的非自回归神经机器翻译模型性能相当且几乎不随序列长度而变化。
- EMNLP使用连接时序分类的端到端非自回归神经机器翻译
提出基于 CTC 的非自回归结构，可用于神经机器翻译，相比其他的非自回归结构，本文所提出的模型可以进行端到端的训练，并在 WMT 英罗马尼亚和英德数据集上实现了可比的翻译质量及较大的速度提升。