- ACL非自回归翻译的成果
最近的研究发现非自回归翻译方法与自回归方法在性能上存在一定差距，且传统的评估指标不太相关。本文通过系统评估四种非自回归方法，并结合人工评估，发现尽管性能差距在缩小，但当前领先的非自回归方法仍然不如自回归方法，在更可靠的评估指标下表现不佳。此 - 使用预训练语言模型、嵌入蒸馏和上采样策略改善 CTC 非自回归翻译质量
通过使用 CTC loss 进行微调 PMLM 模型、采用 MASK 插入方案进行上采样、使用嵌入蒸馏方法进一步提高性能，使得非自回归模型获得了更好的翻译质量和加速，并在多个数据集上优于自回归模型
- ACL大规模重访非自回归翻译
本文系统研究了缩放对非自回归翻译的影响，发现缩放可以缓解其模型的弱点，并提升其翻译性能。同时，作者还研究了 NAT 编码器和解码器对翻译性能的影响，并建立了新的基准数据集作为未来研究的强有力基础线。
- 非自回归文档级机器翻译（NA-DMT）：探索有效方法、挑战和机遇
本文从文档级机器翻译的角度全面探讨了典型的非自回归翻译模型，实验证明尽管非自回归模型可以显著加速文档的文本生成，但是它们在文档水平上的表现并不如在句子级上的表现，作者提出了一个新的设计来弥补这种性能差距，重视句子级别的对齐和多模态问题，在此 - ICLR有向无环图中的模糊对齐用于非自回归机器翻译
本文提出了一种新的方法，使用模糊对齐分数来训练基于有向无环图结构的非自回归翻译模型，从而解决多模态问题，在主要 WMT 基准数据上取得了显著的翻译性能提升和置信度提高，为非自回归翻译模型的训练提供了一个新的方向。
- N-Gram 最近邻机器翻译
本文提出了一种新颖的 $n$-gram 最近邻检索方法，可以提高机器翻译的精度并适用于 Autoregressive Translation 和 Non-Autoregressive Translation 模型，改进后的方法在 AT 和 - EMNLP候选汤：将候选结果融合以提升非自回归翻译的翻译质量
本研究通过引入 “Candidate Soups” 方法，利用模型不稳定性充分使用不同候选翻译的有价值信息，从而在保持 NAT 模型的推理速度的同时，实现高质量翻译，实验证明该方法能够显著改善各种基础模型的翻译质量，而其最佳变体更取得了 7 - ICLR混合回归神经机器翻译
本文提出了一种叫做混合回归翻译的翻译模型，它结合了自回归翻译和非自回归翻译模式的优势，通过在自回归过程中预测部分结果，再通过非自回归方式填充其余结果的方式，开发出了一种基于这两种模式的翻译模型，并对其效率和准确性进行了评估和比较。
- COLINGngram-OAXE：基于短语的无序自回归机器翻译交叉熵
使用 ngram-oaxe loss 进行翻译，能够更好地模拟表达短语和句子的结构，减轻多模式及单词排序错误的影响。
- 基于 CTC 的非自回归机器翻译中的非单调潜在对齐
本文提出了一种利用非单调潜在对齐的方法，扩展非自回归翻译模型的非单调对齐空间，进一步考虑与目标句子重叠的所有对齐，并训练潜在对齐模型以最大化非单调匹配的 F1 分数，从而提高 CTC-based 模型的翻译性能，最佳模型在 WMT14 En - 非自回归机器翻译中的语法多模式研究
该论文针对非自回归翻译模型中存在的语法多模式问题进行了系统研究。作者提出了连接时序分类（CTC）和无序交叉熵（OAXE）损失函数来处理不同范围的语法多模式，并设计了一种新的损失函数来更好地处理实际世界数据集中的复杂语法多模式。
- ACL邻居不是陌生人：在低频词汇限制下改进非自回归翻译
该研究探讨了非自回归翻译方法中因最近度高而导致的限制条件处理不良的问题，并提出一种基于 source-side context 的插件算法，即 Aligned Constrained Training，来提高翻译品质，尤其针对一些不常见的限 - 通过广义激进解码实现自回归翻译的无损加速
通过自回归翻译和非自回归翻译的协同作用，提出了广义激进解码 (GAD)—— 无损加速自回归翻译的新解码范式，在保证翻译质量的前提下，大大提高了翻译效率，可用于 Abstractive Summarization 等其他序列到序列任务，是未来 - 具有依赖感知解码器的非自回归翻译
本文提出了一种能够从两个角度增强神经机器翻译（Non-autoregressive translation）解码器内部的目标依存性的新方法，并在四个 WMT 翻译任务上进行试验。结果表明，该方法相较于其他神经机器翻译方法，能够将 BLEU - 分层预测与深度监督的非自回归翻译
本研究提出了 DSLP 模型，可以通过使用深度监督和层次预测训练非自回归 Transformer 以进行高效且高性能的机器翻译，实验结果表明，与基础模型相比，我们的方法始终改善了 BLEU 得分，尤其在推理效率方面提高了 14.8 倍。
- ACL非自回归翻译的渐进式多粒度训练
本文证明 non-autoregressive translation 偏爱学习细粒度语言知识，并提出了逐步加深语言粒度的 multi-granularity training 方法，实验结果表明该方法能够提高短语翻译准确率、模型排序能力， - ICML无序交叉熵在非自回归机器翻译中的应用
本文提出了一种新的训练目标，名为非自回归翻译（NAT）模型的无序交叉熵（OaXE），通过改善标准交叉熵损失来改善字词重排序的影响，并解决了 NAT 中的严重多模性问题，有效地提高了翻译性能，在 WMT 基准测试中取得了最新的最佳效果。
- ACL利用平行数据使低频词复苏 —— 非自回归翻译的最大化利用
通过知识蒸馏可以构建合成数据用于训练非自回归翻译模型，但由于合成数据与原始数据之间的低频词差异，容易导致低频词预测错误，在此基础上，我们通过使用逆向蒸馏等方法改善训练策略，提高非自回归翻译模型的翻译性能和低频词预测准确率。
- ICLR了解和改善非自回归翻译中的词汇选择
本文通过知识蒸馏的方式训练非自回归翻译模型，并指出在低频词方面，自回归模型的词汇选择误差会传递给非自回归模型，同时提出了一个额外的 KL 散度项以减少低频词方面的词汇选择误差并通过实验验证了其有效性和普适性。
- EMNLP将本地翻译机制融入非自回归翻译中
本研究介绍了一种新的局部自回归翻译机制，将其应用于非自回归翻译模型中，以捕捉目标输出的局部依赖关系。同时，设计出一种高效的合并算法来对齐和合并输出序列。我们在 5 个翻译任务上进行了实证结果，表明相比 CMLM，我们的方法在更少的译码迭代次