序列模型的快速结构化解码

Oct, 2019

Fast Structured Decoding for Sequence Models

Zhiqing Sun, Zhuohan Li, Haoqing Wang, Zi Lin, Di He...

TL;DR非自回归序列模型为了减少推理时间，通常会假定每个单词的生成过程彼此独立，但这会导致结果不一致。本文提出了一种结构化推理模块，使用高效的 CRF 近似算法来建模动态转换技术，以提高翻译的一致性，并在不影响推理速度的前提下，显著提高了翻译性能。

Abstract

Autoregressive sequence models achieve state-of-the-art performance in domains like machine translation. However, due to the autoregressive factorization nature, these models suffer from heavy latency during inference. Recently, non-autoregressive sequence models were proposed to reduc

autoregressive models non-autoregressive models machine translation conditional random fields inference time

发现论文，激发创造

使用连接时序分类的端到端非自回归神经机器翻译

提出基于 CTC 的非自回归结构，可用于神经机器翻译，相比其他的非自回归结构，本文所提出的模型可以进行端到端的训练，并在 WMT 英罗马尼亚和英德数据集上实现了可比的翻译质量及较大的速度提升。

Nov, 2018

非自回归神经机器翻译：呼唤清晰度

本文旨在改进非自回归方法在机器翻译方面的表现，探讨了多种技术提升其翻译质量和效率，并将其在四个翻译任务上进行了评估，考虑到 tokenized BLEU 的使用不一致，我们贡献了标准化的 BLEU、chrF++ 及 TER 得分，并将代码开源集成于 fairseq 中以便重现研究结果。

May, 2022

深度编码器，浅层解码器：重新评估非自回归机器翻译

本研究发现，在编码器足够深的情况下，单层自回归解码器可以显著地优于拥有相似推理速度的强大非自回归模型，并认为自回归基准与非自回归方法之间的速度劣势在某些方面被高估，这些结果为未来研究快速且准确的机器翻译建立了新的协议。

Jun, 2020

通过迭代改善的方法进行非自回归神经序列建模

提出一种基于迭代改善的有条件非自回归神经序列模型，结合了潜变量模型和自编码器的原则，可以广泛应用于任何序列生成任务。该模型经过在机器翻译（En-De 和 En-Ro）以及图像字幕生成方面的广泛评估，观察到它显著加快解码速度，并保持与自回归形式相当的生成质量。

Feb, 2018

提高非自回归机器翻译的流畅度

本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。

Apr, 2020

超越反馈环的自回归文本生成

本文介绍了一种将潜在状态空间模型与 CRF 观察模型结合的自回归观察模型，在无条件句子生成中，与基线模型相比具有更好的性能，避免了自回归模型的一些典型失败模式。

Aug, 2019

深度自回归模型的块并行解码

该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

Nov, 2018

具有位置对齐的快速图像字幕生成

提出了一种非自回归解码框架用于图片描述，该框架使用位置对齐和推理策略来指导更进一步的句子生成，实验结果表明此模型相对于自回归模型有显著的加速效果，并且相较于 NA 模型有更好的表现。

Dec, 2019

掩码非自回归图像字幕生成

本文提出了一种基于遮码机制的非自回归解码模型，用于生成图像标题。实验结果表明，该模型可以更有效地保留语义内容并生成更多样化的标题。

Jun, 2019

将句法和语义结构丰富非自回归变压器用于神经机器翻译

本研究旨在提高非自回归模型的神经机器翻译的效率和性能，通过将语言的句法和语义结构以及目标句子中的中间潜在对齐纳入一个非自回归 Transformer 模型。实验证明，该模型在速度上显著提高，与现有的多个最先进的非自回归模型相比，在保持翻译质量的同时表现突出。

Jan, 2021