Mar, 2022

通过广义激进解码实现自回归翻译的无损加速

PDF
TL;DR通过自回归翻译和非自回归翻译的协同作用，提出了广义激进解码 (GAD)—— 无损加速自回归翻译的新解码范式，在保证翻译质量的前提下，大大提高了翻译效率，可用于 Abstractive Summarization 等其他序列到序列任务，是未来解码范式的一种潜在选择。
generalized aggressive decodingautoregressive translationnon-autoregressive translationtransformerseq2seq tasks
发现论文，激发创造
  • 使用积极解码的 Seq2seq 生成无损加速

    本文提出了一种名为 Aggressive Decoding 的解码算法，通过创新性的 Aggressive Decoding 和 Verification 的协同合作来实现加速 seq2seq 生成模型解码的过程，并在多个 seq2seq 任务上进行了测试，实现了同等甚至更高的质量和显著的加速。

    May, 2022

  • 通过并行解码加速 Transformer 推理以进行翻译

    本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构，以解决 transformers 对机器翻译的效率问题，实现了速度提高，而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试，速度提升最多可达 38％，在并行资源上实现的速度几乎达到 2 倍。同时，为了更好地理解模型的条件依赖关系和检查解码过程，提出了解码依赖图可视化器（DDGviz）

    May, 2023

  • 带增强解码器输入的非自回归神经机器翻译

    本文提出了两种增强解码器输入以提高 NAT 模型的翻译准确性的方法，并表明这些方法在 WMT14 英德任务和 WMT16 英罗马任务中比 NAT 基线高出 $5.11$ BLEU 分数和 $4.72$ BLEU 分数。

    Dec, 2018

  • 非自回归神经机器翻译的扫视变换器

    提出了一种基于 Glancing Language Model 的机器翻译方法，通过单次并行解码，实现了高效率、高质量的机器翻译效果，使得单次非自回归方法的性能优于以往所有方法，并且与 Transformer 相当，缩小了 0.25-0.9 BLEU 分数差距。

    Aug, 2020

  • 利用排序信息指导非自回归神经机器翻译解码

    本研究提出了一种名为 ReorderNAT 的新型非自回归神经机器翻译框架，该框架利用可确定性和不确定性解码战略以缩小解码空间，从而更好地模拟了编码过程中的重新排序信息，实验结果表明，该模型在各种广泛使用的数据集上表现出更好的性能，并且通过显着的加速实现了与自回归翻译模型相媲美的翻译质量。

    Nov, 2019

  • 深度编码器，浅层解码器：重新评估非自回归机器翻译

    本研究发现，在编码器足够深的情况下，单层自回归解码器可以显著地优于拥有相似推理速度的强大非自回归模型，并认为自回归基准与非自回归方法之间的速度劣势在某些方面被高估，这些结果为未来研究快速且准确的机器翻译建立了新的协议。

    Jun, 2020

  • 深度自回归模型的块并行解码

    该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

    Nov, 2018

  • 浅层激进解码实现即时语法错误纠正

    本文提出 Shallow Aggressive Decoding（SAD）以提高 Transformer 模型在瞬时语法错误纠正（GEC）任务中的在线推断效率，该方法通过两种创新的方式优化在 GEC 中的在线推断效率：1）积极地并行解码尽可能多的符号以提高计算并行性；2）采用浅解码器，而非传统的具有平衡编码器 - 解码器深度的 Transformer 结构以降低推断过程中的计算成本。实验结果表明，积极解码可以产生与贪婪解码相同的预测，但在线推理速度显着提高。与浅解码器相结合，可以在不降低质量的情况下进一步提高在线推理速度。该方法不仅可以使单一模型在英语 GEC 基准测试中取得最先进的结果，还可以轻松适应其他语言。

    Jun, 2021

  • 非自回归神经机器翻译的模仿学习

    本文提出了基于仿真学习的非自回归机器翻译框架，该框架仍然具有快速翻译速度但与其自回归对应方法相比具有可比较的翻译性能。通过对 IWSLT16、WMT14 和 WMT16 数据集进行实验，发现我们提出的模型在保持翻译质量可比的同时，比自回归模型有更快的翻译速度。在推断时并行采样句子长度，WMT16 Ro→En 的 BLEU 值达到 31.85，而 IWSLT16 En→De 的 BLEU 值为 30.68。

    Jun, 2019

  • 混合回归神经机器翻译

    本文提出了一种叫做混合回归翻译的翻译模型，它结合了自回归翻译和非自回归翻译模式的优势，通过在自回归过程中预测部分结果，再通过非自回归方式填充其余结果的方式，开发出了一种基于这两种模式的翻译模型，并对其效率和准确性进行了评估和比较。

    Oct, 2022