ACLMay, 2023

通过并行解码加速 Transformer 推理以进行翻译

PDF
TL;DR本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构，以解决 transformers 对机器翻译的效率问题，实现了速度提高，而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试，速度提升最多可达 38％，在并行资源上实现的速度几乎达到 2 倍。同时，为了更好地理解模型的条件依赖关系和检查解码过程，提出了解码依赖图可视化器（DDGviz）
transformersmachine translationparallel decodingjacobi methodgauss-seidel method
发现论文，激发创造
  • 通过广义激进解码实现自回归翻译的无损加速

    通过自回归翻译和非自回归翻译的协同作用，提出了广义激进解码 (GAD)—— 无损加速自回归翻译的新解码范式，在保证翻译质量的前提下，大大提高了翻译效率，可用于 Abstractive Summarization 等其他序列到序列任务，是未来解码范式的一种潜在选择。

    Mar, 2022

  • 深度自回归模型的块并行解码

    该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

    Nov, 2018

  • 有向无环转换器的维特比解码在非自回归机器翻译中的应用

    本文提出了一种基于维特比解码的 DA-Transformer 模型，能够在保持速度优势的同时提高翻译效果，适用于非自回归模型的神经机器翻译。

    Oct, 2022

  • 通过隐藏传输进行并行解码以实现无损大型语言模型加速

    大型语言模型的并行解码技术，包括隐藏状态传递、树状注意机制和加速技术等，提高了模型推理速度和生成准确性。

    Apr, 2024

  • 通过推测解码从 Transformer 中实现快速推断

    本文提出了一种名为 “speculative decoding” 的算法，通过逐步并行地计算，采样自动回归模型可更快，同时采用了采样方法和一些新的技术，使得不改变分布的情况下，从大模型中精确解码变得更快，从而实现了不需要重新训练或架构更改即可支持现有模型的加速。在 T5-XXL 模型上的比较表明，该方法可以实现 2-3 倍的加速，而输出仍然与标准 T5X 实现相同。

    Nov, 2022

  • 深度编码器，浅层解码器：重新评估非自回归机器翻译

    本研究发现，在编码器足够深的情况下，单层自回归解码器可以显著地优于拥有相似推理速度的强大非自回归模型，并认为自回归基准与非自回归方法之间的速度劣势在某些方面被高估，这些结果为未来研究快速且准确的机器翻译建立了新的协议。

    Jun, 2020

  • 使用离散潜变量在序列模型中进行快速解码

    本研究提出使用离散潜变量来扩展序列模型，使解码更可并行化，相对于可比较的自回归模型，我们的模型在神经机器翻译任务中解码快一个数量级，而虽然 BLEU 得分低于纯自回归模型，但比以前提出的非自回归翻译模型获得了更高的分数。

    Mar, 2018

  • 使用 Delta 后验的确定性推断实现潜变量非自回归神经机器翻译

    LaNMT 是一种基于最近的改进方法的潜变量非自回归模型，具有连续潜变量和确定性推断过程，在推断期间，翻译的长度自动适应，在 ASPEC Ja-En 数据集上的解码速度比自回归算法快 8.6 倍，在 WMT'14 En-De 数据集上，解码速度比自回归基线快 12.5 倍，且独立的并行解码和教师模型再评分可以将性能差距进一步降至 1.0 BLEU point。

    Aug, 2019

  • 使用积极解码的 Seq2seq 生成无损加速

    本文提出了一种名为 Aggressive Decoding 的解码算法，通过创新性的 Aggressive Decoding 和 Verification 的协同合作来实现加速 seq2seq 生成模型解码的过程，并在多个 seq2seq 任务上进行了测试，实现了同等甚至更高的质量和显著的加速。

    May, 2022

  • 使用适配器将 BERT 整合到并行序列解码中

    本研究提出了一种通过加入轻量级适配器模块在 BERT 编码器和解码器之间 fine-tuning 来应对语言生成任务的问题，并在神经机器翻译任务上验证了该方法的有效性。

    Oct, 2020