May, 2022

使用积极解码的 Seq2seq 生成无损加速

PDF
TL;DR本文提出了一种名为 Aggressive Decoding 的解码算法，通过创新性的 Aggressive Decoding 和 Verification 的协同合作来实现加速 seq2seq 生成模型解码的过程，并在多个 seq2seq 任务上进行了测试，实现了同等甚至更高的质量和显著的加速。
lossless accelerationseq2seq generationaggressive decodingparallel computingmachine translation
发现论文，激发创造
  • 通过广义激进解码实现自回归翻译的无损加速

    通过自回归翻译和非自回归翻译的协同作用，提出了广义激进解码 (GAD)—— 无损加速自回归翻译的新解码范式，在保证翻译质量的前提下，大大提高了翻译效率，可用于 Abstractive Summarization 等其他序列到序列任务，是未来解码范式的一种潜在选择。

    Mar, 2022

  • 通过并行解码加速 Transformer 推理以进行翻译

    本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构，以解决 transformers 对机器翻译的效率问题，实现了速度提高，而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试，速度提升最多可达 38％，在并行资源上实现的速度几乎达到 2 倍。同时，为了更好地理解模型的条件依赖关系和检查解码过程，提出了解码依赖图可视化器（DDGviz）

    May, 2023

  • 深度自回归模型的块并行解码

    该论文提出了一种新颖的分块并行解码方案，来提高序列生成的速度，并在机器翻译和图像超分辨率任务上通过实验验证了该方法的有效性。

    Nov, 2018

  • 浅层激进解码实现即时语法错误纠正

    本文提出 Shallow Aggressive Decoding（SAD）以提高 Transformer 模型在瞬时语法错误纠正（GEC）任务中的在线推断效率，该方法通过两种创新的方式优化在 GEC 中的在线推断效率：1）积极地并行解码尽可能多的符号以提高计算并行性；2）采用浅解码器，而非传统的具有平衡编码器 - 解码器深度的 Transformer 结构以降低推断过程中的计算成本。实验结果表明，积极解码可以产生与贪婪解码相同的预测，但在线推理速度显着提高。与浅解码器相结合，可以在不降低质量的情况下进一步提高在线推理速度。该方法不仅可以使单一模型在英语 GEC 基准测试中取得最先进的结果，还可以轻松适应其他语言。

    Jun, 2021

  • 通过隐藏传输进行并行解码以实现无损大型语言模型加速

    大型语言模型的并行解码技术，包括隐藏状态传递、树状注意机制和加速技术等，提高了模型推理速度和生成准确性。

    Apr, 2024

  • 基于噪声并行的条件循环语言模型近似解码

    本文主要探究了条件循环语言建模方面的一些进展和应用，提出了一个新的非常并行化的解码策略，并在诸如注意力机制和深度神经网络的领域进行了广泛的评估。

    May, 2016

  • 基于插入的解码方法与自动推断的生成顺序

    该论文提出了一种名为 InDIGO 的新型解码算法，该算法通过插入操作支持任意顺序的序列生成，并使用 Transformer 实现。实验结果显示，InDIGO 能够生成遵循任意顺序的序列，同时与传统的从左到右生成方法相比表现出竞争力甚至更好的性能。

    Feb, 2019

  • 掩码非自回归图像字幕生成

    本文提出了一种基于遮码机制的非自回归解码模型，用于生成图像标题。实验结果表明，该模型可以更有效地保留语义内容并生成更多样化的标题。

    Jun, 2019

  • 有向无环转换器的维特比解码在非自回归机器翻译中的应用

    本文提出了一种基于维特比解码的 DA-Transformer 模型，能够在保持速度优势的同时提高翻译效果，适用于非自回归模型的神经机器翻译。

    Oct, 2022

  • 具有位置对齐的快速图像字幕生成

    提出了一种非自回归解码框架用于图片描述，该框架使用位置对齐和推理策略来指导更进一步的句子生成，实验结果表明此模型相对于自回归模型有显著的加速效果，并且相较于 NA 模型有更好的表现。

    Dec, 2019