标签循环：转录器的高效解码

Jun, 2024

Label-Looping: Highly Efficient Decoding for Transducers

Vladimir Bataev, Hainan Xu, Daniel Galvez, Vitaly Lavrukhin, Boris Ginsburg

TL;DR该论文介绍了一种高效的贪婪解码算法，用于转导推断，通过使用 CUDA 张量表示批量中的部分假设来支持并行化的假设操作，在解码过程中，我们的算法通过采用嵌套循环设计最大化 GPU 并行性，其中内循环处理所有空白预测，而非空白预测在外循环中处理，实验证明，在使用批量大小为 32 时，标签循环算法相较于传统的批量解码算法可以加速多达 2.0 倍，可以与其他编译器或 GPU 调用相关技术结合以获得更多加速，我们将开源我们的实现以造福研究社区。

Abstract

This paper introduces a highly efficient greedy decoding algorithm for transducer inference. We propose a novel data structure using cuda tensors

greedy decoding transducer inference cuda tensors parallelism batched decoding

发现论文，激发创造

RNN-T 语音识别模型在 GPU 上的光速准确贪婪解码

使用 CUDA 图形条件节点，优化了 RNN-T 模型的解码过程，将其速度提升 2.5 倍，同时可以应用于其他解码算法获得 1.7 倍至 1.4 倍的速度优化，使得高吞吐量推理中的 RNN-T 模型性能接近 CTC 模型。

Jun, 2024

转录器快速并行解码

本文提出了一种带有约束的传递损失，以学习两个序列之间的严格单调对齐，同时优化了标准的贪婪搜索和 beam search 算法，并限制在解码时每个时刻可以传出的符号数，使传感器解码更有效率；作者们还提出了基于有限状态自动机的并行 beam search 算法，可以高效地通过 GPU 运行图形。实验结果表明，我们不仅实现了轻微的错误字率（WER）的改善，而且还实现了显著的解码加速。

Oct, 2022

通过并行解码加速 Transformer 推理以进行翻译

本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构，以解决 transformers 对机器翻译的效率问题，实现了速度提高，而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试，速度提升最多可达 38％，在并行资源上实现的速度几乎达到 2 倍。同时，为了更好地理解模型的条件依赖关系和检查解码过程，提出了解码依赖图可视化器（DDGviz）

May, 2023

联合预测符号和持续时间实现高效的序列转换

介绍了一种用于序列到序列任务的新型 Token-and-Duration Transducer (TDT) 框架，该框架通过联合预测令牌及其持续时间来扩展传统的 RNN-Transducer 架构，可以提高序列传导任务上的准确性和推断速度。

Apr, 2023

神经机器翻译的高效推断

该论文通过深度编码器和浅层解码器结构、多头注意力修剪以及将解码器自注意力替换为简化的循环单元等方法，可以在不降低翻译质量的情况下，在 CPU 和 GPU 上分别获得高达 109% 和 84% 的加速，并将参数数量减少 25%。

Oct, 2020

基于英特尔 GPU 的高效 LLM 推理解决方案

提议了一种高效的大型语言模型推理解决方案，通过简化模型结构、融合数据移动和逐元素操作、使用段落 KV 缓存策略等方法降低系统延迟并提高吞吐量，在 Intel GPU 上相对于标准 HuggingFace 实现，能够实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。

Dec, 2023

FlashDecoding++: 在 GPU 上更快的大型语言模型推理

FlashDecoding++ 是支持主流 LLM 和硬件后端的快速 LLM 推理引擎，通过引入异步 softmax、平坦 GEMM 优化和启发式数据流等技术，相较于 Hugging Face 实现，在 NVIDIA 和 AMD GPU 上实现了最高 4.86 倍和 2.18 倍的加速，在主流 LLMs 上平均实现了 1.37 倍的速度提升。

Nov, 2023

通过隐藏传输进行并行解码以实现无损大型语言模型加速

大型语言模型的并行解码技术，包括隐藏状态传递、树状注意机制和加速技术等，提高了模型推理速度和生成准确性。

Apr, 2024

解码器调优：以解码为基础的有效语言理解

本研究提出 Decoder Tuning 方法，通过优化解码器网络来适应具有冻结参数的预训练模型，并只需要一个 API 查询，可以实现一千倍的加速。

Dec, 2022

一次编码，多次并行解码：高效 Transformer 解码

基于 Transformer 的 NLP 模型在计算成本上限制了其应用场景。我们引入了一种新的编码器 - 解码器模型配置（PiD），通过一次编码和并行解码输出来提高结构化输出和问答任务的效率，避免了重复的输入编码以及减小解码器的内存占用，从而获得了可比较或更好性能并具有高达 4.6 倍加速的计算减少。

Mar, 2024