该论文介绍了一种高效的贪婪解码算法，用于转导推断，通过使用 CUDA 张量表示批量中的部分假设来支持并行化的假设操作，在解码过程中，我们的算法通过采用嵌套循环设计最大化 GPU 并行性，其中内循环处理所有空白预测，而非空白预测在外循环中处理，实验证明，在使用批量大小为 32 时，标签循环算法相较于传统的批量解码算法可以加速多达 2.0 倍，可以与其他编译器或 GPU 调用相关技术结合以获得更多加速，我们将开源我们的实现以造福研究社区。

Jun, 2024

本文中，我们介绍了最近开发的 RNN-T 模型，它在训练期间具有较小的 GPU 内存消耗、更好的初始化策略和先进的编码器建模，对 Microsoft 的 6.5 万小时的匿名训练数据进行训练后，开发的 RNN-T 模型优于经过训练良好的混合模型，同时具有更好的识别准确性和更低的延迟。我们进一步研究了如何将 RNN-T 模型定制为新领域，并比较了几种使用新领域纯文本数据的方法。研究发现，利用特定领域文本生成的文本到语音更新 RNN-T 的预测和联合网络最有效。

Jul, 2020

该论文介绍了一种更快，更节省内存的 RNN-T 损失计算方法，用于提高语音识别系统的计算速度和效率。

Jun, 2022

该论文通过深度编码器和浅层解码器结构、多头注意力修剪以及将解码器自注意力替换为简化的循环单元等方法，可以在不降低翻译质量的情况下，在 CPU 和 GPU 上分别获得高达 109% 和 84% 的加速，并将参数数量减少 25%。

Oct, 2020

本文提出一种在训练阶段复制神经网络加速器 (NNA) 运算符以解决低精度推理引起的性能损失，以此减少用户感知的延迟，并在 270K 小时的英语数据上显示了 5-7％的引擎延迟的改善，节省了高达 10％的句子错误率的降低。

May, 2023

本文提出一个高效的 3 阶段渐进训练管道，能够快速利用有限的计算资源训练出接近最新成果性能的转录模型，证明了每个阶段的有效性，并在 Librispeech 和 Switchboard 训练语料库上进行了实验证明。

Apr, 2022

本研究使用循环神经网络传输器（RNN-T）来训练端到端语音识别模型，并探索了不同的模型架构。通过使用字元素（wordpieces），模型的性能进一步得到了提高，最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。

Jan, 2018

本文提出了一种基于深度卷积神经网络的语音合成系统，通过采用时间扭曲、频率掩蔽和时间掩蔽等一系列数据增强方法，提高了模型的泛化性和鲁棒性；最终实验结果表明，在确保合成语音质量的同时，仅使用 CNN 组件的 TTS 模型可以比 Tacotron 等传统模型缩短训练时间。

Oct, 2022

我们比较了 RETURNN 的快速训练和解码速度以及它在翻译和语音识别领域中的表现，它的灵活性使得它可以广泛地应用于各种应用中，并且使用层次预训练方案可以显著提高 BLEU 的得分。

May, 2018

FlashDecoding++ 是支持主流 LLM 和硬件后端的快速 LLM 推理引擎，通过引入异步 softmax、平坦 GEMM 优化和启发式数据流等技术，相较于 Hugging Face 实现，在 NVIDIA 和 AMD GPU 上实现了最高 4.86 倍和 2.18 倍的加速，在主流 LLMs 上平均实现了 1.37 倍的速度提升。

Nov, 2023