神经转换器训练：样本级计算减少内存消耗

Nov, 2022

神经转换器训练：样本级计算减少内存消耗

Neural Transducer Training: Reduced Memory Consumption with Sample-wise Computation

Stefan Braun, Erik McDermott, Roger Hsiao

TL;DR研究了神经转录器的训练过程中内存需求高的问题，提出了一种基于样本的方法来减少内存使用和提高训练效率。在一系列基准测试中表明，比默认批处理计算更具有竞争力，可以在 1024 批处理计算下，仅使用 6GB 的内存来计算 40 秒音频的转录器损失和梯度。

Abstract

The neural transducer is an end-to-end model for automatic speech recognition (ASR). While the model is well-suited for streaming ASR, the training process remains challenging. During training, the memory require

neural transducer automatic speech recognition memory-efficient training sample-wise method batch size

发现论文，激发创造

语音识别神经转换器的高效训练

本文提出一个高效的 3 阶段渐进训练管道，能够快速利用有限的计算资源训练出接近最新成果性能的转录模型，证明了每个阶段的有效性，并在 Librispeech 和 Switchboard 训练语料库上进行了实验证明。

Apr, 2022

RNN-Transducer 基于采样 softmax 的高效内存训练

本文提出了使用采样 softmax 算法减少 RNN-Transducer 在训练过程中的内存消耗，并基于辅助 CTC losses 分布进行 sampling vocabulary 来提高模型准确性，在 LibriSpeech、AISHELL-1 和 CSJ-APS 三个数据集上进行实验，结果显示采样 softmax 显著降低了内存消耗，且仍然保持了基线模型的准确度。

Mar, 2022

基于剪枝的 RNN-T 模型进行快速、高效的自动语音识别训练

该论文介绍了一种更快，更节省内存的 RNN-T 损失计算方法，用于提高语音识别系统的计算速度和效率。

Jun, 2022

基于转录器的语音识别加速训练

本文提出一种在训练阶段复制神经网络加速器 (NNA) 运算符以解决低精度推理引起的性能损失，以此减少用户感知的延迟，并在 270K 小时的英语数据上显示了 5-7％的引擎延迟的改善，节省了高达 10％的句子错误率的降低。

May, 2023

Conv-Transformer 转换器：低延迟、低帧率、可流式传输的端到端语音识别

本研究设计了 Conv-Transformer Transducer 架构，在 LibriSpeech 数据集上实现了较强的流式语音识别性能，该架构适用于流式 ASR，且相较于以前发布的 Transformer Transducer 和强混合流式 ASR 系统，拥有更小的前向窗口、更少的参数和更低的帧率。

Aug, 2020

流式端到端语音识别序列转导器的最小延迟训练

本文提出了一种新的训练方法，通过明确建模和减少序列变换器模型的延迟来达到最优的延迟和准确性均衡，实验结果表明，所提出的最小延迟训练方法将有助于将哈尔滨工业大学卡苏耶延迟从 220ms 降低到 27ms，并在误识率降低了 0.7% 的同时，优于传统的对齐限制训练和快速发射方法。

Nov, 2022

Transformer-Transducer: 自注意力端到端语音识别

本文研究了使用 Transformer 网络来实现端到端语音识别，提出使用 VGGNet 结合因果卷积来降低计算复杂度，同时使用截断的自注意力机制来实现流式处理。在公共数据集 LibriSpeech 上进行实验，该方法相比于基于 LSTM/BLSTM 的神经输入转换器，获得了更好的识别效果，并实现了流式处理。

Oct, 2019

流式 ASR 的计算成本分摊 Transformer

该论文提出了一种基于 Transformer 的端到端自动语音识别体系结构，该体系结构通过计算成本分摊实现高效的神经推断，其在推断期间动态创建稀疏计算路径，实现计算资源的选择性使用，并使用可调节的损失函数规范预测性能对计算总体水平进行计算。在 LibriSpeech 数据上进行实验，最佳模型只增加 3％的相对字错误率并降低 60％的计算成本。

Jul, 2022

低预算下的语音识别迁移学习

通过模型自适应的迁移学习方法，将原本用于英语自动语音识别的 Wav2Letter 卷积神经网络适配到德语 ASR 模型的训练中，实现了在受限 GPU 内存、吞吐量和训练数据的情况下，基于消费级硬件实现更快的训练，同时减少了训练数据量，从而降低了在其他语言中训练 ASR 模型的成本。网络层的微小调整已经足够实现较好的性能。

Jun, 2017

转录器快速并行解码

本文提出了一种带有约束的传递损失，以学习两个序列之间的严格单调对齐，同时优化了标准的贪婪搜索和 beam search 算法，并限制在解码时每个时刻可以传出的符号数，使传感器解码更有效率；作者们还提出了基于有限状态自动机的并行 beam search 算法，可以高效地通过 GPU 运行图形。实验结果表明，我们不仅实现了轻微的错误字率（WER）的改善，而且还实现了显著的解码加速。

Oct, 2022