Mar, 2022

RNN-Transducer 基于采样 softmax 的高效内存训练

PDF
TL;DR本文提出了使用采样 softmax 算法减少 RNN-Transducer 在训练过程中的内存消耗，并基于辅助 CTC losses 分布进行 sampling vocabulary 来提高模型准确性，在 LibriSpeech、AISHELL-1 和 CSJ-APS 三个数据集上进行实验，结果显示采样 softmax 显著降低了内存消耗，且仍然保持了基线模型的准确度。
rnn-transducerspeech recognitionsampled softmaxmemory consumptionctc losses
发现论文，激发创造
  • 神经转换器训练：样本级计算减少内存消耗

    研究了神经转录器的训练过程中内存需求高的问题，提出了一种基于样本的方法来减少内存使用和提高训练效率。在一系列基准测试中表明，比默认批处理计算更具有竞争力，可以在 1024 批处理计算下，仅使用 6GB 的内存来计算 40 秒音频的转录器损失和梯度。

    Nov, 2022

  • 语音识别神经转换器的高效训练

    本文提出一个高效的 3 阶段渐进训练管道，能够快速利用有限的计算资源训练出接近最新成果性能的转录模型，证明了每个阶段的有效性，并在 Librispeech 和 Switchboard 训练语料库上进行了实验证明。

    Apr, 2022

  • 基于剪枝的 RNN-T 模型进行快速、高效的自动语音识别训练

    该论文介绍了一种更快，更节省内存的 RNN-T 损失计算方法，用于提高语音识别系统的计算速度和效率。

    Jun, 2022

  • 使用 RNN-Transducer 探索流式端到端语音识别的架构、数据和单位

    本研究使用循环神经网络传输器（RNN-T）来训练端到端语音识别模型，并探索了不同的模型架构。通过使用字元素（wordpieces），模型的性能进一步得到了提高，最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。

    Jan, 2018

  • 基于 Transformer-RNN-Transducer 的多任务学习和联合优化语音识别

    本论文探讨了 transformer-RNN-transducer 系统的多任务学习、联合优化和联合解码方法，证明了这些方法能够有效地降低字词错误率，从而保持大型文本语料库的信息。

    Nov, 2020

  • Transformer Transducer：基于 Transformer 编码器和 RNN-T Loss 的可流式语音识别模型

    该论文提出了一种端到端的语音识别模型，使用 Transformer 编码器可用于流媒体语音识别系统；该模型在 LibriSpeech 数据集上进行了实验结果，结果表明限制 Transformer 层中自注意力左侧上下文对于流式解码是可行的，并展示了我们的全注意力模型在 LibriSpeech 基准测试上的准确性优于现有技术水平。

    Feb, 2020

  • 高效神经音频合成

    本文针对顺序模型中高效采样的问题，提出了一种基于 WaveRNN 和权重修剪和子缩放 WaveRNN 的通用技术，可以在保持高输出质量的同时提高采样速度。

    Feb, 2018

  • 探索神经传递器用于端到端语音识别

    通过实证比较，证明 Seq2Seq 和 RNN-Transducer 模型在不使用语言模型的情况下都优于最佳的 CTC 模型，使得语音识别流程可以纯粹地表述为神经网络操作。我们还研究了编码器架构选择对三个模型性能的影响。

    Jul, 2017

  • TODM: 基于高效超网络的一次训练多次部署的 RNN-T 压缩方法，用于设备上的 ASR 模型

    本文介绍了一种名为 TODM（Train Once Deploy Many）的新方法，用于高效训练多种硬件友好的设备上自动语音识别模型，通过适应性丢弃、Alpha 散度知识蒸馏和 ScaledAdam 优化器等技术改进了 TODM Supernet 的效果，并在 LibriSpeech 上的比较实验证明了该方法的有效性。

    Sep, 2023

  • 基于文本的 RNN-Transducer 预测网络快速领域自适应

    本文研究了如何使用少量文本数据来有效地将 RNN-transducer 模型适应于新的领域，同时保持较好的泛化能力，避免了复杂的解码和外部语言模型需要。同时，本文表明该方法在目标任务的 ASR 评估中可以提供相对增益 10-45% 的性能提升，并分享了 RNN-transducer 预测网络作为语言模型的性能表现等相关见解。

    Apr, 2021