May, 2023

基于转录器的语音识别加速训练

PDF
TL;DR本文提出一种在训练阶段复制神经网络加速器 (NNA) 运算符以解决低精度推理引起的性能损失，以此减少用户感知的延迟，并在 270K 小时的英语数据上显示了 5-7％的引擎延迟的改善，节省了高达 10％的句子错误率的降低。
machine learningneural network acceleratorlow-precision inferencernn-tlatency
发现论文，激发创造
  • 语音识别神经转换器的高效训练

    本文提出一个高效的 3 阶段渐进训练管道，能够快速利用有限的计算资源训练出接近最新成果性能的转录模型，证明了每个阶段的有效性，并在 Librispeech 和 Switchboard 训练语料库上进行了实验证明。

    Apr, 2022

  • 通过端到端 4 位量化加速递归神经网络转录器的推断和语言模型融合

    本研究探讨了量化技术对于循环神经网络传输器（RNN-T）推论过程的加速作用，通过量化训练（QAT）重新训练全模型，应用自定义的量化方案并使用大型 beam widths 进行假设搜索，实现了 RNN-T 的端到端量化，并取得了较好的性能以及与浮点精度相比 7.6 倍的压缩比。

    Jun, 2022

  • 使用 RNN-Transducer 探索流式端到端语音识别的架构、数据和单位

    本研究使用循环神经网络传输器（RNN-T）来训练端到端语音识别模型，并探索了不同的模型架构。通过使用字元素（wordpieces），模型的性能进一步得到了提高，最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。

    Jan, 2018

  • 优化边缘语音识别

    本文研究边缘设备上的语音识别问题，通过使用端到端的神经结构，并应用更有效的神经网络拓扑和优化技术，成功构建了一个高精度的，在边缘设备上运行的小型语音识别系统。

    Sep, 2019

  • 8 位神经网络加速器的小于 8 位量化感知训练，用于设备上的语音识别

    本文提出了一种 8 位神经网络加速器的新型子 8 位量化感知训练（S8BQAT）方案，利用 Lloyd-Max 压缩理论的灵感，通过适当的实用化来降低计算开销，并应用于递归神经网络传输者 (RNN-T) 结构的语音识别任务中，进一步优化模型参数大小，相对减少误差率 4%-16%，提高计算速度 5%。

    Jun, 2022

  • 基于剪枝的 RNN-T 模型进行快速、高效的自动语音识别训练

    该论文介绍了一种更快，更节省内存的 RNN-T 损失计算方法，用于提高语音识别系统的计算速度和效率。

    Jun, 2022

  • 神经转换器训练：样本级计算减少内存消耗

    研究了神经转录器的训练过程中内存需求高的问题，提出了一种基于样本的方法来减少内存使用和提高训练效率。在一系列基准测试中表明，比默认批处理计算更具有竞争力，可以在 1024 批处理计算下，仅使用 6GB 的内存来计算 40 秒音频的转录器损失和梯度。

    Nov, 2022

  • 利用抗阻交叉点器件加速深度神经网络训练

    本篇论文提出了利用抵抗处理单元（RPU）设备加速深度神经网络（DNN）训练的概念，通过使用 RPU 设备，可以在更短的时间内，使用更少的功耗来完成大规模 DNN 的训练，并且可以实现比现有技术高达 30000 倍的加速因子和 84000 GigaOps /s/ W 的功率效率。

    Mar, 2016

  • 具备自定义能力的 RNN-T 模型超越高性能混合模型

    本文中，我们介绍了最近开发的 RNN-T 模型，它在训练期间具有较小的 GPU 内存消耗、更好的初始化策略和先进的编码器建模，对 Microsoft 的 6.5 万小时的匿名训练数据进行训练后，开发的 RNN-T 模型优于经过训练良好的混合模型，同时具有更好的识别准确性和更低的延迟。我们进一步研究了如何将 RNN-T 模型定制为新领域，并比较了几种使用新领域纯文本数据的方法。研究发现，利用特定领域文本生成的文本到语音更新 RNN-T 的预测和联合网络最有效。

    Jul, 2020

  • 用于端到端语音识别模型的文本适应的快速准确因式分解神经转录器

    介绍了因文本数据处理能力有限而提出的 FNT 模型及其在语音识别领域中的存在意义，并提出了多种方法来优化模型性能，使用这些方法后，相比于标准 FNT 模型，模型的错误率下降了 9.48%。

    Dec, 2022