Sep, 2022

用于流式语音识别的卷积增强循环神经网络转录器 (ConvRNN-T)

PDF
TL;DR本文主要介绍了一种新的流式自动语音识别模型 - 基于卷积增强循环神经网络传导器 (ConvRNN-T)，其中，作者通过引入局部和全局上下文 CNN 编码器作为卷积前端来增强 LSTM 的 RNN-T，并展示了其性能优于 RNN-T，Conformer 和 ContextNet 等现有的技术。此外，ConvRNN-T 具有更低的计算复杂度和更优的性能表现，是一种有前景的流式自动语音识别技术。
发现论文，激发创造
  • 使用 RNN-Transducer 探索流式端到端语音识别的架构、数据和单位

    本研究使用循环神经网络传输器（RNN-T）来训练端到端语音识别模型，并探索了不同的模型架构。通过使用字元素（wordpieces），模型的性能进一步得到了提高，最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。

    Jan, 2018

  • Transformer Transducer：基于 Transformer 编码器和 RNN-T Loss 的可流式语音识别模型

    该论文提出了一种端到端的语音识别模型，使用 Transformer 编码器可用于流媒体语音识别系统；该模型在 LibriSpeech 数据集上进行了实验结果，结果表明限制 Transformer 层中自注意力左侧上下文对于流式解码是可行的，并展示了我们的全注意力模型在 LibriSpeech 基准测试上的准确性优于现有技术水平。

    Feb, 2020

  • Conv-Transformer 转换器：低延迟、低帧率、可流式传输的端到端语音识别

    本研究设计了 Conv-Transformer Transducer 架构，在 LibriSpeech 数据集上实现了较强的流式语音识别性能，该架构适用于流式 ASR，且相较于以前发布的 Transformer Transducer 和强混合流式 ASR 系统，拥有更小的前向窗口、更少的参数和更低的帧率。

    Aug, 2020

  • 提升 RNN-T 中声音和文本表征的融合

    本文提出在深度学习中使用门结构和双线性池化，在自动语音识别领域取得了较大的词错误率的优化。

    Jan, 2022

  • 具备自定义能力的 RNN-T 模型超越高性能混合模型

    本文中，我们介绍了最近开发的 RNN-T 模型，它在训练期间具有较小的 GPU 内存消耗、更好的初始化策略和先进的编码器建模，对 Microsoft 的 6.5 万小时的匿名训练数据进行训练后，开发的 RNN-T 模型优于经过训练良好的混合模型，同时具有更好的识别准确性和更低的延迟。我们进一步研究了如何将 RNN-T 模型定制为新领域，并比较了几种使用新领域纯文本数据的方法。研究发现，利用特定领域文本生成的文本到语音更新 RNN-T 的预测和联合网络最有效。

    Jul, 2020

  • Conformer: 卷积增强变压器（Convolution-augmented Transformer）用于语音识别

    本文提出了一种名为 Conformer 的语音识别（Automatic Speech Recognition）模型，结合了 Transformer 和卷积神经网络 (Convolution neural network) 的优点，在参数更少的情况下实现对于语音序列的局部和全局依赖的建模，并在 LibriSpeech benchmark 测试中取得了 2.1%/4.3%（未使用语言模型）和 1.9%/3.9%（使用外部语言模型）的字错率（Word Error Rate），表现超越了之前的基于 Transformer 和 CNN 的模型。

    May, 2020

  • 基于剪枝的 RNN-T 模型进行快速、高效的自动语音识别训练

    该论文介绍了一种更快，更节省内存的 RNN-T 损失计算方法，用于提高语音识别系统的计算速度和效率。

    Jun, 2022

  • 关于 RNN-T 语音识别模型中预测网络结构的研究

    本文比较了针对单调和原始 RNN-T 模型的几种预测网络结构，并在 Librispeech 和内部医疗对话数据集上报告了结果。其中提出了一种新的预测网络架构 N-Concat，表现优于其他。相比 LSTM 基线，我们获得了高达 4.1% 的相对 WER 改进，同时将预测网络参数减少了近一个数量级（8.4 倍）。

    Jun, 2022

  • 告别 RNN-T Loss：一种新颖的基于 CIF 的自动语音识别 Transducer 架构

    该篇论文介绍了一种名为 CIF-Transducer (CIF-T) 的模型，它将连续积分 - 放电（CIF）机制与 RNN-T 模型结合起来，实现了高效的对齐。通过舍弃 RNN-T 损失函数，该模型减少了计算复杂性，并使预测网络的作用更加显著。同时，引入了 Funnel-CIF、Context Blocks、统一门控和双线性池化联合网络以及辅助训练策略来进一步提高性能。在 AISHELL-1 和 WenetSpeech 数据集的实验中，CIF-T 相对于 RNN-T 模型，在更小的计算开销下取得了最先进的结果。

    Jul, 2023

  • Transformer-Transducer: 自注意力端到端语音识别

    本文研究了使用 Transformer 网络来实现端到端语音识别，提出使用 VGGNet 结合因果卷积来降低计算复杂度，同时使用截断的自注意力机制来实现流式处理。在公共数据集 LibriSpeech 上进行实验，该方法相比于基于 LSTM/BLSTM 的神经输入转换器，获得了更好的识别效果，并实现了流式处理。

    Oct, 2019