Apr, 2023

联合预测符号和持续时间实现高效的序列转换

PDF
TL;DR介绍了一种用于序列到序列任务的新型 Token-and-Duration Transducer (TDT) 框架，该框架通过联合预测令牌及其持续时间来扩展传统的 RNN-Transducer 架构，可以提高序列传导任务上的准确性和推断速度。
token-and-duration transducerrnn-transducersequence transduction tasksspeech recognitionspeech translation
发现论文，激发创造
  • JDI-T: 基于时长信息的联合训练变压器语音合成模型，无需显式对齐

    本文提出了 JDI-T 模型，它是一个带有持续时间预测器的前馈 Transformer，经过联合训练可以从输入文本生成声学特征序列。该模型是第一个在单一训练过程中联合训练前馈 Transformer，而无需依赖预先训练的音素持续时间提取器。在公开数据集 KSS 上与基线 ESPnet-TTS 模型进行比较，实验证明该模型有效性较高。

    May, 2020

  • 神经变换器

    本研究提出了一种名为神经音频变换器的模型，它可以支持在不重新计算整个模型的情况下实现增量预测，而不像序列到序列模型那样需要一个完整的输入序列。

    Nov, 2015

  • 使用 RNN-Transducer 探索流式端到端语音识别的架构、数据和单位

    本研究使用循环神经网络传输器（RNN-T）来训练端到端语音识别模型，并探索了不同的模型架构。通过使用字元素（wordpieces），模型的性能进一步得到了提高，最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。

    Jan, 2018

  • 基于 Transformer-RNN-Transducer 的多任务学习和联合优化语音识别

    本论文探讨了 transformer-RNN-transducer 系统的多任务学习、联合优化和联合解码方法，证明了这些方法能够有效地降低字词错误率，从而保持大型文本语料库的信息。

    Nov, 2020

  • 开发用于大规模数据集实时流式转换器转导器的语音识别系统

    本文介绍了一种基于 Transform-XL 的可流式 Transformer-Transducer 模型的应用，用于语音识别中的低延迟且快速编码，比混合模型、RNN-Transducer 和流式 Transformer - 基于注意力的编码器 - 解码器模型具有更好的性能。

    Oct, 2020

  • 用循环神经网络进行序列传导

    本文介绍了一种基于递归神经网络的端到端，概率序列转换系统，该系统可以将任意输入序列转换为任意的有限离散输出序列，并在 TIMIT 语音语料库上提供了音素识别的实验结果。

    Nov, 2012

  • 基于文本的 RNN-Transducer 预测网络快速领域自适应

    本文研究了如何使用少量文本数据来有效地将 RNN-transducer 模型适应于新的领域，同时保持较好的泛化能力，避免了复杂的解码和外部语言模型需要。同时，本文表明该方法在目标任务的 ASR 评估中可以提供相对增益 10-45% 的性能提升，并分享了 RNN-transducer 预测网络作为语言模型的性能表现等相关见解。

    Apr, 2021

  • 探索神经传递器用于端到端语音识别

    通过实证比较，证明 Seq2Seq 和 RNN-Transducer 模型在不使用语言模型的情况下都优于最佳的 CTC 模型，使得语音识别流程可以纯粹地表述为神经网络操作。我们还研究了编码器架构选择对三个模型性能的影响。

    Jul, 2017

  • 具备自定义能力的 RNN-T 模型超越高性能混合模型

    本文中，我们介绍了最近开发的 RNN-T 模型，它在训练期间具有较小的 GPU 内存消耗、更好的初始化策略和先进的编码器建模，对 Microsoft 的 6.5 万小时的匿名训练数据进行训练后，开发的 RNN-T 模型优于经过训练良好的混合模型，同时具有更好的识别准确性和更低的延迟。我们进一步研究了如何将 RNN-T 模型定制为新领域，并比较了几种使用新领域纯文本数据的方法。研究发现，利用特定领域文本生成的文本到语音更新 RNN-T 的预测和联合网络最有效。

    Jul, 2020

  • Transformer Transducer：基于 Transformer 编码器和 RNN-T Loss 的可流式语音识别模型

    该论文提出了一种端到端的语音识别模型，使用 Transformer 编码器可用于流媒体语音识别系统；该模型在 LibriSpeech 数据集上进行了实验结果，结果表明限制 Transformer 层中自注意力左侧上下文对于流式解码是可行的，并展示了我们的全注意力模型在 LibriSpeech 基准测试上的准确性优于现有技术水平。

    Feb, 2020