Aug, 2022

使用向量量化预测网络状态的 RNN 转录器 VQ-T

PDF
TL;DR本文研究使用 VQ-LSTM 单元在预测网络中来改善 ASR 系统中 beam search 和 hypothesis merging 算法中的问题，实验结果支持这种 LSTM 单元与传统 LSTM 网络相比能够产生更好的 ASR 性能和效果。
asrbeam searchvq-lstmrnn transducerslattice generation
发现论文，激发创造
  • LongVQ: 基于结构化记忆的长序列建模与向量量化

    长序列模型中，使用了 LongVQ 方法以更有效地利用向量量化技术来压缩全局抽象，并以线性时间计算注意力矩阵，有效地解决长距离依赖问题。

    Apr, 2024

  • 通过端到端 4 位量化加速递归神经网络转录器的推断和语言模型融合

    本研究探讨了量化技术对于循环神经网络传输器（RNN-T）推论过程的加速作用，通过量化训练（QAT）重新训练全模型，应用自定义的量化方案并使用大型 beam widths 进行假设搜索，实现了 RNN-T 的端到端量化，并取得了较好的性能以及与浮点精度相比 7.6 倍的压缩比。

    Jun, 2022

  • 提升 RNN-T 中声音和文本表征的融合

    本文提出在深度学习中使用门结构和双线性池化，在自动语音识别领域取得了较大的词错误率的优化。

    Jan, 2022

  • 使用 RNN-Transducer 探索流式端到端语音识别的架构、数据和单位

    本研究使用循环神经网络传输器（RNN-T）来训练端到端语音识别模型，并探索了不同的模型架构。通过使用字元素（wordpieces），模型的性能进一步得到了提高，最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。

    Jan, 2018

  • 基于剪枝的 RNN-T 模型进行快速、高效的自动语音识别训练

    该论文介绍了一种更快，更节省内存的 RNN-T 损失计算方法，用于提高语音识别系统的计算速度和效率。

    Jun, 2022

  • 零语音 2020 挑战中基于向量量化的神经网络用于语音单元发现

    本文提出两种神经模型，均使用向量量化技术将连续特征映射为有限的编码，旨在利用无标签数据学习将语音的音素内容与说话人特定细节分离的离散表述。在 Zero Speech 2020 挑战赛的英语和印度尼西亚语数据上，我们的两个模型都优于 2019 年和 2020 年挑战赛的所有提交，相对提高超过 30%。

    May, 2020

  • 使用无界记忆学习传导

    使用设计成类似于机器翻译等实际转换问题的合成语法，我们探索了深度循环神经网络的表达能力并提出了新的基于记忆的循环网络，实现了传统数据结构（如堆栈、队列和双端队列）的连续可微分模拟。我们证明，这些架构表现出卓越的泛化性能（generalisation performance）并且通常能够学习到生成算法。

    Jun, 2015

  • 探索神经传递器用于端到端语音识别

    通过实证比较，证明 Seq2Seq 和 RNN-Transducer 模型在不使用语言模型的情况下都优于最佳的 CTC 模型，使得语音识别流程可以纯粹地表述为神经网络操作。我们还研究了编码器架构选择对三个模型性能的影响。

    Jul, 2017

  • 用于流式语音识别的卷积增强循环神经网络转录器 (ConvRNN-T)

    本文主要介绍了一种新的流式自动语音识别模型 - 基于卷积增强循环神经网络传导器 (ConvRNN-T)，其中，作者通过引入局部和全局上下文 CNN 编码器作为卷积前端来增强 LSTM 的 RNN-T，并展示了其性能优于 RNN-T，Conformer 和 ContextNet 等现有的技术。此外，ConvRNN-T 具有更低的计算复杂度和更优的性能表现，是一种有前景的流式自动语音识别技术。

    Sep, 2022

  • DiscreTalk: 将文本转语音作为机器翻译问题

    本文提出了一种基于神经机器翻译 (NMT) 的全自动文本语音 (E2E-TTS) 模型，该模型由非自回归向量量化变分自动编码器 (VQ-VAE) 模型和自回归 Transformer-NMT 模型两部分组成，实验结果表明，该模型在自然度方面表现优异，可与 VQ-VAE 模型的重构相媲美。

    May, 2020