recurrent neural network transducer | BriefGPT

关键词recurrent neural network transducer

搜索结果 - 13

使用完整加和损失从带有噪声训练标签的 RNN-T 模型中进行鲁棒的知识蒸馏
研究使用知识蒸馏来训练循环神经网络转录器模型的限制，并探讨如何有效地从不同质量的 ASR 教师中蒸馏知识。我们发现，全加和蒸馏方法在 RNN-T 模型中表现最佳，特别是在针对质量差的教师时，另外我们还提出了一种变体的全加和蒸馏方法，提高了
PDFa year ago
4D ASR: CTC、Attention、Transducer 和 Mask-Predict 解码器的联合建模
本论文提出了四解码器联合建模 (4D) 的 CTC，关注机制，RNN-T 和掩码预测，旨在通过联合建模提高模型稳健性，在应用场景下轻松切换四个解码器，并通过一次解码方法进一步提高性能。
PDF2 years ago
使用 CTC 指导加速 RNN-T 训练和推断
通过协同训练的 CTC 模型的指导，我们提出了一种新颖的方法来加速基于递归神经网络传输器 (RNN-T) 的训练和推理过程，并通过在编码器中进行帧降维操作来减少计算量。在 Librispeech 和 SpeechStew 任务上评估表明，新
PDF2 years ago
用于流式语音识别的卷积增强循环神经网络转录器 (ConvRNN-T)
本文主要介绍了一种新的流式自动语音识别模型 - 基于卷积增强循环神经网络传导器 (ConvRNN-T)，其中，作者通过引入局部和全局上下文 CNN 编码器作为卷积前端来增强 LSTM 的 RNN-T，并展示了其性能优于 RNN-T，Conf
PDF2 years ago
提升 RNN-T 中声音和文本表征的融合
本文提出在深度学习中使用门结构和双线性池化，在自动语音识别领域取得了较大的词错误率的优化。
PDF2 years ago
基于流式递归神经网络转录器的神经语言模型融合改进
本文提出了一种扩展技术，使 RNN-T 能够利用外部神经网络语言模型（NNLM），从而增强了 Librispeech 上 13-18％的相对词错误率，同时保持了系统的流畅性，灵活性和轻量性。
PDF4 years ago
具备自定义能力的 RNN-T 模型超越高性能混合模型
本文中，我们介绍了最近开发的 RNN-T 模型，它在训练期间具有较小的 GPU 内存消耗、更好的初始化策略和先进的编码器建模，对 Microsoft 的 6.5 万小时的匿名训练数据进行训练后，开发的 RNN-T 模型优于经过训练良好的混合
PDF4 years ago
高速准确流式端到端自动语音识别
本文提出了使用延迟惩罚技巧和最小词错误率训练技术来减少端到端模型延迟以提高其质量的方法，并在语音识别方面展示出重要改进。
PDF4 years ago
一种超越服务器传统模型质量和延迟的流式设备端到端模型
本文提出了一种基于 RNN-T 模型的识别模型以及 LAS rescorer 模型，不仅在精度上，而且在延迟方面超越了传统模型，并发现 RNN-T+LAS 模型相比于传统模型在精度和延迟之间更好的权衡，例如，在相同的延迟下，RNN-T+LA
PDF4 years ago
密度比方法在端到端自动语音识别中的语言模型融合
本文提出了一种基于密度比方法的外部语言模型集成到端到端语音识别模型的方法，应用于循环神经网络转录器（RNN-T）模型，通过模糊匹配在域 RNN-LM 和目标域 RNN-LM，使用贝叶斯定理为目标域定义 RNN - 后验，出色地解决了在有限数
PDF4 years ago
音视频语音识别的循环神经网络转录器
本研究提出了一种基于循环神经网络转录者（RNN-T）架构的大规模视音频语音识别系统，并通过比较语音，视觉和视听系统在两个大词汇测试集上的表现，以及在带噪声和重叠的人工干扰的数据上的表现，突显了视觉模态的贡献。据我们所知，我们的系统显著改善了
PDF5 years ago
长篇语音识别的端到端模型比较
本研究调查和提高端到端模型在长篇转录上的性能。实验比较了不同的端到端模型并证明 RNN-T 模型在这种场景下比注意力模型更加鲁棒，并且使用限制注意力单调性和分段解码算法等两种改进方法，将注意力模型的性能极大提升，达到了和 RNN-T 模型相
PDF5 years ago
移动设备端到端语音识别流式处理
本文詳細描述了使用遞歸神經網絡轉導器構建端到端語音識別器的努力，該模型可以以流式方式在實時下進行解碼，能夠應對各種需求，能利用特定用戶的上下文信息，並超越基於 CTC 的模型在各評價指標中的性能表現。
PDF6 years ago