NIPSDec, 2014

基于 Attention 循环神经网络的端到端连续语音识别：首次结果

PDF
TL;DR本文提出了基于双向循环神经网络编码器和递归神经网络解码器的语音识别方法，使用关注机制对输入与输出序列对齐以较高准确性地识别音素，且在 TIMIT 数据集上与传统的 HMM 方法相当。
发现论文，激发创造
  • 端到端注意力大词汇语音识别

    该研究研究了一种更直接的方法，即使用循环神经网络来替换隐马尔可夫模型，从而在字符级别直接执行序列预测，通过内置的注意力机制自动学习输入特征与期望字符序列之间的对齐。

    Aug, 2015

  • 使用双向递归深度神经网络进行大词汇连续语音识别的一次通过

    本文提出了使用神经网络和语言模型进行大词汇连续语音识别的方法，并通过一种改进的前缀搜索解码算法，使得该方法完全不依赖于基于 HMM 的架构，实现了完全自主的一遍语音识别。在对华尔街日报语料库的实验中，取得了较为具有竞争力的错误率，并且证明了双向网络的重要性。

    Aug, 2014

  • 多通道端到端语音识别

    本研究论文扩展了端到端的框架，以包含麦克风阵列信号处理以进行噪声抑制和语音增强，并能够共同优化束形成和识别架构。实验结果表明，我们的多通道端到端系统在去噪和语音增强任务上表现更好。

    Mar, 2017

  • 基于注意力机制的语音识别模型

    本研究提出了一种基于改进的注意力机制加上位置感知的模型，解决了长输入音频识别中的问题并且有效降低了音素错误率。

    Jun, 2015

  • 基于联合 CTC-Attention 的端到端语音识别的进展，带有深度 CNN 编码器和 RNN-LM

    本研究提出了一个最先进的端到端自动语音识别模型，通过使用联合 CTC 和基于注意力机制的编码解码器网络来学习听和写字，其中编码器是基于 VGG 网络的深度 CNN，CTC 网络和注意力解码器共同训练，通过在波束搜索过程中，将 CTC 预测、注意力解码器预测和单独训练的 LSTM 语言模型相结合，相较于先前的系统，在自发性日语和中文语音上减少了 5-10% 的误差，并且我们的端到端模型击败了传统的混合式 ASR 系统。

    Jun, 2017

  • 长篇语音识别的端到端模型比较

    本研究调查和提高端到端模型在长篇转录上的性能。实验比较了不同的端到端模型并证明 RNN-T 模型在这种场景下比注意力模型更加鲁棒，并且使用限制注意力单调性和分段解码算法等两种改进方法，将注意力模型的性能极大提升，达到了和 RNN-T 模型相当的水平。

    Nov, 2019

  • 多任务学习下的联合 CTC-Attention 基于端到端语音识别

    本研究介绍了一种新的方法，使用多任务学习框架中的联合 CTC-attention 模型来改善端到端语音识别的鲁棒性并实现快速收敛，从而减轻对齐问题。实验证明，与 CTC 和 attention-based encoder-decoder 基线相比，在 WSJ 和 CHiME-4 任务中表现出 5.4-14.6％的相对 CER 改进。

    Sep, 2016

  • 基于深度卷积神经网络的端到端语音识别

    本文提出将 CNN 与 CTC 相结合的端到端语音识别框架，以实现序列标记；在 TIMIT 音素识别任务中评估该方法并表明其在计算效率和性能上优于已有基线系统，并指出 CNN 具有利用适当上下文信息来建模时间相关性的能力。

    Jan, 2017

  • 深度循环神经网络语音识别

    本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

    Mar, 2013

  • 端到端语音识别的分段循环神经网络

    研究了段落循环神经网络在端到端声学建模中的应用，不依赖于外部系统提供特征或分割边界，通过神经网络进行特征提取，具有自我完备性，可实现端到端训练，实验表明在语音识别领域中表现良好。

    Mar, 2016