Mar, 2022

使用长度扰动和基于N-best的标签平滑技术提高深度神经网络声学模型的泛化能力

HTML
PDF
TL;DR本文提出两种技术——长度扰动和基于N-best的标签平滑——用于改善深度神经网络在自动语音识别中的泛化性能，并在Switchboard和Japanese数据集上评估这些技术，确认它们能够改善模型的性能，并且它们可能互相补充。
发现论文，激发创造
  • 从RNN到DNN的知识转移

    本文研究嵌入式系统中小型深度神经网络的训练方法，提出了一种使用递归神经网络进行知识转移的方法，并通过 Kullback-Leibler 散度最小化来训练小型深度神经网络，结果显示相较于基线结果提高了13%的识别准确率。

    Apr, 2015

  • 深度循环神经网络用于声学建模

    本文提出了一种用于噪声环境下语音自动识别的新型深度循环神经网络模型，结合了深度神经网络和双向长短期记忆网络，在华尔街日报数据集上相较于传统深度神经网络模型提高了近8%。

    Apr, 2015

  • 使用Deep RNN模型和基于WFST解码的端到端语音识别

    本文介绍了 Eesen 框架，它简化了自动演讲识别系统的构建流程，并采用递归神经网络以及连接时序分类方法进行语音与标签序列的对齐，再基于 WFST 泛化解码的方式实现了自动语音识别，最终在保证较低错误率的情况下提升了识别速度。

    Jul, 2015

  • 语音识别声学建模深度双向LSTM RNN的全面研究

    本研究对基于双向长短时记忆（LSTM）循环神经网络（RNN）的自动语音识别（ASR）进行了全面的研究，探索了深度、大小、优化方法等不同因素的影响，并通过实验分析在Quaero语料库上实现了提高词错误率的效果，并比较了不同的培训计算时间。

    Jun, 2016

  • 适用于语音识别的自适应神经声学建模动态层归一化

    本文提出了一种新的动态层标准化技术（DLN），用于自适应神经声学建模，无需额外的自适应数据或说话人信息，并且适用于变化的扬声器和环境，并证明其在大词汇ASR实验中提高了语音转录准确性的有效性。

    Jul, 2017

  • 使用RNN-Transducer探索流式端到端语音识别的架构、数据和单位

    本研究使用循环神经网络传输器（RNN-T）来训练端到端语音识别模型，并探索了不同的模型架构。通过使用字元素（wordpieces），模型的性能进一步得到了提高，最终在语音搜索和语音听写任务上取得了与最新基线相当的成果。

    Jan, 2018

  • 基于深度学习的声学模型最新进展（更新）

    本文总结了基于深度学习的声学模型最近取得的进展和技术的动机和见解，讨论了可以有效利用可变长度上下文信息的语音识别模型，如RNN、CNN及其与其他模型的组合，以及优化了端对端性能的声学模型和鲁棒性训练策略，同时讨论了语音增强和分离等建模技术。

    Apr, 2018

  • 使用流式端到端模型进行长篇语音识别

    通过多样化训练数据以及LSTM状态操作模拟长形音频，可以增强端到端语音识别模型对未知领域数据的泛化能力。

    Oct, 2019

  • 长篇语音识别的端到端模型比较

    本研究调查和提高端到端模型在长篇转录上的性能。实验比较了不同的端到端模型并证明RNN-T模型在这种场景下比注意力模型更加鲁棒，并且使用限制注意力单调性和分段解码算法等两种改进方法，将注意力模型的性能极大提升，达到了和RNN-T模型相当的水平。

    Nov, 2019

  • 利用数据增强和VTLN减少荷兰语端到端语音识别系统中的偏差

    本研究采用速度扰动及谱增强的数据增强技术和Vocal Tract Length Normalization技术用于end-to-end ASR系统，旨在减少针对不同年龄组和非母语的荷兰语说话者的偏见，减少了平均 WER 和不同的说话人群之间的差异，同时该模型还适用于普通话儿童语音。

    Jul, 2023