ICLRJan, 2013

深度神经网络中的特征学习 —— 基于语音识别任务的研究

PDF
TL;DR本文研究表明，深度神经网络在语音识别任务中比浅层网络和高斯混合模型表现得更好，这是因为它们具有提取具有鲁棒性的区分性内部表示的能力。此外，我们表明 DNN 不能推广到与训练样本差异显著的测试样本，但是，如果训练数据足够代表性，DNN 的内部特征相对于说话人差异、带宽差异和环境失真是相对稳定的。这种稳定性使得基于 DNN 的识别器在不需要显式模型适应或特征归一化的情况下表现得和基于 GMMs 或浅层网络的现有系统一样好甚至更好。
deep neural networksspeech recognitioninternal representationsnetwork depthmodel adaptation
发现论文，激发创造
  • 语音和语言识别的统一深度神经网络

    本研究使用深度神经网络（DNN）学习特征表示和亚音素后验概率，证明使用单个 DNN 进行说话人和语言识别可以取得显著的性能提升。统一 DNN 方法在 2013 年域自适应挑战说话人识别任务上取得了 55% 的 EER 降低，以及在 NIST 2011 语音识别评估测试中，在 30 秒测试条件下取得 48% 的 EER 降低。

    Apr, 2015

  • 深度神经网络自动说话者识别中并未学习超音段时间特征

    深度神经网络在说话者识别和相关任务中显示出令人印象深刻的结果，然而对于这些结果到底是由什么因素造成的，我们对此仍知之甚少。本文提出并应用了一种新的测试方法，以量化最先进的神经网络在说话者识别中对超分段时间信息建模程度的解释，并且提出了几种强制相应网络更加关注超分段时间信息的手段，评估它们的优点。研究发现，尽管被强制要求，用于说话者识别的多种基于卷积神经网络和循环神经网络的架构并未足够地对超分段时间信息进行建模。这些结果为今后更好地利用完整语音信号的研究提供了重要基础，并揭示了这些网络的内部工作原理，增强了深度学习在语音技术中可解释性的理解。

    Nov, 2023

  • 深度说话者特征学习用于文本非依赖型说话者验证

    本文研究使用卷积时延深度神经网络结构（CT-DNN）来学习说话人特征，实验结果表明 CT-DNN 可以产生高质量的说话人特征，即使使用单一特征（包括上下文的 0.3 秒），错误拒识率亦可低至 7.68%。

    May, 2017

  • 具有高速公路连接的小型深度神经网络用于语音识别

    本研究探讨了将高速公路网络应用于训练小型印记的深度神经网络，结果发现其在语音识别领域的性能超过了常规的深度神经网络，同时也显著减小了模型的参数数量。

    Dec, 2015

  • 深度循环神经网络语音识别

    本文研究了将深度网络的多层表示与强大的 RNN 模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在 TIMIT 语音识别基准测试中获得了最佳记录得分 17.7％。

    Mar, 2013

  • 深度网络是否真的需要很深？

    该研究表明，浅层前馈神经网络可以学习先前由深层网络学习的复杂函数，并且可以达到仅用深度模型可以实现的准确度，在 TIMIT 语音识别任务中，没有经过复杂设计的浅层神经网络能够表现类似于深度卷积网络，并且成功地训练浅层神经网络模仿更深层次模型的方法表明，可能存在比当前更好的训练浅层前馈网络的算法。

    Dec, 2013

  • 卷积网络特征提取行为研究

    该研究旨在探讨深度卷积神经网络中的各个特征的辨别力以及应用它们进行知识表示和推理的可能性，并通过统计学方法提供了新的见解和阈值方法来减少特征中的噪声。

    Mar, 2017

  • 多模态混合深度神经网络用于语音增强

    本研究提出了一种新的深度学习模型，结合了视觉提示信息和音频信号，采用双向长短时记忆网络进行特征集成，以提高噪声下语音信号增强的质量。

    Jun, 2016

  • 基于 DNN 性能度量的语音可懂度预测

    基于深度神经网络和语音识别技术的语音理解模型，可高度精确地模拟听取语音信息的相关属性，不需要干净的语音参考或单词标签。

    Mar, 2022

  • 用于小规模高速公路网络的知识蒸馏

    本文研究基于知识蒸馏的紧凑深度神经网络模型用于语音识别任务，并通过序列训练和适应进一步提高模型的准确率。在 AMI 会议语音识别语料库上的实验结果表明，该方法显著提高了模型的准确性，同时减小了模型参数规模与识别准确率之间的差距。

    Aug, 2016