Feb, 2024

探究神经网络语音模型中自动语音识别系统所编码的信息

PDF
TL;DR通过神经网络的层级表达，在多个任务中评估自动语音识别声学模型的性能变化和目标任务，我们可以推测哪些信息在不同层次的架构步骤中得到强化或干扰。分析结果显示，基于神经网络的声学模型拥有异质信息，似乎与音素识别没有相关性，例如情感、情绪或说话人身份，而低层隐藏层总体上对信息结构有用，而上层则倾向于删除对音素识别无用的信息。
deep learning architecturesautomatic speech recognitionacoustic modelingneural network interpretabilityinformation learning
发现论文，激发创造
  • 分析端到端自动语音识别系统中的隐藏表示

    本文分析了基于卷积和循环层、使用连结时序分类（CTC）损失函数训练的深度端到端模型所学习的语音表示，并评估模型不同层次的表示在预测电话标签方面的质量，以此为基础探讨了端到端模型的重要方面和设计选择。

    Sep, 2017

  • 基于 DNN 性能度量的语音可懂度预测

    基于深度神经网络和语音识别技术的语音理解模型，可高度精确地模拟听取语音信息的相关属性，不需要干净的语音参考或单词标签。

    Mar, 2022

  • 端到端语音识别的神经表示洞察

    本文分析了使用 CNN、LSTM 和 Transformer 等网络模型进行端到端自动语音识别模型训练时层之间的内部动态，通过规范相关性分析和中心核对齐，发现 CNN 层内的神经表示随着层深度的增加而表现出层级相关性依赖性，而这种行为在 LSTM 架构中不会观察到，但在 Transformer 编码器层中会出现不规则的系数相关性随神经深度的增加而增加，这些结果提供了神经体系结构对语音识别性能的作用的新见解，可用作构建更好的语音识别模型的指示器。

    May, 2022

  • 基于端到端自动语音识别的音素与字形表示分析

    本文分析了自动语音识别中使用的端到端神经网络模型的内部表示学习，对音素和字母、不同发音特征进行了比较，并发现不同特征在深度神经网络的不同层中的表示具有明显的一致性。

    Jul, 2019

  • 自然语音识别可视化 —— 提高理解的方法？

    本文介绍了如何使用图像识别中的归因方法，结合音频数据，帮助可视化深度神经网络自动语音识别模型中输入的哪些特征对输出结果影响最大。通过比较 Layer-wise Relevance Propagation（LRP）、Saliency Maps 和 Shapley Additive Explanations（SHAP）这三种可视化技术，展示了归因方法的优势和应用前景，包括在检测对抗性样本方面。

    Feb, 2022

  • 深度自动语音识别性能预测模型的学习表示分析

    本文介绍一项新任务：预测在未见过的广播节目上的 ASR 表现。使用 CNN 编码文本（ASR 转录本）和语音，以预测单词错误率。我们致力于分析 CNN 在训练预测模型时学习的语音信号嵌入和文本嵌入。我们试图更好地理解深度模型捕获的信息及其与不同调节因素的关系，并通过多任务学习利用此信息。我们的实验表明，这使能够训练效果稍微更好的 ASR 性能预测系统，同时还能够根据其语音风格、口音和广播节目的来源对分析的话语进行标记。

    Aug, 2018

  • 不变语音识别中的解缠

    本研究探讨了深度神经网络在处理时间依赖性信号方面的表现，结果显示语音模型会丢弃特定说话人的噪声信号，而保留与任务相关的语音和音素信息，并在后续层级中出现更高层次的概念表示，此外还展示了深度学习在不同时刻从输入中提取任务相关特征，以实现不变语音识别的能力。

    Mar, 2020

  • 基于中间 ASR 特征和人类记忆模型的面向听障用户的非侵入式语音可懂度预测

    利用神经网络和先前训练的自监督和弱监督模型的中间层特征表示，结合人类记忆的示例驱动型心理模型，预测助听器用户的人类可懂度评级，并在不同任务和训练数据中的普通听众中找到相较于基础系统 28.7 的均方根误差 25.3 的显着性能提升。

    Jan, 2024

  • 自监督语音表示模型的分层分析

    本研究使用一套分析工具研究一款较新的波形自编码预训练语音表征模型，发现其中间表征向量所包含的声学信息和语言信息内容，并研究了自动语音识别（ASR）微调对这些观察结果产生的影响，为此提出了一个修改方案，并证明其在低资源设置中提高了单词错误率的表现。

    Jul, 2021

  • 基于深度学习的声学模型最新进展（更新）

    本文总结了基于深度学习的声学模型最近取得的进展和技术的动机和见解，讨论了可以有效利用可变长度上下文信息的语音识别模型，如 RNN、CNN 及其与其他模型的组合，以及优化了端对端性能的声学模型和鲁棒性训练策略，同时讨论了语音增强和分离等建模技术。

    Apr, 2018