Mar, 2022

基于 DNN 性能度量的语音可懂度预测

PDF
TL;DR基于深度神经网络和语音识别技术的语音理解模型，可高度精确地模拟听取语音信息的相关属性，不需要干净的语音参考或单词标签。
speech intelligibilityautomatic speech recognitiondeep neural networksphoneme probabilitiesspeech reception thresholds
发现论文，激发创造
  • 基于中间 ASR 特征和人类记忆模型的面向听障用户的非侵入式语音可懂度预测

    利用神经网络和先前训练的自监督和弱监督模型的中间层特征表示，结合人类记忆的示例驱动型心理模型，预测助听器用户的人类可懂度评级，并在不同任务和训练数据中的普通听众中找到相较于基础系统 28.7 的均方根误差 25.3 的显着性能提升。

    Jan, 2024

  • 探究神经网络语音模型中自动语音识别系统所编码的信息

    通过神经网络的层级表达，在多个任务中评估自动语音识别声学模型的性能变化和目标任务，我们可以推测哪些信息在不同层次的架构步骤中得到强化或干扰。分析结果显示，基于神经网络的声学模型拥有异质信息，似乎与音素识别没有相关性，例如情感、情绪或说话人身份，而低层隐藏层总体上对信息结构有用，而上层则倾向于删除对音素识别无用的信息。

    Feb, 2024

  • 深度循环神经网络用于声学建模

    本文提出了一种用于噪声环境下语音自动识别的新型深度循环神经网络模型，结合了深度神经网络和双向长短期记忆网络，在华尔街日报数据集上相较于传统深度神经网络模型提高了近 8%。

    Apr, 2015

  • 自然语音识别可视化 —— 提高理解的方法？

    本文介绍了如何使用图像识别中的归因方法，结合音频数据，帮助可视化深度神经网络自动语音识别模型中输入的哪些特征对输出结果影响最大。通过比较 Layer-wise Relevance Propagation（LRP）、Saliency Maps 和 Shapley Additive Explanations（SHAP）这三种可视化技术，展示了归因方法的优势和应用前景，包括在检测对抗性样本方面。

    Feb, 2022

  • 面向鲁棒语音识别的语音增强和噪音感知网络

    提出了一个基于噪声感知的训练框架，将增强语音引入到声学模型的多条件训练中，通过两个级联的神经结构来优化增强语音和语音识别，并取得了较好的实验结果。

    Mar, 2022

  • 应用混合深度神经网络处理达里语音

    本文探讨了使用 Mel 频率倒谱系数特征提取方法和三种不同的深度神经网络模型 (CNN、RNN 和 MLP)，以及两个将 CNN 和 RNN 组合的混合模型识别达里语中个体单词的方法，结果表明，使用该技术可以获得 98.365% 的准确率。

    May, 2023

  • 从 RNN 到 DNN 的知识转移

    本文研究嵌入式系统中小型深度神经网络的训练方法，提出了一种使用递归神经网络进行知识转移的方法，并通过 Kullback-Leibler 散度最小化来训练小型深度神经网络，结果显示相较于基线结果提高了 13% 的识别准确率。

    Apr, 2015

  • 使用卷积神经网络从原始语音信号估计音素类条件概率

    本文探究一种利用卷积神经网络（CNN），以原始语音信号作为输入、输出为音素类别条件概率估计的新方法，比较其在 TIMIT 音素识别任务中的表现，发现该方法可以获得与传统方法相当或更好的音素识别性能，表明 CNN 可以自动从原始语音信号中学习与音素分类相关的特征。

    Apr, 2013

  • 德语语音识别：详细误差分析

    研究使用神经网络的自动语音识别系统，如何评估其预测的转录与语音输入的误差类别，评估结果指出交叉体系结构的预测错误，并查找错误来源，提出定量改善数据集和提高 ASR 系统鲁棒性的解决方案。

    Apr, 2022

  • 语音和语言识别的统一深度神经网络

    本研究使用深度神经网络（DNN）学习特征表示和亚音素后验概率，证明使用单个 DNN 进行说话人和语言识别可以取得显著的性能提升。统一 DNN 方法在 2013 年域自适应挑战说话人识别任务上取得了 55% 的 EER 降低，以及在 NIST 2011 语音识别评估测试中，在 30 秒测试条件下取得 48% 的 EER 降低。

    Apr, 2015