Sep, 2023

利用 Whisper 增强 Hearing Aids 的多分支语音可懂度预测模型

PDF
TL;DR自动评估助听器设备中的语音可懂性非常重要。本文在以往研究基础上，提出了两种改进的模型 MBI-Net + 和 MBI-Net++，通过利用 Whisper 嵌入来增强声学特征，从而进一步提高 MBI-Net 模型的性能。实验结果表明，MBI-Net++ 和 MBI-Net + 在多项指标上均较 MBI-Net 具有更好的预测性能，而 MBI-Net++ 优于 MBI-Net+。
发现论文，激发创造
  • 基于中间 ASR 特征和人类记忆模型的面向听障用户的非侵入式语音可懂度预测

    利用神经网络和先前训练的自监督和弱监督模型的中间层特征表示，结合人类记忆的示例驱动型心理模型，预测助听器用户的人类可懂度评级，并在不同任务和训练数据中的普通听众中找到相较于基础系统 28.7 的均方根误差 25.3 的显着性能提升。

    Jan, 2024

  • 语音表示的 MOS 预测评估

    该研究评估了预测语音质量的特征提取模型，并提出了一种模型架构，用于比较有监督学习和自监督学习模型的嵌入和说话人验证模型的嵌入以预测指标 MOS；实验结果在 VCC2018 数据集和一个叫做 BRSpeechMOS 的巴西 - 葡萄牙语数据集中均表明，译为 “耳语模型” 在所有情境下都是适当的。

    Jun, 2023

  • 用低语启迪我：使用语音嵌入增强大型语言模型对口述剧本的分析

    通过音频 - 语言知识蒸馏框架，将语音数据中的声学和语用信息转移到学生语言模型，从而改进了传统语言模型在分析口述文本任务上的性能。

    Nov, 2023

  • Whisper-MCE：用于混合语言更佳性能的 Whisper 模型微调

    本文介绍了 Whisper-MCE 模型在 minor language 和 mixed language 语音识别方面的卓越表现，同时提出一种新的评估机制以解决在这些语境下对其有效性进行评估时的挑战。通过将我们的模型与基线模型 whisper-large-v2 进行比较，我们展示了其准确捕捉原始音频内容、实现更高的识别准确率和更快的识别速度的卓越能力。值得注意的是，在识别 mixed language 的特定任务中，我们的模型超越了其他现有模型。

    Oct, 2023

  • HAAQI-Net：适用于助听器的非侵入式神经音乐质量评估模型

    介绍了 HAAQI-Net，一种针对助听器用户定制的非侵入式深度学习模型，用于音乐质量评估。相比传统方法如 HAAQI（Hearing Aid Audio Quality Index），HAAQI-Net 利用注意力机制的双向长短时记忆（BLSTM）。它采用了来自音频转换器（BEATs）的预训练的双向编码器表示进行声学特征提取。通过与真实数据进行对比，HAAQI-Net 实现了 0.9257 的纵向一致相关系数（LCC），0.9394 的斯皮尔曼等级相关系数（SRCC）和 0.0080 的均方误差（MSE）。值得注意的是，这种高性能伴随着推理时间的大大缩短：从 62.52 秒（HAAQI）到 2.71 秒（HAAQI-Net），为助听器用户提供高效的音乐质量评估模型。

    Jan, 2024

  • PI-Whisper：面向多样化和不断演化的说话人特征的自适应增量式语音识别框架

    通过边缘自动语音识别 （ASR）技术，本研究提出了 PI-Whisper 框架，以增强 ASR 的适应性、实现增量式处理和促进多元化使用者群体的公平性和公正性，并在状态 - of-the-art 的准确性下降为主的情况下，提高 13.7％的识别准确率。

    Jun, 2024

  • 多任务多语言语音模型的高效压缩

    在这项研究中，我们发现了 Whisper 这个多任务和多语言语音模型在少数语言上的性能问题，并证明这是与讲话者特征及模型相关偏差有关。针对这个问题，我们提出了 DistilWhisper 方法，通过轻量级的模型微调和知识蒸馏策略，在保留了多任务和多语言预训练的鲁棒性的同时，有效地提升了目标语言的 ASR 性能。

    May, 2024

  • CB-Whisper: 基于文本到语音关键词检测的上下文偏置 Whisper

    Contextual Biasing Whisper (CB-Whisper) 是基于 OpenAI 的 Whisper 模型的一种新型自动语音识别（ASR）系统，在解码器之前进行关键词检测（KWS）。实验表明，通过将预测的实体结合到精心设计的口语提示中，Whisper 模型在覆盖仅英文、仅中文和代码切换情景的三个内部数据集和两个开源数据集上的混合错误率（MER）和实体召回率显著提高。

    Sep, 2023

  • 从 Whisper 进行显微智能预测的迁移学习

    通过使用转移学习从 Whisper，一种用于自动语音识别的先进深度学习模型，我们研究了在词汇响应水平上进行微观可懂性预测的方法。我们的方法即使在零样本设置中也优于相关基准，当对侦听者的响应进行微调时，相对改进率可达 66％。我们的结果展示了大规模深度学习方法在微观可懂性预测方面的潜力。

    Apr, 2024

  • 传递性探究：Whisper 语音表示在 “野外” 跨任务下游应用中的适用性

    本文通过探究 Whisper 模型在 ASR 和其他四个语音任务中的泛化性以及在嘈杂环境下的鲁棒性，证明了其表现出色并具有实际应用价值。

    May, 2023