从 Whisper 进行显微智能预测的迁移学习

Apr, 2024

从 Whisper 进行显微智能预测的迁移学习

Transfer Learning from Whisper for Microscopic Intelligibility Prediction

Paul Best, Santiago Cuervo, Ricard Marxer

TL;DR通过使用转移学习从 Whisper，一种用于自动语音识别的先进深度学习模型，我们研究了在词汇响应水平上进行微观可懂性预测的方法。我们的方法即使在零样本设置中也优于相关基准，当对侦听者的响应进行微调时，相对改进率可达 66％。我们的结果展示了大规模深度学习方法在微观可懂性预测方面的潜力。

Abstract

macroscopic intelligibility models predict the expected human word-error-rate for a given speech-in-noise stimulus. In contrast, microscopic intelligibility models aim to make fine-grained predictions about listeners' perception, e.g. predicting phonetic or lexical responses. State-of-

macroscopic intelligibility models microscopic intelligibility models transfer learning automatic speech recognition deep learning

发现论文，激发创造

Distil-Whisper: 大规模伪标记下的鲁棒知识蒸馏

通过伪标注法，将较大的语音识别模型提炼为 Distil-Whisper 变体，使其在低延迟或资源有限的环境中更快速地执行，同时保持与原模型接近的性能。

Nov, 2023

传递性探究：Whisper 语音表示在 “野外” 跨任务下游应用中的适用性

本文通过探究 Whisper 模型在 ASR 和其他四个语音任务中的泛化性以及在嘈杂环境下的鲁棒性，证明了其表现出色并具有实际应用价值。

May, 2023

基于中间 ASR 特征和人类记忆模型的面向听障用户的非侵入式语音可懂度预测

利用神经网络和先前训练的自监督和弱监督模型的中间层特征表示，结合人类记忆的示例驱动型心理模型，预测助听器用户的人类可懂度评级，并在不同任务和训练数据中的普通听众中找到相较于基础系统 28.7 的均方根误差 25.3 的显着性能提升。

Jan, 2024

Whisper 能否进行基于语音的上下文学习

通过以语音为基础的上下文学习方法，本研究调查了由 OpenAI 发布的 Whisper 自动语音识别（ASR）模型的上下文学习能力。在应用于孤立词 ASR 时，实验结果表明使用任意大小的 Whisper 模型在两种方言中能够显著减少词错误率（WER），平均降低率为 32.3%。可应用于进一步提高上下文学习效率的基于 k 最近邻的示例选择技术能将平均相对 WER 减少率提高至 36.4%。研究还对发音变化和方言特定的词汇细微差别的适应性进行了详细的定量分析。

Sep, 2023

跨语言迁移学习的语音翻译

利用 Whisper 作为多语言语音模型示例，我们探究了语音编码器产生的话语表征，虽然保留了一些语言敏感信息，但是来自不同语言的单词被映射到相似的语义空间，从 Speech-to-Speech 检索任务中的高召回率可以看出；借助这个共享的嵌入空间，我们证明了在语音翻译中的零 - shot 跨语言转移；当 Whisper 模型仅使用英语到中文翻译数据进行微调时，它在其他语言的输入话语上表现出性能的提升；此外，在低资源语言的实验中，通过利用跨语言表示，Whisper 可以对在预训练过程中未见的语言的话语进行语音翻译。

Jul, 2024

用低语启迪我：使用语音嵌入增强大型语言模型对口述剧本的分析

通过音频 - 语言知识蒸馏框架，将语音数据中的声学和语用信息转移到学生语言模型，从而改进了传统语言模型在分析口述文本任务上的性能。

Nov, 2023

语音和语言处理的迁移学习

该文总结了最近关于利用深度模型在语音和语言处理中进行模型适应的一些重要研究，重点关注了利用迁移学习在跨语音和多语言任务中的表现，并展示了深度模型在跨数据分布、数据类型、模型结构和模型类型之间进行学习的潜力。

Nov, 2015

DistilWhisper: 通过语言专家高效蒸馏多任务语音模型

DistilWhisper 是一个轻量级模块化的 ASR 框架，通过语言专家和知识蒸馏的方式提高了 Whisper 的性能，同时保留了多任务和多语言预训练模型的鲁棒性，在目标语言中提高了 ASR 性能而仅引入了可忽略的参数开销。

Nov, 2023

Whispy：将 STT Whisper 模型调整至实时环境

Whispy 是一个能够实时处理语音流并生成高质量语音转录的系统，优化了 Whisper 预训练模型的架构，具备较低的计算成本，实验结果展示了其在鲁棒性、及时性和准确性方面的优势。

May, 2024

倾听世界，提高语音命令识别

研究卷积神经网络中的迁移学习在语音识别方面的应用，发现将来自不同任务的表示转移至声音专注的任务可以显著提高准确性。通过验证在音频数据集上使用更深层网络可以获得更好准确性的结果，提出一个使用扩张卷积的简单多尺度输入表示方法，以及通过将迁移学习和多尺度输入表示相结合来实现仅需要训练数据的 40% 即可获得相似准确性的模型。最后还提出多尺度输入和迁移学习的积极互动效应，表明两种技术的联合应用是有益的。

Oct, 2017