本文通过调整Prompt的方式，从三个任务(音视频语音识别、混合语音识别、语音翻译)入手，探究了该模型Whisper的应用性能。实验证明，相对于默认Prompt，本文提出的Prompt 在零-shot任务上的表现提升了10%到45%，并在一些数据集上甚至超越了SotA监督模型。此外，实验还揭示了Whisper的许多有趣属性，例如其对提示的鲁棒性、对语音口音的偏见，以及在潜在空间中的多语言理解。

May, 2023

本文通过探究Whisper模型在ASR和其他四个语音任务中的泛化性以及在嘈杂环境下的鲁棒性，证明了其表现出色并具有实际应用价值。

May, 2023

本研究对Whisper在多种阿拉伯口音（包括几种没见过的口音）上进行了综合评估，结果发现Whisper在零-shot设置下性能较好，但在五种未见过的方言上性能明显下降。

Jun, 2023

使用开源工具包与公开可用的数据，本文提出了一种Open Whisper-style Speech Model (OWSM)来训练语音模型，以解决以前无法公开访问的全流程模型开发所面临的性能提升、效率、鲁棒性、公正性和偏见等问题，并公开发布所有脚本、预训练模型和训练日志，以促进开放科学。

Sep, 2023

本文介绍了Whisper-MCE模型在minor language和mixed language语音识别方面的卓越表现，同时提出一种新的评估机制以解决在这些语境下对其有效性进行评估时的挑战。通过将我们的模型与基线模型whisper-large-v2进行比较，我们展示了其准确捕捉原始音频内容、实现更高的识别准确率和更快的识别速度的卓越能力。值得注意的是，在识别mixed language的特定任务中，我们的模型超越了其他现有模型。

Oct, 2023

通过音频-语言知识蒸馏框架，将语音数据中的声学和语用信息转移到学生语言模型，从而改进了传统语言模型在分析口述文本任务上的性能。

Nov, 2023

本研究提出了一种针对目标讲话者的自动语音识别 (ASR) 方法，利用参数高效微调的方法扩展了大规模单讲话者 ASR 模型 Whisper，实验结果显示，该方法可以在只需要任务特定模型参数约 1% 的情况下，达到与先进的完全微调方法相当的性能，同时保留了原始 Whisper 的特征，使生成的转录自然且信息丰富。

Dec, 2023

通过使用先进的语音识别模型Whisper以及6层编码器的不同层冻结策略，本研究提出了一种计算高效的模型配置来更有效地对多发性口吃语音进行自动分类，取得了显著的性能，同时发现最后一个编码器层在辨别口吃性不流畅语音方面的贡献，使模型适用于多种方言和语言。

Jun, 2024

Simul-Whisper is a streaming speech recognition model that utilizes time alignment embedded in Whisper's cross-attention for guiding auto-regressive decoding, achieving chunk-based ASR without fine-tuning, while proposing an integrate-and-fire-based truncation detection model to address the negative effect of truncated words at chunk boundaries, outperforming the current state-of-the-art baseline with a minimal absolute word error rate degradation.

Jun, 2024

本研究针对基于指令的语音处理中的任务多样性不足的问题，提出了一种新颖的多说话者语音风格注释任务，以增强对说话者及节奏信息的理解。研究发现，该模型经过此注释任务预训练后，能够显著提升说话者和情感识别的性能，对下游任务具有潜在重大影响。

Aug, 2024