whisper | BriefGPT - AI 论文速递

关键词whisper

搜索结果 - 29

通过合成音频数据进行端到端低资源语音翻译
我们在国际口语翻译会议 (IWSLT 2024) 上描述了我们的系统提交，用于爱尔兰 - 英语语音翻译。我们基于 Whisper 构建了端到端系统，并采用了一些数据增强技术，如语音回译和噪声增强。我们研究了使用合成音频数据的影响，并讨论了几
PDF7 days ago
Simul-Whisper：带有截断检测的注意力引导流式 Whisper
Simul-Whisper is a streaming speech recognition model that utilizes time alignment embedded in Whisper's cross-attention
PDF18 days ago
Perceiver-Prompt: 強調可變的語者適應，用於中文失調語音識別
通过引入 Perceiver-Prompt 方法，利用 P-Tuning 对 Whisper 大规模模型进行微调，并通过可训练的 Perceiver 从可变长度输入中生成固定长度的说话人提示，以提高对中国发音障碍语音的模型识别性能。我们的实
PDF18 days ago
深究 Whisper 的提示理解能力：提示是否真正起作用？
本研究探讨了高性能语音识别模型 Whisper 与提示信息之间的交互作用，结果意外发现 Whisper 可能并未完全理解文字提示。此外，我们发现即使更加严格地遵循文字提示中的主题信息，也不能保证性能提升。英文提示通常在两种语言的数据集上表现
PDF23 days ago
优化多重口吃语音分类：利用 Whisper 的编码器实现自动评估中高效参数减少
通过使用先进的语音识别模型 Whisper 以及 6 层编码器的不同层冻结策略，本研究提出了一种计算高效的模型配置来更有效地对多发性口吃语音进行自动分类，取得了显著的性能，同时发现最后一个编码器层在辨别口吃性不流畅语音方面的贡献，使模型适用
PDF23 days ago
消音耳语：面向语音基础模型的通用声学对抗攻击
最近，诸如 Whisper 之类的大型语音基础模型的发展使其在许多自动语音识别（ASR）应用中广泛使用。然而，我们证明了这些特殊令牌可以被对抗攻击利用以操纵模型的行为。我们提出了一种简单但有效的方法来学习 Whisper 的通用声学实现的
PDF2 months ago
Whispy：将 STT Whisper 模型调整至实时环境
Whispy 是一个能够实时处理语音流并生成高质量语音转录的系统，优化了 Whisper 预训练模型的架构，具备较低的计算成本，实验结果展示了其在鲁棒性、及时性和准确性方面的优势。
PDF2 months ago
多任务多语言语音模型的高效压缩
在这项研究中，我们发现了 Whisper 这个多任务和多语言语音模型在少数语言上的性能问题，并证明这是与讲话者特征及模型相关偏差有关。针对这个问题，我们提出了 DistilWhisper 方法，通过轻量级的模型微调和知识蒸馏策略，在保留了多
PDF2 months ago
Whisper 是否理解瑞士德语？自动化质量评估与人工评价
Whisper 是一种最先进的自动语音识别（ASR）模型，经过系统评估后，我们的所有评估结果表明，Whisper 是一个适用于瑞士德语的可行 ASR 系统，前提是需要标准德语输出。
PDF2 months ago
麦霍马乌纳伊卡艾：语言模型在夏威夷语自动语音识别中的改进
改善低资源语言夏威夷语的自动语音识别（ASR）的挑战，通过将大量独立文本数据整合到 Whisper 基础模型中，我们采用约 1.5M 字的夏威夷文本数据训练了外部语言模型（LM）。然后，我们使用该语言模型对 Whisper 进行评分，并计算
PDF3 months ago
不慎的耳语：语音转文本幻觉的危害
评估了 OpenAI 的 Whisper 语音转文字服务，发现大约 1% 的音频转录中包含了并不存在于音频中的幻觉短语或句子，其中 38% 的幻觉内容包括暴力、虚构的个人信息或虚假的基于视频的权威，并提供了关于幻觉发生原因的假设，揭示了由语
PDF5 months ago
ACL平衡的行动：揭示和缓解葡萄牙语 ASR 偏见
本研究旨在全面探索 Whisper 和 MMS 系统，重点评估与葡萄牙语的非正式对话语音相关的自动语音识别中存在的偏见。我们的调查包含不同类别，包括性别、年龄、肤色和地理位置。除了传统的 ASR 评估指标（如词错误率 WER）外，我们还引入
PDF5 months ago
基于公共语音识别语料训练的仅解码器模型的极限探索
本文研究了使用公共英语 ASR 语料库训练仅解码器模型（DOTA）相比于基于编码器 - 解码器的开源复制模型（OWSM）和 Whisper 的大型语言模型（Whisper large-v3），在几乎所有英语 ASR 基准测试集上取得更好的性
PDF5 months ago
通过提示调优扩展 Whisper 以实现面向目标说话者的 ASR
本研究提出了一种针对目标讲话者的自动语音识别 (ASR) 方法，利用参数高效微调的方法扩展了大规模单讲话者 ASR 模型 Whisper，实验结果显示，该方法可以在只需要任务特定模型参数约 1% 的情况下，达到与先进的完全微调方法相当的性能
PDF7 months ago
研究 ASR 基础模型的新兴音频分类能力
使用 Whisper 这个 ASR 基础模型进行无监督音频分类，并通过去偏方法获得显著的性能提升。
PDF8 months ago
朝着端到端口语语法错误纠正
本文介绍了一种针对 L2 学习者的口语语法错误修正的替代性 “端到端” 方法，利用了语音识别基础模型 Whisper 进行整个框架或部分替换，结果表明这种端到端方法在体系结构内是可行的，但由于缺乏可用数据，当前性能有限。此外，文中还讨论了使
PDF8 months ago
集中力的耳语：通过编码器层优化增强口吃语音分类
近年来，在语音处理领域的进展已经引发出具有巨大潜力的尖端深度学习算法，而自动识别口吃症言语是这些研究者采用深度学习技术所致力解决的应用之一。本研究通过旨在聚焦于高效解决方案的重要贡献，解开了 Whisper 在口吃症言语类型分类上的能力，并
PDF8 months ago
DistilWhisper: 通过语言专家高效蒸馏多任务语音模型
DistilWhisper 是一个轻量级模块化的 ASR 框架，通过语言专家和知识蒸馏的方式提高了 Whisper 的性能，同时保留了多任务和多语言预训练模型的鲁棒性，在目标语言中提高了 ASR 性能而仅引入了可忽略的参数开销。
PDF8 months ago
Whisper-MCE：用于混合语言更佳性能的 Whisper 模型微调
本文介绍了 Whisper-MCE 模型在 minor language 和 mixed language 语音识别方面的卓越表现，同时提出一种新的评估机制以解决在这些语境下对其有效性进行评估时的挑战。通过将我们的模型与基线模型 whisp
PDF8 months ago
利用微调和最小前瞻波束搜索改善 Whisper
在低资源语言方面，Whisper 的性能仍然不够完善。为了解决这些问题，我们在额外数据上对 Whisper 进行了微调，并提出了一种改进的解码算法。在越南语上，使用 LoRA 对 Whisper-Tiny 进行微调可以将 WER 相对于零
PDF9 months ago