Apr, 2024

麦霍马乌纳伊卡艾：语言模型在夏威夷语自动语音识别中的改进

PDF
TL;DR改善低资源语言夏威夷语的自动语音识别（ASR）的挑战，通过将大量独立文本数据整合到 Whisper 基础模型中，我们采用约 1.5M 字的夏威夷文本数据训练了外部语言模型（LM）。然后，我们使用该语言模型对 Whisper 进行评分，并计算标记的夏威夷数据测试集的词错误率（WER）。实验结果显示，在用夏威夷语言模型重新评分 ASR 输出时，WER 有小幅但显著的改善。结果支持在开发代表性语言的 ASR 系统时利用所有可用数据。
automatic speech recognitionlow-resource languagehawaiianwhisperlanguage model
发现论文，激发创造
  • LoRA-Whisper: 参数高效且可扩展的多语言语音识别

    本文提出了 LoRA-Whisper 模型，通过将 LoRA 矩阵融入 Whisper，有效减轻多语种自动语音识别中的语言干扰，并通过利用 LoRA 和语言之间的相似性，在新语种上取得更好的性能，同时保持原有语种的稳定性。在涉及八种语言的真实任务实验中，我们的提出的 LoRA-Whisper 相对于基准系统分别在多语种自动语音识别和语言扩展方面获得了 18.5% 和 23.0% 的相对增益。

    Jun, 2024

  • HyPoradise: 一种基于大型语言模型的生成式语音识别的开放基准

    采用外部巨大语言模型 (LLMs) 进行自动语音识别 (ASR) 错误订正的首个开源基准测试涵盖了超过 334,000 个 N-best 假设及相应准确转录数据对，通过三种不同程度标记的假设 - 转录对利用 LLMs 实现了显著的词错误率 (WER) 降低，实验结果表明该技术突破了传统的重新排名方法上限并具备生成能力，从而纠正了 N-best 列表中缺失的标记，提供了一个基于 LLMs 的 ASR 错误订正的全新评估范式。

    Sep, 2023

  • Google USM：扩展超过 100 种语言的自动语音识别

    本论文介绍了通用语音模型（USM），它能够在 100 多种语言中自动识别语音，并使用多语言预训练和随机投影量化等技术来实现跨语言自动语音识别和语音到文本转换这些任务的最先进水平。同时，本文证明使用少量的标记数据集进行训练的 USM 模型在很多语言的领域内和领域外的语音识别任务中表现出了与 Whisper 模型相当或更好的性能。

    Mar, 2023

  • 利用语言模型提高印度语言的语音识别

    本文探究了应用语言模型（LM）到印欧语系语言的自动语音识别（ASR）系统输出结果的影响。我们使用来自多种来源的文本对 18 种印欧语系语言的 wav2vec 2.0 模型进行微调，并进行结果调整。我们的研究结果显示，经过 LM 解码后，字符错误率（CER）平均降低了 28％以上，单词错误率（WER）平均降低了约 36％。文章还表明，与多样化的 LM 相比，大型 LM 可能不会带来更大的改进。此外，我们还展示了可以在不重新训练 ASR 模型的情况下在生物医学领域的专业数据上获得高质量翻译的结果。

    Mar, 2022

  • 将 ASR 基础模型用于口语评估的适应

    本文详细分析了 Whisper 输出，并提出了精细调整和软提示调整两种解决方案，实验证明我们可以有效地改变 Whisper 的解码行为，生成与口语回答中准确的单词。

    Jul, 2023

  • MaLa-ASR: 多媒体辅助的基于 LLM 的 ASR

    提出了基于 LLM 的 ASR 模型 MaLa-ASR，可以整合从演示文稿中提取的文本关键词来提高会议内容的识别率，通过在输入提示中添加关键词，可将有偏差的词错误率（B-WER）相对减少 46.0％和 44.2％，在该数据集上取得了新的 SOTA。

    Jun, 2024

  • 基于大规模语言模型的长篇数据重打分

    研究表明，在使用大规模语言模型的情况下，对于长篇 ASR 测试集，可以使 Word Error Eate 和 Salient Term Error Rate 分别减少 8% 和 30%。

    Jun, 2023

  • 利用数据增强提高低资源语音识别的准确性

    研究发现，利用自训练及文本转语音增广训练数据可以有效提高低资源语种的 ASR 性能，为解决数据稀缺问题提供了一种高效解决方案。

    May, 2023

  • 低资源印度语言中语音识别模型的调整

    通过利用语音和文本资源采用适应和微调技术，提高了印度语言 Bengali 和 Bhojpuri 的自动语音识别（ASR）性能，并通过多模态数据了解每种模态在构建可靠 ASR 方面的重要程度以及解决全球各种语言中的低资源问题的潜在解决方案。

    Jul, 2023

  • 大规模多语言自动语音识别：50 种语言，1 个模型，10 亿参数

    本文探讨了利用单一声学模型进行多种语言训练，以提高低资源语言的自动语音识别性能，并简化支持多种语言的 ASR 系统的部署。作者在 51 种语言上进行广泛的基准测试和比较，表明与单语言训练相比，多语言训练的 ASR 模型可以提高识别性能，特别是对于低资源语言。与单语言基线相比，联合模型、具有语言输入的联合模型和多头模型的平均 WER 相对减少 20.9％、23％和 28.8％。据我们所知，这是第一次研究超过 50 种语言和超过 16,000 小时声音跨其的多语言 ASR 的大规模研究。

    Jul, 2020