Sep, 2023

HyPoradise: 一种基于大型语言模型的生成式语音识别的开放基准

PDF
TL;DR采用外部巨大语言模型 (LLMs) 进行自动语音识别 (ASR) 错误订正的首个开源基准测试涵盖了超过 334,000 个 N-best 假设及相应准确转录数据对，通过三种不同程度标记的假设 - 转录对利用 LLMs 实现了显著的词错误率 (WER) 降低，实验结果表明该技术突破了传统的重新排名方法上限并具备生成能力，从而纠正了 N-best 列表中缺失的标记，提供了一个基于 LLMs 的 ASR 错误订正的全新评估范式。
automatic speech recognitiondeep neural networkslanguage modelserror correction techniquesbenchmark
发现论文，激发创造
  • 再次聆听并选择正确答案：大语言模型下自动语音识别的新范式

    该论文提出了一种新的 ASR 生成性错误纠正范式 ClozeGER，通过引入一种多模态 LLM（即 SpeechGPT）来改善纠正输出的忠实度，然后将 GER 重新设计为带有 logits 校准的 cloze 测试，以消除输入信息冗余并简化 GER 过程。实验证明，ClozeGER 在 9 个流行的 ASR 数据集上取得了新的突破。

    May, 2024

  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023

  • 大型语言模型在噪声鲁棒性语音识别中的高效学习

    通过引入噪声条件器和知识蒸馏方法，我们提出从 N-best 列表中提取语言空间噪声嵌入，以增强噪声鲁棒性和改善识别结果的方法。实验证明该方法在有限的训练数据下，可以获得高达 53.9% 的纠错率改善，表现出强大的语言空间降噪能力。

    Jan, 2024

  • 利用大型语言模型进行生成式语音识别误差校正

    使用大型语言模型进行 ASR 后处理，通过指令提示和上下文学习改进错误纠正，与领域精调模型相比，显示了语言模型的泛化能力。

    Sep, 2023

  • 多阶段大型语言模型纠错用于语音识别

    使用大型语言模型提高竞争性语音识别系统的性能，并通过多阶段方法结合传统语言模型重新评分和大型语言模型提示来进行 ASR 错误修正。

    Oct, 2023

  • Hypr: ASR 假设修订的全面研究与参考文献

    通过发布 ASR 假设修正（HypR）数据集和对几种经典的代表性方法进行实现和比较，展示了修正语音识别结果的最新研究进展，希望这些公开可用的 HypR 数据集能够成为进一步研究的参考基准，并推动相关研究领域的发展。

    Sep, 2023

  • 探索大型语言模型与自动语音识别系统的整合：实证研究

    本文旨在探讨将大型语言模型（LLMs）集成到自动语音识别（ASR）系统中以提高转录准确性的潜力，并通过实验表明在当前阶段，使用 LLMs 的上下文学习能力来修正语音识别转录中的潜在错误仍然是一项具有挑战性的任务。

    Jul, 2023

  • 耳语 LLaMA: 语音识别的跨模态生成错误修正框架

    我们引入了一种新的跨模态融合技术，用于在自动语音识别（ASR）中进行生成性错误校正。我们的方法利用声学信息和外部语言表示来生成准确的语音转录上下文。与现有的基于排名的重排序方法不同，我们的方法巧妙地使用了不同的初始化技术和参数高效算法，从预训练的语音和文本模型中提高了 ASR 性能。通过在多样的 ASR 数据集上评估，我们评估了我们的融合技术的稳定性和可重现性，并相对于 n-best 假设的错误率（WERR）性能相对提高了 37.66%。为了鼓励未来的研究，我们将我们的代码和预训练模型开源。

    Oct, 2023

  • 揭示基于 LLM 的中文开源数据集上的 ASR 潜力

    基于大型语言模型的自动语音识别研究，探索了多种配置下的语音编码器、语言模型和投影模块对 ASR 性能的影响，采用三阶段训练方法实现了在中文数据集上的最佳表现，为未来 LLM 基于 ASR 系统的研究提供了实证基础和性能优化的见解。

    May, 2024

  • 基于大规模语言模型的长篇数据重打分

    研究表明，在使用大规模语言模型的情况下，对于长篇 ASR 测试集，可以使 Word Error Eate 和 Salient Term Error Rate 分别减少 8% 和 30%。

    Jun, 2023