Jun, 2024

应用 LLMs 对非正式对话的 ASR 候选解进行再评分：领域适应和上下文传递的影响

PDF
TL;DR大语言模型已成功应用于重新评分自动语音识别假设，本研究揭示了它在非正式谈话中重新评分自动语音识别假设的能力，证明了 Llama2 在 CHiME-7 远程 ASR 任务上的优越性。
large language modelsasr hypothesesllama2domain adaptationcontext carry-over
发现论文，激发创造
  • 语音识别中零 - shot 领域调适的大型语言模型启发

    本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率（WER），特别是，深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。

    Jun, 2023

  • 大规模语言模型重评分对竞争性 ASR 系统的影响与分析

    本研究将大型语言模型（如 GPT-2, BERT, RoBERTa）应用于 ASR N-best rescoring，并将其与竞争性高、接近最新技术水平的 ASR 系统相结合。通过实验发现大型语言模型的双向性、预训练、领域内微调和上下文增强对 ASR 性能有显著改善作用，而词汇分析揭示了这些组件如何对 ASR 性能贡献。

    Apr, 2022

  • 基于大规模语言模型的长篇数据重打分

    研究表明，在使用大规模语言模型的情况下，对于长篇 ASR 测试集，可以使 Word Error Eate 和 Salient Term Error Rate 分别减少 8% 和 30%。

    Jun, 2023

  • 多阶段大型语言模型纠错用于语音识别

    使用大型语言模型提高竞争性语音识别系统的性能，并通过多阶段方法结合传统语言模型重新评分和大型语言模型提示来进行 ASR 错误修正。

    Oct, 2023

  • 利用大型语言模型进行生成式语音识别误差校正

    使用大型语言模型进行 ASR 后处理，通过指令提示和上下文学习改进错误纠正，与领域精调模型相比，显示了语言模型的泛化能力。

    Sep, 2023

  • 探索大型语言模型与自动语音识别系统的整合：实证研究

    本文旨在探讨将大型语言模型（LLMs）集成到自动语音识别（ASR）系统中以提高转录准确性的潜力，并通过实验表明在当前阶段，使用 LLMs 的上下文学习能力来修正语音识别转录中的潜在错误仍然是一项具有挑战性的任务。

    Jul, 2023

  • 基于大规模互补神经语言模型的格栅重新评分

    我们研究了使用大规模先进神经语言模型（NLMs）对自动语音识别（ASR）假设进行格栅再评分的效果。通过将最多 8 个 NLMs 进行组合，通过迭代式格栅生成，逐步改进给定格栅弧上的语言评分，我们逐渐降低 ASR 假设的错误。此外，我们还研究了在长篇演讲等持续语音的格栅序列中传递上下文信息（先前的再评分结果）的有效性。在使用演讲语料库进行实验时，通过组合这八个 NLMs 并使用上下文传递，我们相较于 ASR 一流基准线获得了 24.4% 的相对词错误率降低。另外，我们还进行了非迭代式的 NLM 组合和使用大规模 NLMs 的 100 最佳再评分的同时比较，验证了迭代式 NLM 组合进行格栅再评分的优势。

    Dec, 2023

  • 利用跨句上下文和多任务语言建模进行电子商务聊天机器人的语音识别适应

    本文探讨了改进 Transformer-XL NLM 以重评 ASR N-best 提示的各种技术，包括利用上下文化、域自适应和多任务模型等方面；结果显示，模型的性能明显优于 LSTM LM 基准模型。

    Jun, 2021

  • 利用大型语言模型进行端到端语音识别的语境化

    通过引入一种新方法，结合大型语言模型（LLMs）来进行上下文化的语音识别模型，我们证明通过添加适配器的少量可训练参数，可以在保持相同的文本输入功能的同时，实现预训练 LLM 的上下文化语音识别能力并显著提高性能。

    Sep, 2023

  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023