Dec, 2023

基于预训练语音和语言模型的端到端语音识别整合

PDF
TL;DR利用预训练语音表示模型与大型语言模型（LLM）的集成，通过以语音表示作为语音提示，自动逐步生成文本标记，以利用 LLM 提供的广博知识，从而实现端到端的自动语音识别（ASR）模型，该模型还可结合推理优化和参数高效领域适应等关键技术，实现与现代端到端 ASR 模型相媲美的性能。
machine learningend-to-end asrpre-trained modelspeech representationlarge language model
发现论文，激发创造
  • 端到端语音识别综述

    该研究论文介绍了端到端自动语音识别模型的分类和改进，讨论了它们对传统隐马尔科夫模型的影响，涵盖了模型、训练、解码和外部语言模型集成等各个方面，同时讨论了性能和部署机会以及未来的发展前景。

    Mar, 2023

  • 大型预训练语言模型向端到端语音识别器的知识转移

    本文提出了一种方法，通过从大规模语言模型的嵌入向量获取语义知识来缓解需要耗费大量成本的转录训练的问题，并扩展了注意力机制的解码器和神经音响模式的解码器，以实现错误率的降低。

    Feb, 2022

  • 基于流式端到端模型的大规模多语言语音识别

    本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

    Sep, 2019

  • 探索迁移学习用于端到端语音理解

    本文提出了一种多任务联合训练的端到端语音理解模型 “Audio-Text All-Task (AT-AT) Model”，该模型能够同时训练语音转文字、语音理解和文本理解任务，不仅可以在多个数据集上实现最优性能，还可用于零 - shot 端到端语音理解任务。

    Dec, 2020

  • 终端到终端音频识别的声学模型融合

    最近在深度学习和自动语音识别（ASR）方面的进展使得端到端（E2E）ASR 系统成为可能，并且将准确性提升到一个新的水平。我们提出将外部的 AM 整合到 E2E 系统中，以更好地解决领域不匹配问题，并取得了显著的词错误率降低，尤其在增强命名实体识别方面效果明显。

    Oct, 2023

  • 融合预训练的 ASR 和 LM 进行语音理解的序列生成

    我们提出了一个三步走的端到端 SLU 系统，将预训练的语音识别模型和语言模型有效地集成到 SLU 框架中，以用于序列生成任务。该系统在 ASR 和 LM 子网络的基础上进行预测，最终预测基于 ASR 和 LM 子网络的表示结果。我们的三步走 SLU 系统在两个基准 SLU 数据集（SLURP 和 SLUE）上表现出卓越性能，尤其在具有挑战性的音频对话中的表现更好。

    Jul, 2023

  • 自监督预训练表示在端到端语音识别中的探索

    本文探讨了预训练语音模型在 E2E-ASR 中的潜在应用，发现在一些 ASR benchmark corpora 上，使用预训练模型能够超越当前最先进的识别性能。其中，HuBERT 模型表现尤为突出，实验代码和模型参数已开源。

    Oct, 2021

  • 预训练语言模型迁移学习改进端到端语音摘要

    本文提出在端对端语音摘要（E2E SSum）模型中集成预训练语言模型来解决数据稀缺问题，并通过迁移学习来减少编解码器之间的差距。实验证明，该模型表现优于基线和数据增强模型。

    Jun, 2023

  • 基于类语言模型和令牌传递解码器的端到端语境语音识别

    本文针对上下文语音识别难以适应 E2E 自动语音识别的问题，提出了使用基于类别的语言模型及高效微调令牌传递解码器来提高性能。实验表明，该方法在不改变解码超参数的情况下，有效降低了上下文语音识别的字词错误率，并不影响普通语音识别的表现。

    Dec, 2018

  • 语音识别，语音增强和自监督学习表示的端到端集成

    本文介绍了一种针对鲁棒语音识别的全自动语音识别模型 IRIS，该模型整合了语音增强模块和自监督学习表征模块，并在单通道 CHiME-4 测试中表现出最好的性能（开发集：2.0％，测试集：3.9％）。

    Apr, 2022