Jun, 2024

流式端到端语音识别的解码器架构

PDF
TL;DR使用解码器专用架构进行分块流式自动语音识别，通过压缩 CTC 输出和上下文嵌入的语音特征，并将其作为提示逐块顺序提供给解码器，以快速估计输出令牌，同时采用随机长度前缀提示的新型训练方案，使模型能够应对分块处理引起的截断提示，并且在 LibriSpeech test-other 数据集上相对词错误率减少了 8%，速度是基线模型的两倍。
decoder-only language modelsautomatic speech recognitionblockwise streaming asrctc outputtraining scheme
发现论文，激发创造
  • 关于语音到文本和大型语言模型集成的仅解码器架构

    该研究介绍了 Speech-LLaMA，一种将声学信息有效地整合到基于文本的大型语言模型中的新方法，并进一步探索了仅解码器架构在语音处理任务中的应用。

    Jul, 2023

  • 基于公共语音识别语料训练的仅解码器模型的极限探索

    本文研究了使用公共英语 ASR 语料库训练仅解码器模型（DOTA）相比于基于编码器 - 解码器的开源复制模型（OWSM）和 Whisper 的大型语言模型（Whisper large-v3），在几乎所有英语 ASR 基准测试集上取得更好的性能，并在 15 个测试集中的 7 个上超过了 Whisper。我们在宽松许可下发布了我们的代码库和模型检查点。

    Jan, 2024

  • Speech ReaLLM -- 使用多模式 LLMs 教授时间流的实时流式语音识别

    Speech ReaLLM 是一种新的 ASR 架构，结合了 “解码器 - 仅” ASR 和 RNN-T，使多模式 LLM 架构能够进行实时流式处理。

    Jun, 2024

  • 使用 Transformer 模型进行流式自动语音识别

    通过使用自我注意力来模拟时间上下文信息，基于编码器 - 解码器的序列到序列模型已经在端到端自动语音识别领域取得了最先进的成果。本研究提出了一种基于 Transformer 的流式 ASR 系统，其可以在每个发音单词之后快速生成输出，因此可以应用于更广泛的 ASR 场景中。我们采用了一种时间限制的自注意力机制来实现流式语音序列的建模，同时通过触发式关注机制来优化编码器 - 解码器的关注机制。在 LibriSpeech 的测试数据上，我们的方案分别达到了 2.8% 和 7.2% 的词错误率，这是我们所知道的这个任务的最好的流式端到端 ASR 成果。

    Jan, 2020

  • 利用大型语言模型进行端到端的中文 ASR 和 NER

    通过将语音记号映射到与文本记号相同的特征空间，将语音模态整合到解码器型大型语言模型 (LLM) 中成为范式。本研究通过中文自动语音识别 (ASR) 和命名实体识别 (NER) 任务对 Whisper 编码器和 ChatGLM3 进行深入比较，评估它们不仅基于传统的 F1 评分，还基于 ASR-NER 错误的新颖细粒度分类。实验结果表明，与短上下文相比，使用编码器 - 解码器架构的性能优于仅解码器架构，而对于长上下文，仅解码器架构可以充分利用 LLM 的所有层，从而获益。我们使用 LLM 显著减少了实体遗漏错误，并改善了实体 ASR 准确率，与 Conformer 基准相比，我们在 AISHELL-NER 测试集上获得了 0.805 的最先进的 F1 评分，并通过 chain-of-thought (CoT) NER 首先推断出长形 ASR 转录，然后预测 NER 标签。

    Jan, 2024

  • 对解码器专属的大型语言模型在语音到文本翻译中的研究

    大型语言模型在语音到文本翻译任务中的应用探索，提出一种仅使用解码器的架构，通过不同的参数优化技术和任务设计来达到最先进的性能。

    Jul, 2024

  • 基于序列到序列模型的最先进语音识别技术

    本研究通过引入多头注意力机制、使用字片段模型、同步训练、计划采样、标签平滑和最小字符错误率优化等技术手段，将 Listen Attend Spell（LAS）模型应用于语音搜索任务中，从而将错误率从 9.2% 显著降至 5.6%。在听写任务中，该模型的错误率为 4.1%，略优于传统系统的 5.0%。

    Dec, 2017

  • 具有强大 ASR 能力的 LMM 的令人尴尬的简单方法

    通过对大型语言模型和语音基础编码器进行多种组合的基准测试和研究，本文提出了一种简单而高效的 SLAM-ASR 系统，该系统在 Librispeech 基准测试中表现出色，并且超过了最新的音频通用模型。同时，本文还探讨了基于 LLM 的 ASR 的能力发展和模态对齐的问题。

    Feb, 2024

  • 流式混淆网络语音识别

    本文提出了一种新型流式自动语音识别架构，可输出混淆网络并保持有限的延迟，以满足交互式应用的需要，其 1-best 结果与可比较的 RNN-T 系统相当，而更丰富的假设集允许进行第二遍重评分，以在 LibriSpeech 任务上实现 10-20％更低的字词误差率，同时在远场语音助手任务中优于强 RNN-T 基线。

    Jun, 2023

  • 利用语音识别能力激发大型语言模型

    通过直接添加小型音频编码器，扩展大型语言模型的能力，实现与其文本版本相同的自动语音识别系统，并在 Multilingual LibriSpeech 上的实验证明，即使在 LLM 被冻结或者音频编码器使用几乎 1 秒的步幅生成更少嵌入时，多语种 ASR 仍然可行，从而为 LLMs 在长篇音频中进行操作开辟了可能性。

    Jul, 2023