Mar, 2023

Lego-Features: 为流式和研讨性语音识别导出模块式编码器特征

PDF
TL;DR该研究探讨了使用模块化编码表示建立模型的编码器以及使用 Lego-Features 作为可重用的模块化特征以提高语音识别性能，同时不需要使用自动回归计算或波束搜索。
end-to-end speech recognitionmodular encoded representationslego-featuresrnn-tlas decoders
发现论文，激发创造
  • LegoNN: 构建模块化编码器 - 解码器模型

    描述了 LegoNN 过程，它通过重新使用 decoder 模块来构建 encoder-decoder 结构，从而实现在各种机器翻译和语音识别任务中的重复使用，同时引入了一种模态不可知编码器来提高其可移植性。实验证明 LegoNN 模型的有效性。

    Jun, 2022

  • 评估序列标注中手工特征的效用

    通过自动化手工特征抽取方法，将手工特征与深度学习方法相结合，可以显著提高命名实体识别任务的性能并减少训练需求。

    Aug, 2018

  • 利用语音识别能力激发大型语言模型

    通过直接添加小型音频编码器，扩展大型语言模型的能力，实现与其文本版本相同的自动语音识别系统，并在 Multilingual LibriSpeech 上的实验证明，即使在 LLM 被冻结或者音频编码器使用几乎 1 秒的步幅生成更少嵌入时，多语种 ASR 仍然可行，从而为 LLMs 在长篇音频中进行操作开辟了可能性。

    Jul, 2023

  • 基于 Transformer 的端到端语音识别语义掩码

    提出了一种基于语义掩蔽的正则化方法，使用注意力机制的编解码器模型，以及 transformer-based 模型，以提升 E2E 模型的训练效果。通过实验验证，在 Librispeech 960h 和 TedLium2 数据集上取得了 E2E 模型领域的最新性能。

    Dec, 2019

  • 基于关注机制端到端语音识别的编码器比较：独立识别模式与重打分模式

    本文研究了基于注意力机制的端到端语音识别模型在 Flipkart 语音搜索任务的应用，使用编码器 - 解码器 LAS 架构实现非流式和流式模型并比较它们的性能和延迟要求，结果表明变压器模型具有可接受的词错误率和最低延迟要求，在第二次 LAS 二次得分中相对 WER 以 5ms 以内的延迟开销提高 16％左右，此外，观察到在第二次得分模式下，所有编码器提供的好处相似，而性能的差异则在独立文本生成模式下更为突出。

    Jun, 2022

  • 在序列到序列模型中执行编码器 - 解码器模块化

    提出了一种在 seq2seq 模型中执行编码器 - 解码器模块化的方法，通过使用 CTC 损失将编码器输出单元离散化为预定义的可解释词汇空间，使模型具有独立、可替换的编码器和解码器模块，达到接近 SOTA 的性能水平 (300h Switchboard 基准测试数据集下，SWB 和 CH 子集的 WER 分别为 8.3% 和 17.6％)。

    Nov, 2019

  • 利用大型语言模型进行端到端的中文 ASR 和 NER

    通过将语音记号映射到与文本记号相同的特征空间，将语音模态整合到解码器型大型语言模型 (LLM) 中成为范式。本研究通过中文自动语音识别 (ASR) 和命名实体识别 (NER) 任务对 Whisper 编码器和 ChatGLM3 进行深入比较，评估它们不仅基于传统的 F1 评分，还基于 ASR-NER 错误的新颖细粒度分类。实验结果表明，与短上下文相比，使用编码器 - 解码器架构的性能优于仅解码器架构，而对于长上下文，仅解码器架构可以充分利用 LLM 的所有层，从而获益。我们使用 LLM 显著减少了实体遗漏错误，并改善了实体 ASR 准确率，与 Conformer 基准相比，我们在 AISHELL-NER 测试集上获得了 0.805 的最先进的 F1 评分，并通过 chain-of-thought (CoT) NER 首先推断出长形 ASR 转录，然后预测 NER 标签。

    Jan, 2024

  • 开车前三思：面向端到端自动驾驶的可扩展解码器

    本文提出基于编码器 - 解码器范式的自动驾驶任务中，充分发挥编码器能力和增加解码器容量的方法，以及在预测车辆行为的同时提取安全关键区域信息，实现闭环自动驾驶，并在 CARLA simulator 上取得了优秀的表现。

    May, 2023

  • 极端编码器输出帧率降低：改善大规模端到端模型的计算延迟

    通过在编码器中应用多个帧压缩层，我们能够以较低的计算复杂度实现在每 2.56 秒的输入语音中生成一个编码器输出帧，而又不显著影响大规模语音搜索任务的词错误率，并相比于强大但计算代价高昂的基准模型，降低编码器和解码器延迟分别达到了 48% 和 92%。

    Feb, 2024

  • 使用自监督特征进行语音情感识别

    本文介绍了一种基于自上而下加自下而上架构范式的端到端情感识别系统，构建了基于自我监督特征的情感识别实验，并研究了自我监督特征模型的微调、特征的聚合和后端分类网络之间的相互作用等领域。该单模只有语音的系统不仅取得了 SOTA 结果，而且也揭示了强大且经过精细调整的自我监督声学特征的可能性，使其达到类似于同时使用语音和文本模态的 SOTA 多模态系统所达到的结果。

    Feb, 2022