May, 2023

基于 MLM 数据增强的 ASR 和 NLU 流水线系统：应对低资源挑战

PDF
TL;DR本文介绍了我们在 ICASSP Signal Processing Grand Challenge 2023 的 Spoken Language Understanding Grand Challenge 中低资源领域适应赛道（Track 3）中的系统，其中我们采用 ASR 和 NLU 的流水线方法。我们在每个领域上利用 upampling 对 Whisper 进行微调来进行 ASR。对于 NLU，我们在所有 Track3 数据上进行了 BART 的微调，然后在低资源领域的数据上进行了微调。我们应用了基于 MLM 的遮蔽 LM（MLM）-based 数据增强，并采用了基于检索的方法。通过以上方法，我们在 reminder/weather 领域实现了精确匹配（EM）准确率 63.3/75.0（平均：69.15），并在挑战中获得了第一名。
low-resource domain adaptationspoken language understandingasrnlumasked lm
发现论文，激发创造
  • 口语语义解析中管道和端到端 SLU 系统的集成研究 —— 面向 STOP 质量挑战

    本文提出了一种基于自动语音识别系统和预训练语言模型的语义解析系统，用于解决在 ICASSP 信号处理大挑战中为语音理解大挑战而提出的质量跟踪 (Track 1) 任务中的问题，并且在这个任务中获得了 80.8 的精确匹配准确率，从而获得了第一名。

    May, 2023

  • 多语种 ASR 中新语种整合的低秩自适应双通道模型

    通过采用双流水线及低秩适应的方法，该研究应对多语言预训练自动语音识别系统中将新语言整合进去的挑战，减少既有语言性能的降低，并实现了一种与语言无关的操作模式。

    Jun, 2024

  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023

  • 利用大型语言模型进行零样本 ASR 领域自适应的语料合成

    提出了一种新的自适应 ASR 模型到新目标领域的策略，其中使用大型语言模型生成目标领域文本语料库，并使用最先进的可控语音合成模型生成相应的语音，通过在上下文中进行指令微调以提高大型语言模型生成新领域文本语料库的效果，实验证明该方法在未知目标领域上能达到平均相对词错误率提高 28%，且源领域性能无降低。

    Sep, 2023

  • Transsion TSUP 的语音识别系统用于 ASRU 2023 MADASR 挑战

    该研究提出了一种语音识别系统，专门用于适应资源有限的印度语言，采用 ASR 模型和 KenLM 语言模型，取得了较低的错误率。

    Jul, 2023

  • 基于弱监督的口语理解低资源流水线

    本文提出了一种基于提示的弱监督学习方法，用于在未标记的数据上获取嘈杂的标签，并在许多口语理解任务上取得了可靠的表现，优于传统的规则方法和其他竞争性的低资源基准。

    Jun, 2022

  • 语音识别中零 - shot 领域调适的大型语言模型启发

    本文介绍了两种使用 LLaMA 的零样本 ASR 领域适应方法，这两种方法可以通过一个领域特定的文本提示有效地减少跨领域 TedLium-2 和 SPGISpeech 数据集上的词错误率（WER），特别是，深度 LLM-fusion 具有更好的实体召回和词汇外单词的召回优势。

    Jun, 2023

  • N-Best ASR Transformer: 使用多个 ASR 假设提高 SLU 性能

    使用自动语音识别提供的多个文本替代方案，采用简化的表述方式，通过 transformer 模型 BERT 和 XLM-RoBERTa 对 N-best 替代方案的连接作为输人，提高了 Spoken Language Understanding 系统的性能。

    Jun, 2021

  • 健壮口语理解的多模态音文结构

    本文研究了基于现有自然语言理解模型的语音助手中由自动语音识别误差引起的性能损失，并提出一种多模态语言理解模块，利用自监督学习从语音和文本模态中获取特征，最终通过对音频信号和文本传输进行编码来获得更好的性能。

    Jun, 2023

  • 融合预训练的 ASR 和 LM 进行语音理解的序列生成

    我们提出了一个三步走的端到端 SLU 系统，将预训练的语音识别模型和语言模型有效地集成到 SLU 框架中，以用于序列生成任务。该系统在 ASR 和 LM 子网络的基础上进行预测，最终预测基于 ASR 和 LM 子网络的表示结果。我们的三步走 SLU 系统在两个基准 SLU 数据集（SLURP 和 SLUE）上表现出卓越性能，尤其在具有挑战性的音频对话中的表现更好。

    Jul, 2023