Sep, 2019

针对语音识别鲁棒性的上下文化嵌入在口语理解中的学习

PDF
TL;DR本研究提出了一种新的混淆感知的微调方法，以减轻 ASR 误差对已预训练的语言模型产生的影响，并在 ATIS 数据集上进行了实验，结果表明该方法显著提高了 ASR 转录文本上口语理解的性能。
pre-trained language modelsautomatic speech recognitioncontextualized representationsfine-tuning methodspoken language understanding
发现论文，激发创造
  • 通过上下文学习和词混淆网络实现 ASR 鲁棒性口语语言理解

    通过使用自动语音识别系统的网络输出来弥补语音模糊性，增强口语语言理解的结果，通过对置信网络的词语混淆进行实验，研究大型语言模型对嘈杂的语音转录本的鲁棒性，探讨在不同自动语音识别性能条件下的影响因素。

    Jan, 2024

  • ASR 纠错和语言理解的联合上下文建模

    该研究提出了一种多任务神经网络方法，通过对话系统中的语音识别输出进行上下文语言纠正和语言理解以改善两个任务的性能，从而提高自动语音识别的质量。

    Jan, 2020

  • 利用跨句上下文和多任务语言建模进行电子商务聊天机器人的语音识别适应

    本文探讨了改进 Transformer-XL NLM 以重评 ASR N-best 提示的各种技术，包括利用上下文化、域自适应和多任务模型等方面；结果显示，模型的性能明显优于 LSTM LM 基准模型。

    Jun, 2021

  • 语义网络重新评分提升自动语音识别系统的上下文识别能力

    我们提出了一种新方法，在自动语音识别系统中通过语义格处理利用深度学习模型来提高上下文识别的能力，从而准确地递交准确的转录结果，涵盖广泛的词汇和说话风格。我们在隐藏马尔可夫模型和高斯混合模型以及深度神经网络模型上融合语言和声学建模，通过使用基于 Transformer 的模型对单词格进行重新评分，实现了显著的性能提升和词错误率的明显降低，在 LibriSpeech 数据集上进行了实证分析，证明了我们提出的框架的有效性。

    Oct, 2023

  • 利用 BERT 联合编码词困惑网络和对话环境来进行口语理解

    本文提出了一种基于 BERT 的新型 SLU 模型（WCN-BERT SLU），其可以在 BERT 体系结构中整合 WCN 的结构信息和 ASR 后验概率，实验结果在 DSTC2 基准测试中表明该方法是有效的并且明显优于以前的最先进模型。

    May, 2020

  • 使用 Confusion2Vec 的口语意图检测

    本研究旨在提高在噪声自动语音识别（ASR）系统条件下口语意图检测的准确性和鲁棒性，引入人类语音产生和感知中的声学关系概念，通过 confusion2vec 词特征表示方法减少 ASR 错误，得到了相对于之前的最优结果有 20.84% 的分类错误率降低和相对于干净版的 37.48% 提高的鲁棒性。同时，在嘈杂环境下训练的意图检测模型也表现出了一定的提高。

    Apr, 2019

  • 具有困难负样本的上下文语音识别

    该文介绍了一种用于训练上下文机制的新方法，它使用参考文本中的专有名词和音相似的短语作为负面例子，帮助神经模型学习更具有区分度的表示，应用于端到端语音识别模型中可使单词错误率相对提高达 53.1%。

    Oct, 2018

  • 用卷积上下文来进行 ASR 的变压器

    本文提出了用卷积学习输入表示替换变形器的正弦位置嵌入，并阐述其在提供长程关系方面的优势和优化特点，最终实现了在无额外语言模型文本下，librispeech 测试中 4.7％和 12.9％的字错率。

    Apr, 2019

  • 语音识别中的学习：上下文音频词嵌入

    本文提出一种方法，使用注意力分配从监督序列到序列的语音到单词识别模型中直接构建上下文语音嵌入。在一系列 16 个标准句子评估任务中，我们的嵌入表现与在语音转录中训练的 word2vec 模型相当。此外，我们在口语理解任务上评估这些嵌入并观察到，我们的嵌入匹配基于文本的嵌入在首先进行语音识别，然后从转录中构建单词嵌入的流水线中的性能。

    Feb, 2019

  • 利用大型语言模型攫取 ASR 不确定性

    利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

    Sep, 2023