Apr, 2019

使用 Confusion2Vec 的口语意图检测

PDF
TL;DR本研究旨在提高在噪声自动语音识别（ASR）系统条件下口语意图检测的准确性和鲁棒性，引入人类语音产生和感知中的声学关系概念，通过 confusion2vec 词特征表示方法减少 ASR 错误，得到了相对于之前的最优结果有 20.84% 的分类错误率降低和相对于干净版的 37.48% 提高的鲁棒性。同时，在嘈杂环境下训练的意图检测模型也表现出了一定的提高。
发现论文，激发创造
  • 通过上下文学习和词混淆网络实现 ASR 鲁棒性口语语言理解

    通过使用自动语音识别系统的网络输出来弥补语音模糊性，增强口语语言理解的结果，通过对置信网络的词语混淆进行实验，研究大型语言模型对嘈杂的语音转录本的鲁棒性，探讨在不同自动语音识别性能条件下的影响因素。

    Jan, 2024

  • 针对语音识别鲁棒性的上下文化嵌入在口语理解中的学习

    本研究提出了一种新的混淆感知的微调方法，以减轻 ASR 误差对已预训练的语言模型产生的影响，并在 ATIS 数据集上进行了实验，结果表明该方法显著提高了 ASR 转录文本上口语理解的性能。

    Sep, 2019

  • 利用 BERT 联合编码词困惑网络和对话环境来进行口语理解

    本文提出了一种基于 BERT 的新型 SLU 模型（WCN-BERT SLU），其可以在 BERT 体系结构中整合 WCN 的结构信息和 ASR 后验概率，实验结果在 DSTC2 基准测试中表明该方法是有效的并且明显优于以前的最先进模型。

    May, 2020

  • 提高口语理解的 ASR 错误管理

    介绍了一种基于神经网络的自然语言处理方法，用于识别语音识别中的错误和改进语音理解系统的性能。实验结果表明，该方案可以显著降低概念 / 值错误率，并且结合基于条件随机场的 SLU 方法和神经编码器 / 解码器注意力机制，可以识别出置信度区间和不确定性的语义输出片段，进而决定适当的错误处理措施。

    May, 2017

  • 具有 ASR 错误的对话式交互中的稳健非结构化知识访问

    该研究的主要目的是通过使用自动语音识别 (ASR) 中的错误模拟器实现对清洁训练文本进行随机破坏，从而提高口头语言理解 (SLU) 的鲁棒性，结果表明该方法可以显著提高知识选择及分类产生的结果。

    Nov, 2022

  • 使用迁移学习和语言模型解码改进非母语英语的自动语音识别

    在语音识别系统中，使用 native English 训练出的模型在非母语人士的语音识别上表现欠佳。因此，本文对 pre-trained wav2vec 2.0 模型进行多种 L1 和 L2 训练条件的 fine-turning，并引入语言模型解码技术。这两种方法的量化收益及误差分析为改进模型的不同来源提供了数据，并证明了 L2 语音中引入语言模型解码技术的实用性。

    Feb, 2022

  • 模态可信度感知的鲁棒端到端口语理解训练

    提出了一种增强对 ASR 错误鲁棒性的新型端到端（E2E）口语理解（SLU）系统，通过基于 ASR 假设的估计模态置信度融合音频和文本表示，来解决 E2E SLU 系统在文本表示质量低时的问题，并通过在 STOP 数据集上的准确性改进和分析来证明我们的方法的有效性。

    Jul, 2023

  • 基于对比学习和一致性学习的神经噪声通道模型在口语理解中的应用

    基于语音识别的自然语言理解方法和两阶段的对比一致性学习模型能够提高在不同噪声环境下的自动语音识别的鲁棒性。

    May, 2024

  • 基于 Sentence Embedder 引导的语句编码器 (SEGUE) 用于口语语言理解

    本研究采用知识蒸馏的方式，将文本句子嵌入器直接转移到 wav2vec 2.0，以预训练 SLU 编码器。结果表明，使用配对的音频 - 文本数据集进行预训练可以提高 SLU 任务性能，但在某些任务上表现不佳。

    May, 2023

  • 面向设备的语音理解协商模型

    本文提出了一种新颖的基于推理的端到端（E2E）口语语音理解（SLU）方法，通过在自动语音识别（ASR）的文本和音频嵌入上进行条件控制，流式传输的 ASR 模型产生第一步的假设并由第二步的自然语言理解（NLU）组件生成语义解析。

    Apr, 2022