May, 2023

口语语义解析中管道和端到端 SLU 系统的集成研究 —— 面向 STOP 质量挑战

PDF
TL;DR本文提出了一种基于自动语音识别系统和预训练语言模型的语义解析系统，用于解决在 ICASSP 信号处理大挑战中为语音理解大挑战而提出的质量跟踪 (Track 1) 任务中的问题，并且在这个任务中获得了 80.8 的精确匹配准确率，从而获得了第一名。
spoken language understandingsemantic parsingautomatic speech recognitionpretrained language modelicassp signal processing grand challenge
发现论文，激发创造
  • STOP：面向口语任务的语义解析数据集

    本文发布了 Spoken Task-Oriented semantic Parsing (STOP) 数据集，这是目前公开可用的最大、最复杂的 SLU 数据集，评估了在有限标注数据情况下改进 SLU 的基于端到端 SLU 系统的低资源领域适应性的性能，并表明端到端 SLU 模型的性能不及级联模型。

    Jun, 2022

  • 利用语义解码器的多任务 RNN-T 进行流式口语理解

    本文提出了一种可流式传输的多任务语义转换器模型，通过自回归的方式预测 ASR 和 NLU 标签，并使用语义解码器聚合以前预测的字块和槽标签，从而优化了 E2E SLU 模型，且在 ASR 和 NLU 指标上表现优于传统的两阶段 E2E SLU 模型。

    Apr, 2022

  • 面向设备的语音理解协商模型

    本文提出了一种新颖的基于推理的端到端（E2E）口语语音理解（SLU）方法，通过在自动语音识别（ASR）的文本和音频嵌入上进行条件控制，流式传输的 ASR 模型产生第一步的假设并由第二步的自然语言理解（NLU）组件生成语义解析。

    Apr, 2022

  • 双通路低延迟端到端口语理解

    本研究利用内部预训练的语言模型构建强大的语义表示，使用 2 段 SLU 系统，结合语义和语音特征进行高质量语音识别，以提高用户体验和降低延迟。

    Jul, 2022

  • 端到端口语理解：低资源环境下语音命令任务的性能分析

    本文研究了利用深度神经网络的端到端口语理解模型 (E2E SLU) 在非英语智能家居背景下使用的语言特性，证明了优良的 E2E SLU 表现并不总是需要完美的 ASR 能力，并且 E2E 模型相较于传统管道模型在处理背景噪声和语法变异等方面有更出色的性能。该研究还发现，E2E 模型通过音调信息识别语音命令概念。

    Jul, 2022

  • 模态可信度感知的鲁棒端到端口语理解训练

    提出了一种增强对 ASR 错误鲁棒性的新型端到端（E2E）口语理解（SLU）系统，通过基于 ASR 假设的估计模态置信度融合音频和文本表示，来解决 E2E SLU 系统在文本表示质量低时的问题，并通过在 STOP 数据集上的准确性改进和分析来证明我们的方法的有效性。

    Jul, 2023

  • 语音到语义：通过全神经接口共同改进 ASR 和 NLU

    本文研究基于语音指令的自然语言理解问题，提出了一种端到端联合 SLU 模型，可以提取语音中自然语言指令及相关的归属槽位参数或命名实体，并且能够在硬件受限的设备上运行，提高隐私保护并降低服务器成本。

    Aug, 2020

  • 口语理解中的语义概念抽取现状如何？

    本文述及基于最近三年的神经网络技术，通过直接从语音信号中提取语义，取代传统的分类式自然语言处理方式，以 spoken language understanding 话题研究为主，在利用未标记的数据进行自我监督训练方面取得了新的突破。同时介绍了针对法语 MEDIA 数据集的最新进展，并提出了得到明显改进的成果，概念误差率（CER）从现有最优系统的 13.6% 降至 11.2%。

    Jun, 2021

  • 面向通用语音助手的端到端口语理解

    本文介绍了一种基于可预训练的差分可训练模型和使用 Transformer 的层次化系统的语音识别模型，旨在提高其在商用语音助理中的应用性能。实验表明，与基准系统相比，在一些神经网络模型和数据集之上达到了较好的表现。在对数据进行了重新标注并进行了人工评估后，本文提出的方法的语义准确率得到了大幅提高，这显示出本文提出的方法在商用语音助理中的应用价值。

    Jun, 2021

  • 基于 MLM 数据增强的 ASR 和 NLU 流水线系统：应对低资源挑战

    本文介绍了我们在 ICASSP Signal Processing Grand Challenge 2023 的 Spoken Language Understanding Grand Challenge 中低资源领域适应赛道（Track 3）中的系统，其中我们采用 ASR 和 NLU 的流水线方法。我们在每个领域上利用 upampling 对 Whisper 进行微调来进行 ASR。对于 NLU，我们在所有 Track3 数据上进行了 BART 的微调，然后在低资源领域的数据上进行了微调。我们应用了基于 MLM 的遮蔽 LM（MLM）-based 数据增强，并采用了基于检索的方法。通过以上方法，我们在 reminder/weather 领域实现了精确匹配（EM）准确率 63.3/75.0（平均：69.15），并在挑战中获得了第一名。

    May, 2023