Nov, 2022

面向多意图口语理解的范围敏感和结果关注模型

PDF
TL;DR本文提出了一种基于 Transformers 的 Scope-Sensitive Result Attention Network（SSRAN），包括 Scope Recognizer（SR）和 Result Attention Network（RAN），通过减少语义信息冲突和使用双向交互有效地解决多意图语音理解问题，实验证明在两个公共数据集上，我们的模型显著提高了整体准确度（分别为 5.4％和 2.1％）
spoken language understandingintent detectionslot fillingscope-sensitive result attention networktransformer
发现论文，激发创造
  • 基于 RNN 的增量在线口语理解

    提出使用循环神经网络 (RNN) 基于增量处理的方式进行口语语言理解 (SLU) 的意图检测，从而实现系统延迟更低的效果，同时不会显著降低 SLU 系统的准确性。

    Oct, 2019

  • 多层次多粒度对比学习驱动口语理解

    提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

    May, 2024

  • 无 ASR 语音语言理解的端到端架构

    这篇论文探讨了针对 Fluent Speech Commands 数据集的一系列递归架构，用于意图分类，通过结合深度递归架构和标准数据增强，不使用 ASR 级目标或预训练的 ASR 模型即可实现最先进的结果，并且探讨了其对新措辞的普适性，结果表明，该模型在训练期间未见过的措辞上也能表现得相当不错。

    Oct, 2019

  • 基于端到端神经变形器的口语理解

    本论文介绍了一种基于端到端的神经网络转换器，可以在不需要中间层令牌预测架构的情况下，在音频信号中预测嵌入式变长域、意图和插槽向量，可高效提取所述话语所隐含的语义上下文。

    Aug, 2020

  • 基于循环神经网络的联合在线口语理解和语言建模

    本文研究了基于递归神经网络的联合模型在口语理解（SLU）中的应用，实验结果显示其在意图检测和语义插槽填充任务中表现良好，在嘈杂语音输入场景下也具有较好的性能。

    Sep, 2016

  • 语音理解的流式端到端框架

    本文提出了一种流式端到端框架，采用单向 RNN 和 CTC 标准进行训练，可以在线和增量地处理多个意图，实现了与最先进的非流式模型相当的精度，并在关键词检测任务中表现出高度的前途。

    May, 2021

  • 动态时间感知的发言者角色和上下文关注在口语理解中的应用

    该论文提出了一种基于注意力机制的网络，利用上下文和说话人角色进行时态信息的学习和自适应特征提取，从而显著提高了口语理解的性能。

    Sep, 2017

  • 大型语言模型是否理解多意图口语？

    本研究通过利用大型语言模型（LLMs）进行多意图口语语言理解（SLU）的研究，提出一种独特的方法，充分利用 LLMs 的生成能力，在 SLU 环境中重构了实体槽位，引入了子意图指令（SII）的概念，增强了对复杂多意图通信的解析和解释，从而形成了名为 LM-MixATIS 和 LM-MixSNIPS 的结果数据集。我们的研究表明，LLMs 可以匹配并潜在地超越当前最先进的多意图 SLU 模型的能力。此外，我们还介绍了两个开创性的度量标准，实体槽位准确度（ESA）和综合语义准确度（CSA），以深入分析 LLMs 在这一复杂领域的熟练程度。

    Mar, 2024

  • 多轮口语对话中基于知识增强的 BERT 互联网络

    本文研究了基于 BERT 的联合模型，利用知识关注机制和筛选相关知识三元组的门控机制相互利用两个 SLU 任务的对话上下文和动态信息进行建模，实验结果表明相对于其他竞争基线，该方法在两个复杂的多轮对话数据集上取得了相当大的改进。

    Feb, 2022

  • 利用语义解码器的多任务 RNN-T 进行流式口语理解

    本文提出了一种可流式传输的多任务语义转换器模型，通过自回归的方式预测 ASR 和 NLU 标签，并使用语义解码器聚合以前预测的字块和槽标签，从而优化了 E2E SLU 模型，且在 ASR 和 NLU 指标上表现优于传统的两阶段 E2E SLU 模型。

    Apr, 2022