Oct, 2020

用于联合槽填充和意图检测的交互式 Transformer

PDF
TL;DR本研究将 Co-Interactive Transformer 模型应用于意图检测和填槽的交互学习任务，通过构建双向联接，考虑两个相关任务的交叉影响，并在 SNIPS 和 ATIS 数据集上获得了最先进的性能表现，成功捕获了相互交互的知识。
intent detectionslot fillingco-interactive transformerspoken language understandingmutual interaction knowledge
发现论文，激发创造
  • 一种新的双向关联模型，用于联合意图检测和槽位填充

    本文提出了一种新颖的双向互相关联的联合意图检测和槽填充模型，通过引入 SF-ID 网络和全新的迭代机制来增强两个任务之间的双向关联，实验结果表明，在 ATIS 和 Snips 数据集上，与现有最先进的模型相比，本模型在句子级语义框架准确度上相对提高了 3.79% 和 5.42%。

    Jun, 2019

  • 双向联合神经网络用于意图分类和槽填充

    本文提出了一种基于 BERT 的双向联合模型，通过 intent2slot 和 slot2intent 两个机制同时优化意图分类和位置填充，达到了当前公开数据集 ATIS（88.6％）和 SNIPS（92.8％）的最好结果，并显著提高了句子级语义框架的准确性。

    Feb, 2022

  • 联合多种意图检测和槽位填充的受监督对比学习和自蒸馏方法

    我们提出了一种通过双向联合模型以及监督对比学习和自我蒸馏的训练方法来解决多意图检测和槽填充问题，并且实验证明该方法在这两个任务中的表现优于最先进的模型。

    Aug, 2023

  • 多意图口语理解的协同引导

    提出了一种名为 Co-guiding Net 的新模型，采用两阶段框架实现了两个任务之间的相互引导，并且通过异构图注意网络有效地表示语义节点和标签节点之间的关系，并进一步利用对比学习提高模型性能。

    Nov, 2023

  • 基于循环神经网络的联合在线口语理解和语言建模

    本文研究了基于递归神经网络的联合模型在口语理解（SLU）中的应用，实验结果显示其在意图检测和语义插槽填充任务中表现良好，在嘈杂语音输入场景下也具有较好的性能。

    Sep, 2016

  • 多轮口语对话中基于知识增强的 BERT 互联网络

    本文研究了基于 BERT 的联合模型，利用知识关注机制和筛选相关知识三元组的门控机制相互利用两个 SLU 任务的对话上下文和动态信息进行建模，实验结果表明相对于其他竞争基线，该方法在两个复杂的多轮对话数据集上取得了相当大的改进。

    Feb, 2022

  • 基于提示的多意图口语理解统一框架

    本研究提出了 Prompt-based Spoken Language Understanding（PromptSLU）框架，通过提供通用的预训练 Seq2Seq 模型，将意图检测（ID）和槽位填充（SF）两个子任务统一为同一形式。实验结果表明，该框架在两个公共数据集上表现优于现有的一些最先进模型。

    Oct, 2022

  • 基于 BERT 的联合多语言意图检测与槽位填充模型

    本文介绍了 Bert-Joint，一种利用多语言联合文本分类和序列标注框架的模型，旨在利用 “无递归” 模型成功应用于口语自然语言理解的任务上，并通过实验验证了该模型在英语基准数据集上表现出了强大的性能，处理少量的标注数据时表现良好。此外，我们还为意大利语语言标注了一个新数据集，并观察到了类似的性能，而不需要更改模型。

    Jul, 2019

  • 基于双模态的 RNN 语义框架解析模型用于意图检测和槽位填充

    通过设计新的双模型基于 RNN 的语义框架解析网络结构，使用两个相关的双向 LSTMs 联合执行意图检测和槽位填充任务，取得了关于意图准确性提高了约 0.5％ 和槽位填充提高了 0.9％ 的最新成果。

    Dec, 2018

  • CroPrompt: 交叉任务交互提示的零样本口语理解

    在口语理解中，插槽填充和意图检测是两个高度相关的任务。最近的研究尝试探索利用大型语言模型中的零样本提示技术来缓解数据稀缺问题。然而，现有的提示工作忽略了口语理解中任务间交互信息，导致性能不佳。为了解决这个问题，我们提出了交互式多任务提示（CroPrompt）的开创性工作，使模型可以交互地利用口语理解中相关任务之间的信息交流。此外，我们还引入了多任务自一致机制来减轻意图信息注入造成的错误传播问题。我们在标准的口语理解基准上进行了大量实验证明，CroPrompt 持续优于现有的提示方法。此外，多任务自一致机制可以有效地缓解错误传播问题，从而提高性能。我们希望这项工作可以激发更多关于口语理解中任务间提示的研究。

    Jun, 2024