EMNLPOct, 2022

可解释的槽位类型注意力机制用于提高联合意图检测和槽位填充

PDF
TL;DR本研究提出了一种新颖的基于监督学习的方法，它可以学习生成针对不同槽类型的特征以提高准确性，并提供了首个能够解释基于联合 NLU 模型的槽填充决策的方法，从而保证了模型的可解释性。实验结果表明，该方法在两个广泛使用的数据集上均取得了准确性改进，并提供了有关独占式槽解释性的详细分析。
发现论文，激发创造
  • 自然语言理解中联合意图检测和槽位填充模型调查

    本文综述了自然语言理解中重要的两个任务：目的意图分类和词槽填充。特别是联合模型已经成为达到最佳性能的方法，并揭示了两个任务之间的强关系。文章描述了意图分类和词槽填充在趋势、方法、问题、数据集、评估指标、性能、共享任务等方面的研究，其中包括不同维度的表格总结过去的研究。

    Jan, 2021

  • 双向联合神经网络用于意图分类和槽填充

    本文提出了一种基于 BERT 的双向联合模型，通过 intent2slot 和 slot2intent 两个机制同时优化意图分类和位置填充，达到了当前公开数据集 ATIS（88.6％）和 SNIPS（92.8％）的最好结果，并显著提高了句子级语义框架的准确性。

    Feb, 2022

  • 基于胶囊神经网络的联合槽位填充与意图识别

    本研究提出了基于 capsule 的神经网络模型，通过动态路由协议实现槽填充和意图检测，从而有效地利用了语义层次结构。实验表明，与其他模型结构以及现有自然语言理解服务相比，我们的模型具有更好的性能。

    Dec, 2018

  • 可解释准确的自然语言理解：为语音助手及其它应用而设计

    将完全的联合 NLU 模型在粒度级别上‘本质地’可解释化，以提高准确性，并在情感分析和命名实体识别等其他广义分类任务中成功应用。

    Sep, 2023

  • BERT 用于联合意图分类和槽填充

    本文提出了一种基于 BERT 的联合意图分类和槽填充模型，实验证明相对于基于注意力的循环神经网络模型和槽门控模型，在几个公共基准数据集上，我们的模型在意图分类准确性、槽填充 F1 值和句级语义框架精度方面显著提高。

    Feb, 2019

  • 基于注意力机制的循环神经网络模型：联合意图检测与槽位填充

    提出了一种基于注意力机制的神经网络模型，用于同时执行关键步骤（意图检测、填充构構）进行语音理解和对话系统处理。该模型基于编码 - 解码框架，将对齐信息的注意力融合到了模型中，其表现优于传统模型。

    Sep, 2016

  • 联合多种意图检测和槽位填充的受监督对比学习和自蒸馏方法

    我们提出了一种通过双向联合模型以及监督对比学习和自我蒸馏的训练方法来解决多意图检测和槽填充问题，并且实验证明该方法在这两个任务中的表现优于最先进的模型。

    Aug, 2023

  • 任务导向对话系统中基于神经网络的槽位填充和意图分类新方法综述

    本文重点考察了基于神经网络的研究，围绕自然语言理解在对话系统中的应用，着重研究了两个核心问题：slot filling 和 intent classification，并介绍了三种神经网络架构：独立模型、联合模型和迁移学习模型。提出了当前研究中面对的挑战。

    Nov, 2020

  • 基于 BERT 的联合多语言意图检测与槽位填充模型

    本文介绍了 Bert-Joint，一种利用多语言联合文本分类和序列标注框架的模型，旨在利用 “无递归” 模型成功应用于口语自然语言理解的任务上，并通过实验验证了该模型在英语基准数据集上表现出了强大的性能，处理少量的标注数据时表现良好。此外，我们还为意大利语语言标注了一个新数据集，并观察到了类似的性能，而不需要更改模型。

    Jul, 2019

  • 基于语言丰富和上下文感知的零样本槽位填充

    提出了一种新的零射击槽填充神经模型 LEONA，通过利用语言特征、命名实体识别提示、预训练语言模型的上下文嵌入，从而获得领域无关的上下文感知表示，通过三步骤 fine-tunes 产生独立于槽的标签，并使用可推广的上下文感知语句 - 槽相似特征将其上下文化以产生每个单词的针对特定槽的预测，总体而言，在 SNIPS、ATIS、MultiWOZ 和 SGD 数据集上，从未见过的领域平均表现优于 SOTA 模型 17.52％、22.15％、17.42％ 和 17.95％

    Jan, 2021