Jul, 2019

基于 BERT 的联合多语言意图检测与槽位填充模型

PDF
TL;DR本文介绍了 Bert-Joint，一种利用多语言联合文本分类和序列标注框架的模型，旨在利用 “无递归” 模型成功应用于口语自然语言理解的任务上，并通过实验验证了该模型在英语基准数据集上表现出了强大的性能，处理少量的标注数据时表现良好。此外，我们还为意大利语语言标注了一个新数据集，并观察到了类似的性能，而不需要更改模型。
发现论文，激发创造
  • BERT 用于联合意图分类和槽填充

    本文提出了一种基于 BERT 的联合意图分类和槽填充模型，实验证明相对于基于注意力的循环神经网络模型和槽门控模型，在几个公共基准数据集上，我们的模型在意图分类准确性、槽填充 F1 值和句级语义框架精度方面显著提高。

    Feb, 2019

  • 双向联合神经网络用于意图分类和槽填充

    本文提出了一种基于 BERT 的双向联合模型，通过 intent2slot 和 slot2intent 两个机制同时优化意图分类和位置填充，达到了当前公开数据集 ATIS（88.6％）和 SNIPS（92.8％）的最好结果，并显著提高了句子级语义框架的准确性。

    Feb, 2022

  • 自然语言理解中联合意图检测和槽位填充模型调查

    本文综述了自然语言理解中重要的两个任务：目的意图分类和词槽填充。特别是联合模型已经成为达到最佳性能的方法，并揭示了两个任务之间的强关系。文章描述了意图分类和词槽填充在趋势、方法、问题、数据集、评估指标、性能、共享任务等方面的研究，其中包括不同维度的表格总结过去的研究。

    Jan, 2021

  • 越南文意图检测和槽填充

    本文提出了以越南语为主题的第一个公共意图检测和插槽填充数据集，同时提出了一种联合模型用于意图检测和插槽填充，并通过将意图上下文信息显式地纳入插槽填充中来扩展最新的 JointBERT+CRF 模型，实验结果表明，所提出的模型明显优于 JointBERT+CRF，并公开发布数据集和模型实现。

    Apr, 2021

  • 基于循环神经网络的联合在线口语理解和语言建模

    本文研究了基于递归神经网络的联合模型在口语理解（SLU）中的应用，实验结果显示其在意图检测和语义插槽填充任务中表现良好，在嘈杂语音输入场景下也具有较好的性能。

    Sep, 2016

  • 使用 BERT 的明确槽位 - 意图映射用于联合多意图检测和槽位填充

    本文提出了一个基于 BERT 的多意图自然语言理解框架 SLIM，可以共同学习多意图检测和插槽填充，并引入显式的槽 - 意图分类器以学习槽和意图之间的多对一映射，实验结果表明，相对于现有技术，SLIM 在多意图 NLU 方面具有优越性，并且可以获得来自槽 - 意图分类器的好处。

    Aug, 2021

  • 联合多种意图检测和槽位填充的受监督对比学习和自蒸馏方法

    我们提出了一种通过双向联合模型以及监督对比学习和自我蒸馏的训练方法来解决多意图检测和槽填充问题，并且实验证明该方法在这两个任务中的表现优于最先进的模型。

    Aug, 2023

  • 多轮对话数据的三级联合自然语言理解

    我们提出了一种新颖的三级联合自然语言理解方法，加入了领域信息，并在所有级别之间体现了语义信息的交换，从而使得我们的模型在多轮数据集上的单词级别的意图检测和插槽填充方面优于现有的联合模型，并且通过分析我们得出，包含领域信息可以提高模型的性能。

    May, 2023

  • ESIE-BERT: 基于 BERT 明确丰富子词信息的联合意图分类和槽位填充

    该文章提出了一种基于 BERT 的新方法，在识别复杂 token 中的语义信息时，通过提出的子词注意适配器（SAA）来保留整个话语信息。此外，我们还提出了一个意向注意适配器（IAA）来在模型中实现整句特征提取，从而改进了预测性能，最终，我们在两个公共基准数据集上取得了显著的性能提升。

    Nov, 2022

  • 一种新的双向关联模型，用于联合意图检测和槽位填充

    本文提出了一种新颖的双向互相关联的联合意图检测和槽填充模型，通过引入 SF-ID 网络和全新的迭代机制来增强两个任务之间的双向关联，实验结果表明，在 ATIS 和 Snips 数据集上，与现有最先进的模型相比，本模型在句子级语义框架准确度上相对提高了 3.79% 和 5.42%。

    Jun, 2019