Aug, 2023

任务条件下的 BERT 联合意图检测和词槽填充

PDF
TL;DR通过在多个任务上训练基于 Transformer 编码器的统一模型，并借助富输入在目标推理上对模型进行条件化，本文探索了解决对话系统中用户意图的不可预测性和插槽的异构性的假设，并表明将模型条件化于对同一语料库上的多个推理任务，如意图和多个插槽类型，可以学习到比单任务模型更丰富的语言交互；实验结果表明，将模型条件化于越来越多的对话推理任务可以提高性能，MultiWOZ 数据集上，通过对意图进行条件化可以提高 3.2％的联合意图和插槽检测性能，通过对插槽进行条件化可以提高 10.8％的性能，同时对意图和插槽进行条件化可以提高 14.4％的性能；此外，在与 Farfetch 客户的实际对话中，该条件化 BERT 可以在整个对话过程中实现高效的联合目标和意图检测性能。
dialogue systemsunpredictability of user intentsheterogeneity of slotsunified modelconditioning
发现论文，激发创造
  • BERT 用于联合意图分类和槽填充

    本文提出了一种基于 BERT 的联合意图分类和槽填充模型，实验证明相对于基于注意力的循环神经网络模型和槽门控模型，在几个公共基准数据集上，我们的模型在意图分类准确性、槽填充 F1 值和句级语义框架精度方面显著提高。

    Feb, 2019

  • 基于 BERT 的联合多语言意图检测与槽位填充模型

    本文介绍了 Bert-Joint，一种利用多语言联合文本分类和序列标注框架的模型，旨在利用 “无递归” 模型成功应用于口语自然语言理解的任务上，并通过实验验证了该模型在英语基准数据集上表现出了强大的性能，处理少量的标注数据时表现良好。此外，我们还为意大利语语言标注了一个新数据集，并观察到了类似的性能，而不需要更改模型。

    Jul, 2019

  • 使用 BERT 增强意图特征的槽位标记任务导向自然语言理解

    本文探讨在联合意图检测和槽位标注模型中通过利用意图标签特征提升槽位标注任务的性能，研究结果表明，将意图标签特征考虑进模型可以提高模型的性能。

    May, 2022

  • 双向联合神经网络用于意图分类和槽填充

    本文提出了一种基于 BERT 的双向联合模型，通过 intent2slot 和 slot2intent 两个机制同时优化意图分类和位置填充，达到了当前公开数据集 ATIS（88.6％）和 SNIPS（92.8％）的最好结果，并显著提高了句子级语义框架的准确性。

    Feb, 2022

  • 一种简单高效的多任务学习方法用于条件对话生成

    本文提出了一种多任务学习方法，在利用对话数据和文本数据提取条件的基础上，进一步提升了条件对话生成的性能。实验结果表明，本方法通过利用标注文本获得了最新的性能提升。

    Oct, 2020

  • ESIE-BERT: 基于 BERT 明确丰富子词信息的联合意图分类和槽位填充

    该文章提出了一种基于 BERT 的新方法，在识别复杂 token 中的语义信息时，通过提出的子词注意适配器（SAA）来保留整个话语信息。此外，我们还提出了一个意向注意适配器（IAA）来在模型中实现整句特征提取，从而改进了预测性能，最终，我们在两个公共基准数据集上取得了显著的性能提升。

    Nov, 2022

  • 使用 BERT 的明确槽位 - 意图映射用于联合多意图检测和槽位填充

    本文提出了一个基于 BERT 的多意图自然语言理解框架 SLIM，可以共同学习多意图检测和插槽填充，并引入显式的槽 - 意图分类器以学习槽和意图之间的多对一映射，实验结果表明，相对于现有技术，SLIM 在多意图 NLU 方面具有优越性，并且可以获得来自槽 - 意图分类器的好处。

    Aug, 2021

  • 基于注意力机制的循环神经网络模型：联合意图检测与槽位填充

    提出了一种基于注意力机制的神经网络模型，用于同时执行关键步骤（意图检测、填充构構）进行语音理解和对话系统处理。该模型基于编码 - 解码框架，将对齐信息的注意力融合到了模型中，其表现优于传统模型。

    Sep, 2016

  • 上下文 BERT：使用全局状态对语言模型进行调节

    该论文提出了两种新的全局状态方法，将其应用到时尚搭配领域，通过具体客户特征进行服装搭配，实验比较表明这种方法能显著提高个性化推荐的效果。

    Oct, 2020

  • 基于可转移 BERT 的故事结局预测

    本研究旨在研究一种可转移的 BERT 训练框架，该框架不仅可以从大规模未标记数据中转移一般语言知识，还可以从各种语义相关的监督任务中转移特定类型的知识以用于目标任务。在本实验中，提出了利用三种转移任务，包括自然语言推理、情感分类和下一动作预测，以进一步训练预训练模型的思想，并将故事结尾预测作为目标任务进行实验。最终结果，准确率达到了 91.8％，明显优于先前最先进的基线方法。同时，进行了一些比较实验，给出了一些关于如何选择转移任务的有益建议。通过误差分析，还显示了基于 BERT 的模型在故事结尾预测中的优势和劣势。

    May, 2019