EMNLPSep, 2019

意图分类和超出范围预测的评估数据集

PDF
TL;DR该研究旨在通过引入包括超出支持意图范围的查询的新数据集来评估范围内 / 超出范围的分类器及其性能，以更严谨、更真实地评估用于任务驱动对话系统中的文本分类。
task-oriented dialog systemstext classificationout-of-scope queriesintent classificationbenchmarking
发现论文，激发创造
  • 利用自监督和判别式训练进行超出范围意图检测

    本文提出了一种全面端到端的方法来训练超出范围意图分类器，该分类器可以直接应用于测试任务，并对四个基准对话数据集进行了广泛评估，观察到了超过最先进方法的显着改进。

    Jun, 2021

  • 面向任务导向对话的意图分类和槽位填充数据集调查

    该研究调查了公开可用的意图分类和填槽任务数据集，并对每个数据集的重要特征进行编目，以提高这些数据集的可访问性，便于未来评估对话系统的意图分类和填槽模型。

    Jul, 2022

  • MIntRec2.0：一个用于对话中多模态意图识别和超范围检测的大规模基准数据集

    MIntRec2.0 是一个大规模的多模态意图识别基准数据集，包含 1,245 个对话，15,040 个样本，使用 30 个细粒度类别的新意图分类法进行注释，还包括 5,736 个出现在多轮对话上下文中的超范围样本。

    Mar, 2024

  • 预训练变形金刚模型在意图分类中的鲁棒性？评估超出范围意图检测的一个缺失要素

    本文探讨了在少样本意图识别任务中，在领域内外范围检测的重要性，揭示了预训练 Transformer 模型在领域内但扩展到领域外数据上的漏洞，构建了新的数据集并对模型能力作出实证验证。同时，对模型错误分类的 ID-OOS 意图进行了分析，并提出了若干未来工作方向。

    Jun, 2021

  • 使用 ChatGPT 生成困难的负面范围外数据用于意图分类

    通过使用 ChatGPT 生成困难负向超出范围数据并使用之评估，该论文研究了意图分类器，特别是在识别困难负向超出范围情况时的性能变化以及在训练中加入困难负向超出范围数据对于提高模型鲁棒性的影响。

    Mar, 2024

  • 虚拟助手中的超出范畴检测：区分有意义和无意义

    本文提出了一种简单且有效的 OOS 检测方法，它在实际场景中的虚拟助手部署中优于标准方法，并讨论了云平台解决方案的各种设计和部署考虑因素。同时，我们提出了一组数据集，模拟实际情况，并使用离线和在线评估指标在不同场景下展示了全面结果。

    Jan, 2023

  • 利用外领域数据集增强多任务引文分析

    通过利用外部数据集，该文提出了一个端到端可训练的多任务模型，覆盖引文情感分析和意图分析，并且可以克服引文分析领域的数据稀缺性问题。

    Feb, 2022

  • 超越研究数据集：工业场景下的新意图发现

    本文提出了一种用于大型电子商务平台的意图发现流程改进方法，该方法利用了领域内数据的自我监督和弱监督预训练语言模型，以及利用现实生活数据的对话结构进行微调的最佳方法，并使用所有这些方法结合使用，使真实生活数据的使用比仅使用问题数据的 CDAC 模型效果提高了多达 33pp。

    May, 2023

  • HINT3: 提升野外意图检测的标准

    介绍了 3 个从不同领域的实时聊天机器人获取的数据集，用于评估意图检测系统。研究发现，现有的数据集往往是通过众包方式获得，为解决此问题，作者提出了使用真实用户查询构建数据集的方法，并验证了 4 个 NLU 平台和一个基于 BERT 的分类器在测试集上的表现。

    Sep, 2020

  • 信息搜索对话中用户意图的分析与表征

    本研究介绍了一个新的数据集，用于分析信息搜寻对话的用户意图分布、共同出现和流程模式，并利用 MSDialog 数据集发现了一些可用于设计对话式搜索系统的高频用户意图模式。

    Apr, 2018