Apr, 2022

Redwood: 使用碰撞检测来构建大规模意图分类数据集

PDF
TL;DR本研究介绍了一种用于检测语义重叠的多个数据集之间的任务 —— 意图碰撞检测，并利用该方法构建和基准测试了一个包含 13 个原始意图分类数据集中的 451 个意图类别的数据集 Redwood，是目前公开提供的最大的意图分类基准数据集之一。
dialog systemsml-driven systemsintent classificationcollision detectionredwood dataset
发现论文，激发创造
  • HINT3: 提升野外意图检测的标准

    介绍了 3 个从不同领域的实时聊天机器人获取的数据集，用于评估意图检测系统。研究发现，现有的数据集往往是通过众包方式获得，为解决此问题，作者提出了使用真实用户查询构建数据集的方法，并验证了 4 个 NLU 平台和一个基于 BERT 的分类器在测试集上的表现。

    Sep, 2020

  • 超越研究数据集：工业场景下的新意图发现

    本文提出了一种用于大型电子商务平台的意图发现流程改进方法，该方法利用了领域内数据的自我监督和弱监督预训练语言模型，以及利用现实生活数据的对话结构进行微调的最佳方法，并使用所有这些方法结合使用，使真实生活数据的使用比仅使用问题数据的 CDAC 模型效果提高了多达 33pp。

    May, 2023

  • 生成多个新意图检测的高质量数据点的框架

    本论文提出了一种基于聚类的框架 --MNID（多新意图检测），用于检测多个新出现的新意图，在人力预算有限的情况下更高效地重训练基础分类器，实验结果表明 MNID 在准确性和 F1 分数上优于基线方法。

    May, 2022

  • 从过去的对话中挖掘意图信息以供会话代理使用

    本文提出了意图发现框架，通过自动聚类类似用户话语并手动注释，再通过对未被聚类映射的话语标记意图标签和标记传播，从原始对话中生成意图训练数据，以有效地解决在聊天机器人开发过程中遇到的用户话语分类问题，并验证了该框架的有效性。

    May, 2020

  • 面向对话文本的开放意图发现

    该文提出了 “开放式意图发现” 任务并提出了双向 LSTM+CRF 模型、自注意力、对抗训练等新方法，在真实数据集上进行实验，证明了该方法的有效性并达到了领先水平。

    Apr, 2019

  • 基于 WikiHow 的意图识别

    该论文提出了一套预训练的意图检测模型，该模型通过训练 wikiHow 上的数据，在多语言场景下实现了最先进的结果，并且在零样本和少样本学习上具有较强的性能，即使只使用 100 个训练样本，在所有数据集上达到了超过 75％的准确率。

    Sep, 2020

  • 信息搜索对话中用户意图的分析与表征

    本研究介绍了一个新的数据集，用于分析信息搜寻对话的用户意图分布、共同出现和流程模式，并利用 MSDialog 数据集发现了一些可用于设计对话式搜索系统的高频用户意图模式。

    Apr, 2018

  • 意图分类和超出范围预测的评估数据集

    该研究旨在通过引入包括超出支持意图范围的查询的新数据集来评估范围内 / 超出范围的分类器及其性能，以更严谨、更真实地评估用于任务驱动对话系统中的文本分类。

    Sep, 2019

  • 以实践为驱动的评估商业意图检测服务的基准测试

    研究比较不同意图检测方法，显示 Watson Assistant 具有高准确度，能较少使用计算资源和训练数据，并在训练和测试分布不同时表现出较高的鲁棒性。

    Dec, 2020

  • 面向任务导向对话的意图分类和槽位填充数据集调查

    该研究调查了公开可用的意图分类和填槽任务数据集，并对每个数据集的重要特征进行编目，以提高这些数据集的可访问性，便于未来评估对话系统的意图分类和填槽模型。

    Jul, 2022