ACLJun, 2021

利用自监督和判别式训练进行超出范围意图检测

PDF
TL;DR本文提出了一种全面端到端的方法来训练超出范围意图分类器，该分类器可以直接应用于测试任务，并对四个基准对话数据集进行了广泛评估，观察到了超过最先进方法的显着改进。
out-of-scope intent detectionend-to-end mannerpseudo outliersdiscriminative classifierdialogue systems
发现论文，激发创造
  • 意图分类和超出范围预测的评估数据集

    该研究旨在通过引入包括超出支持意图范围的查询的新数据集来评估范围内 / 超出范围的分类器及其性能，以更严谨、更真实地评估用于任务驱动对话系统中的文本分类。

    Sep, 2019

  • 通过自然语言推理进行判别最近邻少样本意图检测

    本文提出了一种基于神经网络的简单而有效的分类方法，结合了自注意力和交叉编码技术，通过最佳匹配训练样本来估计用户的输入，使用 NLI 传输提高了判别能力，本方法相对 RoBERTa 和最近邻方法在行业内和 OOS 检测准确性上更为稳定和准确性更高，尤其是 10-shot 模型在保持相同推理时间的情况下与 50-shot 或全量 shot 分类器竞争。

    Oct, 2020

  • 预训练变形金刚模型在意图分类中的鲁棒性？评估超出范围意图检测的一个缺失要素

    本文探讨了在少样本意图识别任务中，在领域内外范围检测的重要性，揭示了预训练 Transformer 模型在领域内但扩展到领域外数据上的漏洞，构建了新的数据集并对模型能力作出实证验证。同时，对模型错误分类的 ID-OOS 意图进行了分析，并提出了若干未来工作方向。

    Jun, 2021

  • 有监督对比学习建模鉴别性表示进行领域外检测

    本文提出了一种监督对比学习方法和对抗性增强机制，在语义空间中学习以区分任务型对话系统中的域外意图，并实证了该方法对于 OOD 检测的效果。

    May, 2021

  • 基于对比度预训练和微调的小样本意图检测

    本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

    Sep, 2021

  • 使用数据增强改善对话中的超出范围检测

    通过使用 GOLD 技术，结合辅助数据样本，筛选产生伪标签候选数据，并采用新的筛选机制来训练 OOS 检测器，从而在低数据情况下提高模型性能，实验证明在不同基准测试中，GOLD 模型比现有方法表现更好，实现了相对增益 52.4％，48.9％和 50.3％的标志性基准表现。同时，通过分析 OOS 数据的独特属性，揭示了优化所提出的方法的关键因素。

    Sep, 2021

  • 使用 ChatGPT 生成困难的负面范围外数据用于意图分类

    通过使用 ChatGPT 生成困难负向超出范围数据并使用之评估，该论文研究了意图分类器，特别是在识别困难负向超出范围情况时的性能变化以及在训练中加入困难负向超出范围数据对于提高模型鲁棒性的影响。

    Mar, 2024

  • 虚拟助手中的超出范畴检测：区分有意义和无意义

    本文提出了一种简单且有效的 OOS 检测方法，它在实际场景中的虚拟助手部署中优于标准方法，并讨论了云平台解决方案的各种设计和部署考虑因素。同时，我们提出了一组数据集，模拟实际情况，并使用离线和在线评估指标在不同场景下展示了全面结果。

    Jan, 2023

  • 无需领域内标签：文本领域外检测

    本研究旨在解决无法获取 in-domain 数据标签的情况下，从语言模型和表示学习的角度，通过无监督的聚类和对比学习的结合，对 OOD 检测进行更好的数据表示学习，实验证明该方法的性能显著优于基于概率的方法，并且可以与基于标签信息的监督方法竞争。

    Mar, 2022

  • 跨领域意图检测和意图发现的混合架构

    本文介绍了通过使用变分自编码器、非监督聚类等方法，解决了任务导向型对话系统中存在的 Out of Scope，Out of Domain 等输入识别问题，以及训练 Intent Detection 模型时的数据集标注问题。在英文和波斯语中的实验结果表明，我们的模型在同时实现 OOD/OOS 意图检测和意图发现方面取得了优异的性能效果，超越了基准线。

    Mar, 2023