EMNLPJan, 2023

虚拟助手中的超出范畴检测：区分有意义和无意义

PDF
TL;DR本文提出了一种简单且有效的 OOS 检测方法，它在实际场景中的虚拟助手部署中优于标准方法，并讨论了云平台解决方案的各种设计和部署考虑因素。同时，我们提出了一组数据集，模拟实际情况，并使用离线和在线评估指标在不同场景下展示了全面结果。
conversational aiout of scope detectionchatbotvirtual assistantdataset
发现论文，激发创造
  • 使用 ChatGPT 生成困难的负面范围外数据用于意图分类

    通过使用 ChatGPT 生成困难负向超出范围数据并使用之评估，该论文研究了意图分类器，特别是在识别困难负向超出范围情况时的性能变化以及在训练中加入困难负向超出范围数据对于提高模型鲁棒性的影响。

    Mar, 2024

  • 跨领域意图检测和意图发现的混合架构

    本文介绍了通过使用变分自编码器、非监督聚类等方法，解决了任务导向型对话系统中存在的 Out of Scope，Out of Domain 等输入识别问题，以及训练 Intent Detection 模型时的数据集标注问题。在英文和波斯语中的实验结果表明，我们的模型在同时实现 OOD/OOS 意图检测和意图发现方面取得了优异的性能效果，超越了基准线。

    Mar, 2023

  • 使用数据增强改善对话中的超出范围检测

    通过使用 GOLD 技术，结合辅助数据样本，筛选产生伪标签候选数据，并采用新的筛选机制来训练 OOS 检测器，从而在低数据情况下提高模型性能，实验证明在不同基准测试中，GOLD 模型比现有方法表现更好，实现了相对增益 52.4％，48.9％和 50.3％的标志性基准表现。同时，通过分析 OOS 数据的独特属性，揭示了优化所提出的方法的关键因素。

    Sep, 2021

  • 意图分类和超出范围预测的评估数据集

    该研究旨在通过引入包括超出支持意图范围的查询的新数据集来评估范围内 / 超出范围的分类器及其性能，以更严谨、更真实地评估用于任务驱动对话系统中的文本分类。

    Sep, 2019

  • 利用自监督和判别式训练进行超出范围意图检测

    本文提出了一种全面端到端的方法来训练超出范围意图分类器，该分类器可以直接应用于测试任务，并对四个基准对话数据集进行了广泛评估，观察到了超过最先进方法的显着改进。

    Jun, 2021

  • 度量学习与自适应边界用于域外检测

    设计了一种基于度量学习和自适应决策边界的 OOD 检测算法，相较于其他算法，在类别数量较少的情况下显著提高 OOD 性能，保持了 IND 类别的准确性。

    Apr, 2022

  • 无需领域内标签：文本领域外检测

    本研究旨在解决无法获取 in-domain 数据标签的情况下，从语言模型和表示学习的角度，通过无监督的聚类和对比学习的结合，对 OOD 检测进行更好的数据表示学习，实验证明该方法的性能显著优于基于概率的方法，并且可以与基于标签信息的监督方法竞争。

    Mar, 2022

  • 对话系统中自然语言理解的领域外检测

    本文提出了一种基于自动编码器和生成对抗网络生成伪 OOD 样本来提高 NLU 中 OOD 检测性能的新模型，同时也演示了未标注数据可以进一步提高这些伪 OOD 数据的有效性。

    Sep, 2019

  • 自然语言处理中的超领域检测综述

    本文回顾了最近关于 out-of-distribution 检测的进展，重点关注了自然语言处理方面的方法。通过分类和介绍数据集、应用和评估指标，总结了现有的研究，同时提出了未来的研究方向。

    May, 2023

  • 文本分类任务中传统的外部分布检测方法的基准测试

    本文着重介绍了现有方法在处理 NLP 中 OOD 检测时的局限性，对八种常见的 OOD 检测方法进行了评估并分析了其存在的问题，发现现有方法对于各类型分布偏移的检测敏感性不够，在领域内文本中存在令人困惑的测试场景，而需要开发更有效的 OOD 检测方法，本文为未来的研究提供了一个良好的、定义明确的基础。

    Jul, 2023