EMNLPSep, 2021

使用数据增强改善对话中的超出范围检测

PDF
TL;DR通过使用 GOLD 技术，结合辅助数据样本，筛选产生伪标签候选数据，并采用新的筛选机制来训练 OOS 检测器，从而在低数据情况下提高模型性能，实验证明在不同基准测试中，GOLD 模型比现有方法表现更好，实现了相对增益 52.4％，48.9％和 50.3％的标志性基准表现。同时，通过分析 OOS 数据的独特属性，揭示了优化所提出的方法的关键因素。
dialogue systemsout-of-scope detectiondata augmentationlow-data regimesmachine learning
发现论文，激发创造
  • 使用 ChatGPT 生成困难的负面范围外数据用于意图分类

    通过使用 ChatGPT 生成困难负向超出范围数据并使用之评估，该论文研究了意图分类器，特别是在识别困难负向超出范围情况时的性能变化以及在训练中加入困难负向超出范围数据对于提高模型鲁棒性的影响。

    Mar, 2024

  • 虚拟助手中的超出范畴检测：区分有意义和无意义

    本文提出了一种简单且有效的 OOS 检测方法，它在实际场景中的虚拟助手部署中优于标准方法，并讨论了云平台解决方案的各种设计和部署考虑因素。同时，我们提出了一组数据集，模拟实际情况，并使用离线和在线评估指标在不同场景下展示了全面结果。

    Jan, 2023

  • 利用自监督和判别式训练进行超出范围意图检测

    本文提出了一种全面端到端的方法来训练超出范围意图分类器，该分类器可以直接应用于测试任务，并对四个基准对话数据集进行了广泛评估，观察到了超过最先进方法的显着改进。

    Jun, 2021

  • 度量学习与自适应边界用于域外检测

    设计了一种基于度量学习和自适应决策边界的 OOD 检测算法，相较于其他算法，在类别数量较少的情况下显著提高 OOD 性能，保持了 IND 类别的准确性。

    Apr, 2022

  • 无监督领域外检测的似然比和生成式分类器在任务导向型对话中的应用

    该研究探讨了利用似然比和生成分类器的方法在自然语言输入下实现任务导向对话系统的域外检测，并提出了一种利用生成分类器和边际似然值（比率）进行域外检测的方法。

    Dec, 2019

  • 无需领域内标签：文本领域外检测

    本研究旨在解决无法获取 in-domain 数据标签的情况下，从语言模型和表示学习的角度，通过无监督的聚类和对比学习的结合，对 OOD 检测进行更好的数据表示学习，实验证明该方法的性能显著优于基于概率的方法，并且可以与基于标签信息的监督方法竞争。

    Mar, 2022

  • 意图分类和超出范围预测的评估数据集

    该研究旨在通过引入包括超出支持意图范围的查询的新数据集来评估范围内 / 超出范围的分类器及其性能，以更严谨、更真实地评估用于任务驱动对话系统中的文本分类。

    Sep, 2019

  • 提高样本外检测的三个因素

    通过引入自我知识蒸馏损失、采样半难例离群数据和使用监督对比学习，我们的方法在分类准确性和离群检测性能之间取得平衡，同时提高了两个性能指标。

    Aug, 2023

  • 在自然环境中训练 OOD 检测器

    本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

    Feb, 2022

  • 鲁棒语言模型的伪 OOD 训练

    本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

    Oct, 2022