Mar, 2022

无需领域内标签：文本领域外检测

PDF
TL;DR本研究旨在解决无法获取 in-domain 数据标签的情况下，从语言模型和表示学习的角度，通过无监督的聚类和对比学习的结合，对 OOD 检测进行更好的数据表示学习，实验证明该方法的性能显著优于基于概率的方法，并且可以与基于标签信息的监督方法竞争。
machine learningood detectionlanguage modelrepresentation learningunsupervised clustering
发现论文，激发创造
  • 对话系统中自然语言理解的领域外检测

    本文提出了一种基于自动编码器和生成对抗网络生成伪 OOD 样本来提高 NLU 中 OOD 检测性能的新模型，同时也演示了未标注数据可以进一步提高这些伪 OOD 数据的有效性。

    Sep, 2019

  • 低资源文本分类任务的领域外检测

    本文提出了一种面对非常低的领域内训练数据进行零样本 out-of-domain 检测和少样本 in-domain 分类的解决方案：一个抗 OOD 的原型网络，通过与当前最新方法的比较，结果显示该方法在 zero-shot OOD 检测任务上效果优于 state-of-the-art 方法，在 ID 分类任务上性能竞争力强。

    Aug, 2019

  • 有监督对比学习建模鉴别性表示进行领域外检测

    本文提出了一种监督对比学习方法和对抗性增强机制，在语义空间中学习以区分任务型对话系统中的域外意图，并实证了该方法对于 OOD 检测的效果。

    May, 2021

  • 度量学习与自适应边界用于域外检测

    设计了一种基于度量学习和自适应决策边界的 OOD 检测算法，相较于其他算法，在类别数量较少的情况下显著提高 OOD 性能，保持了 IND 类别的准确性。

    Apr, 2022

  • 跨领域意图检测和意图发现的混合架构

    本文介绍了通过使用变分自编码器、非监督聚类等方法，解决了任务导向型对话系统中存在的 Out of Scope，Out of Domain 等输入识别问题，以及训练 Intent Detection 模型时的数据集标注问题。在英文和波斯语中的实验结果表明，我们的模型在同时实现 OOD/OOS 意图检测和意图发现方面取得了优异的性能效果，超越了基准线。

    Mar, 2023

  • 自然语言处理中的超领域检测综述

    本文回顾了最近关于 out-of-distribution 检测的进展，重点关注了自然语言处理方面的方法。通过分类和介绍数据集、应用和评估指标，总结了现有的研究，同时提出了未来的研究方向。

    May, 2023

  • 无监督领域外检测的似然比和生成式分类器在任务导向型对话中的应用

    该研究探讨了利用似然比和生成分类器的方法在自然语言输入下实现任务导向对话系统的域外检测，并提出了一种利用生成分类器和边际似然值（比率）进行域外检测的方法。

    Dec, 2019

  • 文本分类任务中传统的外部分布检测方法的基准测试

    本文着重介绍了现有方法在处理 NLP 中 OOD 检测时的局限性，对八种常见的 OOD 检测方法进行了评估并分析了其存在的问题，发现现有方法对于各类型分布偏移的检测敏感性不够，在领域内文本中存在令人困惑的测试场景，而需要开发更有效的 OOD 检测方法，本文为未来的研究提供了一个良好的、定义明确的基础。

    Jul, 2023

  • 超越已知：研究 LLMs 在域外意图检测中的性能

    对大规模语言模型在超出预定义领域内意图检测任务中的能力进行了综合评估，揭示了它们的优势和劣势，发现 LLMs 表现出强大的零样本和少样本能力，但与使用完整资源进行微调的模型相比仍存在劣势。通过进一步的分析实验，讨论总结了 LLMs 面临的挑战，并提出了对未来工作的指导，包括注入领域知识、加强从领域内到超领域的知识转移和理解长指令。

    Feb, 2024

  • 仅使用领域内语句的神经句子嵌入在对话系统中检测领域外句子

    为了保证用户体验，本文提出了一种新颖的神经句子嵌入方法，通过在低维连续向量空间中表示句子来区分领域内和领域外的句子，并通过学习以识别领域外的句子。 在八个领域的对话系统中实验比较表明，我们提出的方法在所有测试中都获得了最高的准确性。

    Jul, 2018