EMNLPOct, 2022

全面的句子嵌入提升 ODS 检测效果

PDF
TL;DR通过提出更全面的平均句子嵌入方法 Avg-Avg，将来自每个中间层的所有令牌表示平均为句子嵌入，为 fine-tuned 预训练语言模型中的 out-of-distribution 检测提供了免费的提升，并在一系列基准测试中超过了现有的最先进方法。
out-of-distribution detectionpretrained language modelsdistance-based methodsholistic sentence embeddingsavg-avg
发现论文，激发创造
  • 通过隐式层集成增强自然语言理解中的外部分布检测

    该论文提出了一种基于对比学习的框架，旨在有效地进行 out-of-distribution 检测，利用预训练的语言模型吸收丰富的信息，并在意图分类和异常检测等数据集中取得了显著的效果。

    Oct, 2022

  • 大型语言模型的超出分布检测能力如何？

    通过对大型语言模型进行实证研究，本文发现余弦距离的异常检测器表现出卓越的效力，优于其他异常检测器，并通过强调大型语言模型嵌入空间的各向同性特征，提供了对这一现象的有趣解释，进一步增强了我们对大型语言模型在检测异常数据方面的适应性和可靠性。

    Aug, 2023

  • 面向文本 OOD 检测的无监督分层得分聚合

    本研究探讨了对于文本异常检测，如何选择最佳层数进行计算，提出了一种数据驱动无监督方法来组合常常输出的异常得分，并在包含更多分类任务的基准测试中验证结果。

    Feb, 2023

  • 仅使用领域内语句的神经句子嵌入在对话系统中检测领域外句子

    为了保证用户体验，本文提出了一种新颖的神经句子嵌入方法，通过在低维连续向量空间中表示句子来区分领域内和领域外的句子，并通过学习以识别领域外的句子。 在八个领域的对话系统中实验比较表明，我们提出的方法在所有测试中都获得了最高的准确性。

    Jul, 2018

  • GLUE-X: 从越界泛化角度评估自然语言理解模型

    本文介绍了创建一个名为 GLUE-X 的统一基准的首次尝试，该基准用于评估自然语言处理模型中的 OOD 鲁棒性，在 13 个公开可用的 OOD 测试数据集上验收模型，发现模型在 OOD 任务上的性能明显下降，对提高模型鲁棒性提供了一些见解和改进方案。

    Nov, 2022

  • 探索用于多模态离域检测的大型语言模型

    应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

    Oct, 2023

  • 如何利用超球嵌入进行区分不在分布中的检测？

    提出了一种基于超球嵌入的新型表示学习框架 CIDER，该框架共同优化两个损失，以促进强的 ID-OOD 可分离性，并通过分析在超球空间中嵌入特性与 OOD 检测性能之间的关系，演示了离散度和紧凑性的重要性，结果表明 CIDER 表现优异，FPR95 比最新对手高出 19.36 %。

    Mar, 2022

  • 全面的 OOD 检测改进

    机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性，结果显示性能显著提升，并达到了最新的技术水平。

    Jan, 2024

  • 弱分布检测器提高了视觉语言提示调整的泛化能力

    我们提出了一种通用方法，用于在针对下游少样本任务进行精调时提高预训练视觉 - 语言模型 (VLMs) 的泛化能力。该方法利用了超出分布（OOD）检测来预测样本是否属于基本分布或新颖分布，然后使用由专门的竞争性评分函数生成的分数来融合零样本和少样本分类器。融合的分类器是动态的，如果样本更可能来自预先训练的分布，则会偏向于零样本分类器，从而提高基本到新颖的泛化能力。我们的方法仅在测试阶段执行，适用于提升现有方法而无需耗时的重新训练。大量实验证明，即使是弱分布检测器也可以改进 VLMs 的泛化能力。具体来说，在基本到新颖的设置中，在 11 个识别数据集上，借助 OOD 检测器，CoOp 和 ProGrad 的调和平均数分别提高了 2.6 和 1.5 个百分点。

    Mar, 2024

  • 微调损害了任务不相关特征，使得文本的跨类别检测变差

    本论文探讨了文本 out-of-distribution detection 的方法在检测 semantic 和 non-semantic shifts 时存在的问题，并提出了一个简单有效的综合方法 GNOME，通过整合 task-agnostic 和 task-specific representations 的置信度得分来检测语义和非语义的偏移，实验证明 GNOME 在两个跨任务基准测试中表现出了明显的改进。

    Jan, 2023