我们提出了一种通用方法，用于在针对下游少样本任务进行精调时提高预训练视觉 - 语言模型 (VLMs) 的泛化能力。该方法利用了超出分布（OOD）检测来预测样本是否属于基本分布或新颖分布，然后使用由专门的竞争性评分函数生成的分数来融合零样本和少样本分类器。融合的分类器是动态的，如果样本更可能来自预先训练的分布，则会偏向于零样本分类器，从而提高基本到新颖的泛化能力。我们的方法仅在测试阶段执行，适用于提升现有方法而无需耗时的重新训练。大量实验证明，即使是弱分布检测器也可以改进 VLMs 的泛化能力。具体来说，在基本到新颖的设置中，在 11 个识别数据集上，借助 OOD 检测器，CoOp 和 ProGrad 的调和平均数分别提高了 2.6 和 1.5 个百分点。

Mar, 2024

本文探讨了如何通过多模态概念匹配框架来评估诸如 CLIP 等最新视觉语言模型的 fine-tuning 方法对于少样本下游任务的超出分布检测性能的影响，并发现所选的 ODD 得分方法至关重要，MCM 得分方法表现最佳，prompt learning 在超出分布检测性能上表现最好。

Jun, 2023

我们提出了一种基于先验的无需训练的双适配器（Dual-Adapter）方法，在文本和视觉角度上检测来自不同类别的未见样本，创造性地利用先前被忽视或干扰的特征，在训练数据集中突显与区分 ID 和 OOD 样本，通过广泛的实验结果在四个基准数据集上证明了 Dual-Adapter 的优越性。

May, 2024

本研究探究了直接利用预训练语言模型进行 Out-of-Distribution 检测的有效性，并证明了其近乎完美的检测性能，同时揭示了 Fine-tuning 和其在 ID 精度与 OOD 检测性能之间的平衡作用。

May, 2023

本文提出了一种能够改善视觉 - 语言预训练模型（VL-PTMs）对闭集外分布数据的泛化能力，同时在微调期间有效检测开放集未知类别的目标函数方法。

May, 2024

在本论文中，我们首先展示了，经过足够时间的微调但没有适当的正则化，视觉 - 语言模型在给定数据集中往往会过度拟合已知类别，导致对未知类别的表现下降。然后，我们提出了一种新颖的方法 OGEN 来解决这个问题，在关注点主要是改进经过微调模型的未知类别（OOD）泛化能力。具体而言，我们引入了一种类条件特征生成器，通过仅使用任何未知类别的类名，合成 OOD 特征。这些合成特征将提供关于未知类别的有用知识，并在联合优化时有助于规范 ID 和 OOD 数据之间的决策边界。同样重要的是，我们的自适应自蒸馏机制用于规范特征生成模型，在联合优化期间自适应地传递模型状态之间的知识，以进一步防止过度拟合。实验证实，我们的方法在不同设置下提供了令人信服的 OOD 泛化性能增益。

Jan, 2024

揭示预训练模型在预训练算法视角下，外分布数据对外分布检测性能的影响，并提出利用实例间鉴别性特征空间独立于 ID 决策边界的方法解决预训练模型的脆弱性。

Oct, 2023

本文提出了一个名为 OpenOOD 的统一的、结构化的代码库，该库实现了超过 30 种 ODD 检测方法，并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现，过去几年中，该领域取得了显著进展，其中预处理方法和正交后处理方法显示出很强的潜力。

Oct, 2022

这篇论文提出了一种名为 WOOD 的通用弱监督 OOD 检测框架，同时检测多种不同的 OOD 场景，并结合二元分类器和对比学习组件以取得双方的优势，实验证明该模型在多模态 OOD 检测方面超过了现有方法。

Jul, 2023

我们研究了提示式学习模型在近似 OOD 检测中的能力，并观察到常用的 OOD 得分在此任务中表现有限。为了提升性能，我们提出了一种快速简单的后续方法，与现有的基于逻辑的得分相结合，将近似 OOD 检测的 AUROC 提高了最佳 11.67％，并具有最小的计算成本。我们的方法可以轻松应用于任何提示式学习模型，无需改变架构或重新训练模型。通过对 13 个数据集和 8 个模型进行全面的实证评估，证明了我们的方法的有效性和适应性。

May, 2024