本研究探究了直接利用预训练语言模型进行Out-of-Distribution检测的有效性，并证明了其近乎完美的检测性能，同时揭示了Fine-tuning和其在ID精度与OOD检测性能之间的平衡作用。

May, 2023

本文探讨了如何通过多模态概念匹配框架来评估诸如CLIP等最新视觉语言模型的fine-tuning方法对于少样本下游任务的超出分布检测性能的影响，并发现所选的ODD得分方法至关重要，MCM得分方法表现最佳，prompt learning在超出分布检测性能上表现最好。

Jun, 2023

通过对大型语言模型进行实证研究，本文发现余弦距离的异常检测器表现出卓越的效力，优于其他异常检测器，并通过强调大型语言模型嵌入空间的各向同性特征，提供了对这一现象的有趣解释，进一步增强了我们对大型语言模型在检测异常数据方面的适应性和可靠性。

Aug, 2023

语义领域间异常检测方法同时解决多个分布转变，并通过提出的领域泛化和异常检测正则化策略，在三个领域泛化基准测试中展示了其对于异常检测性能的卓越表现以及相当的InD分类准确度。

Sep, 2023

在本论文中，我们首先展示了，经过足够时间的微调但没有适当的正则化，视觉-语言模型在给定数据集中往往会过度拟合已知类别，导致对未知类别的表现下降。然后，我们提出了一种新颖的方法OGEN来解决这个问题，在关注点主要是改进经过微调模型的未知类别（OOD）泛化能力。具体而言，我们引入了一种类条件特征生成器，通过仅使用任何未知类别的类名，合成OOD特征。这些合成特征将提供关于未知类别的有用知识，并在联合优化时有助于规范ID和OOD数据之间的决策边界。同样重要的是，我们的自适应自蒸馏机制用于规范特征生成模型，在联合优化期间自适应地传递模型状态之间的知识，以进一步防止过度拟合。实验证实，我们的方法在不同设置下提供了令人信服的OOD泛化性能增益。

Jan, 2024

评估预训练模型在下游任务中的性能时，除了评估下游模型的内分布准确性外，还必须评估其对于一般化和识别离群样本的能力。本文揭示了侵入性微调技术所带来的隐藏成本，提出了Reprogrammer方法来改善下游模型在内分布、离群泛化和离群检测任务中的整体性能。实证证据表明Reprogrammer是非侵入性的，能产生更优秀的下游模型，并通过添加额外的表示残差连接进一步保留预训练表示，从而获得更安全、更强大的下游模型，能在许多内分布分类、离群泛化和离群检测设置中表现出色。

Mar, 2024

我们提出了一种通用方法，用于在针对下游少样本任务进行精调时提高预训练视觉-语言模型(VLMs)的泛化能力。该方法利用了超出分布（OOD）检测来预测样本是否属于基本分布或新颖分布，然后使用由专门的竞争性评分函数生成的分数来融合零样本和少样本分类器。融合的分类器是动态的，如果样本更可能来自预先训练的分布，则会偏向于零样本分类器，从而提高基本到新颖的泛化能力。我们的方法仅在测试阶段执行，适用于提升现有方法而无需耗时的重新训练。大量实验证明，即使是弱分布检测器也可以改进VLMs的泛化能力。具体来说，在基本到新颖的设置中，在11个识别数据集上，借助OOD检测器，CoOp和ProGrad的调和平均数分别提高了2.6和1.5个百分点。

Mar, 2024

本研究解决了出界（OOD）检测中现有语义池不足以支持零-shot分类的问题。我们提出了共轭语义池（CSP），通过使用修改的超类名称构建更丰富的标签候选，显著提高了检测性能，并在FPR95上超越现有方法7.89%。

Oct, 2024

本研究解决了模型在未见领域中进行泛化的挑战，尤其是在现有的大规模数据集可能导致评估过程不准确的背景下。通过创建严格与ImageNet和DomainNet测试集风格上不重合的大规模数据集，研究揭示了模型性能仍主要依赖于内部示例，这表明过去的OOD泛化问题依然存在。此外，研究确定了不同数据集组合的最佳混合比例，从而提升模型的泛化能力。

Oct, 2024

本研究针对传统领域泛化和分布外（OOD）检测方法在实际应用中面临的协变量和语义转移问题，提出了一种新的框架MADOD。通过元学习和G-不变性，MADOD在未见域中提升了模型的可泛化性和OOD检测能力，实验证明其在语义OOD检测上性能优越，AUPR提升达到8.48%至20.81%。

Nov, 2024