微调如何影响视觉语言模型的越界检测？
该研究提出 Maximum Concept Matching（MCM）这一零样本的多模态算法来识别异常数据，利用视觉特征与文本概念进行对齐。研究发现 MCM 比单模态算法在效果上更为优秀，特别是结合视觉-语言特征时。
Nov, 2022
本研究探究了直接利用预训练语言模型进行Out-of-Distribution检测的有效性，并证明了其近乎完美的检测性能，同时揭示了Fine-tuning和其在ID精度与OOD检测性能之间的平衡作用。
May, 2023
在本论文中，我们首先展示了，经过足够时间的微调但没有适当的正则化，视觉-语言模型在给定数据集中往往会过度拟合已知类别，导致对未知类别的表现下降。然后，我们提出了一种新颖的方法OGEN来解决这个问题，在关注点主要是改进经过微调模型的未知类别（OOD）泛化能力。具体而言，我们引入了一种类条件特征生成器，通过仅使用任何未知类别的类名，合成OOD特征。这些合成特征将提供关于未知类别的有用知识，并在联合优化时有助于规范ID和OOD数据之间的决策边界。同样重要的是，我们的自适应自蒸馏机制用于规范特征生成模型，在联合优化期间自适应地传递模型状态之间的知识，以进一步防止过度拟合。实验证实，我们的方法在不同设置下提供了令人信服的OOD泛化性能增益。
Jan, 2024
我们提出了一种通用方法，用于在针对下游少样本任务进行精调时提高预训练视觉-语言模型(VLMs)的泛化能力。该方法利用了超出分布（OOD）检测来预测样本是否属于基本分布或新颖分布，然后使用由专门的竞争性评分函数生成的分数来融合零样本和少样本分类器。融合的分类器是动态的，如果样本更可能来自预先训练的分布，则会偏向于零样本分类器，从而提高基本到新颖的泛化能力。我们的方法仅在测试阶段执行，适用于提升现有方法而无需耗时的重新训练。大量实验证明，即使是弱分布检测器也可以改进VLMs的泛化能力。具体来说，在基本到新颖的设置中，在11个识别数据集上，借助OOD检测器，CoOp和ProGrad的调和平均数分别提高了2.6和1.5个百分点。
Mar, 2024
我们研究了提示式学习模型在近似OOD检测中的能力，并观察到常用的OOD得分在此任务中表现有限。为了提升性能，我们提出了一种快速简单的后续方法，与现有的基于逻辑的得分相结合，将近似OOD检测的AUROC提高了最佳11.67％，并具有最小的计算成本。我们的方法可以轻松应用于任何提示式学习模型，无需改变架构或重新训练模型。通过对13个数据集和8个模型进行全面的实证评估，证明了我们的方法的有效性和适应性。
May, 2024
本文提出了一种能够改善视觉-语言预训练模型（VL-PTMs）对闭集外分布数据的泛化能力，同时在微调期间有效检测开放集未知类别的目标函数方法。
May, 2024
标签驱动的自动提示调整（LAPT）是一种用于模型的可靠性的OOD检测的新方法，通过自动产生有标签的训练样本和分布感知提示优化，LAPT在用于挑战性的全频谱OOD检测任务中表现出卓越性能，不仅增强了标识与OOD样本之间的区别，还提高了标识分类准确性和泛化鲁棒性。
Jul, 2024
本文研究了分布外样本检测（OOD）对机器学习系统安全的重要性，并提出一个泛化的OOD检测框架，以统一与OOD相关的多个问题。文章总结了在视觉语言模型（VLM）时代这些问题的演变，并探讨了未来的挑战和方向，为研究人员提供了新的视角和方法论。
Jul, 2024
本研究解决了出界（OOD）检测中现有语义池不足以支持零-shot分类的问题。我们提出了共轭语义池（CSP），通过使用修改的超类名称构建更丰富的标签候选，显著提高了检测性能，并在FPR95上超越现有方法7.89%。
Oct, 2024
本研究解决了在开放世界应用中进行可靠机器学习模型部署时的离群样本（OOD）检测问题。提出了一种新颖的框架——自校准调节（SCT），通过自适应调整原始学习目标的两个组件间的优化过程，有效提升了在仅使用少量离群数据背景下的OOD检测性能。研究结果表明，该方法在多项实验中展现了显著的有效性，具有广泛的应用潜力。
Nov, 2024