克服视觉语言模型微调的问题：针对 OOD 泛化

ICLRJan, 2024

克服视觉语言模型微调的问题：针对 OOD 泛化

Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD Generalization

Yuhang Zang, Hanlin Goh, Josh Susskind, Chen Huang

TL;DR在本论文中，我们首先展示了，经过足够时间的微调但没有适当的正则化，视觉 - 语言模型在给定数据集中往往会过度拟合已知类别，导致对未知类别的表现下降。然后，我们提出了一种新颖的方法 OGEN 来解决这个问题，在关注点主要是改进经过微调模型的未知类别（OOD）泛化能力。具体而言，我们引入了一种类条件特征生成器，通过仅使用任何未知类别的类名，合成 OOD 特征。这些合成特征将提供关于未知类别的有用知识，并在联合优化时有助于规范 ID 和 OOD 数据之间的决策边界。同样重要的是，我们的自适应自蒸馏机制用于规范特征生成模型，在联合优化期间自适应地传递模型状态之间的知识，以进一步防止过度拟合。实验证实，我们的方法在不同设置下提供了令人信服的 OOD 泛化性能增益。

Abstract

Existing vision-language models exhibit strong generalization on a variety of visual domains and tasks. However, such models mainly perform zero-shot recognition in a closed-set manner, and thus struggle to handle open-domain visual concepts by design. There are recent finetuning metho

vision-language models zero-shot recognition out-of-distribution samples ood generalization adaptive self-distillation mechanism

发现论文，激发创造

CRoFT：用于 OOD 泛化和开放集 OOD 检测的鲁棒微调和并发优化

本文提出了一种能够改善视觉 - 语言预训练模型（VL-PTMs）对闭集外分布数据的泛化能力，同时在微调期间有效检测开放集未知类别的目标函数方法。

May, 2024

弱分布检测器提高了视觉语言提示调整的泛化能力

我们提出了一种通用方法，用于在针对下游少样本任务进行精调时提高预训练视觉 - 语言模型 (VLMs) 的泛化能力。该方法利用了超出分布（OOD）检测来预测样本是否属于基本分布或新颖分布，然后使用由专门的竞争性评分函数生成的分数来融合零样本和少样本分类器。融合的分类器是动态的，如果样本更可能来自预先训练的分布，则会偏向于零样本分类器，从而提高基本到新颖的泛化能力。我们的方法仅在测试阶段执行，适用于提升现有方法而无需耗时的重新训练。大量实验证明，即使是弱分布检测器也可以改进 VLMs 的泛化能力。具体来说，在基本到新颖的设置中，在 11 个识别数据集上，借助 OOD 检测器，CoOp 和 ProGrad 的调和平均数分别提高了 2.6 和 1.5 个百分点。

Mar, 2024

微调如何影响视觉语言模型的越界检测？

本文探讨了如何通过多模态概念匹配框架来评估诸如 CLIP 等最新视觉语言模型的 fine-tuning 方法对于少样本下游任务的超出分布检测性能的影响，并发现所选的 ODD 得分方法至关重要，MCM 得分方法表现最佳，prompt learning 在超出分布检测性能上表现最好。

Jun, 2023

重新思考视觉问答中的评估实践：针对分布外泛化的案例研究

研究大规模多模态数据上预训练的 Vision-and-Language (V&L) 模型在视觉问答 (VQA) 任务中存在代表训练数据的样本分布偏移所造成的 OOD 性能问题，而模型学习的是解决基准测试而不是高层次的技能。本文通过考虑在不同设置下 (如分类和开放性文本生成) 两种预训练的 V&L 模型性能的全面评估，证明生成模型在大多数情况下对数据分布变化不太敏感，并在测试基准中表现更好。另外，我们发现多模态预训练可以提高大多数设置下的 OOD 性能。最后，本文重新审视了自动 VQA 评估度量的假设，并从经验上证明它们的严格性会反复惩罚模型的正确响应。

May, 2022

迈向少样本外分布检测

多样的 fine-tuning 方法中，我们的实验结果表明，DomainSpecific and General Knowledge Fusion (DSGF) 的整合显著提高了各种方法和 fine-tuning 方法的少样本 OOD 检测能力。

Nov, 2023

从视觉语言模型中提炼，以改善视觉任务中的 OOD 泛化能力

Vision-Language to Vision-Align, Distill, Predict (VL2V-ADiP) is a proposed approach that aligns vision and language modalities to distill pre-trained features and superior generalization for state-of-the-art results in Domain Generalization using Vision-Language Models like CLIP.

Oct, 2023

探索用于多模态离域检测的大型语言模型

应用世界知识通过选择性生成大型语言模型并利用一致性基准不确定性校正方法来提高过分布检测性能，通过从每个图像提取视觉对象充分利用前述世界知识，充分实验证明本方法始终优于现有技术。

Oct, 2023

压缩具有外部分布泛化能力的大型视觉语言模型

大规模视觉 - 语言模型的蒸馏是一个具有潜力的方向，本文研究了利用小型或中型数据集将大型视觉 - 语言模型的视觉表示转化为轻量级学生模型，提出了两个原则来增强学生模型在开放词汇分布下的泛化能力，并在开放词汇分布下的分类任务中取得了显著改进。

Jul, 2023

关于超出分布泛化的理论框架

本文第一次尝试对 OOD 问题的可学习性和扩张函数进行严格和量化的定义，并引入了一个新的扩张函数概念来量化不变特征的方差程度，进而证明了 OOD 泛化误差界，实验证明我们的模型选择标准相比基线有显著优势。

Jun, 2021

使用大型语言模型生成的同类对等生成器进行外部分布检测

提出了一种名为 ODPC 的新方法，通过大型语言模型设计生成特定提示词来产生具有 ID 语义的 OOD 对等类，以便于检测，并采用基于 OOD 对等类的对比损失来学习紧凑的 ID 类别表示，并改善不同类别之间的界限清晰度。在五个基准数据集上进行的广泛实验表明，该方法可以得到最先进的结果。

Mar, 2024