Mar, 2024
弱分布检测器提高了视觉语言提示调整的泛化能力
Weak Distribution Detectors Lead to Stronger Generalizability of
Vision-Language Prompt Tuning
TL;DR我们提出了一种通用方法，用于在针对下游少样本任务进行精调时提高预训练视觉-语言模型(VLMs)的泛化能力。该方法利用了超出分布（OOD）检测来预测样本是否属于基本分布或新颖分布，然后使用由专门的竞争性评分函数生成的分数来融合零样本和少样本分类器。融合的分类器是动态的，如果样本更可能来自预先训练的分布，则会偏向于零样本分类器，从而提高基本到新颖的泛化能力。我们的方法仅在测试阶段执行，适用于提升现有方法而无需耗时的重新训练。大量实验证明，即使是弱分布检测器也可以改进VLMs的泛化能力。具体来说，在基本到新颖的设置中，在11个识别数据集上，借助OOD检测器，CoOp和ProGrad的调和平均数分别提高了2.6和1.5个百分点。