PromptSync：通过分类感知的原型对齐和判别消除视觉语言模型中的领域差距

CVPRApr, 2024

PromptSync：通过分类感知的原型对齐和判别消除视觉语言模型中的领域差距

PromptSync: Bridging Domain Gaps in Vision-Language Models through Class-Aware Prototype Alignment and Discrimination

Anant Khandelwal

TL;DR通过分类原型对齐和提示同步来提高视觉语言模型的零样本泛化能力和处理类别不平衡问题，并在测试中取得明显优于其他方法的结果。

Abstract

The potential for zero-shot generalization in vision-language (V-L) models such as CLIP has spurred their widespread adoption in addressing numerous downstream tasks. Previous methods have employed test-time prompt tuning to adapt the model to unseen domains, but they overlooked the is

zero-shot generalization vision-language models class imbalance prototype alignment prompt synchronization

发现论文，激发创造

SYNC-CLIP: 合成数据使得 CLIP 在数据有限场景下达到更好的泛化效果

通过利用 SYNthetic 数据增强 CLIP 的泛化能力，SYNC-CLIP 方法在开放词汇的情景下显著优于 PromptSRC，平均提高了 3.0% 的性能。

Dec, 2023

对齐您的提示：基于分布对齐的零样本泛化的测试时提示

通过减小分布偏移，将零样本泛化的视觉 - 语言模型在未见领域中的性能提升了 3.08%，并且在跨数据集泛化的情况下，在所有数据集上相对于现有的最先进方法有一致的改进。

Nov, 2023

基于 Prompt 对齐的梯度优化方法

本研究提出了 Prompt-aligned Gradient 算法（ProGrad）来防止针对 Prompt 的微调忘记从 VLM 学到的一般知识，并通过实验证明其比现有方法具有更强的 few-shot 泛化能力。

May, 2022

概念引导下的提示学习进行视觉 - 语言模型泛化

通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

Jan, 2024

语言感知的视觉与语言基础模型软提示

本文介绍了一种软提示学习的方法，用于 Vision & Language 模型。该方法通过使用第二交叉熵损失来最小化学习的软提示与手工工程提示之间的距离，进而提高模型性能，并能够训练虚拟类。在 11 个数据集上进行的广泛评估表明，该方法显著优于所有先前的软提示工作，并在大多数测试数据集上匹配和超越手工制作提示和 CLIP 的新类准确性。

Oct, 2022

跨域泛化的过渡式视觉 - 语言提示学习

通过使用深度视觉提示以解决域不变性问题，结合语言提示以确保类别可分离性，以及自适应权重机制来平衡域不变性和类别可分离性，本文介绍了一种新的提示学习策略，并通过广泛实验证明深度视觉提示有效提取域不变特征，显著提高深度模型的泛化能力，在三个数据集上取得了最先进的性能。

Apr, 2024

无监督视觉语言模型的原型适配器

我们设计了一种名为 Unsupervised Prototype Adapter (UP-Adapter) 的无监督微调方法，通过利用 CLIP 的文本 - 图像对齐能力自动选择每个类别中最有信心的样本，并利用这些选择的样本生成类别原型，用于可学习的原型模型的初始化。经过微调后，通过剩余连接将原型模型的预测与原始 CLIP 的预测相结合，用于执行下游识别任务。我们在图像识别和领域泛化方面的大量实验结果表明，所提出的无监督方法在 8-shot CoOp、8-shot Tip-Adapter 以及最先进的 UPL 方法上都取得了显著优势。

Aug, 2023

PromptKD: 无监督的视觉语言模型提示蒸馏

在这篇论文中，我们介绍了一种无监督域提示蒸馏框架，通过使用未标记的领域图像进行提示驱动的模仿，旨在将更大的教师模型的知识转移给轻量级目标模型。

Mar, 2024

提高视觉语言模型的适应性和泛化能力的有效传递学习

利用视觉提示进行类别可分性和使用文本适配器进行任务适应的结合对于适应性和泛化性至关重要；我们提出了一种自适应集成方法，根据迁移难度有效地结合了 VLMs 的通用知识和任务特定知识，该方法在广泛的基准测试中始终优于所有基准线，尤其是在未知任务上表现出了其有效性。

Nov, 2023

视觉语言模型泛化的不变测试时间适应

通过测试时间提示调整范式优化学习提示的方式，该方法在下游任务中成功地减轻了依赖于潜在具有误导性的与任务无关的上下文信息，同时强调关键的与任务相关的视觉线索。

Mar, 2024