ECCVJul, 2022

Tip-Adapter: 无需训练的适应 CLIP 用于少样本分类

PDF
TL;DR本篇论文提出了一种利用键值缓存模型构建适配器的零训练方法 Tip-Adapter，来有效地增强 Contrastive Vision-Language Pre-training（CLIP）的适应能力，为少样本学习提供了一个计算资源高效的选择。实验证明，Tip-Adapter 在 11 个数据集上均有突出表现，并可以通过少量的模型微调达到 ImageNet 上的最优。
contrastive vision-language pre-trainingclipfew-shot classificationtip-adapterkey-value cache model
发现论文，激发创造
  • Tip-Adapter：面向视觉语言模型的无需训练的 CLIP 适配器

    该论文提出了一种名为 Tip-Adapter 的基于 CLIP 的适配器模型，通过无需训练的键值缓存模型构建配适器权重，极大地提升了 CLIP 的少样本分类能力。

    Nov, 2021

  • 元适配器：一个用于视觉 - 语言模型的在线少样本学习者

    提出了 Meta-Adapter 方法，它是一种轻量级的残差式适配器，通过在线学习利用少量样本来优化 CLIP 特征，从而实现有效的少样本学习能力和泛化到未见过的数据或任务的能力，并取得了竞争性的性能和高效率。

    Nov, 2023

  • CLIP-Adapter: 特征适配器提升视觉语言模型

    本文提出一种新的视觉语言模型 fine-tuning 方式 ——CLIP-Adapter，通过在原训练模型上加入新特征层并进行残差式混合来实现，在各种视觉分类任务中表现优异，优于 context optimization

    Oct, 2021

  • CLIP 多模态适应用于少样本动作识别

    本文提出了一种名为 MA-CLIP 的新方法，旨在通过添加轻量级适配器来适应 CLIP 进行少样本动作识别，从而解决传统方法中的参数调优和时间建模的问题。

    Aug, 2023

  • CapS-Adapter：基于标题的零射界多模适配器分类

    CapS-Adapter 是一种创新方法，通过利用图像和字幕特征构建接近目标分布的支持集，超越现有的最先进技术，实现了在无需训练的情况下的显着零样本分类改进。

    May, 2024

  • CALIP: 零参数关注下的零样本增强 CLIP

    本文提出了一种名为 CALIP 的方法，通过一个无需参数的关注模块，在不增加额外的训练开销和数据需求的情况下提高 Contrastive Language-Image Pre-training 的零样本性能。

    Sep, 2022

  • 训练无关 CLIP 基于适应的难以超越的基准线

    对比语言 - 图像预训练（CLIP）已经因其非凡的零 - shot 能力而受到广泛关注。本研究聚焦于开发高效的微调方法来提升 CLIP 在下游任务中的性能，其中包括提示学习和适配器。然而，这些方法仍然需要额外的训练时间和计算资源，对于资源有限的设备来说并不理想。因此，我们重新审视了经典算法高斯判别分析（GDA），应用它于 CLIP 的下游分类中。通过利用贝叶斯公式，高斯判别分析假设每个类别的特征都服从具有相同协方差的高斯分布。我们将 GDA 与 CLIP 中的原始零 - shot 分类器进行集成，以融合视觉和文本模态的知识。对 17 个数据集进行广泛的实验证明，我们的方法在少样本分类、不平衡学习和超出分布泛化等方面超过或达到了与最先进方法相当的结果。此外，我们还将我们的方法扩展到基于新类别的推理和无监督学习，再次展示了其优越性。我们的代码在 https://github.com/mrflogs/ICLR24 上公开可用。

    Feb, 2024

  • CLIP 模型是少样本学习器：基于 VQA 和视觉蕴涵的实证研究

    本文实证表明，CLIP 通过利用语言的能力可以成为强大的视觉 - 语言少样本学习器。我们评估了 CLIP 在典型的视觉问答任务和视觉蕴含任务的零样本性能，并提出了一种参数有效的微调策略，以提高少样本性能，最终取得了有竞争力的零样本 /few-shot 结果。

    Mar, 2022

  • AnoVL：面向统一零样本异常定位的视觉语言模型适应

    使用 Contrastive Language-Image Pre-training (CLIP) 模型进行零样本异常检测，通过学习自然语言监督下的视觉表示，构建文本提示与全局图像级别表示之间的对应关系，采用训练自由的价值关注机制提取 CLIP 的内在局部标记以进行精确定位，设计一个统一的领域感知对比状态提示模板，通过测试时的自适应机制进一步优化异常定位结果。

    Aug, 2023

  • 无处不在的监管：一种数据高效的对比语言图像预训练范式

    本文提出一种用于 Contrastive Language-Image Pre-training (CLIP) 的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像 - 文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现 60.4% 的零样本 top1 准确率，并在转化到下游任务时优于常规 CLIP 模型。

    Oct, 2021