AMU-Tuning：基于 CLIP 的有效逻辑偏置用于少样本学习

CVPRApr, 2024

AMU-Tuning：基于 CLIP 的有效逻辑偏置用于少样本学习

AMU-Tuning: Effective Logit Bias for CLIP-based Few-shot Learning

Yuwei Tang, Zhenyi Lin, Qilong Wang, Pengfei Zhu, Qinghua Hu

TL;DR近期，预训练的视觉 - 语言模型（如 CLIP）在少样本学习方面表现出巨大潜力并吸引了很多研究兴趣。本文通过分析 logit 偏差，从统一的角度分析了基于 CLIP 的少样本学习方法，提出了一种新的 AMU-Tuning 方法来学习有效的 logit 偏差，展现出了 CLIP-based 少样本学习的最先进性能。

Abstract

Recently, pre-trained vision-language models (e.g., clip) have shown great potential in few-shot learning and attracted a lot of research interest. Although efforts have been made to improve few-shot ability of <

clip few-shot learning logit bias amu-tuning performance

发现论文，激发创造

广义逻辑调整：在基础模型中消除标签偏差以校准微调模型

该研究系统地检查了基础模型中的偏见，并展示了我们提出的广义对数调整（GLA）方法的有效性。GLA 在解决预训练中的基本缺陷方面取得了重大改进，对于各种任务都取得了显著的提高。

Oct, 2023

基于传递的零样本和小样本 CLIP

这篇论文研究了在 CLIP 等视觉语言模型的快速发展文献中被完全忽视的跨导式零样本和少样本 CLIP 分类挑战，其中推断是在一批未标记的查询样本上进行的，而不是独立处理每个实例。通过构建信息性的视觉文本概率特征，本文提出了一个基于最小化问题的分类优化目标，使用 Dirichlet 分布来建模每个类的数据概率分布。我们采用一种新颖的块主导次优化算法来解决这个最小化问题，该算法同时估计分布参数和类别分配。对 11 个数据集进行的大量数值实验证明了我们批处理推断方法的益处和功效。在测试批次包含 75 个样本的零样本任务中，我们的方法在 ImageNet 准确性方面相对于 CLIP 的零样本性能提高了近 20%。此外，在少样本设置中，我们超过了现有的最先进方法。代码可在此链接获得：this https URL

Apr, 2024

预训练视觉 - 语言模型的高效和长尾泛化

针对使 CLIP 适应现实世界的挑战，我们提出了一种名为 Candle 的新框架，通过引入新的损失函数、跨模态注意力和虚拟原型来实现高效、长尾泛化，该方法在 11 个不同数据集上展示出了卓越的性能，并大大减少了训练时间。

Jun, 2024

朝着具有 CLIP 的逼真无监督微调

通过将视觉语言模型 (VLMs) 应用于下游监督学习任务，本文探讨了无监督微调 CLIP 模型，解决了未知类别的样本和识别预定义类别实例的问题，并提出了一种称为通用熵优化 (UEO) 的简单有效的微调方法。通过广泛的实验，我们证明了 UEO 方法在泛化能力和检测未知类别样本方面优于基线方法。

Aug, 2023

多模态 CLIP 推理用于元 - 少样本图像分类

结合 CLIP 的文本和图像编码器的多模态方法，在广泛采用的基准测试上超越了最先进的元少样学习模型，而无需额外训练。

Mar, 2024

CLIP 模型是少样本学习器：基于 VQA 和视觉蕴涵的实证研究

本文实证表明，CLIP 通过利用语言的能力可以成为强大的视觉 - 语言少样本学习器。我们评估了 CLIP 在典型的视觉问答任务和视觉蕴含任务的零样本性能，并提出了一种参数有效的微调策略，以提高少样本性能，最终取得了有竞争力的零样本 /few-shot 结果。

Mar, 2022

大型视觉语言模型的少样本自适应研究

通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。

Dec, 2023

CLIP 多模态适应用于少样本动作识别

本文提出了一种名为 MA-CLIP 的新方法，旨在通过添加轻量级适配器来适应 CLIP 进行少样本动作识别，从而解决传统方法中的参数调优和时间建模的问题。

Aug, 2023

Tip-Adapter: 无需训练的适应 CLIP 用于少样本分类

本篇论文提出了一种利用键值缓存模型构建适配器的零训练方法 Tip-Adapter，来有效地增强 Contrastive Vision-Language Pre-training（CLIP）的适应能力，为少样本学习提供了一个计算资源高效的选择。实验证明，Tip-Adapter 在 11 个数据集上均有突出表现，并可以通过少量的模型微调达到 ImageNet 上的最优。

Jul, 2022

定位潜在更新用于微调视觉语言模型

提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。

Dec, 2022