视觉语言模型的低秩少样本适应

May, 2024

Low-Rank Few-Shot Adaptation of Vision-Language Models

Maxime Zanella, Ismail Ben Ayed

TL;DR近期关于Vision-Language Models（VLMs）的少样本适应研究进展大大提高了其泛化能力，但未充分考虑Parameter-Efficient Fine-Tuning（PEFT）的最新进展。因此，本文引入了Low-Rank Adaptation（LoRA）在少样本适应学习中，并在11个数据集上展示了其潜力，与最先进的基于prompt和adapter的方法进行对比。令人惊讶的是，我们的简单CLIP-LoRA方法在所有目标任务（所有数据集和样本数）上保持相同的超参数的同时，显著提高了性能。当然，我们的结果并不否定普遍学习和基于适配器的研究的潜力，但我们相信我们的强基准方法可用于评估少样本VLMs中这些新兴主题的进展。

Abstract

Recent progress in the few-shot adaptation of Vision-Language Models (VLMs) has further pushed their generalization capabilities, at the expense of just a few labeled samples within the target downstream task. However, this promising, already quite abundant few-shot literature has focu

发现论文，激发创造

良好的提示价值数百万个参数：面向低资源的基于提示的视觉语言模型学习

本论文研究了基于prompt的低资源视觉语言（VL）任务few-shot学习。对大规模预训练的VL模型进行了实验，证明FewVLM在VQA任务上的效果优于Frozen，而且能够达到比更大的模型PICa相当的结果。

Oct, 2021

定位潜在更新用于微调视觉语言模型

提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。

Dec, 2022

视觉-语言模型的黑盒少样本适应

本文提出了一种黑盒方法Linear Feature Alignment（LFA）实现预处理图像和文字特征对齐，无需访问模型权重、训练速度快、可用于有监督和无监督训练，甚至可以用于对齐单模型计算出的图像和文本特征。在11个图像和2个视频数据集上进行的广泛实验表明，我们的方法甚至可以超过软提示学习方法。

Apr, 2023

提高视觉语言模型的适应性和泛化能力的有效传递学习

利用视觉提示进行类别可分性和使用文本适配器进行任务适应的结合对于适应性和泛化性至关重要；我们提出了一种自适应集成方法，根据迁移难度有效地结合了VLMs的通用知识和任务特定知识，该方法在广泛的基准测试中始终优于所有基准线，尤其是在未知任务上表现出了其有效性。

Nov, 2023

大型语言模型是低样本图像分类的良好触发器学习者

通过整合大型语言模型（LLMs）提升预训练视觉-语言模型（VL）在低样本图像分类中的能力，提出了大型语言模型作为提示学习者（LLaMP）的方法，并在11个数据集上的零样本和小样本图像分类任务中取得了更好的性能。

Dec, 2023

重新参数化的低秩提示：在0.5K参数范围内泛化视觉语言模型

通过重新参数化低秩提示（RLP），我们设计了一种新型提示，用于高效和有效地适应基于视觉和语言的模型，并显著增加了传统提示调整的平均下游准确性，仅使用0.5K的参数。

Dec, 2023

大型视觉语言模型的少样本自适应研究

通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。

Dec, 2023

双重记忆网络：视觉语言模型的通用适应方法

通过引入双重记忆网络，本文介绍了一种全能的适应性方法，可以在零样本调整、少样本调整和无需训练的少样本调整三种设置下有效工作。

Mar, 2024

哪些特点构成视觉-语言模型的好的少样本示例？

在利用预先训练的视觉-语言模型进行少样本调整以应对下游任务方面取得显著进展的同时，我们的详细实证研究突出了少样本学习结果在训练样本的精心选择上具有显著的依赖性——这是以前的研究忽视了的一个方面。本研究深入探讨了更有效的少样本训练样本选择策略的制定，与依赖随机抽样不同，以增强现有的少样本提示学习方法的潜力。为了实现这一目标，我们评估了各种主动学习技术（如熵和置信度边界）在少样本训练环境中进行实例选择的有效性。此外，我们引入了两种创新的选择方法——代表性（REPRE）和高斯蒙特卡洛（Montecarlo），旨在为与预训练的视觉-语言模型相关的标注主动定位信息丰富的样本。我们的研究结果表明，REPRE和Montecarlo在少样本训练场景中显著优于随机选择和基于主动学习的策略。该研究还强调了这些实例选择方法的模型无关性，为广泛的少样本训练方法提供了灵活的增强。

May, 2024

视觉语言模型易于执行时适应的令人沮丧的测试

研究表明，零温度的TTA方法（ZERO）能够在只进行一次前向传播的情况下，准确性大大超过或与现有技术相当，且速度约为10倍快，内存占用约为13倍少。

May, 2024