视觉语言模型的低秩少样本适应

May, 2024

Low-Rank Few-Shot Adaptation of Vision-Language Models

Maxime Zanella, Ismail Ben Ayed

TL;DR近期关于 Vision-Language Models（VLMs）的少样本适应研究进展大大提高了其泛化能力，但未充分考虑 Parameter-Efficient Fine-Tuning（PEFT）的最新进展。因此，本文引入了 Low-Rank Adaptation（LoRA）在少样本适应学习中，并在 11 个数据集上展示了其潜力，与最先进的基于 prompt 和 adapter 的方法进行对比。令人惊讶的是，我们的简单 CLIP-LoRA 方法在所有目标任务（所有数据集和样本数）上保持相同的超参数的同时，显著提高了性能。当然，我们的结果并不否定普遍学习和基于适配器的研究的潜力，但我们相信我们的强基准方法可用于评估少样本 VLMs 中这些新兴主题的进展。

Abstract

Recent progress in the few-shot adaptation of Vision-Language Models (VLMs) has further pushed their generalization capabilities, at the expense of just a few labeled samples within the target downstream task. However, this promising, already quite abundant few-shot literature has focu

few-shot adaptation vision-language models (vlms)parameter-efficient fine-tuning (peft)low-rank adaptation (lora)clip-lora method

发现论文，激发创造

视觉 - 语言模型的黑盒少样本适应

本文提出了一种黑盒方法 Linear Feature Alignment（LFA）实现预处理图像和文字特征对齐，无需访问模型权重、训练速度快、可用于有监督和无监督训练，甚至可以用于对齐单模型计算出的图像和文本特征。在 11 个图像和 2 个视频数据集上进行的广泛实验表明，我们的方法甚至可以超过软提示学习方法。

Apr, 2023

FLoRA：利用参数高效的联邦学习增强视觉语言模型

该论文提出了一种融合 Federated Learning 和 parameter-efficient adapters (LoRA) 的方法，以训练视觉语言模型 (VLMs)，该方法通过在分散的数据源上训练模型来保护数据隐私，并通过 LoRA 的参数高效微调来确保模型的适应性和效率。该方法加快了训练速度，比全面微调节省了 2.47 倍的内存使用。

Apr, 2024

AdvLoRA: 视觉 - 语言模型的对抗低秩适应

通过大量实验，我们展示了传统的视觉 - 语言模型（VLMs）所采用的常规适应方法的脆弱性，这可能带来重大的安全风险。此外，随着 VLMs 规模的增加，对 VLMs 进行传统的对抗性适应技术会带来高计算成本。为了解决这些问题，我们提出了一种名为 AdvLoRA 的参数高效对抗性适应方法，通过低秩适应进行了改进，设计了一种基于参数聚类和参数对齐的新型重新参数化方法，进一步提高了鲁棒性，解决了模型安全性和资源浪费问题。通过大量实验证明了 AdvLoRA 的有效性和高效性。

Apr, 2024

大型视觉语言模型的少样本自适应研究

通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。

Dec, 2023

提高视觉语言模型的适应性和泛化能力的有效传递学习

利用视觉提示进行类别可分性和使用文本适配器进行任务适应的结合对于适应性和泛化性至关重要；我们提出了一种自适应集成方法，根据迁移难度有效地结合了 VLMs 的通用知识和任务特定知识，该方法在广泛的基准测试中始终优于所有基准线，尤其是在未知任务上表现出了其有效性。

Nov, 2023

元适配器：一个用于视觉 - 语言模型的在线少样本学习者

提出了 Meta-Adapter 方法，它是一种轻量级的残差式适配器，通过在线学习利用少量样本来优化 CLIP 特征，从而实现有效的少样本学习能力和泛化到未见过的数据或任务的能力，并取得了竞争性的性能和高效率。

Nov, 2023

多模态基础模型的小样本自适应：综述

多模态模型的少样本适应方法在医学成像等领域仍有待提高，研究者提出了基于提示、适配器和外部知识的三种技术方法，本论文对这些方法进行了综述及对比，并推导出了多模态模型少样本适应的泛化误差界限及相应解决方案。

Jan, 2024

定位潜在更新用于微调视觉语言模型

提出一种轻量级的适配器方法，通过更新预测接近观察数据点的模型以加快更新速度，并保持经典微调方法外数据的正确性，以实现在小样本学习领域中，在训练过程中看得到和看不到的类别上结果均与或优于现有技术水平。

Dec, 2022

基于大型语言模型的高效少样本临床任务适应

通过部分冻结的简单微调变体和上下文化标签，提出了一种在有限样本大小下超越传统微调方法的方法，从而显著提高了医学图像的语义嵌入区分度，使得在 1-shot 设置下与常用的 one-hot 标签和其他语义监督方法相比性能提高了 3%-5%。

Dec, 2023

VL-Adapter：用于视觉语言任务的参数效率转移学习

本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

Dec, 2021