检索增强的视觉提示学习用于少样本分类

Jun, 2023

检索增强的视觉提示学习用于少样本分类

Retrieval-Enhanced Visual Prompt Learning for Few-shot Classification

Jintao Rong, Hao Chen, Tianxiao Chen, Linlin Ou, Xinyi Yu...

TL;DR本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

Abstract

prompt learning has become a popular approach for adapting large vision-language models, such as CLIP, to downstream tasks. Typically, prompt learning relies on a fixed prompt token or an input-conditional token

prompt learning retrieval-enhanced prompt learning vision-language models domain gap few-shot setting

发现论文，激发创造

解耦知识与记忆：基于检索增强的提示学习

RetroPrompt 是一种用于自然语言处理的新型学习方法，可有效缓解模型在学习过程中存在的记忆化问题，进而提高其泛化能力并在少样本场景中表现良好。

May, 2022

视觉语言提示学习中的重参数化编码器

PRE 是一种简单而高效的方法，通过使用一种 prompt 编码器来重新参数化输入 prompt 嵌入，从而增强对从少量样本中探索任务特定知识的能力，其在新类上实现了 5.60% 的平均准确率提升和 3% 的调和平均数提升。

Sep, 2023

分布式学习

提出了基于提示分布学习的方法，从而通过有效地适应先前训练的视觉 - 语言模型来处理下游的识别任务，该方法不仅从少量样本中学习低偏差的提示，而且还捕获多种提示的分布以处理不同的视觉表示。

May, 2022

视觉语言模型的无监督提示学习

本文提出了一种无监督提示学习（UPL）方法，以避免提示工程并同时提高类似 CLIP 的视觉语言模型的传递性能。该方法实验结果显示，在 ImageNet 以及其他 10 个数据集上，与原始 CLIP 相比，UPL 具有更优秀的传输表现，并且增强版的 UPL 在大多数数据集上甚至能够与 8-shot CoOp 和 8-shot TIP-Adapter 竞争。

Apr, 2022

视觉语言理解的情境提示学习

本文提出一种叫做上下文提示学习的框架，用于多模态学习中训练可对齐图像本地化特征并且能够适应当前任务的动态提示，通过应用于多个标准和少样本数据集上展示了比现有技术方法更优越的性能和强大的适用性。

Jul, 2023

语义残差指令用于持续学习

通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

Mar, 2024

在像素级别释放视觉提示的威力

本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

Dec, 2022

短文本分类的 Prompt-Learning

本文介绍了基于知识拓展的 Prompt-learning 方法来解决短文本分类中的标签扩展问题，并在三个著名数据集上实验，结果比其他方法均取得了显著提高。

Feb, 2022

仅使用文本监督在视觉 - 语言模型中学习提示

本研究提出了一种使用仅文本数据学习通用提示的方法，通过将 LLL（large language models）中的上下文数据映射到学习到的提示中，实现了零样本转移，并在 4 个基准测试上进行了广泛评估。

Jan, 2024

小样本图像识别的语义提示

该研究提出了一种基于语义提示的适应性视觉特征提取方法，通过在空间和通道维度插入语义提示来提高视觉特征提取器的处理能力，从而在极少量的支持样本下，实现更好的类别特定特征捕捉和更广泛的图像表示。

Mar, 2023