Prompt, Generate, then Cache: 基础模型级联，打造强大的小样本学习器

CVPRMar, 2023

Prompt, Generate, then Cache: 基础模型级联，打造强大的小样本学习器

Prompt, Generate, then Cache: Cascade of Foundation Models makes Strong Few-shot Learners

Renrui Zhang, Xiangfei Hu, Bohao Li, Siyuan Huang, Hanqiu Deng...

TL;DR本文介绍了一种基于深度神经网络的 CaFo 模型，它将各种不同的预训练模型知识进行融合，结合 CLIP、DINO、DALL-E 和 GPT-3 的优势，通过 Prompt、Generate、Cache 的工作流程来拓展预训练语言和视觉知识，最终实现在少样本学习场景中的最新研究成果。

Abstract

Visual recognition in low-data regimes requires deep neural networks to learn generalized representations from limited training samples. Recently, clip-based methods have shown promising few-shot performance bene

few-shot learning pre-training paradigms deep neural networks clip cafo

发现论文，激发创造

预训练模型合作提高 Few-shot 学习性能

本文提出 CoMo 模型，利用预训练模型中的知识嵌入到 few-shot 分类中，包括 CLIP 的语言对比知识、DINO 的视觉对比知识和 DALL-E 的语言生成知识，通过学习多种知识方法，本文展示了在 11 个数据集上的优越性和泛化能力。

Sep, 2022

基于字幕基础模型的少样本动作识别

通过 CapFSAR 框架，我们利用预训练的多模态基础模型的知识，从合成描述中提取视觉特征和相关文本嵌入，并设计了基于 Transformer 的视觉文本聚合模块，以在低样本情况下实现更全面的分类。在多个标准的少样本基准实验中，我们的 CapFSAR 方法表现优于现有方法，并达到了最先进的性能。

Oct, 2023

深度交互的跨模态提示学习

本文提出了一种基于 CLIP 的深度交互式跨模态提示学习（DCP）方法，可实现视觉和语言之间的灵活相互作用，通过良好连接的多头注意力模块逐步强且稳定地交换各自的表示，并在 11 个图像分类数据集上进行综合少样本学习实验和域自适应能力分析，实验结果显示 DCP 表现出了超凡的少样本泛化性能和具有吸引力的域适应能力。

May, 2023

优化语义关联微调的少样本 CLIP

通过对关注池化层进行微调，强调任务特定语义信息的注意力分布，以提高普通少样本学习的 CLIP 模型的效果。

Nov, 2023

并非所有特征都重要：自适应先验精化增强少样本 CLIP

本文提出了一种自适应先验精细化方法 APE，通过先验精细化模块分析下游数据中的类间差异，将领域特定知识与 CLIP 提取的缓存模型分离，进而在轻量化的类别残差模块的支持下，探究测试图像、先前缓存模型和文本表示之间的三元亲和性，并通过 APE 和 APE-T 这两种模型实现了在 11 个基准数据集上超过第二名 +1.59% 和 +1.99% 的最优性能，且它们使用的学习参数比第二名少 30 倍。

Apr, 2023

CoCa: 对比式字幕生成模型是图像文本基础模型

本文介绍了一种名为 CoCa 的对比式注解器，它使图像和文本的编码器和解码器能够预先训练。与标准的编码器 - 解码器变压器不同的是，在解码器的前半段中省略跨关注，以编码单模态文本表示形式，并级联其余解码器层，以便对图像编码器进行跨模态图像文本表示形式的跨关注。CoCa 以无缝方式将所有标签视为文本进行训练，并在各种视觉任务上实现了最先进的性能。

May, 2022

视觉语言模型的领域泛化鲁棒微调

在具有有限训练数据并在分布转变下无法有效推广的情况下，传统的迁移学习方法效果有限。然而，最近的基础模型在分布转变下表现出了令人印象深刻的零样本推理能力和鲁棒性。为了解决这些问题，在此提出了一种适用于流行的视觉 - 语言基础模型 CLIP 的小样本微调方法，并对具有现实分布转变的具有挑战性的基准数据集进行了评估。实验证明，在训练数据供应的各个级别上，与只有视觉的模型相比，少样本 CLIP 微调在内部分布准确性和外部分布准确性方面表现更好，这为在使用真实世界数据的小样本学习应用中采用基础模型提供了强有力的动机。

Nov, 2023

使用冻结语言模型的多模式小样本学习

通过对齐图像和标题数据，我们训练一个视觉编码器将每个图像表示为一系列连续的嵌入，并使用预先训练的冻结语言模型来生成相应的标题，从而将这种少量样本学习能力转移至多模态设置。该系统是一种多模态少样本学习模型，具有学习各种新任务的惊人能力，如用只有少数几个样例进行视觉问答，或者利用外部知识。

Jun, 2021

DenseCLIP: 基于语言引导的密集预测和上下文感知提示

本文提出了一种框架，通过使用 CLIP 的预训练知识的隐式和显式方法来进行密集预测，是一种模型不可知的方法，可应用于任意密集预测系统和各种预训练视觉 Backbones，包括 CLIP 模型和 ImageNet 预训练模型，实证实验表明，我们的方法在语义分割，目标检测和实例分割任务上具有优越的性能。

Dec, 2021

民主化对比语言 - 图像预训练：一个数据、模型和监督的 CLIP 基准

本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

Mar, 2022