视觉 - 语言模型中零 - shot 泛化的测试时提示调整

Sep, 2022

视觉 - 语言模型中零 - shot 泛化的测试时提示调整

Test-Time Prompt Tuning for Zero-Shot Generalization in Vision-Language Models

Manli Shu, Weili Nie, De-An Huang, Zhiding Yu, Tom Goldstein...

TL;DR本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示，以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。

Abstract

Pre-trained vision-language models (e.g., CLIP) have shown promising zero-shot generalization in many downstream tasks with properly designed text prompts. Instead of relying on hand-engineered prompts, recent wo

vision-language models zero-shot generalization test-time prompt tuning adaptive prompts image classification

发现论文，激发创造

冻结视觉语言模型的测试时视觉识别中的上下文提示学习

通过测试样本的无监督目标，在视觉识别任务中使用上下文提示学习来适应预训练的视觉 - 语言模型，并取得了在各种下游数据集上的有效结果。

Mar, 2024

对齐您的提示：基于分布对齐的零样本泛化的测试时提示

通过减小分布偏移，将零样本泛化的视觉 - 语言模型在未见领域中的性能提升了 3.08%，并且在跨数据集泛化的情况下，在所有数据集上相对于现有的最先进方法有一致的改进。

Nov, 2023

有效测试时间提示调整的多样化数据增强与扩散

使用 DiffTPT 方法通过利用预训练扩散模型生成多样且信息丰富的新数据，结合常规方法和预训练稳定扩散的增强数据，选择与单个测试样本更相似的生成数据以提高预测准确度，证明 DiffTPT 方法能够提高零样本准确率。

Aug, 2023

C-TPT：基于文本特征离散度的视觉 - 语言模型校准测试时提示调整

通过观察我们发现，测试时间提示选择显著影响 CLIP 的校准，其中导致更高的文本特征分散的提示导致更好校准的预测。介绍了平均文本特征分散（ATFD），建立了它与校准误差的关系，并提出了一种新的方法，即校准的测试时间提示调整（C-TPT），以增强校准能力。通过对不同的 CLIP 架构和数据集进行广泛实验，我们显示 C-TPT 可以有效地提高测试时间提示调整的校准能力，而无需标记的数据。

Mar, 2024

关于视觉语言模型的测试时零样本泛化：我们真的需要提示学习吗？

通过研究大型视觉 - 语言模型，特别是 CLIP，有效的调整技术，主要关注软提示调整，这催生了一系列研究。与此同时，测试时数据增强正在成为一个重要的研究领域，它利用图像的多个增强视角来增强零样本泛化能力。相反，我们提出了一种用于测试时数据增强的稳健均值漂移（MTA）方法，它超越了基于提示的方法，而无需进行繁琐的训练过程。此方法是独立和基于 API 的应用的理想解决方案。此外，我们的方法不依赖于一些先前测试时数据增强技术中使用的临界规则（例如置信度阈值）来过滤增强视角。相反，MTA 将每个视角的质量评估变量直接融入其优化过程中，称为内在得分。这个得分与密度模式寻找过程一起进行优化，从而实现了一种高效的无需训练和调整超参数的方法。我们在 15 个数据集上进行了广泛的基准测试，并展示了 MTA 的优越性和计算效率。MTA 可以轻松部署在零样本模型和最新的少样本方法之上，展示了系统和一致的改进。

May, 2024

为何视觉 - 语言模型的提示调整对噪声标签具有鲁棒性？

视觉语言模型通过大规模训练数据学习了一种通用的文本 - 图像嵌入。通过少量样本的提示调整，可以将视觉语言模型适应到新的分类任务中。我们发现，这种提示调整过程对标签噪声非常稳健，且具有鲁棒性。

Jul, 2023

基于知识的提示调优通用视觉语言模型

通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。

Aug, 2023

测试时间域自适应的视觉提示调控

本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案 (Data-efficient Prompt Tuning，DePT)，其使用镜像学习方式将交互式提示信息细化到视觉 Transformer 模型中，在测试时自适应调整模型引用的提示以提升模型对目标域的表示，且具有适用于许多测试适应问题的能力。

Oct, 2022

CPT：用于预训练视觉语言模型的彩色提示调节

该研究提出 Cross-modal Prompt Tuning，一种基于图像和文本的填空问题的视觉定位模型调参范式，能够在少量标记数据下使模型具有强大的零样本或少样本学习能力，实现了视觉与语言的理解与应用。

Sep, 2021

用于视觉语言预训练模型的近似提示调优

本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。

Jun, 2023