本文介绍了如何使用CoOp, 一种基于学习来应用CLIP vision-language 模型用于下游图像识别任务的简单方法, 以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

Sep, 2021

本研究通过将多尺度图像特征集成到提示中，提出了一种对于分布偏移具有鲁棒性的提示学习方法，实验结果表明，这种方法在多个基准测试数据集上的鲁棒性和性能有所提高。

Apr, 2023

视觉语言模型通过大规模训练数据学习了一种通用的文本-图像嵌入。通过少量样本的提示调整，可以将视觉语言模型适应到新的分类任务中。我们发现，这种提示调整过程对标签噪声非常稳健，且具有鲁棒性。

Jul, 2023

通过学习大规模数据的知识，预训练的视觉-语言模型（VLMs）在各种下游任务中表现出色。本文提出了分布感知的提示微调（DAPT），通过对齐两种模态之间的特征空间，并对每种模态的嵌入进行良好排列，显著改善了模型的泛化能力。

Sep, 2023

利用双重对齐提示调整(DuAl-PT)，结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和基于新样本泛化上取得了卓越的性能，为未来研究提供了强有力的基准。

Sep, 2023

通过引入一个创新的标签对齐方法LAMM以及一个分层损失，我们的研究展示了在少样本场景中，我们的方法显著提高了现有多模态提示学习模型的性能，并在持续学习方面具有优势。

Dec, 2023

通过迭代利用图像和当前的编码信息，我们提出了一种新颖的方法——渐进式多模态条件Prompt调整（ProMPT），通过多模态提示的方式使视觉-语言特征逐步对齐，从而实现从粗糙到准确的分类。在所有设置中，广泛的实验证明了ProMPT方法相对于现有方法的优越性。

Apr, 2024

通过利用来自大型语言模型（LLM）的类别描述，我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法，以构建更加可泛化的提示，并通过在 11 个基准数据集上的全面实验验证，超越了现有方法，取得了实质性的改进。

May, 2024

通过候选伪标签学习方法（CPL）在下游任务中使用适当的候选伪标签细调视觉-语言模型（VLMs），以提高VLMs在大量无标签数据上的True标签包含能力和类别平衡实例选择效果。

Jun, 2024

本研究解决了将预训练模型适应开放类场景的挑战，尤其是在新类出现时提示的通用性不足问题。通过提出一种测试时提示调优的方法，利用最大概念匹配评分生成输入条件的提示，从而增强模型性能。实验表明，该方法在多个数据集上优于现有所有对比方法，具有显著提升效果。

Aug, 2024