利用双重对齐提示调整 (DuAl-PT)，结合大规模视觉语言模型和预训练大型语言模型，在少样本识别和基于新样本泛化上取得了卓越的性能，为未来研究提供了强有力的基准。

Sep, 2023

本文提出一种名为 CoPrompt 的 fine-tuning 方法，用于提高大规模 foundation 模型在 few-shot 场景下 fine-tuning 过程中的泛化能力，实现方法包括强制任务输出一致性约束、在两个受扰动的输入之间进行一致性约束、并结合提示和适配器两种调整模式的优势来调整额外参数。实验表明，CoPrompt 在基于新颖类别、领域泛化以及跨数据集评估任务上均优于现有方法。

Jun, 2023

本文探讨使用独立学习的提示符是否可以通过提示代数，组合不同任务的模型。我们考虑使用提示调整的视觉语言模型 (VLM) 作为我们的基本分类器，形式化地定义提示代数的概念，提出了约束提示调整来改善复合分类器的性能。我们证明了我们方法的有效性对象分类和属性分类数据集，我们的复合模型平均准确度与最佳基本模型相差不到 2.5％，在 UTZappos 上，平均提高了 8.45％分类准确率。

Jun, 2023

视觉语言模型通过大规模训练数据学习了一种通用的文本 - 图像嵌入。通过少量样本的提示调整，可以将视觉语言模型适应到新的分类任务中。我们发现，这种提示调整过程对标签噪声非常稳健，且具有鲁棒性。

Jul, 2023

本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。

Jun, 2023

本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

Dec, 2022

该论文提出了一种基于提示正则化的新模式，用于在下游任务中微调大规模视觉语言预训练模型。通过提示预训练模型进行预测，来规范微调，从而保持其对迁移领域的高性能。同时，通过引入 Kullback-Leibler 损失等手段，自适应权衡预训练与下游任务训练过程中的差异，进一步提高模型性能。

Jan, 2023

该研究纸针对一个新颖的权衡问题，即在视觉语言模型（VLM）的可推广提示学习中，提高对未知类别的性能同时保持对已知类别的性能。通过分析当前方法和广泛使用的锐度感知最小化（SAM）的损失地形，我们得出结论：权衡性能与损失值和损失锐度相关，而两者都是必不可少的。然而，我们发现现有方法的优化梯度在整个优化过程中不能始终保持与损失值和损失锐度的高一致性。因此，我们提出了一种基于 SAM 的新方法，称为梯度约束锐度感知上下文优化（GCSCoOp），以动态约束优化梯度，从而同时实现上述的两个优化目标。广泛的实验证实了 GCSCoOp 在权衡问题上的有效性。

Sep, 2023

通过引入 Adversarial Prompt Tuning (AdvPT) 技术，本研究旨在提升视觉 - 语言模型中图像编码器的对抗性鲁棒性，改善对抗攻击的脆弱性，并且结合现有的基于图像处理的防御技术，进一步提高其防御能力。

Nov, 2023

本文介绍了一种新的 PrOmpt cLass lEarning (POLE) 策略，在弱监督语义分割（WSSS）问题上实现最先进的性能，并强调了语言 - 视觉模型在 WSSS 中的优势和提示学习在该问题中的潜力。

Jun, 2023