通过对视觉提示学习的后门攻击 (BadVisualPrompt)，我们发现对模型、提示和输入等级的七种后门防御都要么无效，要么不切合实际，从而表明了视觉提示学习 (VPL) 的关键性漏洞。

Oct, 2023

利用贝叶斯框架中的 Prompt 学习方法，通过建模数据相关先验，减轻少样本学习中的过拟合问题，提高提示信息对未知样例的适应性，并展示相对现有方法在基准数据集上显著性能改进的统计结果。

Jan, 2024

本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

Dec, 2022

我们研究了视觉提示在强大源模型下的性能表现，并提出了一种名为 Prompt Boundary Loose (PBL) 的新技术来有效减轻在标准准确性上的次优结果，同时使用强大模型作为源模型不会丧失（甚至明显改善）其对抗性鲁棒性。在多个数据集上的广泛实验证明了我们发现的泛用性，并展示了我们提出方法的显著优势。

Nov, 2023

通过引入可学习的标记，VPA（Visual Prompt Adaptation）作为一个框架通过测试时间的自适应实现了视觉提示的普遍性，且不需要源领域信息，实验结果表明 VPA 有效提高了各种模型的历程泛化、抗干扰性和领域适应能力，以及对视觉 - 语言模型的零样本识别性能的鲁棒性改进。

Sep, 2023

以視覺提示（VP）作為研究對象，本文提出了 AutoVP 框架，用於自動化 VP 設計選擇，同時評估其性能。通過對 12 個下游圖像分類任務進行綜合性能評估，實驗結果顯示 AutoVP 優於當前已知 VP 方法，並提供了高達 6.7％的準確率改進和最高 27.5％的性能增益。

Oct, 2023

通过学习二维提示令牌映射来进行图像分类的细粒度提示，以模型化输入图像的空间关系和提高有效提示能力。

Dec, 2023

本文针对视觉 - 语言模型中的文本提示有限，现有视觉提示方法性能或训练过程不稳定的问题，提出了一种新的渐进式视觉提示结构（ProVP），并结合对比特征重构，最终获得了在 11 个基准数据集上的最佳性能。

Apr, 2023

本文研究了视觉转换器结构中 Prompt 数量对微调效果和自注意力操作的影响。通过理论和实证分析，我们发现增加 Prompt 数量并不能带来线性的性能提升。为此，我们提出 Prompt Condensation 技术来防止 Prompt 数量过多导致的性能下降，实验证明我们的方法在维持准确度的同时能减少大约 70% 的 prompts 数量。

May, 2023

我们提出了一种安全而强大的基于后门的嵌入水印方法，名为 VLPMarker，它利用嵌入正交转换来有效地将触发器注入到 VLPs 中，实现高质量版权验证并对模型性能产生最小影响。

Nov, 2023