提出了一种自适应多模式提示学习方法，通过同时考虑样本内外的泛化性和掩盖无意义的图像区域来解决当前提示学习方法存在的局限性，实验结果表明该方法在不同下游任务中优于现有方法。

Nov, 2023

这篇文章介绍了一种基于贝叶斯概率理论的视觉 - 语言预训练模型关键词学习方法，该方法通过优化可视化知识和充分利用图像与相应提示的语义联系，在充分表达不同特性的同时保证泛化性能，该方法具有良好的转移性能和泛化性能，结果表明该方法比一般的提示工程技术更加优秀。

Mar, 2023

這篇論文介紹了一種新的提示策略 ——BatchPrompt，以增強語言模型的效能，並通過 Self-reflection-guided EArly Stopping 來減少額外的 token 使用。

Sep, 2023

提出了 ConvPrompt，一种新颖的卷积提示创建机制，通过维护逐层共享的嵌入，实现了层特定学习和更好的概念传递，从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积的智能化利用，可以保持较低的参数开销而不影响性能，并通过大型语言模型生成每个类别的细粒度文本描述，用于获取任务相似性并动态决定要学习的提示数量。在广泛的实验证明了 ConvPrompt 的优越性，并显著提高了 SOTA 约 3%，参数开销更少。同时进行了强有力的模块剥离以剖析不同组成部分的重要性。

Mar, 2024

利用最优传输的多模式令牌级调优框架，发现了多种视觉概念，实现了精确的语义对齐，优于传统方法。

Sep, 2023

通过引入一种单阶段的 PCL 框架，将中间层的标记嵌入作为提示查询，消除了查询 ViT 的额外前馈阶段，从而在训练和推理中将计算成本降低了约 50%，准确度仅下降不到 1%。此外，引入了查询池正则化损失（QR 损失），用于改进提示查询和提示池之间的关系，该损失仅在训练时应用，因此在推理阶段没有计算开销。通过引入 QR 损失，我们的方法在推理过程中仍然保持了约 50% 的计算成本降低，并且在包括 CIFAR-100、ImageNet-R 和 DomainNet 在内的公共类增量连续学习基准测试中优于之前的两阶段 PCL 方法约 1.4%。

Feb, 2024

我们介绍了一种名为 I-Prompt 的方法，它是一种与任务无关的方法，专注于图像令牌的视觉语义信息，以消除任务预测，并在四个基准测试中达到了竞争性能，同时与最先进的方法相比显著减少了训练时间。通过大量实验，我们证明了我们的方法在各种场景下的优越性。

Mar, 2024

通过在 Continual Learning 中引入 Prompt-tuning 方法，以更稳定的选择策略和适应机制，提出了一种能够优于最先进的方法的新模型，即使在与预训练模型存在显著领域差异的数据集上也适用。

Mar, 2024

使用深度学习进行医学图像分析时，由于有限的标记数据和高昂的注释成本，往往面临挑战。本文提出了一种将选择性标记与提示调整相结合的框架（SLPT），以提高有限标签下的性能，同时保持预训练模型不变，通过仅使用有限标记数据对这些参数进行更新。该框架包括了一个特征感知提示更新器，以引导提示调整，并采用基于提示的不确定性的无监督多样性选择和有监督选择。此外，我们提出了一种多样化的视觉提示调整策略，为选择性标记提供多提示的不同预测。在肝肿瘤分割任务上，我们的方法取得了最先进的性能，仅使用可调参数的 6%，仅标记了 5% 的数据即可达到全数据性能的 94%。

Aug, 2023

本研究提出了分区多模态提示方法（PMPO），将软提示从单个可学习提示扩展到多个提示，以捕获视觉表示的分层上下文深度。此外，我们结合手动设计的模板和可学习的多提示，以提高方法的泛化能力，并在新类别概括、跨数据集评估和领域泛化等三项具有挑战性的任务上验证了它的有效性。

May, 2023