研究使用变分推理解决 Empirical Risk Minimization 在 prompt learning 中的分布偏移问题，在 15 个用例中通过 Bayesian prompt learning 实现了更好的泛化性能。
Oct, 2022
本文系统概述了在三种类型的视觉 - 语言模型上的提示工程的前沿研究，包括多模式到文本生成模型、图像 - 文本匹配模型和文本 - 图像生成模型，并总结和讨论了模型概要、提示方法、基于提示的应用以及相关的责任和完整性问题。此外，还讨论了在提示对视觉 - 语言模型、语言模型和视觉模型的共同点和差异，并对挑战、未来方向和研究机会进行了总结，以推动未来对此主题的研究。
Jul, 2023
该研究旨在在零 - shot 设置中找到高质量的 prompt。我们的自动化方法使用位置、推理和释义技术生成多个与基本 prompt 类似的 prompt，然后使用新的度量标准对这些 prompt 进行排名。我们实验证明，排名靠前的 prompt 是高质量的，显著优于基本 prompt 和使用 few-shot learning 生成的 prompt，适用于句子级情感分类任务。
May, 2023
本研究证实了即使是故意无关或甚至有误导性的提示，也可以让一些零样本或少样本学习模型像 “好” 的提示一样快地进行学习，这一模式适用于模型尺寸大小，这引出一个问题，问这种改进是不是源于模型像人类一样理解掌握任务提示。
Sep, 2021
本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。
Sep, 2022
这篇文章介绍了一种基于贝叶斯概率理论的视觉 - 语言预训练模型关键词学习方法，该方法通过优化可视化知识和充分利用图像与相应提示的语义联系，在充分表达不同特性的同时保证泛化性能，该方法具有良好的转移性能和泛化性能，结果表明该方法比一般的提示工程技术更加优秀。
Mar, 2023
利用贝叶斯框架中的 Prompt 学习方法，通过建模数据相关先验，减轻少样本学习中的过拟合问题，提高提示信息对未知样例的适应性，并展示相对现有方法在基准数据集上显著性能改进的统计结果。
Jan, 2024
本文探讨了如何利用未标记的数据以提高自然语言处理任务的零样本性能，并通过规范提示一致性来鼓励模型的一致预测，并取得了实验结果上的进展和成果。
Apr, 2022
通过进一步采用指令跟随技术来提取具有综合转移知识的指导性视觉提示，以解决固定学习提示在已知领域上过分强调训练期间观察到的主要视觉特征的问题，并通过引导学习的指令提示来实现对视觉表示的反向校正，从而弥补缺失的视觉细节并消除跨模态差异，为未知领域的泛化带来显著性能提升。
Jun, 2024
本文提出一种叫做测试时提示调整 (TPT) 的方法，可在单个测试样本上实时学习适应性提示，优化提前提供的 CLIP 模型动态调整提示， 以最小化模型预测时的不确定度，提高 CLIP 模型的泛化能力。实验结果表明，TPT 方法在自然情况下的 zero-shot top-1 准确率比以往方法的提升 3.6％，并达到了使用额外培训数据的最新先进方法的性能水平。