本文提出了一种基于事件中心预训练的生成式方法，其使用预先训练的语言模型 Fine-Tune 并通过对序列可能性的预测进行预测，从而软建模事件之间的关联。

Dec, 2022

通过对语言模型的提示和降低困惑度等优化，可以改善模型在 zero-shot 学习中的性能。

Dec, 2022

基于 Context Optimization (CoOp) 的 Prompt tuning 方式可通过推断附加可学习的提示符令牌来有效地调整视觉 - 语言模型（VLMs）以适应下游任务。然而，这些令牌由于与预训练的令牌无关且无法捕捉特定于输入的知识，如类别感知的文本或实例感知的视觉知识，因此没有足够的区分性。因此，我们提出了一种名为 Self-Enhanced Prompt Tuning (SEP) 的新方法，通过从相应的自预训练的令牌中调整每个编码器层的可学习提示符令牌，从而明确地将区分性先验知识融入文本级别和视觉级别的嵌入中以增强性能。SEP 的自增强令牌不仅增强了区分性，还减轻了未见域中的领域转移，提高了泛化能力。在实践中，SEP 为每个输入数据在文本 / 视觉编码器的每个层级上选择几个代表性令牌。随后，引入了一个 Token Fusion Module (TFM)，通过使用交叉注意机制将这些代表性令牌与可学习令牌合并，生成一个自增强令牌。这个自增强令牌随后与所有预训练令牌连接，作为后续编码器层的输入，生成相关的嵌入。通过在各种基准和任务上进行全面评估，证实了 SEP 在提示调整中的有效性。

May, 2024

提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

Oct, 2022

这篇文章介绍了一种基于贝叶斯概率理论的视觉 - 语言预训练模型关键词学习方法，该方法通过优化可视化知识和充分利用图像与相应提示的语义联系，在充分表达不同特性的同时保证泛化性能，该方法具有良好的转移性能和泛化性能，结果表明该方法比一般的提示工程技术更加优秀。

Mar, 2023

该研究论文调查和组织了一种新兴的自然语言处理范式，这种范式被称为 “基于提示的学习”，并在其中介绍了其基础知识和数学符号，以及其在预训练模型、提示和调整策略等方面的相关研究成果，该框架通过使用模板将输入 x 修改为具有一些未填充信息的文本字符串提示 x'，并将语言模型用于填充未填充信息以获得最终字符串 x，从而实现零样本学习和少样本学习。

Jul, 2021

我们介绍了一种名为 I-Prompt 的方法，它是一种与任务无关的方法，专注于图像令牌的视觉语义信息，以消除任务预测，并在四个基准测试中达到了竞争性能，同时与最先进的方法相比显著减少了训练时间。通过大量实验，我们证明了我们的方法在各种场景下的优越性。

Mar, 2024

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

研究使用变分推理解决 Empirical Risk Minimization 在 prompt learning 中的分布偏移问题，在 15 个用例中通过 Bayesian prompt learning 实现了更好的泛化性能。

Oct, 2022

本文提出了一种基于实例的提示学习方法，用于不同实例的学习。该方法在双向和单向的 PLMs 上得到了相当大的提升，并在 SuperGLUE few-shot learning 基准测试上实现了最好的结果。

Jan, 2022