这篇文章介绍了一种基于贝叶斯概率理论的视觉 - 语言预训练模型关键词学习方法，该方法通过优化可视化知识和充分利用图像与相应提示的语义联系，在充分表达不同特性的同时保证泛化性能，该方法具有良好的转移性能和泛化性能，结果表明该方法比一般的提示工程技术更加优秀。

Mar, 2023

通过敏感性分析调查语言模型的提示作用，揭示只有少数词汇对模型预测产生了很大影响，并基于此设计了 Clustering and Pruning for Efficient Black-box Prompt Search (ClaPS) 搜索方法，该方法在搜索空间中引入聚类和修剪，集中关注具有影响力的提示词汇。通过在修剪后的搜索空间中应用简单的搜索方法，ClaPS 在各种任务和语言模型上达到了最先进的性能，超越了复杂方法的性能，并显著降低了搜索成本。该研究突出了搜索空间设计和优化在提升黑盒提示学习的实用性和效率方面的关键作用。

Oct, 2023

自从大规模语言模型出现以来，启发式学习已成为优化和定制这些模型的流行方法之一。本文介绍了元启发式方法作为一种潜在的提示学习方法，并测试了六种典型方法的有效性，展示了它们在黑盒提示学习和经过论证的提示调优中的功效，并表明这些方法可以用于发现以前未知的更容易理解的提示，从而开辟了提示优化的众多可能性。

Nov, 2023

基于模拟优化，提出了一个两阶段框架以实现生成语言模型的提示选择，该框架能够在评估和选择阶段中构建代表提示的中等维度向量的得分模型，并证明了该框架中的顺序评估过程的一致性。数值实验证明了此框架的有效性，为实施提供了实际指导。

Apr, 2024

PromptAgent 是一个优化方法，可以自动产生与专家级相等质量的提示，基于蒙特卡罗树搜索实现了对专家级提示的策略性规划和精确的领域洞察。

Oct, 2023

自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。

Feb, 2024

本文提出了一种针对预训练语言模型的黑盒离散提示学习方法，实现了在云端和边缘设备之间的高效协作，并在此基础上对各种数据大小、提示长度、训练预算、优化目标、提示可转移性和解释方面进行了深入的案例研究，证明了该算法在 8 个基准测试中取得了显著的改进。

Jan, 2022

本文提出了 PromptBoosting，一种由神经语言模型（LM）构建文本分类器的高效查询过程，其通过无梯度、无隐藏表示获取 LM 分类器的表现。该方法在黑盒分类器训练中越来越重要，并通过梯度自由方法获得一小组提示，并将其与 LM 输出分布的不同元素配对以建立大量弱学习器，然后使用 AdaBoost 算法将这些弱学习器整合。该学习方法仅需要进行少量前向传递和无反向传递的过程。实验表明，PromptBoosting 可在多个黑盒少样本分类任务中实现最先进的性能，并与完全微调方法在少样本和标准学习范式中达到或超过前者的表现，同时比现有黑盒方法训练速度快 10 倍。

Dec, 2022

本文提出了一种自动优化提示技术（APO）来改进 Large Language Models（LLMs）的图灵能力，APO 采用数值梯度下降的方法来自动更改提示语并带来了很大的效率提升和预测性能的提升。

May, 2023

本研究旨在探索大规模语言模型用于信息检索的零 - shot 重排问题。我们提出了一种新颖的离散提示优化方法 Co-Prompt，并将其应用于零 - shot 重排任务中。实验表明，Co-Prompt 相对于基线有着卓越的重排表现，并且生成更易于人理解的提示。

May, 2023