作为预训练语言模型（PLM）的流行方法之一，为了解决其使用的计算成本过高的问题，我们研究了最近在自然语言处理领域中出现的一种潜在解决方案，即 prompt learning。我们发现现有的自动提示设计方法在代码智能任务中非常有限，无法达到预期效果。为了解决这两个问题，我们提出了一种名为 Genetic Auto Prompt（GenAP）的自动设计提示的细致遗传算法。GenAP 无需梯度或额外的计算成本，既无梯度又节约成本。此外，GenAP 在代码智能任务的理解和生成类型都有很好的适用性。我们对三个流行的代码智能 PLMs 进行了 GenAP 的实验，包括缺陷预测、代码摘要和代码翻译。实验结果表明，GenAP 可以有效自动化设计提示的过程，并在所有三个任务中优于其他方法（例如，缺陷预测的准确率平均提高了 2.13%）。据我们所知，GenAP 是第一个为代码智能 PLMs 自动设计提示的工作。

Mar, 2024

使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

Feb, 2021

本文提出了一种自动优化提示技术（APO）来改进 Large Language Models（LLMs）的图灵能力，APO 采用数值梯度下降的方法来自动更改提示语并带来了很大的效率提升和预测性能的提升。

May, 2023

我们研究了自动的长提示工程算法，证明了贪婪算法和遗传算法在搜索效率方面的优越性，并引入了两种利用搜索历史增强搜索算法效果的新技术。我们的研究结果表明，该算法在 Big Bench Hard 的八个任务中实现了平均 9.2% 的准确度提升，突显了自动化提示设计对充分利用 LLMs 的能力的重要性。

Nov, 2023

自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

Apr, 2024

自从大规模语言模型出现以来，启发式学习已成为优化和定制这些模型的流行方法之一。本文介绍了元启发式方法作为一种潜在的提示学习方法，并测试了六种典型方法的有效性，展示了它们在黑盒提示学习和经过论证的提示调优中的功效，并表明这些方法可以用于发现以前未知的更容易理解的提示，从而开辟了提示优化的众多可能性。

Nov, 2023

自动提示优化是改进大型语言模型性能的重要方法。本文提出了一种新颖的视角，通过与基于梯度的模型优化器进行类比，设计了改进的 LLM-based 提示优化器的策略。实验结果表明 GPO 具有有效性和高效性，并分别相对基准方法在 Big-Bench Hard 和 MMLU 上带来了多达 56.8% 和 55.3% 的额外改进。

Feb, 2024

通过敏感性分析调查语言模型的提示作用，揭示只有少数词汇对模型预测产生了很大影响，并基于此设计了 Clustering and Pruning for Efficient Black-box Prompt Search (ClaPS) 搜索方法，该方法在搜索空间中引入聚类和修剪，集中关注具有影响力的提示词汇。通过在修剪后的搜索空间中应用简单的搜索方法，ClaPS 在各种任务和语言模型上达到了最先进的性能，超越了复杂方法的性能，并显著降低了搜索成本。该研究突出了搜索空间设计和优化在提升黑盒提示学习的实用性和效率方面的关键作用。

Oct, 2023

提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

Oct, 2022

本文提出了一种称为 MetaPrompting 的通用软提示方法，它采用了公认的模型无关元学习算法来自动找到更好的提示初始化，有助于快速适应新的提示任务，并在四个不同的数据集上取得了显著的改进（1-shot 模式下精度提高了超过 6 个百分点），达到了新的最佳性能水平。

Sep, 2022