本文中，我们提出了一种统一的框架来解释和评估现有的概率基准选取方法，对13个常见的NLP任务进行了广泛的实验，并发现所有现有方法都可以统一为一些变量的方法，这些方法最大化了输入和相应模型输出之间的互信息，并提出了几种互信息的变体，并通过较新的校准方法，即Margin- Calibration by Marginalization（CBM）提高了最佳选择方法的准确性，从而将选中问题的性能与最佳Oracle问题的性能比率提高到99.44%。

May, 2023

研究提出了LLM-PO，一种新方法，可以使LLMs在没有梯度访问或广泛演示的情况下解决交互式任务。该方法通过维护基于文本的计划并要求LLMs根据其采集的经验反思当前计划的优缺点，并根据LLMs的反馈来更新计划和收集更多的经验，从而解决交互式任务。在HotpotQA上的实验表明，LLM-PO的成功率比基于上下文的学习（ICL）基线更高或相当，同时需要更少的推理成本。

May, 2023

通过实验和评估，我们发现手写的命令和简单的命令通常比自动命令诱导方法更适用于ICL，指出后者的缺乏泛化性。

Jul, 2023

以关联记忆模型为基础，将语境检索视为上下文检索的语言模型（LLM）的一种新途径，并研究了在上下文例子对LLM的性能影响下，更有效的例子选择方法。

Nov, 2023

通过细致研究LLM-based Automatic Prompt Optimization的机制，发现LLM优化器在自我反思时往往倾向于以自身的先验知识为偏见，难以正确识别错误的真正原因；此外，LLM优化器在语义上有效的反思时，由于目标模型行为的难以预测性，往往在单次优化步骤中难以生成适当的提示。因此我们提出了“Automatic Behavior Optimization”新范式，以更可控的方式直接优化目标模型的行为，希望本研究能启发自动提示优化的新方向。

Feb, 2024

在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

Apr, 2024

自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入-提示-输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零-shot问答数据集上显示出竞争性性能。

Apr, 2024

使用自动提示优化方法，该研究综合比较了指令优化和示例选择技术在各种具有挑战性任务上的表现，发现智能地重用模型生成的输入输出对作为示例能够持续提高性能，并且选择示例的方法可能优于优化指令的方法。此外，示例选择和指令优化的最佳组合可以实现超过个别贡献的协同效应，并强调研究示例选择方法和其与指令优化的最佳结合在自动提示优化中的重要性。

Jun, 2024

本研究解决了现有提示设计方法在处理复杂任务时的局限性。提出了一种新的提示递归搜索框架，利用大型语言模型生成特定问题的解决方案，优化令牌使用并降低错误概率。实验结果表明，与链式思维方法相比，该框架在BBH数据集上的准确率提高了8%，实现了22%的整体改善。

Aug, 2024

本研究旨在解决当前提示优化方法仅依赖于错误样本学习的问题，以及有效提示在不同模型和语言中表现不佳的挑战。我们提出的对比提示学习框架（LCP）通过分析优劣提示实例的模式，采用对比学习生成有效提示。在Big-Bench Hard数据集上的评估表明，LCP在提示优化中胜率超过76%，且在不同模型版本、家族和语言中表现出强适应性。

Sep, 2024