Aug, 2023

PACE：基于演员 - 评论家编辑技术改进大型语言模型的提示

PDF
TL;DR通过自动提示编辑技术（PACE），将大型语言模型（LLMs）自动优化为特定任务的更好提示，提高了中低质量的人工编写提示的性能，并具有与高质量提示相当的性能.
large language modelsprompt editingpaceactor-critic algorithmllm performance
发现论文，激发创造
  • 大型语言模型是人类水平的提示工程师

    使用语言模型作自然语言指导的条件，我们提出了自动提示工程师（APE），通过搜索竞选一组精心设计的自动生成的提示中的最佳提示来优化指令来解决 NLP 任务中的性能问题，并实现对模型的更好的指导和性能提升。在 24 个任务中，通过自动产生的新指令，我们的 APE 方法可使性能提高，并在 19 个任务中的性能甚至好于人类注释者生成的指令。通过大量定性和定量分析，我们证明了 APE 的有效性。

    Nov, 2022

  • ExpertPrompting：指导大规模语言模型成为卓越专家

    本文介绍了一种使用 ExpertPrompting 技术的方法，通过 In-Context Learning 实现了定制化的指令，并将其用于训练基于 GPT-3.5 的 ExpertLLaMA 模型，实现了与 ChatGPT 相近的对话效果。

    May, 2023

  • 更多询问，更深了解：基于大语言模型的增强学习问句在决策制定中的应用

    利用领导者 - 追随者双层框架，本文实现了一个完全集成的端到端框架，用于处理复杂的推理任务，并通过引入历史发现为生成合适的问题（提示）提供指导，进而指导行动学习。

    Oct, 2023

  • 唤起：通过审阅作者提示编辑调动 LLM 的批判性思维能力

    LLMs 的潜力并未被常用的提示方法充分利用，我们提出了 Evoke，一种自动提示改进框架，通过作者 - 评论者反馈循环来确保每次迭代中的提示被优化，在数据选择方面进行了进一步的汇总，实验证明 Evoke 显著优于现有方法。

    Oct, 2023

  • 自我确信的激励机制：反复审视下的少样本问答

    利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

    Oct, 2023

  • 大型语言模型的自动提示选择

    自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

    Apr, 2024

  • 自回归大型语言模型中的提示

    自回归大语言模型已经改变了自然语言处理领域的格局。基于预训练和提示范式的方法已经取代了常规的预训练和微调方法用于许多下游自然语言处理任务。本文讨论了已经在自回归大语言模型上使用的各种提示技术，提供了一个基于这个分类体系的简明调研，并且确定了自回归大语言模型中提示领域的一些未解决问题，可作为未来研究的方向。

    Nov, 2023

  • PromptWizard: 任务感知的代理驱动提示优化框架

    利用大型语言模型，PromptWizard 框架通过迭代合成和优化面向特定任务的提示信息，包括了指令和上下文示例的优化，提高了模型的性能。该框架在效率、数据量和小型语言模型上的适应性以及优于现有提示策略的实证评估中展现出优越性，呈现出良好的可行性和可扩展性。

    May, 2024

  • 支持半自主任务学习的语言模型提示改进

    本文探讨利用语言模型 (LLMs) 作为知识源，辅助 agent 学习新任务的能力。通过使用构建提示词（或 “暗示”），研究什么样的响应既合理，又可以满足 Agent 任务上下文。研究结果表明，在线 agent 任务学习可以从 LLMs 获取可操作的任务知识。

    Sep, 2022

  • 重新审视自动提示：我们真的做得更好了吗？

    本文研究了自动提示技术在六个不同的下游任务和更广泛的 K-shot 学习场景中的应用。我们发现，自动提示并不总是优于简单的手动提示。我们的研究表明，在这一领域的研究中，除了 fine-tuning 之外还应该使用手动提示作为基线。

    Apr, 2023