大型语言模型的兴起改变了自然语言处理领域从单任务导向到全面的端到端多任务学习范式，其中基于大型语言模型的提示方法引起了广泛关注，尤其是由于提示工程的技术优势以及不同提示方法揭示的自然语言处理原理。本研究旨在通过建立通信理论框架来评述现有的提示工程方法，深入了解其中在四个典型任务中的发展趋势，并为未来的提示工程方法指明有前途的研究方向。

Oct, 2023

使用语言模型作自然语言指导的条件，我们提出了自动提示工程师（APE），通过搜索竞选一组精心设计的自动生成的提示中的最佳提示来优化指令来解决 NLP 任务中的性能问题，并实现对模型的更好的指导和性能提升。在 24 个任务中，通过自动产生的新指令，我们的 APE 方法可使性能提高，并在 19 个任务中的性能甚至好于人类注释者生成的指令。通过大量定性和定量分析，我们证明了 APE 的有效性。

Nov, 2022

本文综合系统地对五个临床自然语言处理任务（临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取）的提示工程进行了实验研究，评估了多种提示类型在三种先进的大型语言模型（GPT-3.5、BARD 和 LLAMA2）上的性能，并提出了对临床 NLP 领域提示工程的新见解和指南。

Sep, 2023

通过构建元提示（meta-prompt）从而更有效地引导大型语言模型（LLMs）进行自动提示工程，进而优化其性能。

Nov, 2023

通过分析 Prompt 编辑行为和变化类型，以更好地理解 Prompt 工程实践，我们发现与大型语言模型的交互主要通过提示进行，并且有效提示设计取决于用户的迭代过程和目标的实现。

Mar, 2024

将提示技术作为检索系统中的最后阶段，通过 BM25 预排名和基于 BERT 的再排名的支持，最大限度地提高提示的潜力，从而显着提高了检索准确性。

Mar, 2024

该综述研究了快速建模在发挥大型语言模型的能力方面的关键作用，探讨了角色激励、单次指示、观点链、观点树等快速建模的基本原则和高级方法，并阐述了外部插件如何协助此任务并减少机器幻觉，强调了深入了解结构和代理角色在人工智能生成内容工具中的重要性，最后讨论了在教育和编程等领域中应用快速建模的实践和潜力。

Oct, 2023

大型语言模型（LLM）在理解和生成文本数据方面非常强大，但容易出错。本文提出了一种声明性提示工程方法，将 LLM 视为众包工作者，并借鉴了声明性众包文献的思想，包括多种提示策略、确保内部一致性和探索混合 LLM - 非 LLM 方法，使提示工程过程更加有原则。在排序、实体解析和插补方面的初步案例研究展示了我们方法的优势。

Aug, 2023

使用 GPT-3 等自然语言处理模型在业务流程管理（BPM）领域中取得了成功，但需要 fine-tuning 以及大量适当的训练数据。为此，本文提出可以借助 prompt engineering 将这些语言模型能力引入 BPM 研究，并提出了相关潜力和挑战的研究议程。

Apr, 2023

医疗领域中探索提示工程的有效性：回顾近期 114 项应用提示工程于医学领域的研究，覆盖提示学习、提示调优和提示设计领域，结果发现提示设计是最普遍的方法，其中有 12 篇论文中三者的术语被交替使用。ChatGPT 是最常用的大型语言模型，有七篇论文使用它来处理敏感的临床数据，而 “Chain-of-Thought” 是最常见的提示工程技术。提示学习和提示调优的研究通常为评估基于提示的方法提供了基准，但 64% 的提示设计研究缺乏非提示相关的基准。我们提供了总结现有工作的表格和图表，并提出建议以指导未来的研究贡献。

May, 2024