提出了一种通用分类法，以设计具有特定属性的提示来执行广泛的复杂任务，从而解决了使用不同提示类型 / 样式和提示中提供不同程度细节时 LLMs 性能差异的问题，使未来的基准研究能够报告所使用的特定类别的提示，启用对不同研究的有意义的比较，并通过这种分类法建立共同标准，研究人员将能够更准确地得出关于 LLMs 在特定复杂任务上的表现的结论。

May, 2023

大型语言模型在各种下游任务中表现出显著性能，而引导工程在优化大型语言模型性能中起着关键作用。本文通过回顾 35 项代表性研究，突出设计提示的局限性，同时保持一个期待大型语言模型像人类思考的人类化假设。通过引导大型语言模型按照建立的人类逻辑思维，我们展示目标导向的提示形式显著提高了大型语言模型的性能。此外，我们引入了一个新的分类法，将目标导向的提示方法分为五个相互关联的阶段，并通过总结十个可适用任务来展示我们框架的广泛适用性。我们提出了四个未来方向，希望进一步强调和推动目标导向的提示工程。

Jan, 2024

本文探讨利用语言模型 (LLMs) 作为知识源，辅助 agent 学习新任务的能力。通过使用构建提示词（或 “暗示”），研究什么样的响应既合理，又可以满足 Agent 任务上下文。研究结果表明，在线 agent 任务学习可以从 LLMs 获取可操作的任务知识。

Sep, 2022

手动注释计算社会科学任务的数据成本高昂、耗时且情感压力大。最近的研究表明，零 - shot 设置下，语言模型可以执行此类注释任务，但我们对于提示设计如何影响语言模型的遵从和准确性了解甚少。我们进行了大规模的多提示实验，以测试模型选择（ChatGPT、PaLM2 和 Falcon7b）和提示设计特征（定义包含、输出类型、解释和提示长度）对 LLM 生成注释的遵从和准确性的影响，针对四个计算社会科学任务（毒性、情感、谣言态度和新闻框架）。我们的结果表明，LLM 的遵从和准确性高度依赖于提示。例如，提示使用数值得分而不是标签会降低所有 LLM 的遵从和准确性。整体而言，最佳的提示设置取决于任务，微小的提示更改会导致生成标签分布上的巨大变化。通过显示提示设计对 LLM 生成注释的质量和分布有显著影响，本研究作为研究人员和从业者的警示和实践指南。

Jun, 2024

通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

Dec, 2023

通过引入层次化提示分类法及其规则以及自适应层次化提示框架，研究衡量大型语言模型在解决多样任务中的效果，进而发展一种用于评估数据集复杂性和语言模型能力的通用评价指标。

Jun, 2024

介绍了 Eval4NLP 2023 共享任务，要求参与者在机器翻译和摘要评估中探索提示和分数提取，并评估了参与者的方法。在没有 fine-tuning 的限制下，最佳系统的表现与使用更大模型开发的最新的无参考度量标准（包括 GEMBA 和 Comet-Kiwi-XXL）相媲美甚至超过，并对 LLMs 的解释的可行性进行了小规模人类评估。

Oct, 2023

本文研究了自动提示技术在六个不同的下游任务和更广泛的 K-shot 学习场景中的应用。我们发现，自动提示并不总是优于简单的手动提示。我们的研究表明，在这一领域的研究中，除了 fine-tuning 之外还应该使用手动提示作为基线。

Apr, 2023

通过对大规模语言模型进行提示，可以在受限结构约束下构建符合要求的分类法，相比微调方法模型的性能更好，但处理由提示方法生成的分类法违规的情况具有挑战性。

Sep, 2023

这项调研重点关注任务导向的 LLM 系统的设计空间，通过思考实验对不同的 LLM 系统配置性能进行探索，并对 LLM 增强、提示技术和不确定性估计等设计参数进行讨论，提出了七个猜想以指导未来的研究努力。

Dec, 2023