ICLROct, 2023

魔术词是什么？LLM 提示的控制理论

PDF
TL;DR我们将提示工程化正式化为对 LLMs 的最优控制问题，通过在 LLM 的输出分布中调节提示作为控制变量。我们提出一个简单的问题：给定一个令牌序列，是否总是存在一个我们可以添加的提示，以便将 LLM 引导到准确预测最终令牌？我们称这样一个最优提示为魔法词，因为添加提示会导致 LLM 输出正确答案。我们从控制论中获得灵感，提出了一种度量 LLM 可操纵性的度量标准 $k-ε$ 可操纵性。我们计算了一系列大型语言模型的 $k-ε$ 可操纵性，包括 Falcon-7b、Llama-7b 和 Falcon-40b，在 5000 个 WikiText 因果语言建模任务上。令人惊讶的是，我们发现对于每个模型，在超过 97% 的 WikiText 实例中，存在长度不超过 10 个令牌的魔法词。
prompt engineeringoptimal control problemllmsmagic wordscontrollability
发现论文，激发创造
  • 大型语言模型中开发提示工程的潜力释放：综合回顾

    该综述研究了快速建模在发挥大型语言模型的能力方面的关键作用，探讨了角色激励、单次指示、观点链、观点树等快速建模的基本原则和高级方法，并阐述了外部插件如何协助此任务并减少机器幻觉，强调了深入了解结构和代理角色在人工智能生成内容工具中的重要性，最后讨论了在教育和编程等领域中应用快速建模的实践和潜力。

    Oct, 2023

  • 通过声明式众包重新审视提示工程

    大型语言模型（LLM）在理解和生成文本数据方面非常强大，但容易出错。本文提出了一种声明性提示工程方法，将 LLM 视为众包工作者，并借鉴了声明性众包文献的思想，包括多种提示策略、确保内部一致性和探索混合 LLM - 非 LLM 方法，使提示工程过程更加有原则。在排序、实体解析和插补方面的初步案例研究展示了我们方法的优势。

    Aug, 2023

  • 大规模语言模型代理的自动提示工程规划

    在这篇论文中，我们提出了一种名为 RePrompt 的新方法，通过从与 LLM 代理的交互中获取的聊天记录，逐步优化 LLM 代理的提示，从而使 LLM 在特定领域中学会规划，我们在 PDDL 生成和旅行规划的实验中证明了我们的方法可以提高不同推理任务的性能。

    Jun, 2024

  • 触发语言：什么语言属性使得提示成功？

    在这项研究中，我们调查了不同规模、预训练和指导调优的 LLMs 在在语义上等效但语言结构不同的提示上的性能，发现 LLMs 的性能不能通过困惑度、词频、歧义或提示长度来解释，并提出了对提示研究更健壮和综合的评估标准的建议。

    Nov, 2023

  • 是否为？对持续可控激励工程的探索

    ControlPE 是一种对大型语言模型进行微调和精细控制的技术，利用 LoRA 实现连续的 Prompt 引导权重调整，有效地管控生成过程中的 Prompt 影响。通过生成专门的数据集进行 Prompt 精炼，并将其应用于 LoRA 模型，通过调整 LoRA 合并权重来调控 Prompt 的影响，从而实现了动态且可适应的 Prompt 控制。通过实验证明了 ControlPE 在控制各种类型的 Prompt 上的实用性和有效性，包括生成短回答 Prompt、拒绝 Prompt 和思路链 Prompt。

    Nov, 2023

  • 面向目标导向的大型语言模型提示：综述

    大型语言模型在各种下游任务中表现出显著性能，而引导工程在优化大型语言模型性能中起着关键作用。本文通过回顾 35 项代表性研究，突出设计提示的局限性，同时保持一个期待大型语言模型像人类思考的人类化假设。通过引导大型语言模型按照建立的人类逻辑思维，我们展示目标导向的提示形式显著提高了大型语言模型的性能。此外，我们引入了一个新的分类法，将目标导向的提示方法分为五个相互关联的阶段，并通过总结十个可适用任务来展示我们框架的广泛适用性。我们提出了四个未来方向，希望进一步强调和推动目标导向的提示工程。

    Jan, 2024

  • 透过最优控制的镜头看待提示工程

    为解决复杂任务并提升人机交互效率，本研究通过最优控制框架，提出了多轮与大型语言模型的交互技术，包括扩展到多个回合的交互、合奏方法和多智能体协作，以系统化现有的 Prompt Engineering 方法，并探索理论挑战和更有效、可解释的方法的发展基础。

    Oct, 2023

  • 大型语言模型的高效提示方法综述

    在这篇论文中，我们对高效提示的各种方法进行了全面的概述，包括使用高效计算和高效设计进行提示的方法，重点关注未来的研究方向。

    Apr, 2024

  • 长提示的自动工程化

    我们研究了自动的长提示工程算法，证明了贪婪算法和遗传算法在搜索效率方面的优越性，并引入了两种利用搜索历史增强搜索算法效果的新技术。我们的研究结果表明，该算法在 Big Bench Hard 的八个任务中实现了平均 9.2% 的准确度提升，突显了自动化提示设计对充分利用 LLMs 的能力的重要性。

    Nov, 2023

  • 企业中的提示工程实践探索

    通过分析 Prompt 编辑行为和变化类型，以更好地理解 Prompt 工程实践，我们发现与大型语言模型的交互主要通过提示进行，并且有效提示设计取决于用户的迭代过程和目标的实现。

    Mar, 2024