Oct, 2023

透过最优控制的镜头看待提示工程

PDF
TL;DR为解决复杂任务并提升人机交互效率，本研究通过最优控制框架，提出了多轮与大型语言模型的交互技术，包括扩展到多个回合的交互、合奏方法和多智能体协作，以系统化现有的 Prompt Engineering 方法，并探索理论挑战和更有效、可解释的方法的发展基础。
prompt engineeringlarge language modelsmulti-round interactionsoptimal control frameworkensemble methods
发现论文，激发创造
  • 是否为？对持续可控激励工程的探索

    ControlPE 是一种对大型语言模型进行微调和精细控制的技术，利用 LoRA 实现连续的 Prompt 引导权重调整，有效地管控生成过程中的 Prompt 影响。通过生成专门的数据集进行 Prompt 精炼，并将其应用于 LoRA 模型，通过调整 LoRA 合并权重来调控 Prompt 的影响，从而实现了动态且可适应的 Prompt 控制。通过实验证明了 ControlPE 在控制各种类型的 Prompt 上的实用性和有效性，包括生成短回答 Prompt、拒绝 Prompt 和思路链 Prompt。

    Nov, 2023

  • 基于通信理论的大型语言模型的促进工程方法

    大型语言模型的兴起改变了自然语言处理领域从单任务导向到全面的端到端多任务学习范式，其中基于大型语言模型的提示方法引起了广泛关注，尤其是由于提示工程的技术优势以及不同提示方法揭示的自然语言处理原理。本研究旨在通过建立通信理论框架来评述现有的提示工程方法，深入了解其中在四个典型任务中的发展趋势，并为未来的提示工程方法指明有前途的研究方向。

    Oct, 2023

  • 提示工程师的提示工程

    通过构建元提示（meta-prompt）从而更有效地引导大型语言模型（LLMs）进行自动提示工程，进而优化其性能。

    Nov, 2023

  • 大型语言模型中开发提示工程的潜力释放：综合回顾

    该综述研究了快速建模在发挥大型语言模型的能力方面的关键作用，探讨了角色激励、单次指示、观点链、观点树等快速建模的基本原则和高级方法，并阐述了外部插件如何协助此任务并减少机器幻觉，强调了深入了解结构和代理角色在人工智能生成内容工具中的重要性，最后讨论了在教育和编程等领域中应用快速建模的实践和潜力。

    Oct, 2023

  • 医疗应用的思维工程范式：范围审查和更好实践的建议

    医疗领域中探索提示工程的有效性：回顾近期 114 项应用提示工程于医学领域的研究，覆盖提示学习、提示调优和提示设计领域，结果发现提示设计是最普遍的方法，其中有 12 篇论文中三者的术语被交替使用。ChatGPT 是最常用的大型语言模型，有七篇论文使用它来处理敏感的临床数据，而 “Chain-of-Thought” 是最常见的提示工程技术。提示学习和提示调优的研究通常为评估基于提示的方法提供了基准，但 64% 的提示设计研究缺乏非提示相关的基准。我们提供了总结现有工作的表格和图表，并提出建议以指导未来的研究贡献。

    May, 2024

  • 大型语言模型是人类水平的提示工程师

    使用语言模型作自然语言指导的条件，我们提出了自动提示工程师（APE），通过搜索竞选一组精心设计的自动生成的提示中的最佳提示来优化指令来解决 NLP 任务中的性能问题，并实现对模型的更好的指导和性能提升。在 24 个任务中，通过自动产生的新指令，我们的 APE 方法可使性能提高，并在 19 个任务中的性能甚至好于人类注释者生成的指令。通过大量定性和定量分析，我们证明了 APE 的有效性。

    Nov, 2022

  • 大型语言模型中关于提示工程的系统调查：技术与应用

    本综述论文通过提供近期进展的结构化概述，对提示工程的不同方法和技术进行分类，详细介绍了提示方法学、应用领域、所使用的模型和数据集，并探讨了每种方法的优点、局限性以及通过分类图和表格总结了数据集、模型和关键点，从而更好地理解这一快速发展领域并为提示工程的未来研究提供洞察、揭示了开放性挑战和机遇。

    Feb, 2024

  • 企业中的提示工程实践探索

    通过分析 Prompt 编辑行为和变化类型，以更好地理解 Prompt 工程实践，我们发现与大型语言模型的交互主要通过提示进行，并且有效提示设计取决于用户的迭代过程和目标的实现。

    Mar, 2024

  • 多语言法律判决预测的法律提示工程

    本研究使用 Legal Prompt Engineering 作为辅助工具，对长篇法律文件进行识别和理解，以进行法律判决预测任务。在人权法庭和瑞士联邦最高法院的案例中，无需领域特定的数据和额外的计算成本，只使用通用语言模型。结果显示，零 - shot LPE 相比基准方法表现更好，表明通用 LLMs 可能具有向法律领域的跨领域能力。

    Dec, 2022

  • 通过提示回归进行提示探索

    基于大规模语言模型的广泛使用，提出了一种用于预测提示组合效果的框架 PEPR，并提供了简单方法用于选择有效的提示。在不同任务上，利用不同规模的开源语言模型对该方法进行了评估。

    May, 2024