Feb, 2024

通过心理模型实现大型语言模型的通用提示

PDF
TL;DR大语言模型 (LLM) 在许多任务上展现出了令人印象深刻的性能。然而，为了实现最佳性能，仍然需要特殊设计的提示方法。在这项工作中，我们试图引入通用提示的概念，它在设计原则上旨在在广泛的任务范围内实现最佳或接近最佳的性能，同时消除了手动选择和定制面向特定问题的提示的需求。此外，我们提出了一种创新的提示方法 MeMo（心智模型），它设计简单但有效地满足通用提示的要求。MeMo 将各种提示方法的要点提炼成个别的心智模型，并允许 LLMs 自主选择最合适的心智模型来解决问题，在零样本设置下在 STEM、逻辑推理和常识推理等多种任务上达到或接近于最新的研究结果。我们希望本文所提出的见解能够激发更多对 LLMs 的通用提示方法的探索。
large language modelsgeneralist promptingmemostemzero-shot settings
发现论文，激发创造
  • 一个提示不够：混合专家提示的自动构建

    使用 Mixture-of-Expert 范例，将问题空间划分为子区域，为每个区域构建专业专家，通过演示集和一条指令来实现任务的智能引导。

    Jun, 2024

  • 情绪刺激：通过心理学为大型语言模型提升增强

    大语言模型通过 EmotionPrompt 在情绪智能方面进行性能提升，取得了显著的成果，有助于人类与语言模型的跨学科知识交互。

    Jul, 2023

  • 面向目标导向的大型语言模型提示：综述

    大型语言模型在各种下游任务中表现出显著性能，而引导工程在优化大型语言模型性能中起着关键作用。本文通过回顾 35 项代表性研究，突出设计提示的局限性，同时保持一个期待大型语言模型像人类思考的人类化假设。通过引导大型语言模型按照建立的人类逻辑思维，我们展示目标导向的提示形式显著提高了大型语言模型的性能。此外，我们引入了一个新的分类法，将目标导向的提示方法分为五个相互关联的阶段，并通过总结十个可适用任务来展示我们框架的广泛适用性。我们提出了四个未来方向，希望进一步强调和推动目标导向的提示工程。

    Jan, 2024

  • 元认知提示提高大型语言模型的理解能力

    通过使用元认知提示，通过系统性的结构化、自我意识评估，结合大量内在的知识和新的认识，可以提高大型语言模型的理解能力。实验结果表明，元认知提示始终优于现有的提示方法，并通过提高 GPT-4 的性能水平，增强了 GPT-4 在各种自然语言理解任务中的表现。

    Aug, 2023

  • 支持半自主任务学习的语言模型提示改进

    本文探讨利用语言模型 (LLMs) 作为知识源，辅助 agent 学习新任务的能力。通过使用构建提示词（或 “暗示”），研究什么样的响应既合理，又可以满足 Agent 任务上下文。研究结果表明，在线 agent 任务学习可以从 LLMs 获取可操作的任务知识。

    Sep, 2022

  • 基于提示的方法可能会低估大型语言模型的语言泛化能力

    本文比较了元语言激励和直接概率测量作为衡量英语知识的方法，并发现大语言模型的元语言判断低于直接从表示中派生出的数量。

    May, 2023

  • 基于大语言模型的领域特定语言生成的语法提示

    本研究通过使用 $ extbf {语法提示}$ 的方法提高大型语言模型在语义解析（SMCalFlow，Overnight，GeoQuery），PDDL 规划，甚至分子生成（SMILES）等 DSL 生成任务中的性能，并给出了相应实验证明。

    May, 2023

  • 在教育和评估应用中探索提示式大型语言模型的能力

    利用大语言模型在现代教育领域创新的机会，通过研究提问型大语言模型、语法错误解释和人力资源面试评估，揭示了大语言模型在改变教育实践中的潜力和限制。

    May, 2024

  • 帮助语言模型学习更多知识：多维任务提示用于少样本调整

    通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

    Dec, 2023

  • 元提示：用任务无关的支架增强语言模型

    通过引入元提示技术，将单个语言模型转变为多面手指挥者，通过高级指示将复杂任务分解为可管理的子任务，从而提高语言模型的综合性能。元提示方法的任务无关性大大简化了用户交互，而与 Python 解释器等外部工具的无缝集成扩展了其适用性和实用性。在 GPT-4 上进行的实验表明，相比传统的支架方法，使用元提示技术在所有任务上平均效果提高了 17.1%，动态支架方法提高了 17.3%，多身份支架方法提高了 15.2%。

    Jan, 2024