Oct, 2023

利用语言模型引导人类偏好

PDF
TL;DR使用语言模型自身来引导任务规范化的学习框架，通过与用户进行自由形式的、基于语言的交互来提取和推断预期行为，在电子邮件验证、内容推荐和道德推理三个领域的实验中，我们展示了通过生成开放式问题或综合信息临界案例等方式激发语言模型表现的结果通常比用户编写的提示或标签更具信息量，用户反馈认为交互式任务引导所需的工作量较小，并能提供用户一开始未曾预见的新颖考虑。研究结果表明，基于语言模型的任务引导可以成为将模型与复杂人类偏好和价值观相一致的强大工具。
language modelsgenerative active task elicitationemail validationcontent recommendationmoral reasoning
发现论文，激发创造
  • 面向目标导向的大型语言模型提示：综述

    大型语言模型在各种下游任务中表现出显著性能，而引导工程在优化大型语言模型性能中起着关键作用。本文通过回顾 35 项代表性研究，突出设计提示的局限性，同时保持一个期待大型语言模型像人类思考的人类化假设。通过引导大型语言模型按照建立的人类逻辑思维，我们展示目标导向的提示形式显著提高了大型语言模型的性能。此外，我们引入了一个新的分类法，将目标导向的提示方法分为五个相互关联的阶段，并通过总结十个可适用任务来展示我们框架的广泛适用性。我们提出了四个未来方向，希望进一步强调和推动目标导向的提示工程。

    Jan, 2024

  • 支持半自主任务学习的语言模型提示改进

    本文探讨利用语言模型 (LLMs) 作为知识源，辅助 agent 学习新任务的能力。通过使用构建提示词（或 “暗示”），研究什么样的响应既合理，又可以满足 Agent 任务上下文。研究结果表明，在线 agent 任务学习可以从 LLMs 获取可操作的任务知识。

    Sep, 2022

  • 在教育和评估应用中探索提示式大型语言模型的能力

    利用大语言模型在现代教育领域创新的机会，通过研究提问型大语言模型、语法错误解释和人力资源面试评估，揭示了大语言模型在改变教育实践中的潜力和限制。

    May, 2024

  • 情绪刺激：通过心理学为大型语言模型提升增强

    大语言模型通过 EmotionPrompt 在情绪智能方面进行性能提升，取得了显著的成果，有助于人类与语言模型的跨学科知识交互。

    Jul, 2023

  • 通过提示大型语言模型生成多样化的励志信息：与人工书写的信息相比较

    通过使用众包任务的具体和包含示例的指导性说明书，我们发现，使用众包管道作为大语言模型（LLMs）的提示可以产生比基线提示更多样化的信息。同时，我们还讨论了人类作者和 LLMs 生成的信息的其他影响。

    Aug, 2023

  • 唤起：通过审阅作者提示编辑调动 LLM 的批判性思维能力

    LLMs 的潜力并未被常用的提示方法充分利用，我们提出了 Evoke，一种自动提示改进框架，通过作者 - 评论者反馈循环来确保每次迭代中的提示被优化，在数据选择方面进行了进一步的汇总，实验证明 Evoke 显著优于现有方法。

    Oct, 2023

  • 使用模型编写的评价方法发现语言模型行为

    本文研究了不同规模的语言模型的行为表现，并提出一种使用语言模型自动生成评估的方法，并发现了一些逆比例缩放情况下的新现象，例如：更大的语言模型表现为对资源获取和目标保持更浓厚的兴趣，并且此类的逆比例缩放（Inverse scaling）情况在 RL from human feedback 上也得到了验证。

    Dec, 2022

  • AutoPrompt: 使用自动生成的提示从语言模型中引导知识

    利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

    Oct, 2020

  • 对话模型的节约提示

    研究了使用大型语言模型建立对话系统的不同方法，并分析了对话历史的表示方式，提出了一种更紧凑的提供对话历史信息的方法，从而有效减少模型 API 的成本。

    May, 2023

  • 基于语言模型和概率推理的主动偏好推断

    通过使用一种熵减算法，我们提出了一种推理时算法，帮助大型语言模型快速推理用户偏好，并通过提问来优化期望熵和期望模型变化，从而使其在任务表现上胜过基线模型，在使用较少用户交互的情况下提升了性能。

    Dec, 2023