Jun, 2024

FlowBench: 重新审视以工作流为导向的基于 LLM 的智能体规划，并进行基准测试

PDF
TL;DRLLM 基于智能体是有前途的工具，用于通过迭代规划和行动来完成复杂任务。然而，在缺乏专业知识进行任务时，这些智能体容易出现计划幻觉。为了解决这个问题，初步尝试通过整合外部与工作流相关的知识来提高规划的可靠性。我们形式化了不同格式的工作流知识，并提出了 FlowBench，这是用于工作流指导规划的第一个基准。FlowBench 涵盖了 6 个领域中的 51 个不同场景，并以多种格式呈现知识。为了评估 LLM 在 FlowBench 上的表现，我们设计了一个多层次评估框架。我们评估了不同格式的工作流知识的功效，结果表明目前的 LLM 智能体在满意的规划方面需要相当的改进。我们希望我们具有挑战性的基准可以为未来的智能体规划研究铺平道路。
llm-based agentsplanning hallucinationsworkflow-related knowledgeflowbenchmulti-tiered evaluation framework
发现论文，激发创造
  • LoTa-Bench: 为具有体现性代理的面向语言任务规划器进行基准测试

    提出了一个针对家庭服务实体代理的任务规划性能自动量化基准系统，对大型语言模型和提示进行了广泛实验，并探索了基线任务规划器的多个改进，预计该基准工具将加快语言导向的任务规划器的发展。

    Feb, 2024

  • 关于大型语言模型的规划能力（一项带有提议基准的关键调查）

    研究了通用 Web 语料库上训练的语言模型的计划能力，开发了基于国际计划竞赛领域的基准套件，在自治、启发式和人机协作模式下对 LLM 进行了评估，发现自主生成可执行计划的能力非常有限，只有约 3% 的成功率。

    Feb, 2023

  • FLAP: 基于有约束解码的流跟随规划在 LLMs 中

    通过预定义的工作流程和 API 依赖关系，基于先知启发式的受限解码算法提供了对面向任务对话中的忠诚规划的研究，优于其他解码和提示为基础的基准，并且在较小的 LLMs（7B）上应用我们的算法，实现了与更大的 LLMs（30B-40B）相当的性能。

    Mar, 2024

  • AutoPlanBench: 从 PDDL 自动生成 LLM 规划器的基准测试

    LLM 规划器在规划和推理方面的能力仍未被充分了解，本文提出了一种将 PDDL 规划基准自动转化为文本描述的新方法，并使用该方法创建了一组基准数据集，研究表明虽然最好的 LLM 规划器在许多规划任务上表现良好，但仍有一些任务超出了当前方法的能力范围。

    Nov, 2023

  • 基于 LLM 的代理工作流与 LLM 配置的组件综述

    最近关于大型语言模型（LLMs）的研究推动了复杂主动工作流的发展，取得了优于传统单途径思维链（CoT）提示技术的进展。本文调查总结了常见的工作流程，特别关注 LLM-Profiled Components（LMPCs）并忽略非 LLM 组件，旨在帮助更清晰地理解 LLM 的作用，并研究 LMPCs 的可重用性。

    Jun, 2024

  • 评估和开发面向 LLMs 的规划感知技术

    基于最近的研究，我们通过实验表明，大语言模型（LLMs) 缺乏规划所需的必要技能。基于这些观察，我们提倡将 LLMs 与经典规划方法相结合的混合方法的潜力。然后，我们引入了一种新颖的混合方法 SimPlan，并在一个新的具有挑战性的环境中评估其性能。我们在各种规划领域进行了大量实验，结果表明 SimPlan 明显优于现有的基于 LLMs 的规划器。

    Feb, 2024

  • 理解 LLM 智能体的规划：一项调查

    将大型语言模型作为自主代理的规划模块，通过提供现有作品的分类和全面分析，讨论了任务分解、计划选择和外部模块等方向在 LLM-Agent 规划中的进展和挑战。

    Feb, 2024

  • 探索和基准测试大型语言模型的规划能力

    提高大型语言模型的规划能力，研究领域包括基于上下文学习、微调，以及在未知领域的性能评估。

    Jun, 2024

  • FlowMind: 使用 LLMs 自动生成工作流

    Robotic Process Automation (RPA) 的快速发展在自动化重复任务方面取得了显著进展，然而在用户要求进行即兴或不可预测任务的场景下，其效果减弱。本文介绍了一种新的方法 FlowMind，利用大型语言模型（LLMs）如 Generative Pretrained Transformer（GPT），以解决这一限制并创建一个自动工作流生成系统。FlowMind 通过提供高层次的自动生成工作流描述简化用户交互，并能够有效地检查和提供反馈。我们还介绍了 NCEN-QA，这是一个用于基准化基金的 N-CEN 报告的问题回答任务的金融数据集。我们使用 NCEN-QA 来评估由 FlowMind 生成的工作流与 FlowMind 的基准和消融变体的性能。我们展示了 FlowMind 的成功，论证了提出的讲座方法中每个组件的重要性以及 FlowMind 中用户交互和反馈的有效性。

    Mar, 2024

  • AgentBench: 评估语言模型为代理人

    大型语言模型在互动环境中以多轮开放式生成的方式评估 LLMs 作为代理的推理和决策能力，显示出商业 LLMs 和开源竞争对手之间的性能差距。

    Aug, 2023