Feb, 2023

关于大型语言模型的规划能力（一项带有提议基准的关键调查）

PDF
TL;DR研究了通用 Web 语料库上训练的语言模型的计划能力，开发了基于国际计划竞赛领域的基准套件，在自治、启发式和人机协作模式下对 LLM 进行了评估，发现自主生成可执行计划的能力非常有限，只有约 3% 的成功率。
language modelsplanning capabilitiesheuristic guidancebenchmark suiteautonomous planning
发现论文，激发创造
  • 大型语言模型的规划能力 - 一项关键调查

    本文旨在研究 LLLms 在常识规划任务中的规划能力，通过在国际计划竞赛中生成一系列实例，并评估 LLMs 在自主规划和启发式两种不同模式下的表现，发现 LLMs 在自主规划方面的表现非常有限，但在启发式模式下，LLMs 生成的计划可以改善其它智能计划器的搜索过程并提供反馈以进一步验证计划质量。

    May, 2023

  • 探索和基准测试大型语言模型的规划能力

    提高大型语言模型的规划能力，研究领域包括基于上下文学习、微调，以及在未知领域的性能评估。

    Jun, 2024

  • 大型语言模型仍无法规划 (面向规划和变化推理的 LLM 基准测试)

    该研究提出了一种可扩展的评估框架来测试 LLMs 在行动和变化推理方面的能力，从而证明现有的推理基准测试是简单化的，无法支持关于 LLMs 推理能力的夸张的说法，并展示了 GPT-3、Instruct-GPT3 和 BLOOM 对这些任务的表现不佳。

    Jun, 2022

  • 大型语言模型作为规划领域生成器

    通过对 7 个大型语言模型进行实证分析，我们发现大型语言模型在从自然语言描述中生成正确的规划领域模型方面具有适中的能力。

    Apr, 2024

  • 理解大型语言模型在自动化规划方面的能力

    该研究旨在探讨大型语言模型在自动计划中的应用，研究包括使用何种预训练数据最有效、微调或提示哪种方法最有效以及大型语言模型能否进行计划综合。

    May, 2023

  • 评估和开发面向 LLMs 的规划感知技术

    基于最近的研究，我们通过实验表明，大语言模型（LLMs) 缺乏规划所需的必要技能。基于这些观察，我们提倡将 LLMs 与经典规划方法相结合的混合方法的潜力。然后，我们引入了一种新颖的混合方法 SimPlan，并在一个新的具有挑战性的环境中评估其性能。我们在各种规划领域进行了大量实验，结果表明 SimPlan 明显优于现有的基于 LLMs 的规划器。

    Feb, 2024

  • 理解 LLM 智能体的规划：一项调查

    将大型语言模型作为自主代理的规划模块，通过提供现有作品的分类和全面分析，讨论了任务分解、计划选择和外部模块等方向在 LLM-Agent 规划中的进展和挑战。

    Feb, 2024

  • 利用大语言模型将自然语言转换为计划目标

    本研究探讨了大型语言模型是否能够将自然语言的目标翻译成结构化的计划语言。我们使用 GPT 3.5 变种进行了实验，结果表明大型语言模型更适合进行翻译而不是规划，虽然这些模型能够利用常识知识和推理填补自然语言目标中缺失的细节，但在涉及到数字或物理推理的任务中，它们可能会出现失败，并且对所使用的提示信息很敏感。

    Feb, 2023

  • 以人为中心的规划

    创建基于 LLMs 的规划器（LLMPlan）与能够将文本约束转化为符号表示的符号规划器（SymPlan），通过自我反思的能力以及对自然语言中模糊约束的合并，LLM 基于规划器在 40 名用户的互动评估中表现出优异的用户满意度（70.5%）且不输于传统符号规划器（40.4%）的显式约束满足率。

    Nov, 2023

  • 面向关系推理的 LLMs：我们离目标有多远？

    通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。

    Jan, 2024