LLM-State：开放世界长期规划的可扩展状态表示

Nov, 2023

LLM-State：开放世界长期规划的可扩展状态表示

LLM-State: Expandable State Representation for Long-horizon Task Planning in the Open World

Siwei Chen, Anxing Xiao, David Hsu

TL;DR本研究通过使用大规模语言模型（LLM）来解决开放式家庭环境中长期任务规划的问题。我们提出了一种新颖的可扩展状态表示方法，利用 LLM 的上下文理解和历史行为推理能力来持续扩展和更新对象属性。我们的模型在模拟和现实世界的任务规划场景中验证，表明在需要长期跟踪和推理状态的各种任务中，与基准方法相比取得了显著的改进。

Abstract

This work addresses the problem of long-horizon task planning with the Large Language Model (LLM) in an open-world household environment. Existing works fail to explicitly track key objects and attributes, leading to erroneous decisions in long-horizon tasks, or rely on highly engineer

long-horizon task planning large language model state representation context understanding task planning scenarios

发现论文，激发创造

Statler: 维护状态的语言模型用于体现推理

本文提出了一种新的框架 Statler，为大型语言模型增加了一个世界状态的显式表示来维护 “记忆”，从而改善了现有 LLMs 解决机器人推理任务中长时间跨度推理的能力，并在三个模拟环境和一个真实机器人领域的实验中取得了显著优于现有技术的结果。

Jun, 2023

DELTA：基于大型语言模型的分解型高效长期机器人任务规划

提出了一种名为 DELTA 的新型 LLM 驱动的任务规划方法，通过将环境拓扑图作为 LLM 中的环境表示，以快速生成精确的规划问题描述；同时利用 LLM 将长期任务目标分解为自回归的子目标序列，以供自动化任务规划器解决；该方法提供了更高效且完全自动化的任务规划流程，实现了比现有技术更高的规划成功率和显著缩短的规划时间。

Apr, 2024

部分可观察机器人任务的大型语言模型交互规划

使用大型语言模型（LLMs）的互动规划技术，通过机器人收集环境中缺失的信息并推断底层问题的状态，从而指导机器人执行所需的动作。

Dec, 2023

LLM 增强分层代理

利用强化学习解决长期和拓展性任务很具挑战性，特别是在没有先验知识的情况下，为了提高样本效率，本文通过利用 LLMs 的规划能力结合强化学习的环境学习，构建了一个层次化代理，用于解决长期任务，并在 MiniGrid、SkillHack 和 Crafter 等仿真环境以及实际机械臂的块操作任务中验证了该方法的优越性能，且训练完成后不需要依赖 LLMs 进行部署。

Nov, 2023

大型部分可观察环境中的顺序计划引导 LLMs

通过结合状态空间搜索和基于自然语言模型的查询，我们提出了一种混合代理方法 neoplanner，以最大化状态值的上界来平衡探索和开发，并通过查询自然语言模型以生成行动计划，进一步提高了大规模状态空间和行动空间的顺序规划的性能。

Dec, 2023

通过大型语言模型从动作中学习对象状态

通过使用大型语言模型，我们提出了一种从指导视频中的动作信息中提取物体状态信息的方法，并使用所生成的伪标签对模型进行训练，从而明确从动作中提取出物体状态信息的有效性。

May, 2024

具有大规模语言模型的通用长程操控

该研究介绍了一种利用大型语言模型（LLMs）的能力生成通用长视野操作的基本任务条件的框架，用于对新颖物体和未知任务进行操作。这些任务条件用于指导长时程任务执行中动态运动基元（DMP）轨迹的生成和调整。我们还基于 Pybullet 创建了一个用于进行长时程任务评估的具有挑战性的机器人操纵任务套件。在模拟和现实环境中进行的大量实验证明了我们的框架在涉及新对象的熟悉任务和新颖但相关任务上的有效性，突显了大型语言模型在提升机器人系统的多功能性和适应性方面的潜力。

Oct, 2023

LLM 动态规划

大型语言模型与符号规划器结合的神经符号框架，为解决涉及体验代理的复杂计划任务提供更快速和高效的解决方案。

Aug, 2023

带大型语言模型线索的世界模型用于目标实现

通过将提出的具有示意性子目标的语言模型与模型回滚相结合，我们提出了一种新的多模态的基于模型的强化学习方法，名为大语言模型梦境，用以鼓励在具有挑战性任务中发现和达成目标，从而对各种困难的、稀疏奖励的环境进行了大量实验，并显示出优于近期方法的性能提升。

Jun, 2024

LLaMA Rider: 刺激大型语言模型探索开放世界

提出了一种利用大语言模型（LLMs）在开放环境中帮助决策和规划，并试图将 LLMs 的知识与现实世界条件相一致的方法，通过多轮反馈修订机制鼓励 LLMs 积极选择适当的修订动作，以此促进探索并提高模型的性能，同时结合子任务重新标记来帮助 LLMs 保持一致性，并训练模型了解任务之间的组合性质，从而通过基于获得的探索经验进行训练，完成更广泛的任务。在 Minecraft 的评估中，证明了我们的方法 LLaMA-Rider 提高了 LLM 在环境探索方面的效率，通过仅使用 1.3k 个收集的数据进行微调，与使用强化学习的基准线相比，训练成本极低。

Oct, 2023