通过逆事实扰动将语言计划与演示相结合的基础
本研究旨在探讨语言模型是否具有生成具体执行计划的能力,并针对该问题提出了一个新的问题解决方案: G-PlanET。通过将高级目标和特定环境中物体的数据表输入,我们设计了一种迭代解码策略,并使用新的度量标准 KAS 评估模型执行计划的质量,实验结果表明,将环境信息编码为表格,迭代解码策略可以显著提高语言模型的表现。
Aug, 2022
本研究使用大型语言模型 (Large Language Models, LLMs) 作为规划师,以完成视觉感知环境中的复杂任务的具有身体接口的代理人。研究提出了 LLM-Planner 方法进行 few-shot planning,同时提出通过物理接口增强 LLMs 的简单而有效的方法,实验结果表明该方法在 ALFRED 数据集上能够取得与使用全数据训练的基线模型相当的性能。
Dec, 2022
本论文提出了一种利用大型语言模型进行机器人交互的方法,用于解决理解语义知识和实现机器人任务之间的矛盾问题,其中引入了基于概率过滤的策略来采用语言模型和基于物理环境的模型两者的优势,通过指导解码策略可以实现复杂的机器人长视程任务。
Mar, 2023
本文提出了一种基于视觉语言感知模型的新方法,可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能,实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务,并比以往方法少使用一个数量级的数据。
Oct, 2022
大型语言模型在完成各种语言处理任务方面很成功,但在生成适当的控制序列时很容易与物理世界互动失败。我们发现主要原因是 LLM 没有与物理世界紧密连接。与现有基于 LLM 的方法相比,我们旨在解决这个问题,并探索在无训练范式下促使预训练 LLM 完成一系列机器人操作任务的可能性。为了将这些计划和控制序列与物理世界联系起来,我们开发了促使技术,通过刺激 LLM 来预测生成计划的后果并为相关对象生成可供性值。实验证明,LLM+A 在各种语言条件下的机器人操作任务中的有效性,显示了我们的方法通过增强生成计划和控制的可行性来显著提高性能,并能够轻松推广到不同的环境。
Apr, 2024
提出了一个新的计划任务 —— 开放式基于实际情况的规划,通过建立一个横跨广泛领域的开放式基于实际情况的规划基准,测试了现有先进的大型语言模型和五种规划方法,并揭示了现有大型语言模型和方法在开放领域的基于实际情况的规划所面临的挑战,为开放式基于实际情况的规划定义和建立了一个基础数据集,并对基于大型语言模型的规划的潜在挑战和未来发展方向进行了探讨。
Jun, 2024
使机器人能够遵循复杂的自然语言指令是一个重要而具有挑战性的问题。我们提出了一种名为 LIMP 的方法,利用基础模型和时间逻辑生成以指令为条件的语义地图,使机器人能够验实地遵循具有开放词汇和复杂时空约束的丰富和长期的指令,并构建了一种可解释的指令表示,展示了 LIMP 在三个真实环境中的应用,并演示了在 35 个复杂时空指令中广泛适用且易于部署到新颖无结构领域的能力。
Feb, 2024
我们提出了一种基于大型语言模型的新方法,通过任务框架形式主义来将操纵器的原始任务转化为机器人低层动作,实现混合控制。我们评估了几种最先进的大型语言模型。
Aug, 2023