Aug, 2023

基于大型语言模型的不确定性分析和主动问询的交互式机器人动作规划

PDF
TL;DR通过提出交互式机器人行动规划方法，利用大型语言模型（LLM）进行分析并向人类提问以获取缺失信息，以减少生成精确机器人指令的设计成本，并通过烹饪任务的具体示例证明了方法的有效性，同时揭示了对 LLM 的机器人行动规划的挑战，如提问与问题相关性不高以及未经询问而假设关键信息，为将 LLM 应用于机器人学方面的未来研究提供了有价值的见解。
large language modelrobot action planninginteractive methodmissing informationcooking tasks
发现论文，激发创造
  • 部分可观察机器人任务的大型语言模型交互规划

    使用大型语言模型（LLMs）的互动规划技术，通过机器人收集环境中缺失的信息并推断底层问题的状态，从而指导机器人执行所需的动作。

    Dec, 2023

  • 使用大型语言模型生成机器人任务计划

    通过使用编程式的提示结构，可以促使大型语言模型在不同的环境、机器人能力和任务中进行计划生成，从而大大减少了任务规划中需要定义的领域知识。

    Sep, 2022

  • 自省计划：引导语言能力代理改进自身的不确定性

    通过引入内省计划的概念，该论文探讨了使用无需微调的系统化方法来引导大型语言模型进行感知不确定性的规划，以此改进机器人任务执行的成功率和安全性。并且研究了结合符合预测方法的内省计划的有效性，结果显示此组合可以提供更紧密的置信区间，在减少用户澄清查询的同时保持统计成功保证。

    Feb, 2024

  • 使用具有环境意识的语言模型生成可执行的行动计划

    本文提出了一种整合环境对象和对象关系作为额外输入的方法，从而产生与场景中的对象相映射的行动计划，并设计了一种新的评分函数，该方法在 VirtualHome 模拟器和 ActivityPrograms 知识库中取得了可靠的结果，其行动计划的正确性和可执行性分别优于之前的研究约 5.3％和 8.9％。

    Oct, 2022

  • 将消歧和用户偏好融入大型语言模型中的机器人运动规划

    该研究论文介绍了一个框架，可以解释人类包含时间元素的导航指令，并直接将其自然语言指令转化为机器人的运动规划。

    Apr, 2024

  • 与环境对话：使用大型语言模型进行交互式多模态感知

    在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。

    Mar, 2023

  • 语言模型作为零 - shot 规划器：提取行动知识用于具身代理

    本文研究大型语言模型在互动环境中是否可以利用所学的世界知识来执行高层任务，并提出了一种条件方法，将语言模型生成的中级计划语义上翻译为合适的操作以提高执行性能。在 VirtualHome 环境中的实证评估结果表明，该方法在可执行性方面显著优于大型语言模型基线。

    Jan, 2022

  • 理解大型语言模型在自动化规划方面的能力

    该研究旨在探讨大型语言模型在自动计划中的应用，研究包括使用何种预训练数据最有效、微调或提示哪种方法最有效以及大型语言模型能否进行计划综合。

    May, 2023

  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024

  • 自然语言作为策略：利用 LLMs 进行坐标级体验控制的推理

    我们展示了使用 LLMs 解决机器人动作规划问题的实验结果。与其它方法不同，我们的方法通过自然语言推理获取任务和场景对象的文本描述，并输出坐标级控制命令，从而减少中间表示代码作为策略的必要性。我们的方法在多模态提示仿真基准上进行评估，证明了自然语言推理改善成功率的潜力，并展示了利用自然语言描述将机器人技能从已知任务转移到以前未见任务的可能性。

    Mar, 2024