Sep, 2023

基于基础模型的人机协同持续机器人学习

PDF
TL;DR通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。
large language modelsllm-based plannersskillsrobot teachingrigid object manipulation
发现论文，激发创造
  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • 基于 LLM 的人机协作框架用于操作任务

    该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

    Aug, 2023

  • 部分可观察机器人任务的大型语言模型交互规划

    使用大型语言模型（LLMs）的互动规划技术，通过机器人收集环境中缺失的信息并推断底层问题的状态，从而指导机器人执行所需的动作。

    Dec, 2023

  • 语言模型作为零样本轨迹生成器

    大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

    Oct, 2023

  • LLM-Personalize: 通过强化自我训练使 LLM 规划器与人类偏好保持一致的家务机器人

    通过优化流程，个性化 LLM 规划器以适应个体用户偏好，大幅提高与人类偏好的一致性。

    Apr, 2024

  • Plan-Seq-Learn: 语言模型引导强化学习解决长时程机器人任务

    利用大型语言模型（LLMs）和运动规划，提出了一种模块化方法 Plan-Seq-Learn（PSL），将抽象语言和学习到的低级控制相结合，从头开始解决长期目标的机器人任务，并在超过 25 个具有挑战性的机器人任务中取得了最先进的结果。

    May, 2024

  • 语言模型与交互式任务规划

    一个互动机器人框架可以完成长期任务规划，并能在执行过程中轻松推广到新目标或不同任务。通过语言模型实现了高级规划和低级功能执行的系统，实现了对未知目标的新颖高级指令的生成，并通过仅替换任务指南来适应不同任务，而无需复杂的提示工程。此外，当用户发送新请求时，系统能够根据新请求、任务指南和先前执行步骤精确地重新规划。

    Oct, 2023

  • 使用大型语言模型生成机器人任务计划

    通过使用编程式的提示结构，可以促使大型语言模型在不同的环境、机器人能力和任务中进行计划生成，从而大大减少了任务规划中需要定义的领域知识。

    Sep, 2022

  • 基于基础模型的真实世界机器人应用：一综述

    通过对基础模型在真实世界机器人应用中替换现有组件的主要影响进行概述，本文总结了基础模型在机器人领域中输入输出关系的观点，以及它们在感知、运动规划和控制方面的作用，并讨论了未来挑战和对实际机器人应用的影响。

    Feb, 2024

  • 基于大型语言模型的机器人任务规划与有向图结构表示

    该研究提出了一种将人类专业知识和 LLM 结合的任务规划方法，通过逐步分解任务并生成任务树来减少每个任务的计划量，并设计了一种策略来分离机器任务计划，从而使任务计划过程更加灵活。

    Jun, 2023