Jul, 2023

RoCo: 大型语言模型下的辩证多机器人协作

PDF
TL;DR我们提出了一种新颖的多机器人协作方法，利用预训练的大型语言模型（LLMs）进行高层通信和低层路径规划，通过机器人之间的交流和集体推理任务策略，并生成子任务计划和任务空间路径，应用于多臂运动规划，以加速轨迹规划，并在环境中提供反馈，如碰撞检测，以促使 LLM 代理改进其计划和路径点。我们提出了 RoCoBench，一个包含六个任务的广泛多机器人协作场景的基准测试，伴随着一个纯文本数据集用于代理表示和推理。我们在实验证明了我们方法的有效性 - 它在 RoCoBench 的所有任务上都取得了高成功率，并且能够适应任务语义的变化。我们的对话设置提供了高度的可解释性和灵活性 - 在真实世界的实验中，我们展示了 RoCo 可以轻松地与人工智能交互，用户可以与机器人代理合作完成任务。请参考项目网站以观看视频和获取代码。
发现论文，激发创造
  • CoPAL: 机器人动作的修正规划与大型语言模型

    在全面自主的机器人系统领域，本研究通过提出系统架构来解决复杂开放世界环境中任务与动作规划的挑战，核心是处理生成计划中的物理、逻辑和语义错误的重规划策略。通过在仿真和两个复杂的现实场景中进行实证评估，我们展示了所提出的反馈架构对可执行性、正确性和时间复杂性的有效性。

    Oct, 2023

  • 通过人机协作增强基于 LLM 的机器人操控

    通过人机协作的方式，本文提出了一种增强基于大型语言模型的自主操作的方法，并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中，通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明，在复杂轨迹规划和环境推理方面，基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。

    Jun, 2024

  • InCoRo：带反馈循环的机器人控制中的上下文学习

    通过使用 LLM 模型，通过现场感知和适应性执行命令，从而在动态环境中实现了一种机器人控制器的有效实现，在静态和动态环境中都展示了出色的成功率，并具备适应动态环境的能力。

    Feb, 2024

  • 使用大语言模型模块化地构建合作体验智能体

    论文提出了一种新的基于大型语言模型的多智能体合作框架，在多种身体环境中测试并得到了良好的效果，其具备规划、沟通和与其他人类或智能体合作完成长期任务等能力，并且与人类沟通的模型更容易获得信任，这为未来的智能体合作研究奠定了基础。

    Jul, 2023

  • 基于大型语言模型的协作框架实现自动机器人开发

    通过创新的自动协作框架，借鉴实际机器人开发者的经验，利用多个大型语言模型在分析、编程和测试等不同角色中合作，深入挖掘用户需求、生成精确代码，并根据用户反馈调整参数以实现复杂的机器人开发任务，无需专业知识，仅依靠非专家参与。

    Feb, 2024

  • 用于编排双臂机器人的大型语言模型

    利用大型语言模型（LLM）的语言感知和上下文学习能力，开发了基于 LLM 的双手动作协调系统（LABOR Agent），用于解决双手操作任务的时空协调问题，并通过在仿真环境中测试实验证明其接近最优性能。

    Apr, 2024

  • 基于 LLM 的人机协作框架用于操作任务

    该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

    Aug, 2023

  • RoboLLM: 基于多模态大型语言模型的机器人视觉任务

    通过利用多模态大语言模型（MLLMs）的预训练能力，我们介绍了 RoboLLM 框架以应对 ARMBench 挑战中的视觉感知任务，在实际仓库场景下的大规模机器人操作数据集中，RoboLLM 不仅优于现有基线方法，还大幅减少了模型选择和调优的工作量。

    Oct, 2023

  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024

  • RoboCoder：大型语言模型从基础技能到通用任务的机器人学习

    通过引入 RoboCoder 综合基准和自主学习框架，提高机器人在复杂环境中的普适性，并结合实时环境反馈不断更新和完善行动代码，使得大型语言模型在处理复杂任务时表现出显著提升。

    Jun, 2024