Feb, 2024

RoboScript: 跨真实和模拟环境的自由操作任务的代码生成

PDF
TL;DRRobotScript 是一个平台，用于基于代码生成的部署式机器人操作流程，也是一个自由形式自然语言的机器人操作任务代码生成基准。该平台通过 ROS 的抽象，与仿真和真实机器人实现统一接口，确保语法一致性和与 Gazebo 的仿真验证，并展示了其跨多种机器人实体的代码生成框架的适应性，并评估了 GPT-3.5、GPT-4 和 Gemini 在处理复杂物理交互任务中的推理能力差异，最后进行了全系统的综合评估，探索了代码生成、感知、运动规划和物体几何属性等每个模块对系统整体性能的影响。
robotscriptrobot manipulationcode generationdeployabilitybenchmark
发现论文，激发创造
  • RM-PRT: 现实机器人操作模拟器与逐步推理任务基准

    本文提出了一个基于预训练语言模型 (ChatGPT) 的真实机器人操作模拟器，并以此为基础建立了一个具有递进推理任务的机器人操作基准 (RM-PRT)。该基准评估了机器人在吸附和抓取的两种模式下理解自然语言命令的能力，并对 10 种不同的 LLMs 进行了全面的分析和比较。

    Jun, 2023

  • 自动化现实世界机器人：利用视觉语言模型操控一切

    Manipulate-Anything 是一种可扩展的自动化生成方法，在没有特权状态信息、手动设计的技能的情况下，在真实环境中操作任何静态物体，其生成的演示数据可以用于生成鲁棒的行为克隆策略。

    Jun, 2024

  • 基于知识驱动的人机交互虚拟现实演示的机器人程序合成

    本文介绍了一种通过虚拟现实人类任务演示自动生成可执行机器人控制程序的系统，利用常识知识和基于游戏引擎的物理，以及自动路径规划和代码生成，实现了具有表现力和通用性的任务表示，在强力抓取和放置机器人购物助手的场景中进行了演示。

    Jun, 2023

  • 交互式机器人操作的混合组合推理方法

    本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。

    Oct, 2022

  • 学习神经符号程序用于语言引导机器人操控

    通过一种模块化结构，使用符号推理构造深度物体中心推理模型，从而训练出一种可以执行机器人操作的模型，此模型具有优秀的通用性和端到端的可训练性。

    Nov, 2022

  • 使用 POMDP 和生成模型实现机器人的即插即用的任务级自主

    该研究论文研究了如何将各种技能集成到机器人控制器中，利用基于概率编程语言的生成式技能文档语言，高效地解决了控制器代码文档化及添加新技能的问题，并通过 POMDP solver 及 AI planning 技术自动规划技能执行顺序，提高了机器人的自主控制性能。

    Jul, 2022

  • GenSim：通过大型语言模型生成机器人仿真任务

    通过使用语言模型生成丰富的仿真环境和专家演示，在模拟数据上进行多任务策略训练，极大地增强了任务级泛化能力，并实现了对未见过的现实任务的强大转移能力。

    Oct, 2023

  • RoboGen: 通过生成式模拟释放无限数据用于自动化机器人学习

    通过生成仿真系统，RoboGen 是一种生成式机器人代理，可以自动学习各种机器人技能，从而规模化地进行机器人技能学习，减少人类监督。

    Nov, 2023

  • RoboCodeX: 机器人行为综合的多模态代码生成

    提出了一种用于广义机器人行为综合的树状多模态代码生成框架 RoboCodeX，通过将高级人类指令分解为多个以物体为中心的操作单元，并应用代码生成来实现对各种机器人平台的广义化能力。通过预训练和迭代自更新方法引入了专门的多模态推理数据集，以增强将概念和感知理解转化为控制命令的能力。大量实验证明 RoboCodeX 在模拟器和真实机器人上在四种不同类型的操作任务和一种导航任务中实现了最先进的性能。

    Feb, 2024

  • RoboCoder：大型语言模型从基础技能到通用任务的机器人学习

    通过引入 RoboCoder 综合基准和自主学习框架，提高机器人在复杂环境中的普适性，并结合实时环境反馈不断更新和完善行动代码，使得大型语言模型在处理复杂任务时表现出显著提升。

    Jun, 2024