Apr, 2024

Ag2Manip：利用与代理人无关的视觉和行为表示学习新的操作技能

PDF
TL;DRAutonomous robotic systems capable of learning manipulation tasks can be transformed through Agent-Agnostic representations for Manipulation (Ag2Manip), which overcomes domain gaps, enhances generalizability, and achieves significant improvements in performance.
autonomous robotic systemslearningmanipulation tasksagent-agnostic representationsgeneralizability
发现论文，激发创造
  • R3M: 机器人操作的通用视觉表示

    本研究探讨了预先在多样化人类视频数据上进行训练的视觉表示如何实现对下游机器人操作任务的数据高效学习。我们使用时间对比学习、视频语言对齐和 L1 惩罚的组合来预先训练 Ego4D 人类视频数据集的视觉表示。最终结果是一个名为 R3M 的表示，可用作下游策略学习的静态感知模块。在 12 个模拟机器人操作任务中，我们发现与从头开始训练以及与 CLIP 和 MoCo 等最先进的视觉表示相比，R3M 可将任务成功率提高 20％以上。此外，R3M 使 Franka Emika Panda 手臂仅使用 20 个演示即可在真实的、杂乱的公寓中学习一系列操作任务。

    Mar, 2022

  • 机器人操控的语义增强和动作分块的泛化和效率

    通过语义增强和行为表征，我们开发了一个高效的系统（RoboAgent）来训练具备多任务操作技能的通用智能体，使用少量多样的多模态数据集，能够展示不同的技能并在新颖的场景中表现出很好的泛化性能。

    Sep, 2023

  • ManiSkill2: 通用性操作技能统一基准

    ManiSkill2 是 SAPIEN ManiSkill 基准的下一代版本，它包含 20 个操作任务族，2000 多个物体模型和 4M 多演示帧，定义了一个统一的界面和评估协议，支持各种算法，视觉观察和控制器，并赋予快速视觉输入学习算法的能力。

    Feb, 2023

  • 面向人类的机器人操作的表示学习

    人类具有内在的通用视觉表征，使其能够高效地探索和与环境进行物体操控。本研究提出使用多任务微调的方式在经过预训练的视觉编码器上学习感知技能，通过任务融合解码器指导表示学习，使得对于所有感知技能来说，学习编码的结构能够更好地表示重要信息，最终为下游的机器人操控任务提供帮助。大量实验验证了任务融合解码器在多个机器人任务和仿真及现实环境中对于三种最先进的视觉编码器（R3M、MVP 和 EgoVLP）的表示进行了改进，提升了下游操控策略的学习性能。

    Oct, 2023

  • 通过生成对抗自我模仿学习从示范中学习类别级可搬移物体操作策略

    本文通过模仿学习的方式解决在复杂情况下通过学习实现物体操作技能的问题，提出了一种可以应用于各项任务的无先验奖励的泛化策略学习方法，并通过几个关键技术，包括生成式对抗自我模仿学习、不断完善的判别器和平衡专家池中的实例，显著提高了分类水平操作策略学习的效率和泛化能力。实验结果在 ManiSkill 基准测试中都有明显改善。

    Mar, 2022

  • 基于端到端演示学习的基于视觉的廉价机器人多任务操作

    以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

    Jul, 2017

  • 自动化现实世界机器人：利用视觉语言模型操控一切

    Manipulate-Anything 是一种可扩展的自动化生成方法，在没有特权状态信息、手动设计的技能的情况下，在真实环境中操作任何静态物体，其生成的演示数据可以用于生成鲁棒的行为克隆策略。

    Jun, 2024

  • 预测交互来学习操控

    通过预测交互进行操纵的学习，提取可视化表示，并且在真实世界和仿真环境中实现了 10% 至 64% 的显著性改进。

    Jun, 2024

  • 通过翻译人类交互计划实现推广的零射击操作

    我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

    Dec, 2023

  • ManipulaTHOR：一个用于视觉物体操纵的框架

    本文提出了一个基于 AI2-THOR 框架的物体操作框架并提出了一个名为 ArmPointNav 的新挑战任务，以扩展点导航任务到物体操作，并提供了新的挑战，包括 3D 障碍物避免、存在遮挡的物体操作以及多物体操作，并指出了 PointNav 挑战中成功的流行学习范例仍有大量改进空间。

    Apr, 2021