Mar, 2024

RH20T-P：面向可组合泛化智能体的原始级机器人数据集

PDF
TL;DR我们提出了一个原始级别的机器人数据集 RH20T-P，其中包含约 33000 个视频剪辑，涵盖了 44 个多样且复杂的机器人任务，为模块化泛化代理的未来发展提供了便利。
robotic learningprimitive-level plansnovel robotic tasksrh20t-pcomposable generalization agents
发现论文，激发创造
  • RH20T: 用于一次学习多样技能的机器人数据集

    本研究旨在解锁机器人实现多模感知的能力，以通过单次模仿学习技术普及各种真实世界技能，通过收集千万级别的真实世界接触式机器人操作记录构建的开源数据集提高任务和动作规划的性能。

    Jul, 2023

  • 学习机器人技能组合模型，用于任务和动作规划

    该研究旨在通过学习使用感知运动基元来解决复杂的长期规划操作问题，其需要将基本技能组合成新的技能来推广应用于广泛的问题中，同时使用高效的主动学习和采样方法，将学习和规划方法结合来规划各种复杂的动态操作任务。

    Jun, 2020

  • PoCo: 来自和为异构机器人学习的政策组合

    从异构数据中训练通用机器人策略，使用 Policy Composition 方法将不同模态和领域的数据结合起来，学习场景级和任务级的广义操作技能，实现对多任务操作的灵活综合和推理时策略行为的自适应。在模拟和真实世界实验中，该组合策略在不同场景和任务下实现了稳健和灵巧的性能，并优于单个数据源的基线结果。

    Feb, 2024

  • 通过组合泛化实现机器人操作的高效数据收集

    通过大规模机器人数据收集，研究表明，在考虑环境因素的情况下利用组合性训练数据，可以更好地提高机器人政策的泛化能力，从而避免收集针对特定情况的数据。

    Mar, 2024

  • 用于离线组合强化学习的机器人操作数据集

    本研究提供了四个来自 CompoSuite 的离线强化学习数据集，用于解决机器人操作的组合任务，评估表明组合方法比非组合方法优越，但当前方法仍无法提取任务的组合结构以推广到看不见的任务，需要进一步研究。

    Jul, 2023

  • 交互式机器人操作的混合组合推理方法

    本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。

    Oct, 2022

  • 机器人操控的语义增强和动作分块的泛化和效率

    通过语义增强和行为表征，我们开发了一个高效的系统（RoboAgent）来训练具备多任务操作技能的通用智能体，使用少量多样的多模态数据集，能够展示不同的技能并在新颖的场景中表现出很好的泛化性能。

    Sep, 2023

  • 通过翻译人类交互计划实现推广的零射击操作

    我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

    Dec, 2023

  • 复合视觉运动任务的一次性分层模仿学习

    我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

    Oct, 2018

  • RT-1：用于实际规模控制的机器人变压器

    通过开放式训练和高容量结构的机器学习模型，结合具有各种数据多样性的大规模数据集，以实现机器人模型的泛化能力。

    Dec, 2022