Oct, 2023

面向人类的机器人操作的表示学习

PDF
TL;DR人类具有内在的通用视觉表征，使其能够高效地探索和与环境进行物体操控。本研究提出使用多任务微调的方式在经过预训练的视觉编码器上学习感知技能，通过任务融合解码器指导表示学习，使得对于所有感知技能来说，学习编码的结构能够更好地表示重要信息，最终为下游的机器人操控任务提供帮助。大量实验验证了任务融合解码器在多个机器人任务和仿真及现实环境中对于三种最先进的视觉编码器（R3M、MVP 和 EgoVLP）的表示进行了改进，提升了下游操控策略的学习性能。
发现论文，激发创造
  • R3M: 机器人操作的通用视觉表示

    本研究探讨了预先在多样化人类视频数据上进行训练的视觉表示如何实现对下游机器人操作任务的数据高效学习。我们使用时间对比学习、视频语言对齐和 L1 惩罚的组合来预先训练 Ego4D 人类视频数据集的视觉表示。最终结果是一个名为 R3M 的表示，可用作下游策略学习的静态感知模块。在 12 个模拟机器人操作任务中，我们发现与从头开始训练以及与 CLIP 和 MoCo 等最先进的视觉表示相比，R3M 可将任务成功率提高 20％以上。此外，R3M 使 Franka Emika Panda 手臂仅使用 20 个演示即可在真实的、杂乱的公寓中学习一系列操作任务。

    Mar, 2022

  • 语言驱动的机器人表示学习

    本文介绍了一种基于语言驱动的视觉表示学习方法，即 Voltron，并通过全面的实验验证表明其在五种不同的机器人学习问题上的表现优于以往技术，特别是在需要更高级特征的问题上。

    Feb, 2023

  • 将机器人的表示与人类对齐

    研究了如何将在一个环境中学到的知识传递到另一个环境中的关键问题，并通过学习人类期望机器人执行哪些任务的中间表示方法，来提高机器人学习效率，从而为人类与机器人的互动打下基础。

    May, 2022

  • 缓解机器人操作中的人机领域差异问题

    利用人机视频数据进行对齐来适应预先训练模型到机器人领域，在多个任务中实现了显著的成功率提升。

    Jun, 2024

  • 基于端到端演示学习的基于视觉的廉价机器人多任务操作

    以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

    Jul, 2017

  • 预训练视觉表示对稳健操控的成功因素

    通过对 15 个预训练视觉模型的性能比较，发现视觉出现分割能力是 ViT 模型在分布偏移下的强预测因子。在十个任务中进行广泛测试后，分割分数在离线训练和 50 次演示后预测了真实世界的性能。

    Nov, 2023

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 基于物理控制的通用人形动作表示

    我们提出了一种通用的运动表示方法，该方法涵盖了针对基于物理的人形控制的全面的运动技能范围。

    Oct, 2023

  • 面向机器人操作的指导驱动历史感知策略

    本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察，以提高机器人的精准操作，并在 RLBench 基准测试中成功实现 74 项任务，还表现出对未曾见过变化的任务的良好泛化性能。

    Sep, 2022

  • 多任务策略训练中的简单自发行为表示

    该论文研究了深度强化学习中低级感知和运动信号的表示方法，提出通过多任务策略网络输入状态和任务嵌入的方法得到有意义的运动表示空间，并在此基础上进行高级别指令的执行规划，实验结果表明该方法优于现有强基线方法，具有较强的任务适应能力。

    Oct, 2022