Jan, 2024

移动 ALOHA: 使用低成本全身远程操作学习双臂移动操纵

PDF
TL;DR通过移动操作的人类示范来模仿学习已经在机器人领域取得了令人瞩目的成绩。本研究开发了一种用于模仿双手操作和需要全身控制的移动操作任务的系统，并提出了 Mobile ALOHA 作为数据收集的低成本全身远程操作系统。通过使用 Mobile ALOHA 收集的数据，我们进行了监督行为克隆，并发现与现有的静态 ALOHA 数据集合作可以提高移动操作任务的性能。每个任务使用 50 个示范，合作训练可以将成功率提高到 90％，使 Mobile ALOHA 能够自主完成复杂的移动操作任务。
发现论文，激发创造
  • ALOHA 2: 强化的低成本双臂远程操作硬件

    ALOHA 2 是 ALOHA 的改进版本，通过开源其硬件设计和提供详细教程以及 ALOHA 2 的 MuJoCo 模型，加速大规模双手操作研究的进程。

    Feb, 2024

  • TeleMoMa：一种用于移动机器人操作的模块化多功能远程操作系统

    在该论文中，我们演示了 TeleMoMa，这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口（包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等），TeleMoMa 降低了人们提供移动操纵演示的门槛。通过在仿真和现实世界中远程操作多个现有移动操纵器，我们展示了 TeleMoMa 的多功能性。通过训练移动操纵任务的模仿学习策略，并通过用户研究评估不同人机接口组合下初学者学习收集演示的难易程度，我们展示了使用 TeleMoMa 收集演示的质量。我们希望 TeleMoMa 成为一个有用的工具，使研究人员能够收集整体移动操纵演示。

    Mar, 2024

  • 基于视觉和 IMU 的移动机器人手臂远程操作系统

    本文介绍了一个多模态移动远程操作系统，其由一种新颖的基于视觉的手部姿态回归网络（Transteleop）和一种基于 IMU 的臂部追踪方法组成，并使用低成本深度摄像头观察人手，并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像，同时具备同时手 - 臂控制的可穿戴相机支架，关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处，并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。

    Mar, 2020

  • 自适应开放环境下的关节化物体移动操控

    在本研究中，我们介绍了一个全套解决方案，即开放世界移动操作系统，用于处理开放且无结构的环境中的真实关节对象操作，如真实世界中的门、柜子、抽屉和冰箱。我们还开发了一种低成本的移动操作硬件平台，能够在无结构环境中进行安全和自主的在线调整。

    Jan, 2024

  • 双手操作和连接的 Sim-to-Real 强化学习

    该研究探讨如何使用强化学习针对具有挑战的双臂机器人任务，通过模拟训练，实现直接传递未经过滤的观察信息到神经网络模型并保证仿真环境与实际情况一致。设计了一个基于磁力连接的联结任务，通过两个 xArm6 机器人，并在此基础上验证了该强化学习方法的可行性，对于成功拾取方块和连结任务的成功率分别达到了 100％和 65％。

    Mar, 2022

  • SPIN: 同时感知、交互与导航

    通过使用主动视觉系统来有意识地感知和应对环境，我们开发了一种移动操纵框架，该框架利用移动机械手的能力来移动和观察，从而能够在复杂混乱的场景中导航并展示灵活的全身协调，而无需创建环境地图。

    May, 2024

  • Tele-Aloha: 一种低成本、高真实度的远程存在感系统，使用稀疏的 RGB 摄像头

    本文介绍了一种低成本、高真实性的双向远程呈现系统 Tele-Aloha，它采用四个稀疏的 RGB 相机、一台消费级 GPU 和一个自动立体屏幕，实现了高分辨率 (2048x2048)、实时性 (30 fps)、低延迟性 (小于 150ms) 和稳定的远程沟通。我们提出了一种有效的新型视图合成算法用于上半身，通过级联视差估计器和高斯喷洒的神经光栅化器，我们能够在目标视角上投影潜在特征并将其解码为降低分辨率的图像，然后利用加权混合机制将解码图像进一步优化至 2K 分辨率。利用世界领先的自动立体显示和低延迟虹膜追踪技术，用户可以在没有任何佩戴式头戴显示设备的情况下体验到强烈的立体感。总的来说，我们的远程呈现系统在实生实验中呈现了共存感，为下一代通信技术提供了启示。

    May, 2024

  • 人－机联合学习的高效机器人操作技能获取

    通过使用一个新型的人机协作系统，允许人类操作员与机器人共同控制机器人末端执行器，从而实现了同时进行人类示范收集和机器人操作教学，以提高数据收集效率和降低人类适应性需求。

    Jun, 2024

  • 使用两只多指手学习视触技能

    通过学习人类示范，我们利用双臂系统和视触数据探索实现类似人类敏捷性、感知体验和运动模式的目标。我们开发了一种低成本的手臂远程操作系统并重新利用配备触觉传感器的义肢手，通过采集到的视触数据学习完成长周期、高精度任务。我们的结果在双臂多指操作和视触数据方面迈出了有希望的一步。

    Apr, 2024

  • 学习人对人形机器人的实时全身遥操作

    我们提出了基于强化学习的人到仿真向人型机器人 (人到人型机器人，H2O) 的框架，通过仅使用一个 RGB 摄像机实现了全尺寸人型机器人的实时全身遥操作。我们使用可行运动模拟器提出了一个可扩展的 “仿真到数据” 过程，以创建用于人型机器人的大规模运动数据集，并在仿真中训练一个稳健的全身运动模拟器，然后以零样本的方式将其转移到实际人型机器人上，实现了在真实场景中的动态全身动作遥操作，包括行走、后跳、踢球、转身、挥手、推动、拳击等。据我们所知，这是实现基于学习的实时全身人型机器人遥操作的第一个演示。

    Mar, 2024