Feb, 2024

ALOHA 2: 强化的低成本双臂远程操作硬件

PDF
TL;DRALOHA 2 是 ALOHA 的改进版本，通过开源其硬件设计和提供详细教程以及 ALOHA 2 的 MuJoCo 模型，加速大规模双手操作研究的进程。
robot learningdexterityscalealoha 2bimanual manipulation
发现论文，激发创造
  • 移动 ALOHA: 使用低成本全身远程操作学习双臂移动操纵

    通过移动操作的人类示范来模仿学习已经在机器人领域取得了令人瞩目的成绩。本研究开发了一种用于模仿双手操作和需要全身控制的移动操作任务的系统，并提出了 Mobile ALOHA 作为数据收集的低成本全身远程操作系统。通过使用 Mobile ALOHA 收集的数据，我们进行了监督行为克隆，并发现与现有的静态 ALOHA 数据集合作可以提高移动操作任务的性能。每个任务使用 50 个示范，合作训练可以将成功率提高到 90％，使 Mobile ALOHA 能够自主完成复杂的移动操作任务。

    Jan, 2024

  • Tele-Aloha: 一种低成本、高真实度的远程存在感系统，使用稀疏的 RGB 摄像头

    本文介绍了一种低成本、高真实性的双向远程呈现系统 Tele-Aloha，它采用四个稀疏的 RGB 相机、一台消费级 GPU 和一个自动立体屏幕，实现了高分辨率 (2048x2048)、实时性 (30 fps)、低延迟性 (小于 150ms) 和稳定的远程沟通。我们提出了一种有效的新型视图合成算法用于上半身，通过级联视差估计器和高斯喷洒的神经光栅化器，我们能够在目标视角上投影潜在特征并将其解码为降低分辨率的图像，然后利用加权混合机制将解码图像进一步优化至 2K 分辨率。利用世界领先的自动立体显示和低延迟虹膜追踪技术，用户可以在没有任何佩戴式头戴显示设备的情况下体验到强烈的立体感。总的来说，我们的远程呈现系统在实生实验中呈现了共存感，为下一代通信技术提供了启示。

    May, 2024

  • 使用两只多指手学习视触技能

    通过学习人类示范，我们利用双臂系统和视触数据探索实现类似人类敏捷性、感知体验和运动模式的目标。我们开发了一种低成本的手臂远程操作系统并重新利用配备触觉传感器的义肢手，通过采集到的视触数据学习完成长周期、高精度任务。我们的结果在双臂多指操作和视触数据方面迈出了有希望的一步。

    Apr, 2024

  • TeleMoMa：一种用于移动机器人操作的模块化多功能远程操作系统

    在该论文中，我们演示了 TeleMoMa，这是一种用于移动操纵机器人的整体远程操作的通用模块化接口。通过使用多种人机接口（包括 RGB 和深度摄像机、虚拟现实控制器、键盘、游戏杆等），TeleMoMa 降低了人们提供移动操纵演示的门槛。通过在仿真和现实世界中远程操作多个现有移动操纵器，我们展示了 TeleMoMa 的多功能性。通过训练移动操纵任务的模仿学习策略，并通过用户研究评估不同人机接口组合下初学者学习收集演示的难易程度，我们展示了使用 TeleMoMa 收集演示的质量。我们希望 TeleMoMa 成为一个有用的工具，使研究人员能够收集整体移动操纵演示。

    Mar, 2024

  • 学习人对人形机器人的实时全身遥操作

    我们提出了基于强化学习的人到仿真向人型机器人 (人到人型机器人，H2O) 的框架，通过仅使用一个 RGB 摄像机实现了全尺寸人型机器人的实时全身遥操作。我们使用可行运动模拟器提出了一个可扩展的 “仿真到数据” 过程，以创建用于人型机器人的大规模运动数据集，并在仿真中训练一个稳健的全身运动模拟器，然后以零样本的方式将其转移到实际人型机器人上，实现了在真实场景中的动态全身动作遥操作，包括行走、后跳、踢球、转身、挥手、推动、拳击等。据我们所知，这是实现基于学习的实时全身人型机器人遥操作的第一个演示。

    Mar, 2024

  • 基于视觉和 IMU 的移动机器人手臂远程操作系统

    本文介绍了一个多模态移动远程操作系统，其由一种新颖的基于视觉的手部姿态回归网络（Transteleop）和一种基于 IMU 的臂部追踪方法组成，并使用低成本深度摄像头观察人手，并通过图像到图像的转换过程生成了配对机器人手部姿势的深度图像，同时具备同时手 - 臂控制的可穿戴相机支架，关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处，并丰富了重建图像的局部特征。网络评价结果和各种复杂操作的操作都表明了我们的系统的效率和稳定性。

    Mar, 2020

  • LEAP Hand：低成本、高效、拟人化机器人学习手

    该研究提出了一种低成本的 LEAP 手型机器人手，具有新颖的运动结构，可在不同的手指姿势下实现最大的灵活性和机器学习研究，能在真实世界中执行多种操作任务，并在实验中明显优于竞争对手，成本只有 1/8。

    Sep, 2023

  • 基于视觉的灵巧机械手臂系统远程操作

    本研究设计了一个低成本的基于视觉的遥操作系统 DexPilot，透过观察裸露的人手简单操作即可完全控制拥有 23 个 DoA 的机器人系统，能够执行各种复杂的操作，收集高维度、多模态的状态 - 行动数据，为未来学习挑战性操作任务的感觉运动策略奠定基础。

    Oct, 2019

  • PerAct2: 一个面向双手操作任务的感知器执行框架

    扩展 RLBench 以进行双手操作的模拟基准测试，提供 13 项新任务和 23 个独特的任务变体，其中每个任务要求高度的协调和适应性。通过引入多种先进方法和 PerAct2 语言条件行为克隆代理，实现语言处理与动作预测的高效集成，使机器人能够理解和执行用户指定目标的复杂双手任务。

    Jun, 2024

  • 运动约束的类人双臂机器人与人的交接

    提出了一个框架来生成运动学约束的类人双手机器人运动，以确保人与机器之间物体的顺畅和自然的交接。通过使用隐藏半马尔可夫模型（HSMM）根据观察到的人的动作生成适当的响应轨迹，通过任务空间约束调整轨迹以确保准确的递交。通过一项试点研究的结果表明，与基线逆运动学方法相比，我们的方法被认为更类似于人类。

    Feb, 2024