Jun, 2024

PerAct2: 一个面向双手操作任务的感知器执行框架

PDF
TL;DR扩展 RLBench 以进行双手操作的模拟基准测试，提供 13 项新任务和 23 个独特的任务变体，其中每个任务要求高度的协调和适应性。通过引入多种先进方法和 PerAct2 语言条件行为克隆代理，实现语言处理与动作预测的高效集成，使机器人能够理解和执行用户指定目标的复杂双手任务。
bimanual manipulationsimulated benchmarkstask diversityrlbenchlanguage-conditioned behavioral cloning
发现论文，激发创造
  • 双手操作和连接的 Sim-to-Real 强化学习

    该研究探讨如何使用强化学习针对具有挑战的双臂机器人任务，通过模拟训练，实现直接传递未经过滤的观察信息到神经网络模型并保证仿真环境与实际情况一致。设计了一个基于磁力连接的联结任务，通过两个 xArm6 机器人，并在此基础上验证了该强化学习方法的可行性，对于成功拾取方块和连结任务的成功率分别达到了 100％和 65％。

    Mar, 2022

  • Perceiver-Actor: 用于机器人操纵的多任务 Transformer

    使用 Perceiver Transformer 的行为克隆代理能够有效地学习行动，实验表明其在桌面任务上优于不受结构限制的图像转行动代理和 3D ConvNet 基准。

    Sep, 2022

  • 使用强化学习实现人类水平的双手灵巧操作

    提出了双手灵巧操纵仿真器 Bi-DexHands，可用于机器人学习多种操纵技巧，其中单一代理策略 PPO 可达到人类 48 个月婴儿的操作水平，而多代理策略可进一步帮助掌握需要灵巧双手协作的操作任务，但现有 RL 算法在多任务和少样本学习设置下仍需要更深入的研究。

    Jun, 2022

  • 使用相对参数化方法学习机器人广义双手协调运动的 BiRP 模型 (BiRP: Learning Robot Generalized Bimanual Coordination using Relative Parameterization Method on Human Demonstration)

    本文提出了一种基于变量表示的双手协调学习方法，使用高斯混合模型来描述人体展示中最相关的协调模式，并将其推广到新任务参数中以确保时空协调。

    Jul, 2023

  • 稳定以行动：学习协调的双手操作

    借鉴人类，提出了一种新颖的角色分配框架：一个稳定的手臂将物体固定在原位以简化环境，而另一个执行手臂执行任务。通过 BimanUal Dexterity from Stabilization (BUDS) 实现了该框架，并在真实世界的机器人上评估了其性能，在各种复杂性的四个双手任务中，仅通过 20 次演示，BUDS 在任务套件中实现了 76.9% 的成功率，且能够以 52.7% 的成功率推广到同一类别的不同对象。BUDS 比基于 BC 稳定策略的非结构化基线成功率提高了 56.0%，这是由于这些复杂任务所要求的高精度。

    Sep, 2023

  • 用于编排双臂机器人的大型语言模型

    利用大型语言模型（LLM）的语言感知和上下文学习能力，开发了基于 LLM 的双手动作协调系统（LABOR Agent），用于解决双手操作任务的时空协调问题，并通过在仿真环境中测试实验证明其接近最优性能。

    Apr, 2024

  • 基于模拟到现实强化学习的双手积木搭建

    本文中，我们使用深度强化学习（RL）技术并结合由磁性方块组成的任务测试平台，通过在模拟环境中培训控制器并将其转移到真实机器人上，成功地实现了一个双臂机器人装配任务，证明了模拟转现技术在双臂机器人装配中的应用前景。

    Mar, 2023

  • ManiSkill2: 通用性操作技能统一基准

    ManiSkill2 是 SAPIEN ManiSkill 基准的下一代版本，它包含 20 个操作任务族，2000 多个物体模型和 4M 多演示帧，定义了一个统一的界面和评估协议，支持各种算法，视觉观察和控制器，并赋予快速视觉输入学习算法的能力。

    Feb, 2023

  • BiKC：健臂机器人操作的关键姿态准确性策略

    本文介绍了一种适用于双手操作的新型关键姿势条件一致性策略，该策略以层次化的模仿学习框架为基础，通过预测关键姿势指导轨迹生成，并在一阶段任务完成时标记，通过快速推理生成行动序列，实验结果表明该方法在成功率和操作效率方面优于基线方法。

    Jun, 2024

  • ScrewMimic: 人类视频中的螺旋空间投影双手模仿

    利用人类示范视频和自我监督策略微调，我们提出了一种名为 ScrewMimic 的框架，通过将两只手之间的相互作用建模为串行运动链形式进行双手操作，从而实现机器人学习双手操作行为。实验结果表明，ScrewMimic 能够从单个人类示范视频中学习多种复杂的双手操作行为，并且在解释示范和直接在两只手的原始运动空间进行微调的基准方法上表现出更好的性能。

    May, 2024