Sep, 2023

稳定以行动：学习协调的双手操作

PDF
TL;DR借鉴人类，提出了一种新颖的角色分配框架：一个稳定的手臂将物体固定在原位以简化环境，而另一个执行手臂执行任务。通过 BimanUal Dexterity from Stabilization (BUDS) 实现了该框架，并在真实世界的机器人上评估了其性能，在各种复杂性的四个双手任务中，仅通过 20 次演示，BUDS 在任务套件中实现了 76.9% 的成功率，且能够以 52.7% 的成功率推广到同一类别的不同对象。BUDS 比基于 BC 稳定策略的非结构化基线成功率提高了 56.0%，这是由于这些复杂任务所要求的高精度。
发现论文，激发创造
  • PerAct2: 一个面向双手操作任务的感知器执行框架

    扩展 RLBench 以进行双手操作的模拟基准测试，提供 13 项新任务和 23 个独特的任务变体，其中每个任务要求高度的协调和适应性。通过引入多种先进方法和 PerAct2 语言条件行为克隆代理，实现语言处理与动作预测的高效集成，使机器人能够理解和执行用户指定目标的复杂双手任务。

    Jun, 2024

  • 使用相对参数化方法学习机器人广义双手协调运动的 BiRP 模型 (BiRP: Learning Robot Generalized Bimanual Coordination using Relative Parameterization Method on Human Demonstration)

    本文提出了一种基于变量表示的双手协调学习方法，使用高斯混合模型来描述人体展示中最相关的协调模式，并将其推广到新任务参数中以确保时空协调。

    Jul, 2023

  • 双手操作和连接的 Sim-to-Real 强化学习

    该研究探讨如何使用强化学习针对具有挑战的双臂机器人任务，通过模拟训练，实现直接传递未经过滤的观察信息到神经网络模型并保证仿真环境与实际情况一致。设计了一个基于磁力连接的联结任务，通过两个 xArm6 机器人，并在此基础上验证了该强化学习方法的可行性，对于成功拾取方块和连结任务的成功率分别达到了 100％和 65％。

    Mar, 2022

  • 双手操控半流体物体的机器人炒菜技术

    提出使用可学习的变形对象操作框架来让双臂机器人系统能够实现拌炒烹饪。首先定义了一个规范的拌炒动作，然后通过图结构和变形器模型 Structured-Transformer 来捕捉双臂运动的时空关系，最后加入视觉反馈，实现了自动适应运动，可以实现炒菜并有望推广到其他可变形物体的双臂协调操作。

    May, 2022

  • BiKC：健臂机器人操作的关键姿态准确性策略

    本文介绍了一种适用于双手操作的新型关键姿势条件一致性策略，该策略以层次化的模仿学习框架为基础，通过预测关键姿势指导轨迹生成，并在一阶段任务完成时标记，通过快速推理生成行动序列，实验结果表明该方法在成功率和操作效率方面优于基线方法。

    Jun, 2024

  • 使用强化学习实现人类水平的双手灵巧操作

    提出了双手灵巧操纵仿真器 Bi-DexHands，可用于机器人学习多种操纵技巧，其中单一代理策略 PPO 可达到人类 48 个月婴儿的操作水平，而多代理策略可进一步帮助掌握需要灵巧双手协作的操作任务，但现有 RL 算法在多任务和少样本学习设置下仍需要更深入的研究。

    Jun, 2022

  • 双目视觉强化学习实现经济有效的精细操纵和自动眼手协调

    该研究提出了一种低成本无需昂贵传感器，即可通过学习眼手协调和点对齐能力的方法解决机器人精密操作任务的算法 Binocular Alignment Learning，该算法在仿真和实际机器人测试中都达到了良好的性能。

    May, 2022

  • 运动约束的类人双臂机器人与人的交接

    提出了一个框架来生成运动学约束的类人双手机器人运动，以确保人与机器之间物体的顺畅和自然的交接。通过使用隐藏半马尔可夫模型（HSMM）根据观察到的人的动作生成适当的响应轨迹，通过任务空间约束调整轨迹以确保准确的递交。通过一项试点研究的结果表明，与基线逆运动学方法相比，我们的方法被认为更类似于人类。

    Feb, 2024

  • 动态移交：双手挥动和接住

    设计了一个系统，其中包含两只附着在机器人手臂上的多指手，用于解决机器人在高速操作、精确协作和与不同对象进行交互时面临的挑战。通过在模拟中使用多智能体强化学习训练，并进行 Sim2Real 转移以在真实机器人上实施，提供了多个创新算法设计，包括学习物体的轨迹预测模型，帮助机器人准确估计物体的移动方向并做出相应反应。通过在真实环境中使用多个物体进行实验，相较于多个基准线表现出显著改进。项目页面可在 https://binghao-huang.github.io/dynamic_handover/ 访问。

    Sep, 2023

  • 用于编排双臂机器人的大型语言模型

    利用大型语言模型（LLM）的语言感知和上下文学习能力，开发了基于 LLM 的双手动作协调系统（LABOR Agent），用于解决双手操作任务的时空协调问题，并通过在仿真环境中测试实验证明其接近最优性能。

    Apr, 2024