使用相对参数化方法学习机器人广义双手协调运动的 BiRP 模型 (BiRP: Learning Robot Generalized Bimanual Coordination using Relative Parameterization Method on Human Demonstration)

Jul, 2023

使用相对参数化方法学习机器人广义双手协调运动的 BiRP 模型 (BiRP: Learning Robot Generalized Bimanual Coordination using Relative Parameterization Method on Human Demonstration)

BiRP: Learning Robot Generalized Bimanual Coordination using Relative Parameterization Method on Human Demonstration

Junjia Liu, Hengyi Sim, Chenzui Li, Fei Chen

TL;DR本文提出了一种基于变量表示的双手协调学习方法，使用高斯混合模型来描述人体展示中最相关的协调模式，并将其推广到新任务参数中以确保时空协调。

Abstract

Human bimanual manipulation can perform more complex tasks than a simple combination of two single arms, which is credited to the spatio-temporal coordination between the arms. However, the description of bimanual coordination is still an open topic in robotics. This makes it difficult

bimanual coordination spatio-temporal coordination gaussian mixture models learning from demonstration robotics

发现论文，激发创造

用于编排双臂机器人的大型语言模型

利用大型语言模型（LLM）的语言感知和上下文学习能力，开发了基于 LLM 的双手动作协调系统（LABOR Agent），用于解决双手操作任务的时空协调问题，并通过在仿真环境中测试实验证明其接近最优性能。

Apr, 2024

使用强化学习实现人类水平的双手灵巧操作

提出了双手灵巧操纵仿真器 Bi-DexHands，可用于机器人学习多种操纵技巧，其中单一代理策略 PPO 可达到人类 48 个月婴儿的操作水平，而多代理策略可进一步帮助掌握需要灵巧双手协作的操作任务，但现有 RL 算法在多任务和少样本学习设置下仍需要更深入的研究。

Jun, 2022

运动约束的类人双臂机器人与人的交接

提出了一个框架来生成运动学约束的类人双手机器人运动，以确保人与机器之间物体的顺畅和自然的交接。通过使用隐藏半马尔可夫模型（HSMM）根据观察到的人的动作生成适当的响应轨迹，通过任务空间约束调整轨迹以确保准确的递交。通过一项试点研究的结果表明，与基线逆运动学方法相比，我们的方法被认为更类似于人类。

Feb, 2024

PerAct2: 一个面向双手操作任务的感知器执行框架

扩展 RLBench 以进行双手操作的模拟基准测试，提供 13 项新任务和 23 个独特的任务变体，其中每个任务要求高度的协调和适应性。通过引入多种先进方法和 PerAct2 语言条件行为克隆代理，实现语言处理与动作预测的高效集成，使机器人能够理解和执行用户指定目标的复杂双手任务。

Jun, 2024

使用图形网络从双手人类演示中学习对象 - 动作关系

本文研究了一种针对双手人体动作的按帧分类和分割系统，通过从机器人视角获取的 RGB-D 视频数据提取符号空间物体关系来建立基于图的场景表示，并使用帧级的真实标签训练图网络分类器来预测每只手执行的动作，实验表明，这种分类器能够在不需要先前的时间动作分割的情况下，可靠地识别每只手的真实执行动作。

Aug, 2019

稳定以行动：学习协调的双手操作

借鉴人类，提出了一种新颖的角色分配框架：一个稳定的手臂将物体固定在原位以简化环境，而另一个执行手臂执行任务。通过 BimanUal Dexterity from Stabilization (BUDS) 实现了该框架，并在真实世界的机器人上评估了其性能，在各种复杂性的四个双手任务中，仅通过 20 次演示，BUDS 在任务套件中实现了 76.9% 的成功率，且能够以 52.7% 的成功率推广到同一类别的不同对象。BUDS 比基于 BC 稳定策略的非结构化基线成功率提高了 56.0%，这是由于这些复杂任务所要求的高精度。

Sep, 2023

双手操作和连接的 Sim-to-Real 强化学习

该研究探讨如何使用强化学习针对具有挑战的双臂机器人任务，通过模拟训练，实现直接传递未经过滤的观察信息到神经网络模型并保证仿真环境与实际情况一致。设计了一个基于磁力连接的联结任务，通过两个 xArm6 机器人，并在此基础上验证了该强化学习方法的可行性，对于成功拾取方块和连结任务的成功率分别达到了 100％和 65％。

Mar, 2022

ScrewMimic: 人类视频中的螺旋空间投影双手模仿

利用人类示范视频和自我监督策略微调，我们提出了一种名为 ScrewMimic 的框架，通过将两只手之间的相互作用建模为串行运动链形式进行双手操作，从而实现机器人学习双手操作行为。实验结果表明，ScrewMimic 能够从单个人类示范视频中学习多种复杂的双手操作行为，并且在解释示范和直接在两只手的原始运动空间进行微调的基准方法上表现出更好的性能。

May, 2024

双目视觉强化学习实现经济有效的精细操纵和自动眼手协调

该研究提出了一种低成本无需昂贵传感器，即可通过学习眼手协调和点对齐能力的方法解决机器人精密操作任务的算法 Binocular Alignment Learning，该算法在仿真和实际机器人测试中都达到了良好的性能。

May, 2022

BiKC：健臂机器人操作的关键姿态准确性策略

本文介绍了一种适用于双手操作的新型关键姿势条件一致性策略，该策略以层次化的模仿学习框架为基础，通过预测关键姿势指导轨迹生成，并在一阶段任务完成时标记，通过快速推理生成行动序列，实验结果表明该方法在成功率和操作效率方面优于基线方法。

Jun, 2024