双手操作和连接的 Sim-to-Real 强化学习

Mar, 2022

双手操作和连接的 Sim-to-Real 强化学习

Bi-Manual Manipulation and Attachment via Sim-to-Real Reinforcement Learning

Satoshi Kataoka, Seyed Kamyar Seyed Ghasemipour, Daniel Freeman, Igor Mordatch

TL;DR该研究探讨如何使用强化学习针对具有挑战的双臂机器人任务，通过模拟训练，实现直接传递未经过滤的观察信息到神经网络模型并保证仿真环境与实际情况一致。设计了一个基于磁力连接的联结任务，通过两个 xArm6 机器人，并在此基础上验证了该强化学习方法的可行性，对于成功拾取方块和连结任务的成功率分别达到了 100％和 65％。

Abstract

Most successes in robotic manipulation have been restricted to single-arm robots, which limits the range of solvable tasks to pick-and-place, insertion, and objects rearrangement. In contrast, dual and multi arm robot platforms unlock a rich diversity of problems that can be tackled, such as laundry folding and executing cooking skills. However, developing c

multi-arm robot reinforcement learning bi-manual tasks simulation connect task

发现论文，激发创造

基于模拟到现实强化学习的双手积木搭建

本文中，我们使用深度强化学习（RL）技术并结合由磁性方块组成的任务测试平台，通过在模拟环境中培训控制器并将其转移到真实机器人上，成功地实现了一个双臂机器人装配任务，证明了模拟转现技术在双臂机器人装配中的应用前景。

Mar, 2023

使用强化学习实现人类水平的双手灵巧操作

提出了双手灵巧操纵仿真器 Bi-DexHands，可用于机器人学习多种操纵技巧，其中单一代理策略 PPO 可达到人类 48 个月婴儿的操作水平，而多代理策略可进一步帮助掌握需要灵巧双手协作的操作任务，但现有 RL 算法在多任务和少样本学习设置下仍需要更深入的研究。

Jun, 2022

基于图像的熟练操作：通过细化引导实现自主现实世界强化学习

本文提出了一种基于视觉的程序自由编程的方法，利用强化学习实现复杂多指手势下的实物操作，无需手动建模或奖励工程。

Dec, 2022

采用分层式 Sim2Real 实现的多智能体运动操控

采用强化学习方法通过层次性模拟实现在多移动机器人协作下的操纵行为。

Aug, 2019

动态移交：双手挥动和接住

设计了一个系统，其中包含两只附着在机器人手臂上的多指手，用于解决机器人在高速操作、精确协作和与不同对象进行交互时面临的挑战。通过在模拟中使用多智能体强化学习训练，并进行 Sim2Real 转移以在真实机器人上实施，提供了多个创新算法设计，包括学习物体的轨迹预测模型，帮助机器人准确估计物体的移动方向并做出相应反应。通过在真实环境中使用多个物体进行实验，相较于多个基准线表现出显著改进。项目页面可在 https://binghao-huang.github.io/dynamic_handover/ 访问。

Sep, 2023

PerAct2: 一个面向双手操作任务的感知器执行框架

扩展 RLBench 以进行双手操作的模拟基准测试，提供 13 项新任务和 23 个独特的任务变体，其中每个任务要求高度的协调和适应性。通过引入多种先进方法和 PerAct2 语言条件行为克隆代理，实现语言处理与动作预测的高效集成，使机器人能够理解和执行用户指定目标的复杂双手任务。

Jun, 2024

基于端到端演示学习的基于视觉的廉价机器人多任务操作

以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

Jul, 2017

学习用于笛卡尔机器人的双臂物体重新排列

本研究针对工业机器人中的双臂物体重排问题，提出了一种基于强化学习和注意力网络的任务指派策略，实现了最小化任务执行时间和最大化双臂协作效率，实验结果表明该方法在总执行时间和计算效率方面优于传统方法，并且在不同物体数量下的推广性得到了验证。

Feb, 2024

双臂精细操纵的多任务机器人数据

该研究介绍了一个包含双臂任务和 / 或需要细致操纵的多样化对象操作数据集，数据集包括 224k 个剧集、双臂精细任务以及语言指令，并应用于 Dual-Action and Attention (DAA) 模型，该模型在真实机器人操作任务中展示了其在细致操纵方面的能力。

Jan, 2024

相互对齐迁移学习

通过强化学习在模拟环境中训练机器人并结合补充奖励策略，与真实机器人进行进一步的微调来优化探索策略，实验结果表明，这种相互对齐的方法可以在真实和模拟环境中实现更好的性能。

Jul, 2017