可变形物体操作的仿真增强学习

Jun, 2018

Sim-to-Real Reinforcement Learning for Deformable Object Manipulation

Jan Matas, Stephen James, Andrew J. Davison

TL;DR采用最先进的深度强化学习算法，通过领域随机化，在仿真环境中训练代理程序以解决可变形物体操作问题，并成功将其部署在实际工作中。

Abstract

We have seen much recent progress in rigid object manipulation, but interaction with deformable objects has notably lagged behind. Due to the large configuration space of deformable objects, solutions using traditional modelling approaches require significant engineering work. Perhaps then, bypassing the need for explicit modelling and instead learning the c

deformable object manipulation end-to-end learning sim-to-real methods deep reinforcement learning domain randomisation

发现论文，激发创造

非抓取性操作的强化学习：从仿真到物理系统的转移

本研究使用一种修改自然策略梯度算法的模型，通过模拟学习并训练，成功将自主控制策略从虚拟系统转移到由三个机器人组成的物理系统中，并证明使用多个模型训练可以使学习到的策略更加稳健，从而弥补了系统识别的困难。

Mar, 2018

无需演示学习可变形物体操纵

本文介绍了基于无模型视觉强化学习的变形物体操作问题，通过提出迭代的拾取 - 放置空间和只显式学习放置策略来加速学习，并使用 MVP 选择策略，此学习框架在变形物体操纵任务方面获得了比独立空间快一个数量级的学习，并使用领域随机化将策略转移到 PR2 机器人上，对布料和绳索覆盖任务进行了实验验证。

Oct, 2019

利用人类视频在现实世界中学习织物操作

本文探讨了如何通过观察人类直接收集操作布料的示范，利用一些收集到的示范，我们展示了如何学习并在实际机器人上部署拾取和放置策略。

Nov, 2022

SoftGym: 可变形物体操纵深度强化学习基准测试

本文介绍了 SoftGym，一个开源的、用于操纵可变形物体的模拟基准测试集。它可以用于研究深度强化学习技术在高位状态表示和复杂动态环境下的可行性，并且本文针对用于解决这一问题的算法进行了实验和分析。

Nov, 2020

利用 Contrastive Estimation 学习变形物体的预测表示

本研究提出了一种新的学习框架，使用对比估计来同时优化可视化表达模型和动态模型，在随机扰动变形对象并收集了模拟数据后，离线学习这些对象的潜在动态模型，随后使用简单的模型规划来解决具有挑战性的变形对象操纵任务，实验结果表明其性能优于传统模型学习技术，并通过域随机化将其可视化操纵策略从模拟数据成功地迁移到现实中的 PR2 机器人中。

Mar, 2020

DeXtreme: 从模拟到现实的敏捷手持操作转移

本文通过深度强化学习模型，针对转移到真实场景中遇到的困难，提出了学习可以在人形机器人手上进行灵巧操作的策略和一个稳健的姿态估计器。通过在仿真环境中训练的策略，实现了在不同环境下的适应性，并得出了比最佳视觉策略更好的结果，同时在多种硬件和仿真设置中进行了模拟实现，为后续研究提供了方便、低成本的机器人手和摄像机。

Oct, 2022

自监督适应深度神经网络实现机器人视觉操作

使用深度强化学习隐式地在仿真环境中学习潜在的状态表示，并通过无标签的真实机器人数据将其调整到真实环境中，以实现从像素中执行操作任务。通过序列自监督目标优化对比正向动力学损失，提出了一种更加有效的方法，成功地训练基于视觉的强化学习智能体来堆叠方块。

Oct, 2019

基于机械臂的仿真到实际深度强化学习用于拾取和放置

该研究提出了一种自监督视觉深度强化学习方法，使得机器人可以有效地在模拟环境和真实环境之间直接转移训练模型，并特别设计了一种高度敏感的行动策略用于处理拥挤和堆叠的物体，实验证明即使没有经过实际环境微调，该模型在真实吸附任务中的吸附成功率也能保持较高，还能在真实实验中吸附新物体并保持 90% 的成功率。

Sep, 2023

通过视觉规划和执行学习机器人操作

本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

May, 2019

通过模拟对实际现实进行调和：一种用于强大操纵的实际到模拟到实际的方法

通过模拟环境构建数字双子，提出了一种通过强化学习来增强真实世界模仿学习策略的系统 RialTo，实现高性能、鲁棒性的策略的学习，同时避免大量不安全的真实数据收集和大量人工监督。

Mar, 2024