SoftGym: 可变形物体操纵深度强化学习基准测试
本文介绍了 RMBench，这是一个用于机器人操作的基准测试，使用深度学习和强化学习算法，通过使用目标性能指标来比较算法的性能表现，研究发现，软 Actor-Critic 的表现最好，且数据增强技术有助于学习策略。
Oct, 2022
本研究提出了一个名为 DiffSkill 的新框架，使用可微分的物理模拟器进行技能抽象，从感官观测中解决长期目标可达的可变形物体操作任务。
Mar, 2022
本文提出了 DexDeform，这是一种从人类示范中抽象出熟练操作技能并通过可微分物理学进行改进的原则性框架，该框架旨在学习多指手指对可变形物体的熟练操作，并通过新颖的探索策略以及基于想象的行动计划来提高操作的成功率。
Mar, 2023
本论文提出了一种新颖的基于演示的学习方法 —— 来自演示的可变形操作（DMfD），用于解决可变形操纵任务，它能够有效地处理高维空间和图像观测，并在 SoftGym 组件上取得了较高的性能。同时，本文还在两个具有挑战性的环境中进行了折叠布料任务的基准测试，并将 DMfD 运用于真实机器人中，与仿真损失相比性能损失最小。
Jul, 2022
介绍了可微分物理实验基准 PasticineLab，它包括一系列软体操纵任务，并评估了针对该基准的强化学习和梯度优化方法。实验结果表明，基于 RL 的方法难以高效解决大多数任务，而基于梯度的方法可以在几十次迭代内快速找到解决方案，但在需要长期规划的多阶段任务上仍然表现不佳。我们期望 PasticineLab 将鼓励开发结合可微分物理和 RL 的新算法，以实现更复杂的基于物理的技能学习任务。
Apr, 2021
提出了一个名为 safe-control-gym 的新开源基准套件，支持模型和数据驱动控制技术，在 3 个动态系统和 2 个控制任务上提供实现，并建议将 OpenAI 的 Gym API 扩展为支持符号动态和限制条件的查询，并演示如何使用 safe-control-gym 来量化比较传统控制、基于学习的控制和强化学习的多种方法的控制性能、数据效率和安全性。
Sep, 2021
通过开发新颖的神经网络 DefGoalNet，我们解决了依赖于目标形状规范的问题，该网络可以直接从少量人类演示中学习可变形物体的目标形状，并在各种机器人任务中证明了方法的有效性，甚至在手术复位任务中，即使只使用 10 个演示，我们的方法也能够达到近 90% 的成功率，这些结果大大推动了形状伺服方法接近实际的实际应用。
Sep, 2023
使用基于 GNN 的学习方法，通过两个表示图对图像中检测到的关键点进行编码。采用自注意力进行图更新和交叉注意力进行生成操作，实验表明该框架在多个 1-D 和 2-D 重排任务中非常有效，并且可以通过微调关键点检测器轻松转移到真实机器人中。
Feb, 2023
本文通过深度强化学习模型，针对转移到真实场景中遇到的困难，提出了学习可以在人形机器人手上进行灵巧操作的策略和一个稳健的姿态估计器。通过在仿真环境中训练的策略，实现了在不同环境下的适应性，并得出了比最佳视觉策略更好的结果，同时在多种硬件和仿真设置中进行了模拟实现，为后续研究提供了方便、低成本的机器人手和摄像机。
Oct, 2022