Jun, 2022

机器人操作任务的强化学习中随机化效应对于 Sim2Real 转移的分析

PDF
TL;DR本研究定义了一种易于重现的实验设置，用于比较四种随机化策略及三种随机参数在仿真和实验机器人上完成的任务。研究发现，完全随机生成仿真和精细调整策略可以更好地转移到现实机器人，并且比其他测试方法更有差异化的结果。
randomizationsim2real transferroboticsbenchmarkfine-tuning
发现论文，激发创造
  • 动态随机化的机器人控制的仿真到实际转移

    本文介绍了一种简单的方法来解决在模拟训练中的现实差距问题。通过在训练过程中随机化模拟器的动力学，我们能够开发出适应非常不同的动力学的策略，并且使其在真实世界中推广而不需要在物理系统上进行训练。在机器人控制方面，我们的方法在物体推动任务上表现出了很好的性能。

    Oct, 2017

  • 策略优化的政策转移

    本研究提出了一种基于域随机化的控制策略迁移方法，通过同时学习多种不同行为的控制策略来应对目标环境与训练环境之间的差异，而无需对动态参数进行识别，实验表明该方法可以成功地解决模型误差较大的情况。

    Oct, 2018

  • 动态随机性重访：四足动物运动的案例研究

    本研究旨在探讨动力随机化在学习鲁棒性步态的 Laikago 四足机器人中的作用，发现在 sim-to-real 转移任务中，不需要动力学随机化或机器人适应方案即可直接进行。在 sim-to-sim 设置中进行了大量消融研究，以了解影响政策鲁棒性的关键问题，此外还进行了各种步态，速度和踏频的模拟实验。

    Nov, 2020

  • 自动生成抓取数据集的域随机化用于模拟到真实场景迁移

    本研究探讨了如何利用自动生成的抓取方法来解决机器人在实际环境中获取对象的问题，并就域随机化、从仿真到实际的转移性等问题进行了分析和研究。

    Oct, 2023

  • 机器人深度强化学习中的模拟到真实转移：一项调查

    本篇综述涵盖了深度强化学习中模拟转真实环境的基本背景，包括不同方向的方法和应用场景，重点讨论了域随机化、域自适应、模仿学习、元学习和知识蒸馏等方法及其存在的机遇和挑战。

    Sep, 2020

  • 有效的 Sim2Real 迁移干预设计

    本文旨在通过因果推断的角度解释环境干预在域随机化和数据增强中的优越性，并将其作为培养对不相关特征不变性的手段。研究发现，通过在真实世界存在变化的维度中展示具有相似变化的干扰，可以提高学习算法对其它干扰的鲁棒性并提高模拟环境转移的泛化能力。

    Dec, 2020

  • 闭环模拟与实现：将模拟随机化应用于现实世界的经验中

    本文提出了一种基于模拟场景的策略转移方法，通过改变模拟参数分布并结合少量真实世界回合的训练，以实现在不同机器人任务中的可靠策略转移。

    Oct, 2018

  • 域随机化：从仿真到真实世界的深度神经网络转移

    探究了一种称为 “Domain Randomization” 的技术，该技术使用非真实随机纹理来训练深度神经网络对象定位器，使得该定位器在真实环境中表现出色，并且可以应用于机器人控制中。

    Mar, 2017

  • 鲁棒的视觉从模拟到实际的机器人操作转移

    通过在模拟环境中学习视觉运动策略，我们提出了一种通过视觉域随机化方法来解决模拟与真实世界之间差异的问题，并在丰富的机器人操作任务中进行了基准测试。我们的方法在各种挑战性的操纵任务中取得了 93% 的成功率，并证明了模拟器训练的策略在真实场景中的视觉变化下具有更好的鲁棒性。

    Jul, 2023

  • 相互对齐迁移学习

    通过强化学习在模拟环境中训练机器人并结合补充奖励策略，与真实机器人进行进一步的微调来优化探索策略，实验结果表明，这种相互对齐的方法可以在真实和模拟环境中实现更好的性能。

    Jul, 2017