Nov, 2020

动态随机性重访：四足动物运动的案例研究

PDF
TL;DR本研究旨在探讨动力随机化在学习鲁棒性步态的 Laikago 四足机器人中的作用，发现在 sim-to-real 转移任务中，不需要动力学随机化或机器人适应方案即可直接进行。在 sim-to-sim 设置中进行了大量消融研究，以了解影响政策鲁棒性的关键问题，此外还进行了各种步态，速度和踏频的模拟实验。
reinforcement learninglegged robotssimulationdynamics randomizationsim-to-real transfer
发现论文，激发创造
  • 动态随机化的机器人控制的仿真到实际转移

    本文介绍了一种简单的方法来解决在模拟训练中的现实差距问题。通过在训练过程中随机化模拟器的动力学，我们能够开发出适应非常不同的动力学的策略，并且使其在真实世界中推广而不需要在物理系统上进行训练。在机器人控制方面，我们的方法在物体推动任务上表现出了很好的性能。

    Oct, 2017

  • 学习和部署具有最小动力学随机化的健壮运动策略

    通过引入随机力注入的策略，该研究为解决深度增强学习中数据收敛需求高问题提供了简单有效的方案，并成功将该方法用于四足机器人模拟模型到真实模型的转移。

    Sep, 2022

  • Sim-to-Real: 四足机器人学习敏捷运动

    本文提出了一种利用深度强化学习技术自动化四足机器人运动设计过程的系统，能够从简单的奖励信号中学习四足运动，并可提供开环参考进行学习过程的控制，采用系统辨识来改进物理模拟器，利用物理环境随机与扰动设计控制器，并在物理模拟器中进行评估，成功在现实世界中部署。

    Apr, 2018

  • 机器人操作任务的强化学习中随机化效应对于 Sim2Real 转移的分析

    本研究定义了一种易于重现的实验设置，用于比较四种随机化策略及三种随机参数在仿真和实验机器人上完成的任务。研究发现，完全随机生成仿真和精细调整策略可以更好地转移到现实机器人，并且比其他测试方法更有差异化的结果。

    Jun, 2022

  • 学习四肢机器人灵活动态技能

    通过在仿真中训练神经网络策略并将其转移到现实的四足动态平衡系统，研究创造了一种快速、自动且高效的数据生成方案，从而实现了在四足机器人技能方面的进一步提升。

    Jan, 2019

  • 学习主动任务导向的探索策略，弥合模拟与现实之间的差距

    本文提出并分析了一种基于任务导向探索的框架，该框架通过在模拟环境中学习任务导向的探索策略来标识任务相关的系统参数，并将这些参数用于在现实世界中进行基于模型的轨迹优化。实验表明，任务导向的探索有助于在系统参数未知时，使基于模型的策略适应更好，从而实现更好的任务表现。

    Jun, 2020

  • 闭环模拟与实现：将模拟随机化应用于现实世界的经验中

    本文提出了一种基于模拟场景的策略转移方法，通过改变模拟参数分布并结合少量真实世界回合的训练，以实现在不同机器人任务中的可靠策略转移。

    Oct, 2018

  • 阻抗匹配：实现四足机器人基于 RL 的跳跃

    通过频域分析为基础的阻抗匹配，我们提出了一个新的框架来缩小仿真和真实机器人之间的差距，从而在动态足部运动中实现仿生动作。

    Apr, 2024

  • 策略优化的政策转移

    本研究提出了一种基于域随机化的控制策略迁移方法，通过同时学习多种不同行为的控制策略来应对目标环境与训练环境之间的差异，而无需对动态参数进行识别，实验表明该方法可以成功地解决模型误差较大的情况。

    Oct, 2018

  • 利用可微分模拟学习四足动物运动

    提出了可用于实际四足机器人控制的可微分仿真框架，能够在短时间内实现四足机器人的多种暴走技能，以及在现实世界中的鲁棒步态表现。

    Mar, 2024