基于 GPU 加速的分布式强化学习机器人仿真

Oct, 2018

基于 GPU 加速的分布式强化学习机器人仿真

GPU-Accelerated Robotic Simulation for Distributed Reinforcement Learning

Jacky Liang, Viktor Makoviychuk, Ankur Handa, Nuttapong Chentanez, Miles Macklin...

TL;DR使用 GPU 加速物理引擎 NVIDIA Flex 模拟机器人学习在连续控制和运动任务上表现出了极大的优势，使用少量的 CPU 与单 GPU 即可短时间内训练出高效的机器人智能。

Abstract

Most deep reinforcement learning (Deep RL) algorithms require a prohibitively large number of training samples for learning complex tasks. Many recent works on speeding up Deep RL have focused on distributed training and simulation. While distributed training is often done on the GPU,

deep reinforcement learning gpu-accelerated simulations continuous-control tasks locomotion scalability

发现论文，激发创造

基于 GPU 仿真和高质量演示的交互式人类样学习加速

利用 GPU 模拟技术和模仿学习指导策略搜索以使强化学习培训可在高维机器人手表现复杂控制问题的领域中成为可能，最终演示了并行强化学习和模仿学习的互补优势和优秀的验证结果。

Dec, 2022

深度强化学习大批量模拟

该论文在复杂的 3D 环境中，通过设计以 “batch simulation” 为原则的 3D 渲染器和模拟器来加速基于深度强化学习的训练，使用单个 GPU 每秒获得超过 19,000 帧的经验，并在单个 8-GPU 机器上每秒获得最高达 72,000 帧的经验，同时维持任务的高性能并通过增加大型 mini-batches 的样本效率，在 1.5 天内使用单个 GPU 训练 PointGoal 导航代理以达到 64-GPU 集群上训练的代理的 97％准确度。

Mar, 2021

深度强化学习的加速方法

探究了如何优化现有的深度强化学习算法以适应现代计算机，特别是在 CPU 和 GPU 的组合下使用许多并行模拟器实例进行训练，并建立了一个统一的并行化框架，使用 GPU 加速数据收集和训练，成功地在短短几分钟内使用整个 DGX-1 在 Atari 游戏中学习出成功的策略。

Mar, 2018

Isaac Gym：面向机器学习的高性能 GPU 物理仿真平台

该研究证明了使用 Isaac Gym 平台进行机器人学习的高效性，其在 GPU 上进行物理模拟和神经网络策略培训，大大提高了单 GPU 上复杂机器人任务训练的速度。

Aug, 2021

带有并行可微模拟的加速策略学习

本文提出 SHAC 算法，该算法基于高性能可微分模拟器，可以有效利用模拟梯度，避免局部最小值问题，并通过截断学习窗口来避免梯度消失或爆炸。在控制任务中表现出更高的样本效率和更短的训练时间。

Apr, 2022

视觉四旋翼导航的并行强化学习模拟

该研究提出了一种基于 AirSim 的仿真框架，实现了有效的并行训练、分散式训练和大规模代理训练，从而在机器人的视觉四轴导航中实现了学习时间从 3.9 小时降低到 11 分钟的优化。

Sep, 2022

利用大规模并行深度强化学习在几分钟内学会行走

本文介绍并研究了一种在单个工作站 GPU 上使用大量并行性实现快速生成真实世界机器人任务策略的训练设置，其中包括不同训练算法组件在大规模并行模式下对最终策略性能和训练时间的影响分析和讨论，同时还介绍了一种新颖的游戏启发课程，适用于数千个模拟机器人的并行训练，并通过将策略转换到真实机器人以验证方法的有效性。

Sep, 2021

深度 Q-Learning 机器人臂控制的 3D 模拟

该研究旨在使用深度强化学习算法，通过在模拟环境中训练机器人臂完成定位和抓取方块的任务，进而实现在真实场景下机器人控制的无缝转移，并设计了结构化奖励函数以提高训练效率。

Sep, 2016

PeersimGym：使用强化学习解决任务卸载问题的环境

通过开发和优化计算网络中的任务卸载策略，引入了一个可自定义的模拟环境以支持深度强化学习代理，并展示了深度强化学习方法在分布式计算环境中显著提升任务卸载策略的潜力，从而弥合了理论强化学习模型和实际应用之间的差距。

Mar, 2024

DeXtreme: 从模拟到现实的敏捷手持操作转移

本文通过深度强化学习模型，针对转移到真实场景中遇到的困难，提出了学习可以在人形机器人手上进行灵巧操作的策略和一个稳健的姿态估计器。通过在仿真环境中训练的策略，实现了在不同环境下的适应性，并得出了比最佳视觉策略更好的结果，同时在多种硬件和仿真设置中进行了模拟实现，为后续研究提供了方便、低成本的机器人手和摄像机。

Oct, 2022