利用演示来解决机器人问题中稀疏奖励的深度强化学习

Jul, 2017

Leveraging Demonstrations for Deep Reinforcement Learning on Robotics Problems with Sparse Rewards

Matej Večerík, Todd Hester, Jonathan Scholz, Fumin Wang, Olivier Pietquin...

TL;DR本文提出了一种利用展示学习技术来解决高维度控制问题的机器人强化学习方法。该方法基于 Deep Deterministic Policy Gradient 算法，通过人体运动学控制收集演示并不需要专门设计的奖励函数，可应用于插入操作等实际机器操作中。

Abstract

We propose a general and model-free approach for reinforcement learning (RL) on real robotics with sparse rewards. We build upon the

发现论文，激发创造

本文介绍一种基于深度Q函数算法的深度强化学习方法，能够实现在真实的物理机器人上进行复杂的3D操作任务学习，并通过多个机器人异步汇聚优化策略更新等技术进一步提高训练效率。

Oct, 2016

本研究利用示范来解决强化学习中稀疏奖励的探索问题，成功地学习了长期、多步骤的机器人任务，方法使用了DDPG和HER算法，提供了一种在仿真机器人任务上比以往RL算法快一个数量级的加速，方法易于实现，能够解决在行为克隆和RL算法中都无法解决的任务，并且往往表现优于示范策略。

Sep, 2017

通过整合演示（demonstrations）的方法，本研究探讨如何加速强化学习的收敛速度，以达到能够到达任何目标的策略，并且在与其他模仿学习算法训练的代理相比表现更好。

Jun, 2019

本文提出了一种新的机器人操作方法，该方法利用了物体本身的运动学习，通过使用物理模拟器中的对象运动策略生成辅助奖励，称为模拟运动演示奖励（SLDRs），该方法可以在不需要人类演示或昂贵成本的情况下，通过强化学习来掌握机器人操作技能，从而实现多物体堆放和非刚性物体操作等任务的更高成功率和更快学习。

Oct, 2019

该论文介绍了一种基于深度强化学习的方法，其中使用奖励函数、经验重放和知识迁移等技术使机器人学会在模拟和真实环境中进行高效的三指夹爪操作，实现了对立方体的目标导向运动和姿态控制。

May, 2022

本文提出了一种DRL探索技术A^2，通过将复杂任务分解成子任务、提供正确的子任务顺序以及自适应探索环境的方式，改善了学习效率，实验表明在多个任务中，A^2有助于DQN、DDPG和SAC等普通DRL算法在这些环境中更高效、更稳定地学习。

Jul, 2022

该论文提出了一种名为保守奖励塑造的学习方法，用于解决强化学习中的稀疏奖励问题，并在机器人操纵任务中实现了学习从演示中获取的技能以应用于其他相似但不同任务的能力。

Dec, 2022

利用演示可以显著提高模型学习效率，在这项工作中，我们确定了利用演示进行模型学习的关键因素，即策略预训练，有针对性的探索和演示数据的过采样，这三个阶段构成了我们的基于模型的RL框架。

Dec, 2022

通过使用离线演示算法，提出了一种名为Policy Optimization with Smooth Guidance (POSG)的简单高效的在线深度强化学习算法，该算法能够解决奖励反馈稀疏性的问题，并在稀疏奖励环境中实现可靠有效的长期信用分配以及有效的探索。

Dec, 2023

利用离线演示轨迹的强化学习方法，通过最大均值差异（MMD）计算轨迹距离并将策略优化视为一种受距离限制的优化问题，从离线演示学习到的形状奖励函数实现了与离线演示相匹配的状态-动作访问边缘分布，从而在稀疏奖励环境下提供了更快且更高效的在线强化学习方法。

Jan, 2024