Oct, 2023

学习和复用原始行为以提高回顾经验重演的样本效率

PDF
TL;DR采用前视经验回放（HER）技术，通过利用过去的经验来改进基于强化学习代理训练的目标导向机器人操作任务的采样效率，本文提出了一种使用先前学习的简单任务来引导代理在探索中选择更有益动作的方法。我们通过在多个块操纵任务中与 HER 和其他更高效变体算法性能的对比实验中展示了使用我们提出的方法可以更快地学习有效策略，包括采样效率和计算时间。
hindsight experience replayreinforcement learningoff-policyprimitive behavioursblock manipulation tasks
发现论文，激发创造
  • 透过事后目标生成进行探索

    本文介绍了一种基于目标导向的强化学习新算法框架 Hindsight Goal Generation，该框架通过生成有助于智能体在短期内实现的前瞻性目标以指导其在长期内实现实际目标的路径，以显著提高采样效率和处理奖励稀疏性问题。在多项机器人操作任务中，实验证明了该算法的有效性和优越性。

    Jun, 2019

  • 软提示体验回放

    本文提出了一种基于 HER 和 MERL 的方法 ——SHER，采用失败经验重用和最大熵概率推断模型，用于在具有稀疏奖励的 DRL 环境中进行有效学习，并在 Open AI 机器人操作任务中进行了评估，实验结果表明，相对于 HER 及其变种，我们提出的 SHER 在具有挑战性的手部操作任务中取得了最新的成果，并且稳定性更高，在不同随机种子上实现了非常相似的表现。

    Feb, 2020

  • RoMo-HER: 基于模型的鲁棒性后见经验回放

    本研究提出了一种名为 Robust Model-based Hindsight Experience Replay（RoMo-HER）的框架，利用机器人操作环境中的动力学模型增强样本效率，相比于其他模型在多个机器人模拟环境中具有更高的样本效率。

    Jun, 2023

  • 事后经验回放

    本文提出了一种名为 Hindsight Experience Replay 的新颖技术，它可以有效地学习来自于稀疏二元奖励的知识，避免了复杂奖励工程，并且可以与任意离线 RL 算法相结合，被视为一种隐式的课程。通过在三种不同的任务上进行实验，推动、滑动和拿取 - 放置，每个任务只使用指示任务是否完成的二元奖励，我们演示了该方法在操作机器人手臂上的实际应用。我们的消融研究表明，Hindsight Experience Replay 是训练在这些有挑战性的环境中成功的关键因素，并且我们展示了在物理仿真中训练的策略可以部署在物理机器人上，并成功地完成任务。

    Jul, 2017

  • USHER: 无偏采样的回顾经验回放

    提出了一种基于重要性采样的算法来处理稀疏奖励带来的偏差问题，并在高维度随机环境中显示了其有效性。

    Jul, 2022

  • 目标驱动的模仿学习

    通过整合演示（demonstrations）的方法，本研究探讨如何加速强化学习的收敛速度，以达到能够到达任何目标的策略，并且在与其他模仿学习算法训练的代理相比表现更好。

    Jun, 2019

  • 自我导引的中继后见经验回放：稀疏奖励下用于连续顺序物体操纵任务的持续强化学习

    提出了一种新颖的自导式连续强化学习框架 (RelayHER)，通过将顺序任务分解为具有不同复杂度的子任务、设计多目标和多任务网络以及使用自导式探索策略，使得智能体能够有效地解决顺序目标操纵任务。

    Aug, 2022

  • 基于目标的对话策略学习与失败处理

    该论文提出了两种基于 Hindsight experience replay 的复杂方法，以解决对话学习中由于奖励稀疏和早期学习阶段成功对话次数的不足导致的对话策略学习困难问题。与现有的经验重放方法相比，该方法在学习速度上有更好的表现。

    Aug, 2018

  • 基于接触能的回顾经验优先级

    本文介绍了一种基于接触能量的优先选择机制，用于解决强化学习中多目标机器人操作任务中稀疏奖励收集成功经验低效的问题，并在各种机器人操作任务中对该方法进行了评估。

    Dec, 2023

  • MHER: 基于模型的事后经验回放

    通过利用环境动态生成虚拟实现目标的模型相关再标记方法，本文提出了模型 (MHER)。模型同时执行强化学习和监督学习来实现高效的政策改进，通过实验在多个基点任务和模拟机器人环境中显示出比以前的 model-free 和 model-based 多目标方法具有明显更高的样本效率。

    Jul, 2021