Jun, 2019

透过事后目标生成进行探索

PDF
TL;DR本文介绍了一种基于目标导向的强化学习新算法框架 Hindsight Goal Generation，该框架通过生成有助于智能体在短期内实现的前瞻性目标以指导其在长期内实现实际目标的路径，以显著提高采样效率和处理奖励稀疏性问题。在多项机器人操作任务中，实验证明了该算法的有效性和优越性。
goal-oriented reinforcement learninghindsight experience replayrobotic manipulation taskssample efficiencygoal generation algorithm
发现论文，激发创造
  • 学习和复用原始行为以提高回顾经验重演的样本效率

    采用前视经验回放（HER）技术，通过利用过去的经验来改进基于强化学习代理训练的目标导向机器人操作任务的采样效率，本文提出了一种使用先前学习的简单任务来引导代理在探索中选择更有益动作的方法。我们通过在多个块操纵任务中与 HER 和其他更高效变体算法性能的对比实验中展示了使用我们提出的方法可以更快地学习有效策略，包括采样效率和计算时间。

    Oct, 2023

  • RoMo-HER: 基于模型的鲁棒性后见经验回放

    本研究提出了一种名为 Robust Model-based Hindsight Experience Replay（RoMo-HER）的框架，利用机器人操作环境中的动力学模型增强样本效率，相比于其他模型在多个机器人模拟环境中具有更高的样本效率。

    Jun, 2023

  • MHER: 基于模型的事后经验回放

    通过利用环境动态生成虚拟实现目标的模型相关再标记方法，本文提出了模型 (MHER)。模型同时执行强化学习和监督学习来实现高效的政策改进，通过实验在多个基点任务和模拟机器人环境中显示出比以前的 model-free 和 model-based 多目标方法具有明显更高的样本效率。

    Jul, 2021

  • 基于聚类的反事实经验回放在机器人控制中的应用

    提出了一种基于聚类的采样策略，利用成就目标的属性对轨迹进行分组，并在此基础上采样经验，用于解决多目标强化学习中稀疏奖励的问题。实验结果表明，该方法在三个机器人控制任务中具有显著的优化效果，可以缩短模型收敛时间和提升成功率。

    Aug, 2022

  • 自我导引的中继后见经验回放：稀疏奖励下用于连续顺序物体操纵任务的持续强化学习

    提出了一种新颖的自导式连续强化学习框架 (RelayHER)，通过将顺序任务分解为具有不同复杂度的子任务、设计多目标和多任务网络以及使用自导式探索策略，使得智能体能够有效地解决顺序目标操纵任务。

    Aug, 2022

  • 软提示体验回放

    本文提出了一种基于 HER 和 MERL 的方法 ——SHER，采用失败经验重用和最大熵概率推断模型，用于在具有稀疏奖励的 DRL 环境中进行有效学习，并在 Open AI 机器人操作任务中进行了评估，实验结果表明，相对于 HER 及其变种，我们提出的 SHER 在具有挑战性的手部操作任务中取得了最新的成果，并且稳定性更高，在不同随机种子上实现了非常相似的表现。

    Feb, 2020

  • 机器人多目标强化学习中基于回顾的指令实现

    本文提出使用机器人强化学习来学习自然语言目标表示的问题。通过提出回顾指令重播机制、seq2seq 模型和基于语言的学习任务，解决了自然语言的组合性和触觉数据和行为之间的联系问题，并展示了学习性能的提高。

    Apr, 2022

  • 目标驱动的模仿学习

    通过整合演示（demonstrations）的方法，本研究探讨如何加速强化学习的收敛速度，以达到能够到达任何目标的策略，并且在与其他模仿学习算法训练的代理相比表现更好。

    Jun, 2019

  • ACTRCE: 基于教师指导的增强学习多目标体验增强

    通过自然语言作为目标表示来扩展 HER 框架，ACTRCE 是一种有效的强化学习技术，能够有效地解决困难的强化学习问题，在挑战性的 3D 导航任务中取得好的性能表现。

    Feb, 2019

  • USHER: 无偏采样的回顾经验回放

    提出了一种基于重要性采样的算法来处理稀疏奖励带来的偏差问题，并在高维度随机环境中显示了其有效性。

    Jul, 2022