ACTRCE: 基于教师指导的增强学习多目标体验增强

Feb, 2019

ACTRCE: 基于教师指导的增强学习多目标体验增强

ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning

Harris Chan, Yuhuai Wu, Jamie Kiros, Sanja Fidler, Jimmy Ba

TL;DR通过自然语言作为目标表示来扩展 HER 框架，ACTRCE 是一种有效的强化学习技术，能够有效地解决困难的强化学习问题，在挑战性的 3D 导航任务中取得好的性能表现。

Abstract

Sparse reward is one of the most challenging problems in reinforcement learning (RL). hindsight experience replay (HER) attempts to address this issue by converting a failed experience to a successful one by relabeling the goals. Despite its effectiveness, HER has limited applicability

reinforcement learning hindsight experience replay natural language 3d navigation tasks hindsight advice

发现论文，激发创造

透过事后目标生成进行探索

本文介绍了一种基于目标导向的强化学习新算法框架 Hindsight Goal Generation，该框架通过生成有助于智能体在短期内实现的前瞻性目标以指导其在长期内实现实际目标的路径，以显著提高采样效率和处理奖励稀疏性问题。在多项机器人操作任务中，实验证明了该算法的有效性和优越性。

Jun, 2019

MHER: 基于模型的事后经验回放

通过利用环境动态生成虚拟实现目标的模型相关再标记方法，本文提出了模型 (MHER)。模型同时执行强化学习和监督学习来实现高效的政策改进，通过实验在多个基点任务和模拟机器人环境中显示出比以前的 model-free 和 model-based 多目标方法具有明显更高的样本效率。

Jul, 2021

RoMo-HER: 基于模型的鲁棒性后见经验回放

本研究提出了一种名为 Robust Model-based Hindsight Experience Replay（RoMo-HER）的框架，利用机器人操作环境中的动力学模型增强样本效率，相比于其他模型在多个机器人模拟环境中具有更高的样本效率。

Jun, 2023

软提示体验回放

本文提出了一种基于 HER 和 MERL 的方法 ——SHER，采用失败经验重用和最大熵概率推断模型，用于在具有稀疏奖励的 DRL 环境中进行有效学习，并在 Open AI 机器人操作任务中进行了评估，实验结果表明，相对于 HER 及其变种，我们提出的 SHER 在具有挑战性的手部操作任务中取得了最新的成果，并且稳定性更高，在不同随机种子上实现了非常相似的表现。

Feb, 2020

学习和复用原始行为以提高回顾经验重演的样本效率

采用前视经验回放（HER）技术，通过利用过去的经验来改进基于强化学习代理训练的目标导向机器人操作任务的采样效率，本文提出了一种使用先前学习的简单任务来引导代理在探索中选择更有益动作的方法。我们通过在多个块操纵任务中与 HER 和其他更高效变体算法性能的对比实验中展示了使用我们提出的方法可以更快地学习有效策略，包括采样效率和计算时间。

Oct, 2023

自我导引的中继后见经验回放：稀疏奖励下用于连续顺序物体操纵任务的持续强化学习

提出了一种新颖的自导式连续强化学习框架 (RelayHER)，通过将顺序任务分解为具有不同复杂度的子任务、设计多目标和多任务网络以及使用自导式探索策略，使得智能体能够有效地解决顺序目标操纵任务。

Aug, 2022

机器人多目标强化学习中基于回顾的指令实现

本文提出使用机器人强化学习来学习自然语言目标表示的问题。通过提出回顾指令重播机制、seq2seq 模型和基于语言的学习任务，解决了自然语言的组合性和触觉数据和行为之间的联系问题，并展示了学习性能的提高。

Apr, 2022

竞争性经验回放

本研究提出了一种称为 competitive experience replay 的新型方法，在一个探索竞争环境中补充一种稀疏奖励，以两个代理之间的竞争推动探索。在一些基于二进制奖励任务中，对该方法进行了广泛的实验，证明这种方法会导致更快的收敛和改进的任务表现。

Feb, 2019

基于目标的对话策略学习与失败处理

该论文提出了两种基于 Hindsight experience replay 的复杂方法，以解决对话学习中由于奖励稀疏和早期学习阶段成功对话次数的不足导致的对话策略学习困难问题。与现有的经验重放方法相比，该方法在学习速度上有更好的表现。

Aug, 2018

HIGhER: 使用回顾生成技术提高经验重演的指令跟踪

本文提出了一种名为 Hindsight Generation for Experience Replay (HIGhER) 的新方法，其中当智能体不能完成指令时，它学习输出一条新指令来匹配智能体的轨迹，并赋予该回合一个积极的回报，从而消除了需要外部专家干预的需求。在 BabyAI 环境中，我们展示了我们的方法的效率，并展示了它如何补充其他指令跟随方法。

Oct, 2019