具有子目标预测的目标条件监督学习

May, 2023

具有子目标预测的目标条件监督学习

Goal-Conditioned Supervised Learning with Sub-Goal Prediction

Tom Jurgenson, Aviv Tamar

TL;DR本文介绍了一种基于 “目标条件下的先验知识学习”（GCSL）算法的延伸方法 TraIL，在原有算法基础之上，通过利用轨迹的信息来预测动作和目标子目标，从而使得智能体可以在更多的目标状态下取得更好的性能表现。

Abstract

Recently, a simple yet effective algorithm -- goal-conditioned supervised-learning (GCSL) -- was proposed to tackle goal-conditioned reinforcement-learning. GCSL is based on the principle of hindsight learning: by observing states visited in previously executed trajectories and treating them as attained goals, GCSL learns the corresponding actions via superv

goal-conditioned reinforcement-learning supervised learning trajectory sub-goals performance improvement

发现论文，激发创造

重新思考目标导向式监督学习及其与离线强化学习的关联

本文提出了一种名为 Weighted GCSL 的离线目标导向强化学习算法，通过引入高级复合权重，优化目标达成的下界限，具有优异的性能表现，特别适用于点和模拟机器人方面。

Feb, 2022

通过想象的子目标进行目标导向强化学习

本研究提出了一种将想象中的子目标融入策略学习中的方法，以促进解决需要更复杂的任务，并在机器人导航和操作任务中进行的实验表明其比现有方法表现更好。

Jul, 2021

Sub-Goal Trees -- 基于目标的强化学习框架

提出了一种基于动态规划方程的强化学习框架，能够自然地解决多目标查询问题，并使用子目标树结构构建轨迹，从而扩展策略梯度法来预测子目标，应用于神经运动规划领域，与标准强化学习相比，取得了显著的改进。

Feb, 2020

使用目标条件策略模拟基于图的规划

该论文提出了一种基于图形规划算法和自我模仿的方法，通过提取子目标策略来优化目标目标策略，从而提高在长期任务中实现指定目标的样本效率。

Mar, 2023

可解释的多层子目标发现强化学习

提出一种新的强化学习（Reinforcement Learning）模型，具有可解释性且支持深层次子目标（subgoal hierarchies）的发现。该模型使用概率规则学习有关环境的信息，而（子）目标的策略则是它们的组合。学习无需奖励函数，只需提供主要目标，而目标的子目标被计算为状态的描述，如果先前达成这些描述，便可提高给定目标的可用策略的总效率。这些状态描述通过引入新的传感器谓词来加入代理的规则语言中，从而允许传感到重要的中间状态并相应地更新环境规则和策略。

Feb, 2022

利用预训练技能来拓展目标勘探，用于稀疏奖励长时间尺度的目标条件加强学习

本文提出了一种新的学习目标，通过优化已实现和未来需要探索的目标的熵，以更高效地探索子目标选择基于 GCRL，该方法可以显著提高现有技术的探索效率并改善或保持它们的表现。

Oct, 2022

逆强化学习的课程子目标

本研究提出了一种基于课程子目标的反向强化学习框架，通过动态选择子目标来引导智能体的学习，在 D4RL 和自动驾驶基准测试中实现了优于现有方法的结果与更好的可解释性。

Jun, 2023

从演示和指令中学习合理子目标

该研究提出了一个可从弱注释数据中学习有用子目标的框架，以支持高效长期规划以实现新目标，该框架的核心是基于环境状态的理性子目标 (RSGS)，它们可以被指定为 A * 或 RRT 等规划算法的中间点，并显著提高规划效率。

Mar, 2023

目标导向强化学习：问题与解决方案

本文综述了目标条件强化学习的挑战、算法、目标表示以及未来研究方向。

Jan, 2022

稳定子目标表示学习的主动层次探索

本文提出了一种新的规范化方法来提高子目标表示的稳定性和效率，并设计了一种主动式分层探索策略来寻找没有内在奖励的新有前途的子目标和状态，实验结果表明，我们的方法在具有稀疏奖励的连续控制任务中显著优于最先进的基线算法。

May, 2021