AAAIMar, 2023

从演示和指令中学习合理子目标

PDF
TL;DR该研究提出了一个可从弱注释数据中学习有用子目标的框架，以支持高效长期规划以实现新目标，该框架的核心是基于环境状态的理性子目标 (RSGS)，它们可以被指定为 A * 或 RRT 等规划算法的中间点，并显著提高规划效率。
发现论文，激发创造
  • Sub-Goal Trees -- 基于目标的强化学习框架

    提出了一种基于动态规划方程的强化学习框架，能够自然地解决多目标查询问题，并使用子目标树结构构建轨迹，从而扩展策略梯度法来预测子目标，应用于神经运动规划领域，与标准强化学习相比，取得了显著的改进。

    Feb, 2020

  • 可解释的多层子目标发现强化学习

    提出一种新的强化学习（Reinforcement Learning）模型，具有可解释性且支持深层次子目标（subgoal hierarchies）的发现。该模型使用概率规则学习有关环境的信息，而（子）目标的策略则是它们的组合。学习无需奖励函数，只需提供主要目标，而目标的子目标被计算为状态的描述，如果先前达成这些描述，便可提高给定目标的可用策略的总效率。这些状态描述通过引入新的传感器谓词来加入代理的规则语言中，从而允许传感到重要的中间状态并相应地更新环境规则和策略。

    Feb, 2022

  • 通过想象的子目标进行目标导向强化学习

    本研究提出了一种将想象中的子目标融入策略学习中的方法，以促进解决需要更复杂的任务，并在机器人导航和操作任务中进行的实验表明其比现有方法表现更好。

    Jul, 2021

  • 具有子目标预测的目标条件监督学习

    本文介绍了一种基于 “目标条件下的先验知识学习”（GCSL）算法的延伸方法 TraIL，在原有算法基础之上，通过利用轨迹的信息来预测动作和目标子目标，从而使得智能体可以在更多的目标状态下取得更好的性能表现。

    May, 2023

  • 使用目标条件策略模拟基于图的规划

    该论文提出了一种基于图形规划算法和自我模仿的方法，通过提取子目标策略来优化目标目标策略，从而提高在长期任务中实现指定目标的样本效率。

    Mar, 2023

  • 分层对话策略学习的子目标发现

    提出了一种分而治之的方法，利用 Subgoal Discovery Network 将复杂目标定向任务分解为一组较简单的子目标，并使用这些子目标通过分层强化学习来学习多级策略，建立了对话代理程序，已应用于旅行计划中，其学习到的子目标通常易于被人理解。

    Apr, 2018

  • 带有目标关系图的层次化和部分可观察的目标驱动策略学习

    本研究提出一种新型的基于两层分层强化学习的目标驱动任务解决方法，使用 Goals Relational Graph 优化部分可观察的目标导向任务，例如目标驱动视觉导航，实验结果显示该方法在新环境和新目标上表现出卓越的泛化性能。

    Mar, 2021

  • 自然语言子目标的层次强化学习

    我们提出了一种新颖的方法，利用人类在 3D 实体环境中解决任务时使用的无约束自然语言数据，通过软约束目标空间，对一组长期任务进行层次强化学习，从而实现在现实或开放环境中实现目标导向行为的挑战。

    Sep, 2023

  • LgTS: 使用 LLM 生成的子目标进行动态任务抽样的强化学习代理

    本研究提出了一种新方法，利用大型语言模型（LLM）的规划能力，为没有环境转换动力学访问权限的强化学习代理提供子目标的图形表示，同时最小化环境交互次数。

    Oct, 2023

  • 利用预训练技能来拓展目标勘探，用于稀疏奖励长时间尺度的目标条件加强学习

    本文提出了一种新的学习目标，通过优化已实现和未来需要探索的目标的熵，以更高效地探索子目标选择基于 GCRL，该方法可以显著提高现有技术的探索效率并改善或保持它们的表现。

    Oct, 2022