ICLRMar, 2022

可能性优先于效用：学习和使用分级的可用性

PDF
TL;DR本文介绍了一种基于 Hierarchical Affordance Learning 的方法，通过学习层次性可提供性模型来修剪不可能的子任务以实现更有效的学习，相对于非可提供性感知方法，HAL 代理能更好地学习复杂任务，规避环境中的随机性，获得多种技能，并且不需要外部监督。
reinforcement learninghierarchical affordance learningsubtask dependenciesflexible approachefficient learning
发现论文，激发创造
  • 选择的悖论：在分层强化学习中使用注意力

    本文提出了一个注意机制来限制每个步骤的可用选项，通过学习 affordances 并进一步学习子目标选项，解决了层次强化学习中规划深度和分支因素的问题，并探讨了硬注意和软注意的作用，是一篇关于强化学习的研究论文。

    Jan, 2022

  • 学习多级层次结构及回溯

    本文介绍了一种新的 Hierarchical Reinforcement Learning (HRL) 框架 - Hierarchical Actor-Critic (HAC)，该框架能够克服在试图同时学习多个策略层级时出现的不稳定性问题，并能够在连续状态和动作空间的任务中成功地学习 3 级层级。

    Dec, 2017

  • 强化学习中的可行性原理理论

    本文提出了一种基于 Markov Decision Processes 的行动效益理论，它能够加速计划过程，同时提高学习效率和准确性，特别是在需要函数逼近的模型中。文中还介绍了一种学习行动效益的方法，并将其用于估计更简单且泛化能力更强的状态转移模型。

    Jun, 2020

  • 使用内在动机进行层次感知发现

    本文提出了一种使用内在动机来指导移动机器人利用环境中可行的任务来自主学习并适应互相关联的任务的方法。

    Sep, 2020

  • 无模型分层强化学习中的表示学习

    本文提出了一种基于最近的经验的无模型子目标发现方法和内在动机学习机制相结合的层次强化学习方法，可以应用于大规模的问题，实现了对环境模型的无需获取，用于解决强化学习面临的巨大状态空间和稀疏奖励反馈的问题。

    Oct, 2018

  • 数据效率的分层强化学习

    本文研究如何构建通用且高效的层次强化学习算法，其中较低层的控制器通过自动学习和提出的目标来实现上级控制器的监督，并使用脱离策略的经验来提高效率。我们称此算法为 HIRO，并在模拟机器人上的实验中表现出高性能和高样本效率。

    May, 2018

  • 基于强化学习的深度机器人可供性学习的最新进展

    本文综述了近期深度机器人可支配学习 (DRAL) 的研究进展，该方法致力于开发数据驱动的方法，使用可支配性概念辅助机器人任务，对机器人任务的技术细节和局限性进行了分类和讨论，并从观察、行为、可支配性表达、数据收集和实际部署等方面总结了它们的挑战和未来方向。同时提出了一个有前途的未来方向，即将强化学习与可支配性定义相结合，以预测任意行为后果。

    Mar, 2023

  • 具有缩减计划的分层强化学习

    本文提出了一种基于阿布达比符号规划的层次强化学习方法，该规划器可以处理用户定义的评估函数，并且不基于 Herbrand 定理。因此，它可以利用奖励的先前知识，并且可以在状态空间未知的领域中工作。我们在实验中证明了我们的体系架构在未知状态空间和多目标存在时，相对于评估领域的训练样例数量，可以显著提高学习效率。

    Jun, 2018

  • 基于因果推断的强化学习层次化结构发现

    本论文提出了 CDHRL 框架，通过因果驱动探索而非随机驱动探索来构建高质量的分层结构，以提高分层强化学习的探索效率。实验表明，在 2D-Minecraft 和 Eden 两种复杂环境中，CDHRL 显著提高了探索效率。

    Oct, 2022

  • 基于优势辅助奖励的分层强化学习

    本文提出一种基于 Hierarchical Reinforcement Learning 的框架，通过设置辅助奖励来适应下游任务，同时保持奖励设计的通用性。这种辅助奖励可实现高级策略和低级技能的高效、同时学习，无需使用特定任务的知识。实验结果表明，相比 Mujoco 领域中其他最先进的 HRL 方法，我们的算法有显著的性能优势，并且发现我们算法训练的低级和高级策略都是可转移的。

    Oct, 2019