AAAIDec, 2019

抽象学习模型规划与可迁移子任务学习

PDF
TL;DR该研究利用一种新的形式结构，提出了一种基于模型的层次强化学习算法，名为 PALM，可学习独立、模块化的转移和奖励模型用于概率规划，并演示了其将规划和执行进行集成，以快速有效地学习抽象、分层模型以及转移至新的相关任务的增强潜力。
model-based hierarchical reinforcement learningprobabilistic planningmarkov decision processabstract learned modelsmodular models
发现论文，激发创造
  • 层次强化学习的抽象值迭代

    提出一种新的基于连续状态和动作空间的控制的分层强化学习框架，其中用户指定状态的子集作为子目标区域，然后学习这些子目标区域之间的转换，并在生成的抽象决策过程 (ADP) 中构建高层计划，通过计划在抽象层和在具体层上的学习相结合的一个实际算法，优于现有的分层强化学习算法。

    Oct, 2020

  • 从语言中学习规划抽象化

    该论文提出了一个学习状态和动作抽象的框架，利用带有语言注释的示范数据来自动发现符号化和抽象化的动作空间，并在此基础上引出一个潜在的状态抽象。框架包括三个阶段：恢复对象级和动作概念，学习状态抽象、抽象动作的可行性和转移模型，以及对抽象动作应用低级策略。在推断过程中，框架首先根据潜在的转移和可行性函数制定抽象动作计划，然后利用低级策略优化高级计划。该框架可以泛化到涉及新颖对象实例和环境、未见过的概念组合以及需要较长规划范围的任务场景中。

    May, 2024

  • 具有缩减计划的分层强化学习

    本文提出了一种基于阿布达比符号规划的层次强化学习方法，该规划器可以处理用户定义的评估函数，并且不基于 Herbrand 定理。因此，它可以利用奖励的先前知识，并且可以在状态空间未知的领域中工作。我们在实验中证明了我们的体系架构在未知状态空间和多目标存在时，相对于评估领域的训练样例数量，可以显著提高学习效率。

    Jun, 2018

  • 指导技能学习和抽象以实现长远操纵

    LEAGUE 是一种集成任务计划和技能学习框架，利用任务计划器的符号界面指导基于深度强化学习的技能学习，同时创建抽象状态空间以实现技能重用，并可以在任务计划系统内学习操作技能，不断提高其能力并解决更多任务。

    Oct, 2022

  • 学习抽象世界模型用于值保持规划和选项

    通过学习抽象 MDP（Markov 决策过程）来提高智能体在多任务环境中的决策和学习效率。

    Jun, 2024

  • 深度强化学习中奖励机制抽象的上下文预规划，以增强迁移能力

    为解决深度强化学习代理在任务转移中的过度拟合问题和对现实环境的适应性差的问题，提出一种基于奖励机器的任务表示方法，使用抽象状态图与任务奖励动态的相互作用诱导子任务，从而实现在不同任务间的知识共享和过程优化的目标。经实验测试表明，该方法在各个领域中提高了样本效率和少量训练次数下的转移性能。

    Jul, 2023

  • 学习用于规划的抽象且可迁移的表示

    该论文提出了一个框架来自我学习代理环境的状态抽象，这些抽象是任务无关的可重用的，从而显著提高了学习效率和代理任务解决的能力。

    May, 2022

  • 抽象表征下的联合强化学习

    本文提出一种新的方法，通过共享基于低维学习的环境编码来明确地连接无模型和有模型的强化学习方法，该方法能够捕捉到总结性抽象，同时具有模块化的特点，因此具有良好的泛化能力和计算效率，并在较小的潜在状态空间中进行计划。此外，此方法还能恢复足够低维的环境表示，从而为可解释的人工智能、探索和迁移学习开辟了新的策略。

    Sep, 2018

  • 可预测的 MDP 抽象用于非监督式模型基础强化学习

    本研究提出了一种可预判马尔可夫决策过程抽象的方法，通过无监督学习在训练模型时进行转换，使得模型的学习变得更加容易和精确，从而实现强大的基于模型的规划或基于模型的强化学习，已在多项基准环境中证明了其较先前的无监督模型训练方法具有显著的改进。

    Feb, 2023

  • PALMER：感知 - 动作循环，带有长视距规划记忆

    为了实现先验未知的真实世界场景下的自治，我们介绍了一种称为 PALMER 的通用规划算法，将经典基于采样的规划算法与基于学习的感知表示相结合，从而获得更健壮、更高效的长视距规划。

    Dec, 2022