Jan, 2023

学习符号表示以实现非马尔可夫行为的强化学习

PDF
TL;DR利用知识表示和自动机结构，本文提出了一种自动发现有用状态抽象的端对端算法，用于学习非 Markov 领域下优化策略，相较于最先进的强化学习算法，能够在更少的环境样本下得到更优的结果。
发现论文，激发创造
  • 面向符号自动机编码目标的无模型强化学习

    本文提出使用符号自动机的形式规范，来代替马尔可夫奖励，并定义了使用潜在奖励的策略，来提高强化学习的收敛性。

    Feb, 2022

  • 非马尔可夫奖励强化学习

    研究了在具有非马尔可夫奖励的情况下，采用 Q-learning 和 R-max 算法和自动机学习算法相结合的方法用于策略学习并证明其中一些变体在极限状态下收敛到最优策略。

    Dec, 2019

  • 使用经验分类训练非马尔可夫任务

    我们提出了一种新颖的强化学习方法，用于实现基于 LTL$_f$（有限轨迹线性时态逻辑）的非马尔可夫奖励，通过 LTL$_f$ 到 MDPs（马尔可夫决策过程）的线性复杂度编码，利用自动机结构（与 LTL$_f$ 规范语义等价）的优先经验回放技术来改善训练过程，在多个引入非马尔可夫任务的基准问题上进行经验证明了我们方法的可行性和有效性。

    Oct, 2023

  • 通过技能多样性利用近似符号模型进行强化学习

    本文介绍了近似符号模型引导的强化学习方法，该方法将字符的建模与底层措施相结合，以在不完整的符号模型信息下发现任务结构并有效地引导强化学习智能体向目标靠拢。

    Feb, 2022

  • 深度强化学习中的嘈杂符号抽象：以奖励机器为案例研究

    本篇文章提出了一种特殊的 POMDP 优化问题，研究当使用 Reward Machines 作为奖励函数语言时，对于状态到符号语言的映射不确定的情况下，如何通过强化学习生成策略，并通过实验证明了这种方法的有效性和现有方法的局限性。

    Nov, 2022

  • 知识表示与推理的强化学习：简要综述

    该文综述了利用知识表示与推理方法在强化学习中更抽象表现和更有效学习的领域中取得的进展和应用，并讨论了未来在此领域中需要解决的挑战和可能的方向。

    Apr, 2023

  • 强化学习的动作表示学习

    研究了在没有给定先验结构的情况下，如何基于状态表示和行为表示实现模型无关的强化学习方法，并提供了相应的算法和收敛条件。

    Feb, 2019

  • 无模型分层强化学习中的表示学习

    本文提出了一种基于最近的经验的无模型子目标发现方法和内在动机学习机制相结合的层次强化学习方法，可以应用于大规模的问题，实现了对环境模型的无需获取，用于解决强化学习面临的巨大状态空间和稀疏奖励反馈的问题。

    Oct, 2018

  • 基于目标条件策略的规划

    本文提出了一种结合规划方法和强化学习的方法，利用强化学习学习目标驱动策略，从而让规划方法更好地实现任务；同时利用一个潜在变量模型来简洁地表示规划中的有效状态，从而将行为抽象和状态抽象分离。实验结果表明本文提出的方法能够在机器人导航和操作任务中显著优于以往的规划和模型自由方法。

    Nov, 2019

  • 使用隐马尔可夫模型的自动机学习任务自动化增强学习

    该论文提出了一种从代理环境经验中学习非马尔可夫任务规范的新方法，可以将任务拆分为其构成子任务，提高了 RL 代理后续合成最优策略的速率，并提供了一个可解释的编码高级环境和任务特征的方式。

    Aug, 2022