Aug, 2022

使用隐马尔可夫模型的自动机学习任务自动化增强学习

PDF
TL;DR该论文提出了一种从代理环境经验中学习非马尔可夫任务规范的新方法，可以将任务拆分为其构成子任务，提高了 RL 代理后续合成最优策略的速率，并提供了一个可解释的编码高级环境和任务特征的方式。
reinforcement learningtask automatamdpbaum-welch algorithmtransfer learning
发现论文，激发创造
  • 使用经验分类训练非马尔可夫任务

    我们提出了一种新颖的强化学习方法，用于实现基于 LTL$_f$（有限轨迹线性时态逻辑）的非马尔可夫奖励，通过 LTL$_f$ 到 MDPs（马尔可夫决策过程）的线性复杂度编码，利用自动机结构（与 LTL$_f$ 规范语义等价）的优先经验回放技术来改善训练过程，在多个引入非马尔可夫任务的基准问题上进行经验证明了我们方法的可行性和有效性。

    Oct, 2023

  • 连续随机动力学学习环境模型

    通过深度强化学习、自动化学习和马尔可夫决策过程等技术，学习出由自主智能体控制的环境模型，以解决复杂环境下的控制问题，并在多个强化学习基准环境中验证了方法的有效性。

    Jun, 2023

  • 强化学习用于带有动作约束的任务规定

    本文运用离散事件系统监控控制理论的概念，提出一种方法用于在有限状态的马尔可夫决策过程中，学习最优控制策略，并利用奖励机器的发展来处理状态限制。通过给定一个例子来阐明其应用性并在此设置中展示了仿真结果。

    Jan, 2022

  • 检测隐藏的触发器：将非马尔可夫奖励函数映射到马尔可夫

    通过学习奖励机制，将非马尔可夫奖励函数映射为等效的马尔可夫函数，证明了奖励机制相对于确定性有限状态自动机对于建模单一自动机中的奖励依赖性的重要性，并通过在 Officeworld 领域学习黑盒非马尔可夫奖励函数以及在 Breakfastworld 领域学习奖励之间的依赖关系的有效性来验证了我们的方法。

    Jan, 2024

  • 生成式语言模型中的自动机表示式任务知识

    提出一种名为 GLM2FSA 的算法，该算法通过从任务目标的自然语言描述中提取任务知识生成有限状态自动机，从而填补了自然语言任务描述和基于自动机的表示之间的鸿沟。

    Dec, 2022

  • 计数奖励自动机：通过利用奖励函数结构的样本高效强化学习

    我们提出了一种计数奖励自动机 —— 一种能够模拟任何能以形式语言表示的奖励函数的有限状态机变体。与以前的方法不同，这些方法仅能表达任务为正则语言，而我们的框架允许通过无限制语法来描述任务。我们证明了一个配备这样抽象机器的代理能够解决比使用当前方法更多的任务。我们展示了这种表达能力的增加并不需要增加自动机的复杂性。我们提出了一系列利用自动机结构来提高样本效率的学习算法。我们展示了我们的方法在样本效率、自动机复杂性和任务完成方面优于竞争方法的实证结果。

    Dec, 2023

  • DeepSynth：深度强化学习中任务自动划分的自动机合成

    DeepSynth 是一种有效训练深度强化学习代理的方法，可在奖励稀疏和非 Markovian 的情况下实现，同时也需要实现未知的高级目标序列。该方法利用合成紧凑自动机的新算法自动发现这种序列结构，并使用环境的跟踪数据合成一个可解释的自动机，从而为控制策略的生成提供指导，并且相较于现有方法在 Montezuma's Revenge 等实验中在策略合成所需的迭代次数上获得了两个数量级的降低，同时也能显著提高可扩展性。

    Nov, 2019

  • 面向符号自动机编码目标的无模型强化学习

    本文提出使用符号自动机的形式规范，来代替马尔可夫奖励，并定义了使用潜在奖励的策略，来提高强化学习的收敛性。

    Feb, 2022

  • 部分可观测环境下自主智能体复杂任务的无模型运动规划

    该研究使用无模型强化学习方法解决了部分已知环境下自主智能体的运动规划问题，提出了一种基于线性时态逻辑和 Markov 决策过程的方法，并应用于无人机的实际控制中。

    Apr, 2023

  • 学习符号表示以实现非马尔可夫行为的强化学习

    利用知识表示和自动机结构，本文提出了一种自动发现有用状态抽象的端对端算法，用于学习非 Markov 领域下优化策略，相较于最先进的强化学习算法，能够在更少的环境样本下得到更优的结果。

    Jan, 2023