Oct, 2023

使用经验分类训练非马尔可夫任务

PDF
TL;DR我们提出了一种新颖的强化学习方法，用于实现基于 LTL$_f$（有限轨迹线性时态逻辑）的非马尔可夫奖励，通过 LTL$_f$ 到 MDPs（马尔可夫决策过程）的线性复杂度编码，利用自动机结构（与 LTL$_f$ 规范语义等价）的优先经验回放技术来改善训练过程，在多个引入非马尔可夫任务的基准问题上进行经验证明了我们方法的可行性和有效性。
reinforcement learningnon-markovian taskstemporal logicmdpsexperience replay technique
发现论文，激发创造
  • 非马尔可夫奖励强化学习

    研究了在具有非马尔可夫奖励的情况下，采用 Q-learning 和 R-max 算法和自动机学习算法相结合的方法用于策略学习并证明其中一些变体在极限状态下收敛到最优策略。

    Dec, 2019

  • 使用隐马尔可夫模型的自动机学习任务自动化增强学习

    该论文提出了一种从代理环境经验中学习非马尔可夫任务规范的新方法，可以将任务拆分为其构成子任务，提高了 RL 代理后续合成最优策略的速率，并提供了一个可解释的编码高级环境和任务特征的方式。

    Aug, 2022

  • 学习符号表示以实现非马尔可夫行为的强化学习

    利用知识表示和自动机结构，本文提出了一种自动发现有用状态抽象的端对端算法，用于学习非 Markov 领域下优化策略，相较于最先进的强化学习算法，能够在更少的环境样本下得到更优的结果。

    Jan, 2023

  • 基于 LTL 规约的样本高效无模型强化学习及最优性保证

    本研究提出一种基于强化学习的模型自由优化方法来学习行为策略，以最大化符合给定线性时态逻辑规范的概率。通过采用新型的产品 MDP、奖励结构和折扣机制，在各种 MDP 环境中进行实验，证明了其具有改进的样本效率和最优策略收敛性。

    May, 2023

  • 强化学习用于带有动作约束的任务规定

    本文运用离散事件系统监控控制理论的概念，提出一种方法用于在有限状态的马尔可夫决策过程中，学习最优控制策略，并利用奖励机器的发展来处理状态限制。通过给定一个例子来阐明其应用性并在此设置中展示了仿真结果。

    Jan, 2022

  • 可解释的时序逻辑学徒学习

    本文讨论了在 Markov 决策过程中，使用 LTL 的公式作为代理规划的规范，通过形成多目标优化问题，从 MDP 中演示的行为轨迹中推断 LTL 规范，利用遗传编程解决该问题的有效性进行了证明。

    Oct, 2017

  • 使用无模型强化学习从线性时态逻辑规范合成控制

    本文提出了一种强化学习框架，以从在一个未知的随机环境中，根据给定的线性时间逻辑（LTL）规范合成控制策略，该环境可以被建模为一个马尔可夫决策过程（MDP）。我们学习一种策略，最大化满足 LTL 公式的概率，引入一种新的、基于 LTL 公式的奖励和路径相关的折扣机制，使得（i）最优策略有效地最大化了满足 LTL 目标的概率，（ii）使用这些奖励和折扣因子的无模型强化学习算法保证收敛到这样的策略。最后，我们在两个运动规划案例研究中展示了我们基于强化学习的合成方法的适用性。

    Sep, 2019

  • 面向任务驱动的探索，加速具有时态逻辑任务规范的深度强化学习

    通过自动机表示 LTL 任务以及部分模拟未知系统动力学的神经网络，我们提出了一种新颖的深度强化学习（DRL）算法，其样本效率得以提高，能够更快速地学习控制策略，以在未知环境中的机器人导航任务中提高效率。

    Nov, 2023

  • 一种基于学习的方法，用于控制合成线性时间逻辑规范的马尔可夫决策过程

    使用学习理论中的技术，通过构建包含确定性 Rabin 自动机的乘积 MDP，其奖励函数来源于 Rabin 自动机的接受条件，即可合成满足线性时态逻辑（LTL）规范的控制策略，该方法在交通控制案例研究中证明可以产生合理的控制策略，即使无法保证满足 LTL 规范。

    Sep, 2014

  • 强化学习用于具有概率满足保证的时间逻辑控制合成

    本研究提出一种基于强化学习的控制策略综合算法，用于最大化满足作为线性时序逻辑公式给出的高级控制目标的概率。该算法将 LTL 规范转换为限制性确定布琦自动机，再与具有不确定工作空间特性、结构和智能体行为的 PL-MDP 合并进行训练，从而生成满足概率的最大值。

    Sep, 2019