Feb, 2024

逻辑规范引导的强化学习智能体的动态任务采样

HTML
PDF
TL;DR基于逻辑规范引导的动态任务采样（LSTS）是一个新颖的方法，不像以前的方法，LSTS不需要关于环境动态或奖励机器的信息，并且通过动态采样有希望导致成功目标策略的任务，来引导代理从初始状态到目标状态。在格局世界的评估中，LSTS在复杂的顺序决策问题上表现出了比最先进的RM和自动机引导的RL基线更好的时间到达阈值性能，并且在部分可观测的机器人任务和连续控制机器人操纵任务中也比RM和自动机引导的RL基线表现出更高的样本效率。
发现论文，激发创造
  • 强化学习中任务规范的统一

    介绍了一种RL任务形式化的方法，通过简单的构造实现了不同任务设置的统一，包括状态转移折扣的概括；并拓展了标准学习构造和部分理论结果，提供了一个可理解和可靠的形式化框架来构建理论和简化算法使用和开发。

    Sep, 2016

  • 具有时态逻辑奖励的强化学习

    本文提出了Truncated Linear Temporal Logic (TLTL)以及与之相应的鲁棒性度量作为奖励函数的强化学习方法，用以解决机器人应用中复杂任务的学习问题。在仿真实验和Baxter机器人的任务中，表现出了优异的鲁棒性能。

    Dec, 2016

  • 通过GLTL实现的环境无关任务规格

    提出了一种新的用于马尔可夫决策过程的任务规范语言，其设计旨在改进奖励函数，成为独立于环境的语言。该语言是 LTL 的一种变体，被扩展为概率规范，可以在有限时间内学习逼近。提供了几个小环境，展示了我们的几何 LTL 语言的优势，说明了它如何简单地用于规范标准强化学习任务。

    Apr, 2017

  • 一种适用于强化学习任务的组合规格语言

    提出一种用于规定复杂控制任务的语言并实现在工具SPECTRL中的算法，可以将任务规定编译为奖励函数并自动进行奖励形状。

    Aug, 2020

  • 面向符号自动机编码目标的无模型强化学习

    本文提出使用符号自动机的形式规范，来代替马尔可夫奖励，并定义了使用潜在奖励的策略，来提高强化学习的收敛性。

    Feb, 2022

  • 基于逻辑的奖励塑造多智能体强化学习

    本研究探讨了基于逻辑的多智能体强化学习中的奖励设计问题，并提出了一种可扩展的半集中式逻辑奖励设计方法，以应对任务中多智能体数量增加的问题。

    Jun, 2022

  • 使用隐马尔可夫模型的自动机学习任务自动化增强学习

    该论文提出了一种从代理环境经验中学习非马尔可夫任务规范的新方法，可以将任务拆分为其构成子任务，提高了RL代理后续合成最优策略的速率，并提供了一个可解释的编码高级环境和任务特征的方式。

    Aug, 2022

  • 可验证的组合性强化学习系统

    我们提出了一个可验证和组合的强化学习框架，其中一组强化学习子系统被组合起来以实现整体任务，子系统之间通过定义接口和部分可观察性相互交互。实验结果展示了该框架在各种环境中的新颖功能。

    Sep, 2023

  • LgTS: 使用LLM生成的子目标进行动态任务抽样的强化学习代理

    本研究提出了一种新方法，利用大型语言模型（LLM）的规划能力，为没有环境转换动力学访问权限的强化学习代理提供子目标的图形表示，同时最小化环境交互次数。

    Oct, 2023

  • 基于时序逻辑目标的样本高效强化学习：利用任务规范指导探索

    本文研究在不确定动态系统中学习最佳控制策略的问题，其中高层控制目标由线性时序逻辑（LTL）公式指定。研究提出了一种加速的强化学习算法，采用新颖的任务驱动探索策略，提高了样本效率，尤其在任务复杂性或马尔可夫决策过程（MDP）规模增大时更为显著。通过理论分析和实验证明，该方法能够显著快于现有竞争策略。

    Oct, 2024