Nov, 2022

深度强化学习中的嘈杂符号抽象：以奖励机器为案例研究

PDF
TL;DR本篇文章提出了一种特殊的 POMDP 优化问题，研究当使用 Reward Machines 作为奖励函数语言时，对于状态到符号语言的映射不确定的情况下，如何通过强化学习生成策略，并通过实验证明了这种方法的有效性和现有方法的局限性。
reward machinesrlpomdppolicy learningsymbolic language
发现论文，激发创造
  • 噪声与不确定环境中的深度强化学习奖励机制

    用于嘈杂和不确定环境下的深度强化学习中，通过对任务结构进行利用，我们提出了一套 RL 算法，成功地提高了在词汇嘈杂的环境下的性能，从而为在部分可观察环境中利用 Reward Machines 提供了一个通用的框架。

    May, 2024

  • 面向符号自动机编码目标的无模型强化学习

    本文提出使用符号自动机的形式规范，来代替马尔可夫奖励，并定义了使用潜在奖励的策略，来提高强化学习的收敛性。

    Feb, 2022

  • 一个基于层次贝叶斯的逆强化学习方法，使用符号奖励机器

    本研究提出了一种新的 RL 方法，使用符号化奖励机器来增强高级任务知识指定的奖励信号，在确定符号值的情况下，通过贝叶斯方法分层地推断出最可能的分配，可显著提高 RL 训练效率并在不同的任务环境配置中广泛适用。

    Apr, 2022

  • 深度强化学习中奖励机制抽象的上下文预规划，以增强迁移能力

    为解决深度强化学习代理在任务转移中的过度拟合问题和对现实环境的适应性差的问题，提出一种基于奖励机器的任务表示方法，使用抽象状态图与任务奖励动态的相互作用诱导子任务，从而实现在不同任务间的知识共享和过程优化的目标。经实验测试表明，该方法在各个领域中提高了样本效率和少量训练次数下的转移性能。

    Jul, 2023

  • 学习符号表示以实现非马尔可夫行为的强化学习

    利用知识表示和自动机结构，本文提出了一种自动发现有用状态抽象的端对端算法，用于学习非 Markov 领域下优化策略，相较于最先进的强化学习算法，能够在更少的环境样本下得到更优的结果。

    Jan, 2023

  • 奖励机器：在强化学习中利用奖励函数结构

    该论文介绍了如何使用奖励机制来支持强化学习中的学习过程，并探讨了如何通过奖励机制结构的利用，来提高样本利用率和最终策略的质量。

    Oct, 2020

  • 在部分已知语义环境中联合学习奖励机制和策略

    该论文研究了强化学习在奖励机制下的任务，提出了一种利用概率估计和 Q-learning 算法的强化学习算法，能够成功推断出奖励机制并且渐进地学习任务的策略，即使环境中的原子命题的真值存在不确定性。

    Apr, 2022

  • 强化学习奖励机制和政策的联合推理

    研究了如何通过迭代算法将奖励机器与 q-learning 相结合，以便在复杂任务中实现快速政策优化。

    Sep, 2019

  • 检测隐藏的触发器：将非马尔可夫奖励函数映射到马尔可夫

    通过学习奖励机制，将非马尔可夫奖励函数映射为等效的马尔可夫函数，证明了奖励机制相对于确定性有限状态自动机对于建模单一自动机中的奖励依赖性的重要性，并通过在 Officeworld 领域学习黑盒非马尔可夫奖励函数以及在 Breakfastworld 领域学习奖励之间的依赖关系的有效性来验证了我们的方法。

    Jan, 2024

  • 全面神经符号视觉强化学习与语言解释

    该研究介绍了一种神经符号强化学习（Neuro-symbolic reinforcement learning，NS-RL）的框架，通过将视觉基础模型精简为可扩展的感知模块，可以同时学习结构化状态和符号策略，并使用大型语言模型生成简明易读的策略和决策解释，实验结果显示在九个 Atari 任务中，该方法相比现有的 NS-RL 方法获得显著的性能提升，并展示了策略和决策的解释。

    Mar, 2024