深度强化学习中奖励机制抽象的上下文预规划，以增强迁移能力

IJCAIJul, 2023

深度强化学习中奖励机制抽象的上下文预规划，以增强迁移能力

Contextual Pre-Planning on Reward Machine Abstractions for Enhanced Transfer in Deep Reinforcement Learning

Guy Azran, Mohamad H. Danesh, Stefano V. Albrecht, Sarah Keren

TL;DR为解决深度强化学习代理在任务转移中的过度拟合问题和对现实环境的适应性差的问题，提出一种基于奖励机器的任务表示方法，使用抽象状态图与任务奖励动态的相互作用诱导子任务，从而实现在不同任务间的知识共享和过程优化的目标。经实验测试表明，该方法在各个领域中提高了样本效率和少量训练次数下的转移性能。

Abstract

Recent studies show that deep reinforcement learning (DRL) agents tend to overfit to the task on which they were trained and fail to adapt to minor environment changes. To expedite learning when transferring to unseen tasks, we propose a novel approach to representing the current task

deep reinforcement learning reward machines transfer learning subtasks symbolic representations

发现论文，激发创造

深度强化学习中的嘈杂符号抽象：以奖励机器为案例研究

本篇文章提出了一种特殊的 POMDP 优化问题，研究当使用 Reward Machines 作为奖励函数语言时，对于状态到符号语言的映射不确定的情况下，如何通过强化学习生成策略，并通过实验证明了这种方法的有效性和现有方法的局限性。

Nov, 2022

协作多智体强化学习的奖励机器

研究团队提出使用奖励机器（RM）对协作多智能体强化学习中的团队任务进行编码，分解任务成子任务分配给个体智能体去完成，提出一种分布式完成子任务的算法，提供了一种自然去中心化学习的方法，并在实验中验证了所提出的方法非常有效。

Jul, 2020

奖励预测聚类

通过聚类算法，构建奖励预测深度网络所需的状态抽象，加速高维可视控制任务的学习并实现通过预先训练的奖励预测表示网络在不重新训练的情况下加速学习的系统性跨分布传递。

Nov, 2022

奖励机器的层次结构

提出了一种通过赋予奖励机器能够调用其他奖励机器的能力从而形成奖励机器层级结构的形式化方法，并使用课程学习方法从代理观察到的示例跟踪中诱导奖励机器层级结构。实验证明，与平面奖励机器相比，利用手工建立的奖励机器层级结构可以更快地收敛，并且学习奖励机器层级结构比学习相当的平面奖励机器更具可扩展性。

May, 2022

噪声与不确定环境中的深度强化学习奖励机制

用于嘈杂和不确定环境下的深度强化学习中，通过对任务结构进行利用，我们提出了一套 RL 算法，成功地提高了在词汇嘈杂的环境下的性能，从而为在部分可观察环境中利用 Reward Machines 提供了一个通用的框架。

May, 2024

样本高效强化学习的动态抽象表示学习

本文介绍了一种新的从上至下的方法，用于在执行强化学习的同时构建状态抽象，动态计算一个基于 Q 值分散的抽象，结果表明，这种方法自动学习细调问题的抽象，具有较强的样本效率，并使强化学习代理明显优于现有方法。

Oct, 2022

合作多智能体任务中的奖励机器学习

本文提出了一种新的多智能体强化学习方法，该方法将合作任务分解与学习奖励机器相结合，以编码子任务的结构。该方法有助于处理部分可观察环境中奖励的非马尔可夫性质，并提高了完成合作任务所需的学习策略的可解释性。每个子任务关联的奖励机器以分散的方式学习，然后用于指导每个智能体的行为，从而减少了合作多智能体问题的复杂性，更有效的学习。结果表明，我们的方法是未来 MARL 研究的一个有前景的方向，特别是在具有大状态空间和多个智能体的复杂环境中。

Mar, 2023

一个基于层次贝叶斯的逆强化学习方法，使用符号奖励机器

本研究提出了一种新的 RL 方法，使用符号化奖励机器来增强高级任务知识指定的奖励信号，在确定符号值的情况下，通过贝叶斯方法分层地推断出最可能的分配，可显著提高 RL 训练效率并在不同的任务环境配置中广泛适用。

Apr, 2022

抽象学习模型规划与可迁移子任务学习

该研究利用一种新的形式结构，提出了一种基于模型的层次强化学习算法，名为 PALM，可学习独立、模块化的转移和奖励模型用于概率规划，并演示了其将规划和执行进行集成，以快速有效地学习抽象、分层模型以及转移至新的相关任务的增强潜力。

Dec, 2019

奖励机器：在强化学习中利用奖励函数结构

该论文介绍了如何使用奖励机制来支持强化学习中的学习过程，并探讨了如何通过奖励机制结构的利用，来提高样本利用率和最终策略的质量。

Oct, 2020