强化学习方法之间的效率分离：无模型、基于模型和目标条件

Sep, 2023

强化学习方法之间的效率分离：无模型、基于模型和目标条件

Efficiency Separation between RL Methods: Model-Free, Model-Based and Goal-Conditioned

Brieuc Pinon, Raphaël Jungers, Jean-Charles Delvenne

TL;DR我们证明了强化学习算法（包括无模型及基于模型的方法）的效率存在一个基本限制，其与环境进行交互寻找最优行为的过程在某类强化学习问题中具有指数级的下界；然而，存在一种对该类问题具有高效解决能力的方法，而该方法并非专门针对该类问题设计；与此相反，我们的限制并不适用于文献中提出的某些方法，例如，以目标为条件的方法或其他构建逆动力学模型的算法。

Abstract

We prove a fundamental limitation on the efficiency of a wide class of reinforcement learning (RL) algorithms. This limitation applies to model-free RL methods as well as a broad range of →

reinforcement learning efficiency model-free rl methods model-based methods lower bound exponential

发现论文，激发创造

基于目标条件策略的规划

本文提出了一种结合规划方法和强化学习的方法，利用强化学习学习目标驱动策略，从而让规划方法更好地实现任务；同时利用一个潜在变量模型来简洁地表示规划中的有效状态，从而将行为抽象和状态抽象分离。实验结果表明本文提出的方法能够在机器人导航和操作任务中显著优于以往的规划和模型自由方法。

Nov, 2019

模型自由规划的研究

通过模型自由的深度神经网络结构，套用归纳偏差这一概念，成功实现了能够规划的强化学习智能体，并在不同领域有着较高的泛化能力和高效性。

Jan, 2019

强化学习中的无模型主动探索

采用信息论的观点，我们研究强化学习中的探索问题，并提出了一种新颖的无模型解决方案，通过推导实例特定的下界以及最优的探索策略，我们衍生出一种基于集成模型的无模型探索策略，适用于表格和连续马可夫决策过程，数值结果表明我们的策略能够比最先进的探索方法更快地找到高效的策略。

Jun, 2024

时序差分模型：无模型深度强化学习用于模型控制

介绍了一种可以用于模型无关学习和模型控制的基于目标条件的价值函数，称为时间差分模型，它可以利用状态转移的丰富信息来非常高效地学习，同时达到超过直接基于模型的 RL 方法的渐近性能的实验结果表明，在一系列连续控制任务中，TDM 相比最先进的模型无关和模型相关方法提供了实质性的改进。

Feb, 2018

CostNet: 目标导向强化学习的端到端框架

本文引入一种新的强化学习算法，通过学习马尔可夫决策过程中两个状态之间的距离来预测，距离度量作为内在奖励被用于推动智能体的学习。实验结果表明，相比于模型无关的强化学习，该算法在多个测试环境中具有更好的样本效率。

Oct, 2022

关于价值函数的有限表达能力及其与统计 (非) 效率的联系

通过一系列的案例研究，本文深入探讨了模型识别和无模型方法之间的权衡，重点关注了在政策评估的核心问题上，价值函数空间内无法准确表示转移动态信息的情况，揭示了价值函数的表达能力限制是低效的驱动因素。

Mar, 2024

基于约束的强化学习的简单无回报方法

本文探讨奖励自由强化学习和受限制的强化学习之间的联系，在标记 MDP 设置中，我们提出了一种简单的元算法，利用现有的奖励自由 RL 解算器，对受限制的强化学习问题进行直接求解，在现有结果的基础上匹配最佳结果，同时在线性函数近似下，我们直接将其扩展到标记二人马尔可夫博弈的设置中，并提供了一个新的受限制的 RL 结果。

Jul, 2021

约束强化学习的平均奖励目标：基于模型和无模型算法

在这份研究论文中，通过系统研究了强化学习（Reinforcement Learning）在约束条件下的模型方法和无模型方法，着重分析了平均奖励随机决策过程中乐观和后验取样的基础方法以及参数化模型无关方法，同时在解决约束决策过程中提供遗憾保证和约束违规分析。同时，还探讨了在弱通信随机决策过程中的结果，扩大了研究结果的适用范围。

Jun, 2024

轨迹中心增强学习的模型基与模型无更新相结合

本文研究如何在模型无关和模型有关的强化学习方法中结合时间变化的线性高斯策略，通过基于线性二次调节器的模型有关算法与基于路径积分策略改进的模型无关框架相结合，并与指导策略搜索相结合，训练深度神经网络等任意参数策略，以提高实时机器人应用的模型效率和数据效率。研究表明，该方法可以解决具有挑战性的操作任务，其表现与模型无关方法相比具有可比性或更好的表现，同时保持模型有关方法的样本效率。

Mar, 2017

突发模型变化下的强化学习

提出了一种基于模型无关算法的强化学习问题解决方案，该算法通过与环境互动学习最优策略，并利用最快的变化检测算法来检测模型变化，从而获得长期折现奖励。

Apr, 2023