IJCAIJun, 2018

组织体验：对连续状态领域基于样本规划的回放机制的深入探讨

PDF
TL;DR本文介绍了一种基于模型的规划策略，使用 REWEIGHTED EXPERIENCE MODELS 方法实现了对 Dyna planning paradigm 的重新定义，在连续状态问题上取得了比回放 buffer 更好的表现。
model-based strategiesdyna planning paradigmsample-based planningreweighted experience modelscontinuous state problems
发现论文，激发创造
  • 规划形状对高维状态空间中 Dyna-style 规划的影响

    本论文研究了 Dyna（一种基于模型的强化学习）在多个游戏中的应用，发现规划的形式对 Dyna 的有效性有深刻影响，同时也是第一次成功地使用了手头有限的学习动态模型进行规划，该研究表明 Dyna 是解决高维度问题中的模型泛化能力问题的一种可行方法。

    Jun, 2018

  • 理解每步回放不同数量的影响

    本研究从经验重放和模型的角度出发，对 Deep Q-Network 算法中回放量的变化对样本效率和算法健壮性的影响进行了系统性研究，在 Mountain Car 环境下获得了提高样本效率、降低性能波动、提高算法鲁棒性的结果，为算法应用方面提供了新的思路。

    Feb, 2023

  • 线性函数逼近与优先扫描的 Dyna-Style 规划

    应用基于模型的方法通过线性函数逼近扩展 Dyna 结构还原控制策略和价值函数的问题，证明了分布无关的收敛性，提出了基于线性逼近的优先扫描算法并在实例中验证了其性能。

    Jun, 2012

  • 基于能量模型的模型规范化计划

    本研究讨论利用学习到的动力学模型进行规划，并提出使用环境状态转换的能量估计来规范该模型以实现样本有效学习，结果表明该方法可以在几分钟的经验中实现具有竞争力表现的学习。

    Oct, 2019

  • Dyna 中基于频率的搜索控制

    本文提出了一种基于梯度和海森矩阵范数的频率度量策略，通过对价值函数高频区域进行模拟采样，实现了在 Dyna 中对学习效率提高的有效控制。

    Feb, 2020

  • 元梯度搜索控制：提高 Dyna 风格规划效率的方法

    通过引入一种在线、元梯度算法，我们改善了规划过程的效率，进而提高了整体学习过程的样本效率。我们的方法避免了传统规划方法的几种病态现象，并有望在未来的研究中为大规模模型驱动的强化学习系统的设计提供有用的参考。

    Jun, 2024

  • 基于交换机的主动式深度 Dyna-Q: 用于任务完成对话策略学习的高效自适应规划

    本研究使用强化学习训练任务完成对话代理人，在集成世界模型的基础上通过使用模拟经验有效提高训练效率，通过引入开关和主动学习改进 Deep Dyna-Q 框架，提出了 Switch-based Active Deep Dyna-Q（Switch-DDQ）算法，同时也在仿真和人工评估中证明了该算法相较于 DDQ 和 Q-learning 有着显着的改进。

    Nov, 2018

  • 连续状态空间中的样本高效强化学习：超越线性的视角

    提出了 Effective Planning Window（EPW）条件，并提供一种算法来证明满足该条件的 MDPs 具有有效的样本使用率，该条件是在 RL 中不需要假设线性结构的一种结构性条件。

    Jun, 2021

  • 在线强化学习中的规划的新视角

    本文提出了一种新的基于模型的强化学习方法，使用背景规划来混合（近似）动态规划和无模型更新，以解决学习模型的不准确性和生成无效状态的问题，并通过约束背景规划到一组（抽象的）子目标和只学习局部的、以子目标为条件的模型来提高计算效率，自然地包含时间抽象以实现更快的长期规划，并完全避免学习转换动力学，展示了该方法在不同领域中可以帮助各种基础学习者更快地学习。

    Jun, 2024

  • 连续状态 - 动作非高斯系统的集中模型学习和规划

    引入了一个针对具有连续状态和动作空间以及非高斯转移模型的随机域的模型学习和规划框架。该框架高效，因为只有在计划器需要它们时才估计局部模型；计划器集中于当前规划问题的最相关状态；计划器专注于信息最丰富和 / 或价值最高的动作。我们的理论分析显示了所提出方法的有效性和渐近最优性。在实验上，我们在模拟的多模式推动问题上展示了我们算法的有效性。

    Jul, 2016