IJCAIJun, 2019

使用价值估算进行爬山搜索控制的 Dyan

PDF
TL;DR提出基于 HC 的搜索控制方法实现 RL 中的 Dyna 结构，利用 HC 算法确定状态和行为，能够提高样本利用效率，并且发现从低价值到高价值区域的当前价值评估样本能够获得更好的表现。
model-based reinforcement learningsearch-controlvalue functionsample efficiencyhill climbing
发现论文，激发创造
  • Dyna 中基于频率的搜索控制

    本文提出了一种基于梯度和海森矩阵范数的频率度量策略，通过对价值函数高频区域进行模拟采样，实现了在 Dyna 中对学习效率提高的有效控制。

    Feb, 2020

  • 价值幻觉: Dyna 式规划在不完美环境模型下的陷阱

    本文研究 Dyna-style 强化学习算法中的环境模型错误问题，提出了 “虚构价值假设”，探讨了四种变量，并通过实验结果验证了该假设，这为开发可靠的模型错误鲁棒 Dyna 算法提供了一个方向。

    Jun, 2020

  • Dyna-H: 一种应用于角色扮演游戏策略决策系统的启发式计划强化学习算法

    本论文提出了一种基于启发式规划策略的路径规划方法，该方法在模型自由的在线强化学习中比传统的单步 Q 学习和 Dyna-Q 算法都表现出色，可以用于角色扮演游戏中的最优轨迹规划。

    Jan, 2011

  • 线性函数逼近与优先扫描的 Dyna-Style 规划

    应用基于模型的方法通过线性函数逼近扩展 Dyna 结构还原控制策略和价值函数的问题，证明了分布无关的收敛性，提出了基于线性逼近的优先扫描算法并在实例中验证了其性能。

    Jun, 2012

  • Dyna-T: 使用 Dyna-Q 和置信上界应用于树

    本研究提出了一种基于模型、使用 UCT 搜索和更具鲁棒性的动作选择策略的强化学习算法 Dyna-T，在 Open AI 的三个测试环境中的初步测试表明 Dyna-T 优于最先进的 RL 代理。

    Jan, 2022

  • 元梯度搜索控制：提高 Dyna 风格规划效率的方法

    通过引入一种在线、元梯度算法，我们改善了规划过程的效率，进而提高了整体学习过程的样本效率。我们的方法避免了传统规划方法的几种病态现象，并有望在未来的研究中为大规模模型驱动的强化学习系统的设计提供有用的参考。

    Jun, 2024

  • 利用任务分离和爬山算法进行深度强化学习的自动驾驶车辆

    本研究文章提出了一种基于模型的强化学习算法，包括任务分离和山峰爬升等策略，用于在自主驾驶中学习深度神经网络参数化控制器，并采用虚拟速度约束与最大稀疏奖励的组合。

    Nov, 2017

  • 规划形状对高维状态空间中 Dyna-style 规划的影响

    本论文研究了 Dyna（一种基于模型的强化学习）在多个游戏中的应用，发现规划的形式对 Dyna 的有效性有深刻影响，同时也是第一次成功地使用了手头有限的学习动态模型进行规划，该研究表明 Dyna 是解决高维度问题中的模型泛化能力问题的一种可行方法。

    Jun, 2018

  • 具有状态约束的两人对称差分博弈的价值逼近

    使用三种方法解决了物理信息机器学习方法在机器人应用中由于采样性质而产生的不连续解的问题，并在 5D、9D 车辆模拟和 13D 无人机模拟中证明了混合方法在泛化和安全性能方面的优越性。

    Nov, 2023

  • 山口爬升领域神经架构搜索的新框架

    本研究提出了一个新的神经架构搜索框架，它基于一个使用形态操作的爬山过程并采用新的梯度更新方法。该技术可以在更广泛的搜索空间中搜索，从而产生竞争优势，其在单个 GPU 训练的 19.4 小时内在 CIFAR-10 数据集上实现了 4.96％的错误率。

    Feb, 2021