Apr, 2021

通过学习模型进行计划的在线和离线强化学习

PDF
TL;DR本文提出了一种称为 Reanalyse 的算法，能够在固定数据集和与环境交互的情况下，使用模型为基础的策略和价值改进算子来计算改进训练目标，并在多个数据预算范围内实现高效学习。此外，结合 MuZero 算法，提出了 MuZero Unplugged，它是一种单一统一算法，能够适用于任何数据预算，包括离线 Reinforcement Learning（RL），并在 RL Unplugged 离线 RL 基准测试和标准 200 万帧的 Atari 在线 RL 基准测试中取得了新的最先进结果。
model-based reinforcement learningreanalyse algorithmoffline rldata budgetmuzero unplugged
发现论文，激发创造
  • 利用学习模型实现高效的离线策略优化

    通过研究，本文提出使用一种规范化的一步前瞻方法来解决 MuZero Unplugged 在离线强化学习设置下可能存在的一些问题，并在 BSuite 环境中进行了广泛的实证研究，得到了稳定的结果，并在大规模的 Atari 基准测试中取得了优异的表现。

    Oct, 2022

  • 稳健离线深度强化学习中克服模型偏差

    本研究提出了一种基于动力学模型的离线策略搜索算法 MOOSE，使用动力学模型评估策略的性能，得出了比当下主流的无模型、离线强化学习算法 BRAC、BEAR 和 BCQ 更稳健的结果。

    Aug, 2020

  • MuZero 学习的模型是什么？

    本文介绍了一种名为 MuZero 的深度模型强化学习算法，研究其深度学习模型的学习目标和用于策略改进的实用性，结果表明 MuZero 所学模型不能有效地推广到评估未知的策略，这限制了我们使用该模型进行计划进一步改善当前策略的程度。

    Jun, 2023

  • MOReL：基于模型的离线强化学习

    本研究提出了基于模型的离线强化学习算法 MOReL，具有模块化设计，可以用于模型生成、不确定性估计、规划等领域，实验结果表明，MOReL 能够达到或超过当前广泛研究的离线强化学习基准的最新结果。

    May, 2020

  • 离线基于模型的强化学习中设计选择的重新审视

    本研究比较不同的不确定性启发式方法，并设计新的协议来研究它们与其他超参数的交互作用，使用这些洞见，我们展示了使用 Bayesian 优化选择这些关键超参数可以产生优越的配置，这与现有手动调整的最先进方法大不相同， 从而实现了大幅度的强化学习。

    Oct, 2021

  • 小数据集，巨大增益：通过基于模型的增强学习的离线预训练来提升性能

    基于离线数据的强化学习预训练改进的模型数据增强策略，可以减少所需数据规模，并大幅提高在线微调效果和降低环境交互次数。

    Dec, 2023

  • 离线无模型机器人强化学习工作流程

    本文提出了一种实用的线下强化学习工作流程，类似于监督学习问题的工作流程，并演示了在几个模拟机器人学习场景和两个不同真实机器人上的三个任务中，使用此工作流程在没有在线调整的情况下生成有效策略的有效性。

    Sep, 2021

  • 离线强化学习基准套件：RL Unplugged

    本文介绍了 RL Unplugged 基准测试，以评估和比较离线强化学习方法，其中涵盖了各种域的数据集，从而使 RL 研究更有系统性，更具可访问性。

    Jun, 2020

  • 基于模型的离线规划

    提出一种基于模型的离线学习算法 (MBOP)，其可以通过规划直接控制系统。该算法在一系列机器人任务中表现出良好性能，并能够创建零 - shot 目标条件策略。

    Aug, 2020

  • 离线强化学习的极简主义方法

    通过在在线强化学习算法的策略更新中添加行为克隆项并规范化数据，在保持简单性的同时，最大限度地提高了运行效率，从而实现了与现有离线 RL 算法相当的性能。

    Jun, 2021