Jun, 2021

行为预期和动态模型：改进离线强化学习的性能和领域转移

PDF
TL;DR本文提出了一种 Offline Model-based RL with Adaptive Behavioral Priors（MABE）算法，利用数据集的动力学模型和行为先验知识相结合，大大提高了离线 RL 策略的性能和泛化能力，在 D4RL 离线 RL 基准测试中表现优异，且具有跨域泛化性能。
offline reinforcement learningoffline datamodel-based rlgeneralizationbehavioral priors
发现论文，激发创造
  • 继续做有效的事情：行为建模先验用于离线强化学习

    本文提出了一种能够适用于机器人控制等实际问题，同时在批处理状态下能够有效学习的算法，该算法采用了优势加权行为模型 (ABM) 来对先前执行过的成功动作进行刻画，并对新的任务中可能成功的动作进行策略偏置，实验表明我们的算法在标准连续控制基准测试和多任务学习中都有着较好的效果。

    Feb, 2020

  • 离线基于模型的强化学习中设计选择的重新审视

    本研究比较不同的不确定性启发式方法，并设计新的协议来研究它们与其他超参数的交互作用，使用这些洞见，我们展示了使用 Bayesian 优化选择这些关键超参数可以产生优越的配置，这与现有手动调整的最先进方法大不相同， 从而实现了大幅度的强化学习。

    Oct, 2021

  • 自适应行为正则化的离线强化学习

    本文提出了自适应行为正则化（ABR）的方法改善已有机器学习数据集中存在的行为采样偏差，从而提高了离线强化学习的效率和稳定性，并在 D4RL 数据集上实现了最新算法中更好或相当的性能。

    Nov, 2022

  • 交替离线模型训练和策略学习的统一框架

    本文提出了一种迭代离线模型学习 (MBRL) 框架，其中通过交替进行动态模型训练和策略学习来最大化真实预期回报的下限，从而解决了动态模型和策略学习之间的目标不匹配问题，从而在广泛的连续控制离线强化学习数据集上实现了竞争性能。

    Oct, 2022

  • MOPO: 基于模型的离线策略优化

    本文提出了一种基于模型的离线策略优化算法 (MOPO)，通过将模型地图上未知点处的即时报酬设置为高风险，从而优化模型训练过程中的代理策略，以解决离线数据分布发生漂移的问题，并在现有数据集和具有挑战性的连续控制任务中获得了最佳表现。

    May, 2020

  • MOReL：基于模型的离线强化学习

    本研究提出了基于模型的离线强化学习算法 MOReL，具有模块化设计，可以用于模型生成、不确定性估计、规划等领域，实验结果表明，MOReL 能够达到或超过当前广泛研究的离线强化学习基准的最新结果。

    May, 2020

  • 稳健离线深度强化学习中克服模型偏差

    本研究提出了一种基于动力学模型的离线策略搜索算法 MOOSE，使用动力学模型评估策略的性能，得出了比当下主流的无模型、离线强化学习算法 BRAC、BEAR 和 BCQ 更稳健的结果。

    Aug, 2020

  • 基于模型的离线强化学习中的悲观情况调节动态信念

    通过维护动态神经网络的信念分布，以偏向悲观主义的样本采样为基础的迭代策略优化算法被设计，可以最大限度地利用静态数据集，实现基于模型的离线强化学习。

    Oct, 2022

  • MBMF: 基于模型的先验知识用于无模型强化学习

    本文提出了一种新的方法，旨在将模型自由和模型相关两种范式结合起来，通过学习概率动力学模型和利用它作为模型自由优化的先验概率来实现数据有效和成本节约，并证明这种方法优于单纯的模型相关和模型自由方法，以及从模型相关模式切换到模型自由模式的方法。

    Sep, 2017

  • 超越 OOD 状态行为：支持跨域离线强化学习

    本文提出了交叉领域离线强化学习方法 BOSA，通过利用来自不同转移动态（环境）的源领域数据，解决了离线 RL 中存在的数据效率不高的问题，并通过实验证明其在离线数据效率方面的有效性。

    Jun, 2023