Sep, 2022

MO2: 基于模型的离线选项

PDF
TL;DR本研究提出了 Model-Based Offline Options（MO2） 算法，支持在连续的状态 - 动作空间中进行样本高效的瓶颈选项发现，以提高对转移域上的探索和值估计，实验结果表明，在复杂的长视程连续控制任务中，MO2 的特性是至关重要的，并且超过了最近的选项学习方法。
embodied intelligencebottleneck state discoverymo2continuous control tasksoption learning methods
发现论文，激发创造
  • 基于瓶颈选项学习的无监督技能发现

    本文提出了一种新颖的无监督技能发现方法 —— 信息瓶颈选项学习 (IBOL)，它能够通过推动更多的不同状态转换来吸收环境中固有的技能，并通过信息瓶颈框架对这些技能进行抽象，从而提高了稳定性和可分离性。实验证明，IBOL 在 MuJoCo 环境中的信息熵评估和下游任务中的性能超过了多种最先进的无监督技能发现方法。

    Jun, 2021

  • 稳健离线深度强化学习中克服模型偏差

    本研究提出了一种基于动力学模型的离线策略搜索算法 MOOSE，使用动力学模型评估策略的性能，得出了比当下主流的无模型、离线强化学习算法 BRAC、BEAR 和 BCQ 更稳健的结果。

    Aug, 2020

  • 数据效率高的事后无偏策略选项学习

    研究介绍了一种数据高效的选项学习算法 - 后见之明离线选项（HO2），并证明其在现有基准测试中表现优异，结果强调了时间和操作抽象的重要性以及离线培训和信任区域约束，特别是在来自原始像素输入的具有挑战性的模拟 3D 机器人操作任务中。

    Jul, 2020

  • MOPO: 基于模型的离线策略优化

    本文提出了一种基于模型的离线策略优化算法 (MOPO)，通过将模型地图上未知点处的即时报酬设置为高风险，从而优化模型训练过程中的代理策略，以解决离线数据分布发生漂移的问题，并在现有数据集和具有挑战性的连续控制任务中获得了最佳表现。

    May, 2020

  • 离线基于模型的强化学习中设计选择的重新审视

    本研究比较不同的不确定性启发式方法，并设计新的协议来研究它们与其他超参数的交互作用，使用这些洞见，我们展示了使用 Bayesian 优化选择这些关键超参数可以产生优越的配置，这与现有手动调整的最先进方法大不相同， 从而实现了大幅度的强化学习。

    Oct, 2021

  • MOReL：基于模型的离线强化学习

    本研究提出了基于模型的离线强化学习算法 MOReL，具有模块化设计，可以用于模型生成、不确定性估计、规划等领域，实验结果表明，MOReL 能够达到或超过当前广泛研究的离线强化学习基准的最新结果。

    May, 2020

  • 基于模型的离线规划

    提出一种基于模型的离线学习算法 (MBOP)，其可以通过规划直接控制系统。该算法在一系列机器人任务中表现出良好性能，并能够创建零 - shot 目标条件策略。

    Aug, 2020

  • 多任务选项学习与发现在随机路径规划中的应用

    应用强化学习模式下，通过数据驱动方法生成抽象状态，计算有效的选项和高级实现路径，从而获得可执行和可解决性的强大保证。

    Sep, 2022

  • 基于模型的脱机 Planning 与轨迹剪枝

    本研究提出了一个新型的轻量级基于模型的离线规划框架 MOPP，通过通过学习数据中的行为策略鼓励更激进的轨迹回放，并修剪出问题轨迹，以避免潜在的超出分布样本，相对于现有模型的离线规划和 RL 方法表现更具有竞争性。

    May, 2021

  • 用预算强化学习实现选项发现

    本研究关注 Reinforcement Learning 中学习层次策略的问题，提出了一种新的学习模型 Budgeted Option Neural Network（BONN）来自动发现决策过程中的选项，并在不同的经典 RL 问题上取得了有趣的定量和定性结果。

    Nov, 2016