Jun, 2023

一种简单的统一的基于不确定性引导的离线到在线强化学习框架

PDF
TL;DR基于离线数据的强化学习方法，通常在实际应用中性能较低，本篇研究提出了一种基于不确定性的 Simple Unified uNcertainty-Guided (SUNG) 框架，通过量化不确定性，设计了一种乐观的探索策略，以及一种自适应的开发方法，在多个数据集上取得了最新的在线调优表现。
offline reinforcement learningonline interactionsuncertaintyexploration strategyrl objectives
发现论文，激发创造
  • 基于不确定性的分布离线强化学习

    提出了一种不确定性感知的离线强化学习方法，同时解决了认知不确定性和环境随机性，能够学习风险规避策略并表征折扣累积奖励的整个分布。通过在风险敏感和风险中立基准测试中进行全面实验评估，证明了其卓越的性能。

    Mar, 2024

  • 基于不确定性的离线强化学习与多样化 Q 集成

    本文提出了一种基于不确定性的离线强化学习方法，考虑 Q 值预测的置信度，不需要对数据分布进行估计或抽样，并提出了一种集合多样化的演员 - 批评家算法，该算法在大多数 D4RL 基准测试中实现了最先进的性能。

    Oct, 2021

  • 离线强化学习中的选择性不确定性传播

    研究了有限时间内的离线强化学习问题，提出了一种基于动作影响估计的算法，可在统计上简单实例上胜过传统的悲观方法。

    Feb, 2023

  • 基于不确定性和平滑性的稳健离线到在线强化学习

    提出了一种名为 Robust Offline-to-Online (RO2O) 算法的方法，通过不确定性和平滑性来增强离线策略，并在在线适应中减少性能下降，实验结果表明其在促进稳定的离线到在线学习方面具有优越性。

    Sep, 2023

  • 使用未标记数据增强离线强化学习

    该研究提出了一种解决离线强化学习中的 OOD 问题的新方法，通过引入离线强化学习师生框架和策略相似度度量，使得学生策略不仅可以从离线数据集中获取见解，还可以从教师策略传递的知识中获得额外的信息，从而有效解决 OOD 问题。

    Jun, 2024

  • 离线强化学习的不确定性加权演员 - 评论家算法

    提出了一种名为 Uncertainty Weighted Actor-Critic（UWAC）的离线强化学习算法，采用基于 dropout 的不确定性估计方法来检测 out-of-distribution（OOD）状态 - 动作对并相应地减小其在训练目标中的贡献，实验结果表明 UWAC 算法在提高模型稳定性和稀疏演示数据集上的表现上显著优于现有离线 RL 算法。

    May, 2021

  • SUNRISE: 一种简单的深度强化学习集成学习框架

    本文介绍了 SUNRISE 算法，它是一种简单统一的集成方法，通过加权贝尔曼反演和选取最高上限置信度边界等方法，有效缓解了标准离线强化学习算法中的 Q-learning 不稳定性和探索与开发平衡等问题。实验表明，该算法进一步提高了现有的连续和离散控制任务中的离线强化学习算法的性能。

    Jul, 2020

  • 有状态约束的离线强化学习

    传统离线强化学习方法主要在批量受限的环境中进行，本文通过引入一种名为 “状态约束” 的离线强化学习新框架，专注于数据集的状态分布，大大增强了学习能力并降低了先前的限制。同时，我们还引入了 StaCQ，这是一种性能良好的深度学习算法，并与我们的理论假设密切相关。

    May, 2024

  • 机器人技能学习的动作量化离线强化学习

    我们提出了一种自适应的行动量化方案，通过使用 VQ-VAE 学习状态条件的行动量化，避免了行动空间的指数爆炸问题，并通过离线强化学习方法在基准测试中改进了性能，同时在 Robomimic 环境中的复杂机器人操作任务中，离线强化学习算法通过离散化相对于连续方法实现了 2-3 倍的改进。

    Oct, 2023

  • 半监督离线强化学习与无动作轨迹

    通过开发新的算法流程，利用多种数据来源进行线下强化学习，仅使用 10％的数据可以达到与完全有标签的数据集相似的性能，同时进行大规模控制实验，以确定半监督学习应用于 RL 的最佳实践。

    Oct, 2022