Feb, 2021

PerSim：基于个性化模拟器的异构智能体数据高效离线强化学习

PDF
TL;DR本文提出基于模型的离线强化学习方法 PerSim 来解决数据稀缺性问题，通过学习每个智能体的个性化模拟器来提高性能并同时学习个性化策略。
offline reinforcement learningheterogeneous agentslimited data availabilitymodel-based approachpersonalized policies
发现论文，激发创造
  • 何时信任你的模拟器：动态感知的离线与在线混合增强学习

    本研究提出了一个新的混合离线 - 在线强化学习范式，通过使用有限的真实数据和不受限制的模拟器探索来解决两种方法的缺陷，并在通过广泛的仿真和实际任务以及理论分析中证明了 H2O 优于其他跨域在线和离线强化学习算法，从而为解决实际的复杂任务提供了全新的思路。

    Jun, 2022

  • 具有偏倚离线数据和不完善模拟器的强化学习基准

    许多强化学习应用中，很难让智能体在真实世界中行动，这给自动驾驶、医疗应用甚至某些推荐系统带来了困扰。本研究概述了强化学习中将离线数据与不完善模拟器相结合的四个主要挑战，并构建了 “机械离线强化学习基准”（B4MRL）来推动该领域的研究。结果表明，这些基准对未来研究至关重要。

    Jun, 2024

  • 半监督离线强化学习与无动作轨迹

    通过开发新的算法流程，利用多种数据来源进行线下强化学习，仅使用 10％的数据可以达到与完全有标签的数据集相似的性能，同时进行大规模控制实验，以确定半监督学习应用于 RL 的最佳实践。

    Oct, 2022

  • 离线强化学习的偏好调查

    利用学习到的环境模型，在完全离线的环境中提出了一种离线基于偏好的强化学习算法 Sim-OPRL，通过模拟轨迹获取偏好反馈，对于超出分布的数据采用悲观方法，对于获取最优策略相关的信息采用乐观方法，提供了关于样本复杂度的理论保证，最后通过在不同环境中的实验结果展示了 Sim-OPRL 的经验性能。

    Jun, 2024

  • 利用离线数据加速程序生成环境下的强化学习

    研究了强化学习中采用离线轨迹进行数据增强的方法，发现采用离线轨迹进行前置训练或同时进行在线强化学习和离线轨迹训练均能提高样本效率和收敛到最优策略，预训练只需要两条轨迹数据即可对最终学习结果产生较大影响。

    Apr, 2023

  • H2O+: 混合离线和在线强化学习的改进框架与动态间隙

    通过模拟和实际机器人实验，我们展示了新算法 H2O + 在跨领域在线和离线强化学习算法方面的高性能和灵活性。

    Sep, 2023

  • 改进带有不准确模拟器的离线强化学习

    提出一种结合离线数据集和不准确模拟数据的新方法，通过预先训练生成对抗网络模型来适应离线数据集的状态分布，并通过鉴别器重新加权不准确模拟数据，实验证实该方法能够在 D4RL 基准和实际操作任务中比现有方法获得更好的性能。

    May, 2024

  • 超越均匀采样：利用不平衡数据集的离线强化学习

    离线策略学习旨在利用现有的轨迹数据集来学习决策策略，而无需收集额外数据。我们通过提出一种采样策略并将其作为标准离线强化学习算法的即插即用模块，从而解决了现有算法在完全优化数据集的情况下性能提升有限的问题。我们的评估表明，在 72 个不平衡数据集、D4RL 数据集以及三个不同离线强化学习算法中均取得了显著的性能改进。

    Oct, 2023

  • 使用离线数据进行高效在线强化学习

    本研究提出了一种简单的方法，利用离线数据来解决在线强化学习中的效率和探索性问题，通过对现有离线策略学习算法进行改进，得出了可以在各种竞争对手的基准测试中比现有方法提高 2.5 倍的建议。

    Feb, 2023

  • 离线基于模型的强化学习中设计选择的重新审视

    本研究比较不同的不确定性启发式方法，并设计新的协议来研究它们与其他超参数的交互作用，使用这些洞见，我们展示了使用 Bayesian 优化选择这些关键超参数可以产生优越的配置，这与现有手动调整的最先进方法大不相同， 从而实现了大幅度的强化学习。

    Oct, 2021