Oct, 2022

CORL：面向研究的深度离线强化学习库

PDF
TL;DRCORL 是一个开源库，提供单文件实现的深度离线强化学习算法，强调简单的开发体验和现代化的分析跟踪工具，通过将方法实现隔离到不同的单个文件中，使得性能相关的细节更易识别，同时提供实验跟踪功能，可将指标、超参数、依赖等日志记录到云端，并通过对常用的 D4RL 基准测试进行基准测试，确保了实现的可靠性。
corldeep offline reinforcement learningsingle-file implementationsexperiment trackingd4rl benchmark
发现论文，激发创造
  • CleanRL: 深度强化学习算法高质量的单文件实现

    CleanRL 是一个使用深度强化学习算法的开源库，它提供了一个简单而可扩展的开发体验，并整合了生产工具，可帮助互动和扩展实验，同时提供实验记录功能以将度量标准、超参数、视频等保存到云端。

    Nov, 2021

  • 连续离线强化学习的离线经验回放

    本文提出基于模型的经验选择方案以解决离线强化学习中的经验回放问题和遗忘问题，并进行了实验验证。

    May, 2023

  • CoRL: 以系统集成为中心的环境创建和管理

    此篇论文介绍了一种名为 CoRL 的强化学习环境库，它利用模块化、可组合和超级可配置的设计思想，允许对观测、奖励和终止条件进行细粒度的控制，并可快速实现多个模拟环境的集成，从而实现了代理的快速实现和模拟场景从低保真度向高保真度迁移的能力。

    Mar, 2023

  • d3rlpy：一种离线深度强化学习库

    本文介绍了 d3rlpy，这是一个针对 Python 的开源深度强化学习库，其支持一组离线深度强化学习算法以及通过一个完全记录的即插即用的 API 进行的离线策略算法。为解决再现性问题，我们使用 D4RL 和 Atari 2600 数据集进行了大规模基准测试，以确保实现质量，并提供了实验脚本和完整的结果表格。d3rlpy 源代码可以在 GitHub 上找到： https://github.com/takuseno/d3rlpy。

    Nov, 2021

  • 使用决策 Transformer 解决持续离线强化学习

    通过比较决策 Transformer（DT）和基于演员 - 评论者结构与经验回放的现有方法，我们研究了连续离线强化学习（CORL）框架中的 DT，发现 DT 在学习效率、分布转移缓解和零 - shot 泛化方面具有优势，但在监督参数更新时会加剧遗忘问题，我们引入多头 DT（MH-DT）和低秩自适应 DT（LoRA-DT）以减轻 DT 的遗忘问题。在 MoJuCo 和 Meta-World 基准上的广泛实验表明，我们的方法优于现有的 CORL 基准，在增强学习能力和内存效率方面展示出卓越的性能。

    Jan, 2024

  • RLlib：分布式强化学习的抽象化

    通过采用自上而下的分层控制算法，对 RL 组件进行可组合的分布式处理，RLlib 提供可扩展的软件基元，从而将并行性和资源需求封装在短暂的计算任务中，实现高性能、可扩展性和大量代码重用的广泛算法的实现。

    Dec, 2017

  • CORA: 连续强化学习智能体平台的基准、基线和度量标准

    本文介绍了 CORA 平台，该平台针对 Continual Reinforcement Learning 智能体提供了基准、基线和度量标准，其中基准旨在评估连续 RL 挑战的不同方面，而度量标准提供连续评估、隔离遗忘和零射前传递。同时，该平台还包括一组表现良好、开源的现有算法基线，旨在加速新 Continual Reinforcement Learning 算法的开发。

    Oct, 2021

  • 不要改变算法，改变数据：离线强化学习的探索性数据

    本论文提出了一种数据导向的离线强化学习方法，称为 Exploratory data for Offline RL (ExORL)，通过无监督的无奖励探索生成数据，然后将其转换成特定奖励的数据，以训练出一个政策，实验证明，这种探索性的数据生成方法对于离线 RL 非常重要。

    Jan, 2022

  • 优化和基准测试离线强化学习算法

    本文研究离线强化学习，通过对 20 个实现选择进行实证研究来选择最佳实现方案，进而实现在数据集上的新最优状态，并提供了针对离线 RL 的 8 个普遍算法的性能基准进一步揭示数据分布对学习范式成功的影响，证明了之前某些结论受数据集的影响歪曲。

    Jun, 2023

  • RL-X: 一个深度强化学习库（不仅限于）RoboCup

    这篇论文介绍了新的深度强化学习（DRL）库 RL-X 及其在 RoboCup Soccer Simulation 3D 联赛和经典 DRL 基准测试中的应用。通过快速的基于 JAX 的实现，RL-X 可以达到与著名框架 Stable-Baselines3 相比提速 4.5 倍的效果。

    Oct, 2023