本文提出一种名为 EnvPool 的并行环境执行引擎，旨在改善 RL 训练系统中常见的瓶颈：并行环境执行模拟。通过对 RL 环境进行精心设计并对各种硬件环境进行优化，EnvPool 实现了较快的环境模拟速度并有着广泛得兼容性，为研究人员提供了更高效的 RL 开发环境。

Jun, 2022

此篇论文介绍了一种名为 CoRL 的强化学习环境库，它利用模块化、可组合和超级可配置的设计思想，允许对观测、奖励和终止条件进行细粒度的控制，并可快速实现多个模拟环境的集成，从而实现了代理的快速实现和模拟场景从低保真度向高保真度迁移的能力。

Mar, 2023

本文介绍了 panda-gym，它是集成了 OpenAI Gym 的 Franka Emika Panda 机器人的强化学习（RL）环境。它包括五个任务：到达，推动，滑动，拾取和堆叠。它们都遵循多目标 RL 框架，允许使用面向目标的 RL 算法。 panda-gym 是开源的，并且基于最新的无模型离策略算法。

Jun, 2021

通过采用自上而下的分层控制算法，对 RL 组件进行可组合的分布式处理，RLlib 提供可扩展的软件基元，从而将并行性和资源需求封装在短暂的计算任务中，实现高性能、可扩展性和大量代码重用的广泛算法的实现。

Dec, 2017

本文介绍了一种基于 Bullet 物理引擎的开源多旋翼 OpenAI Gym 环境，并通过多个实验展示了其在控制和强化学习方面的应用，旨在鼓励将控制理论和机器学习相结合的未来研究。

Mar, 2021

本论文提出了 CaiRL 环境工具包作为一种有效、兼容性良好、可持续性更高的训练学习代理的替代方法，并提出了更高效环境模拟的方法，以解决当前强化学习工具包效率低下的问题。

Oct, 2022

本文提出了基于 PyTorch 的 MBRL-Lib 机器学习库，旨在为研究人员提供一个易于开发、调试和比较新算法的平台，也为非专业用户降低应用最先进算法的门槛。

Apr, 2021

SKRL 是一种开源、模块化的强化学习库，使用 Python 编写，并专注于算法实现的易读性、简洁性和透明度。它不仅支持使用 OpenAI Gym 和 DeepMind 传统接口的环境，还提供了加载、配置和操作 NVIDIA Isaac Gym 和 NVIDIA Omniverse Isaac Gym 环境的功能。此外，它还能够在同一次运行中训练多个具有可自定义范围的代理程序（所有可用环境中的子集），这些代理程序可以共享资源，也可以不共享。

Feb, 2022

Aquarium 是一个开源的、全面的多智能体强化学习环境，旨在研究捕食者 - 被捕食者交互中的自发行为。该环境使用 PettingZoo 框架和 PPO 算法实现了资源高效的可视化，并证实了参数共享在提高协调性和样本效率方面优于个体学习。

Jan, 2024

实际应用中的强化学习（RL）通常是部分可观测的，并且需要记忆。本文提出了一个名为 POPGym 的库，包含多个具有多个困难程度的部分可观测环境和 13 种记忆模型基准实现，并在流行的 RLlib 框架上实现了高层内存 API 和记忆基线，具有可插拔性，且执行了迄今为止最大的 RL 内存模型比较。

Mar, 2023