AD4RL：用基于价值的数据集进行离线强化学习的自动驾驶基准

Apr, 2024

AD4RL：用基于价值的数据集进行离线强化学习的自动驾驶基准

AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset

Dongsu Lee, Chanin Eom, Minhae Kwon

TL;DR本研究提供了自动驾驶数据集和离线强化学习算法的基准，其中包含 19 个数据集，包括真实世界的人类驾驶员数据集，并提供三种真实行驶场景下的七种流行的离线强化学习算法，同时提供了一个统一的决策过程模型作为算法设计的参考框架，为探索现有强化学习方法的实际方面奠定了基础。

Abstract

offline reinforcement learning has emerged as a promising technology by enhancing its practicality through the use of pre-collected large datasets. Despite its practical benefits, most algorithm development research in offline reinforcement learning still relies on game tasks with synt

offline reinforcement learning autonomous driving datasets benchmark real-world human driver's datasets unified decision-making process model

发现论文，激发创造

用于离线安全强化学习的数据集和基准

本文提出了面向离线安全强化学习挑战的综合基准套件，包括从环境到离线学习算法的具体实现和高质量数据集，通过对 3 8 类流行自动驾驶任务的数据收集与处理，最终提供了有价值的研究参考。

Jun, 2023

D4RL：深度数据驱动强化学习数据集

本研究为解决离线情境下强化学习（RL）的挑战，特意设计离线 RL 的基准测试任务，指导现实世界中数据集集合的设计与收集，并在开源代码上进行了综合评估，以便研究人员能够进一步完善现有算法及在这一新兴领域展开合作与探索。

Apr, 2020

在真实机器人硬件上进行离线强化学习的基准测试

从先前记录的数据中学习策略是实现真实世界机器人任务的一个有前景的方向，我们提出了一个基准，其中包括：使用能力强大的强化学习代理在模拟中训练的两个任务的熟练操纵平台的大量离线学习数据的收集，在真实世界机器人系统和模拟中执行学习策略的选项以进行高效调试。我们评估了知名的开源离线强化学习算法，并为真实系统上的离线强化学习提供了可重现的实验设置。

Jul, 2023

具有偏倚离线数据和不完善模拟器的强化学习基准

许多强化学习应用中，很难让智能体在真实世界中行动，这给自动驾驶、医疗应用甚至某些推荐系统带来了困扰。本研究概述了强化学习中将离线数据与不完善模拟器相结合的四个主要挑战，并构建了 “机械离线强化学习基准”（B4MRL）来推动该领域的研究。结果表明，这些基准对未来研究至关重要。

Jun, 2024

Driver Dojo: 自主驾驶通用强化学习基准测试

本论文基于可配置、灵活、高性能的代码库，提出了一种挑战性的自动驾驶通用强化学习基准测试方法，该方法使用随机化场景生成器的目录，包括多种不同的道路布局和交通变化机制、不同的数值和视觉观察类型、不同的动作空间、多种车辆模型等。该基准测试旨在鼓励研究人员提出能够成功地推广到各种场景的解决方案，目前的 RL 方法在这项任务中失败。

Jul, 2022

离线强化学习的乐观视角

该研究使用 DQN 重放数据集研究了离线强化学习，提出了随机集合混合（REM）算法以促进泛化，得到比经过完全训练的 DQN 代理更好的结果。这表明，针对足够大且多样化的离线数据集进行训练的鲁棒强化学习算法可以导致高质量的策略。

Jul, 2019

用于离线组合强化学习的机器人操作数据集

本研究提供了四个来自 CompoSuite 的离线强化学习数据集，用于解决机器人操作的组合任务，评估表明组合方法比非组合方法优越，但当前方法仍无法提取任务的组合结构以推广到看不见的任务，需要进一步研究。

Jul, 2023

优化和基准测试离线强化学习算法

本文研究离线强化学习，通过对 20 个实现选择进行实证研究来选择最佳实现方案，进而实现在数据集上的新最优状态，并提供了针对离线 RL 的 8 个普遍算法的性能基准进一步揭示数据分布对学习范式成功的影响，证明了之前某些结论受数据集的影响歪曲。

Jun, 2023

离线强化学习实践

此研究聚焦于离线强化学习，重点是离线学习方法的数据集属性和离线方法的成功相关性，实验证明离线 RL 的多样性和高回报的例子对于成功至关重要，并表明行为克隆仍然是竞争对手。

Nov, 2020

一个离线强化学习的真实四足行动基准

以离线强化学习方向研究四足机器人腿部鲁棒动作，通过经典模型预测控制方法收集数据集，并与基于模型无关的在线强化学习方法进行对比，发现离线强化学习算法在某些任务上能够超越模型无关的在线强化学习算法，但在稳定性和快速适应性方面仍存在差距，该研究为测试和评估离线强化学习算法在实际四足机器人运动任务中的表现提供了一个发展平台。

Sep, 2023