ICLRJul, 2023

在真实机器人硬件上进行离线强化学习的基准测试

PDF
TL;DR从先前记录的数据中学习策略是实现真实世界机器人任务的一个有前景的方向，我们提出了一个基准，其中包括：使用能力强大的强化学习代理在模拟中训练的两个任务的熟练操纵平台的大量离线学习数据的收集，在真实世界机器人系统和模拟中执行学习策略的选项以进行高效调试。我们评估了知名的开源离线强化学习算法，并为真实系统上的离线强化学习提供了可重现的实验设置。
发现论文，激发创造
  • 2022 年真实机器人挑战赛：在真实环境中从离线数据中学习熟练操纵

    通过对比优胜队伍的方法和最新的离线强化学习算法与挑战数据集的基准结果，本研究详细介绍了比赛规则，并讨论了利用模拟器和真实机器人进行实验的话题。

    Aug, 2023

  • 在真实世界机器人上对强化学习算法进行基准测试

    通过在多个商业机器人上实施我们引入的多个强化学习任务，通过对其四种增强学习算法的学习性能进行测试并分析其对超参数的灵敏度，揭示出这些算法的实际应用性。我们发现现代学习算法对超参数非常敏感，为了获得最佳性能需要为每个任务重新调整参数。

    Sep, 2018

  • 一个离线强化学习的真实四足行动基准

    以离线强化学习方向研究四足机器人腿部鲁棒动作，通过经典模型预测控制方法收集数据集，并与基于模型无关的在线强化学习方法进行对比，发现离线强化学习算法在某些任务上能够超越模型无关的在线强化学习算法，但在稳定性和快速适应性方面仍存在差距，该研究为测试和评估离线强化学习算法在实际四足机器人运动任务中的表现提供了一个发展平台。

    Sep, 2023

  • D4RL：深度数据驱动强化学习数据集

    本研究为解决离线情境下强化学习（RL）的挑战，特意设计离线 RL 的基准测试任务，指导现实世界中数据集集合的设计与收集，并在开源代码上进行了综合评估，以便研究人员能够进一步完善现有算法及在这一新兴领域展开合作与探索。

    Apr, 2020

  • 用于离线组合强化学习的机器人操作数据集

    本研究提供了四个来自 CompoSuite 的离线强化学习数据集，用于解决机器人操作的组合任务，评估表明组合方法比非组合方法优越，但当前方法仍无法提取任务的组合结构以推广到看不见的任务，需要进一步研究。

    Jul, 2023

  • 离线强化学习综述：分类、评估与开放性问题

    本论文提出一个在线学习和离线学习技术的归一化分类法，总结了离线 RL 领域的最新算法突破和现有基准的特性和不足，并提供了对未来研究方向的展望。

    Mar, 2022

  • 离线无模型机器人强化学习工作流程

    本文提出了一种实用的线下强化学习工作流程，类似于监督学习问题的工作流程，并演示了在几个模拟机器人学习场景和两个不同真实机器人上的三个任务中，使用此工作流程在没有在线调整的情况下生成有效策略的有效性。

    Sep, 2021

  • 离线强化学习实践

    此研究聚焦于离线强化学习，重点是离线学习方法的数据集属性和离线方法的成功相关性，实验证明离线 RL 的多样性和高回报的例子对于成功至关重要，并表明行为克隆仍然是竞争对手。

    Nov, 2020

  • REBOOT：重用数据用于高效的实际情境灵巧操纵

    我们介绍了一种用于学习灵巧操作技能的高效系统，通过整合最近在样本有效强化学习和重放缓冲引导方面的进展，利用来自不同任务或物体的数据作为训练新任务的起点，显著提高学习效率，同时通过基于模仿的拾取策略和学习奖励函数，消除了手动重置和奖励工程的需求，并在四指机械手上的真实环境中展示了重用先前数据作为重放缓冲初始化的好处，例如在真实世界中快速获得复杂操作技能。

    Sep, 2023

  • 可执行模型：无监督离线强化学习的机器人技能

    本文提出了使用自回归进行离线机器人技能学习，并通过先前的数据学习环境的形式理解，该方法可以处理高维相机图像，可以学习到许多技能，并通过一系列技术进行训练，此方法具有较强的泛化能力，可以在多个目标之间进行目标链接，通过预训练或辅助目标学习到丰富的表示。

    Apr, 2021