Jun, 2023

线下训练，线上测试：一个真实机器人学习基准测试

PDF
TL;DR通过新的基准测试 TOTO 挑战机器人学习研究中的三个限制：昂贵的机器人硬件限制了研究范围，各人使用不同的机器人导致结果不能推广到其他实验室，以及缺乏互联网规模的机器人数据。TOTO 为用户提供访问共享机器人硬件和任务数据集的机会，以进行任何离线训练，并对五种预训练视觉表示和四种离线策略学习基线的初步结果进行了比较，以便于直接比较不同提交的算法的性能。
发现论文，激发创造
  • DiffClone: 强化行为克隆机器人中的扩散驱动策略学习

    本文介绍了一种使用离线演示数据集进行训练的增强行为克隆代理的离线算法 DiffClone，并在真实在线物理机器人上测试了该方法的有效性。

    Jan, 2024

  • 2022 年真实机器人挑战赛：在真实环境中从离线数据中学习熟练操纵

    通过对比优胜队伍的方法和最新的离线强化学习算法与挑战数据集的基准结果，本研究详细介绍了比赛规则，并讨论了利用模拟器和真实机器人进行实验的话题。

    Aug, 2023

  • 在真实机器人硬件上进行离线强化学习的基准测试

    从先前记录的数据中学习策略是实现真实世界机器人任务的一个有前景的方向，我们提出了一个基准，其中包括：使用能力强大的强化学习代理在模拟中训练的两个任务的熟练操纵平台的大量离线学习数据的收集，在真实世界机器人系统和模拟中执行学习策略的选项以进行高效调试。我们评估了知名的开源离线强化学习算法，并为真实系统上的离线强化学习提供了可重现的实验设置。

    Jul, 2023

  • MOTO：基于模型的机器人学习的离线预训练与在线微调

    我们研究了离线预训练和在线微调在实际机器人任务中从高维观测中进行强化学习的问题，通过控制认知不确定性，我们提出一种基于模型的方法，通过模型值扩展和策略规范化高效地重用先前数据，成功从像素中解决了 MetaWorld 基准和 Franka Kitchen 机器人操作环境任务，据我们所知，这是第一种从像素中解决此环境的方法。

    Jan, 2024

  • 一个离线强化学习的真实四足行动基准

    以离线强化学习方向研究四足机器人腿部鲁棒动作，通过经典模型预测控制方法收集数据集，并与基于模型无关的在线强化学习方法进行对比，发现离线强化学习算法在某些任务上能够超越模型无关的在线强化学习算法，但在稳定性和快速适应性方面仍存在差距，该研究为测试和评估离线强化学习算法在实际四足机器人运动任务中的表现提供了一个发展平台。

    Sep, 2023

  • 在真实世界机器人上对强化学习算法进行基准测试

    通过在多个商业机器人上实施我们引入的多个强化学习任务，通过对其四种增强学习算法的学习性能进行测试并分析其对超参数的灵敏度，揭示出这些算法的实际应用性。我们发现现代学习算法对超参数非常敏感，为了获得最佳性能需要为每个任务重新调整参数。

    Sep, 2018

  • RoboNet：大规模多机器人学习

    本文提出 RoboNet，一个用于共享机器人经验的开放数据库，结合视觉先见性和监督逆模型两种学习算法，用于视觉引导的机器人操作的泛化模型学习，其预训练和微调性能超过使用 4 倍至 20 倍更多数据的机器人特定培训方法。

    Oct, 2019

  • 离线至在线强化学习中的超领域规划

    离线预训练与在线微调（offline-to-online 或 OtO）是与实际强化学习部署过程相匹配的范式，我们研究在线强化学习开拓问题的主要方法，其中 PTGOOD 算法在在线微调中显著提高了智能体回报，并且在少于 10k 的在线步骤中找到了最优策略。

    Oct, 2023

  • 在真实环境中微调离线世界模型

    通过使用离线数据集在真实机器人上对世界模型进行预训练，然后通过使用学习模型进行在线数据集的规划和微调，本文试图解决强化学习在真实机器人上训练时的数据效率问题，以及模型在训练和推理过程中的分布偏移问题，该方法在模拟环境和真实机器人上的视觉 - 动作控制任务上进行了验证，发现即使离线数据有限，该方法也能实现对已知和未知任务的少次数微调。

    Oct, 2023

  • 通过价值函数预训练的互联网视频机器人离线强化学习

    本研究通过开发一种基于时间差分学习的系统，在机器人离线增强学习中利用大规模人类视频数据集，展示了通过视频数据集进行价值学习相较于其他视频数据学习方法更具有推广性，并且与机器人多样化数据的离线增强学习方法结合，产生在操作任务中执行更好、更稳定和具有广泛泛化性能的价值函数和策略。

    Sep, 2023