Oct, 2023

RoboCLIP：一个演示足够学会机器人策略

PDF
TL;DRRoboCLIP 是一种在线模仿学习方法，通过使用单个示例（视频演示或任务的文本描述）来生成奖励，克服了对大量领域内专家演示的需求，并且还能利用领域外的示例来生成奖励，无需手动设计奖励函数。使用 RoboCLIP 奖励进行训练的强化学习代理在下游机器人操作任务上表现出 2-3 倍的零 - shot 性能，仅使用一个视频 / 文本示例。
reward specificationimitation learningonline imitation learningvideo-and-language modelsroboclip
发现论文，激发创造
  • 模仿引导强化学习

    利用有限的模仿数据进行自主性提升的开创性框架 —— 模仿引导强化学习（IBRL），在从像素学习的模拟中实现了 7 个具有挑战性的稀疏奖励连续控制任务的最新性能和样本效率，是 RLPD 方法的 6.4 倍成功率的新亮点。

    Nov, 2023

  • 目标驱动的模仿学习

    通过整合演示（demonstrations）的方法，本研究探讨如何加速强化学习的收敛速度，以达到能够到达任何目标的策略，并且在与其他模仿学习算法训练的代理相比表现更好。

    Jun, 2019

  • CLIP-Motion：使用连续观测学习机器人动作的奖励函数

    利用基于 CLIP 的模型学习机器人运动的奖励函数的新方法，回避了传统奖励函数设计中的挑战，通过利用 CLIP 处理状态特征和图像输入的能力，准确识别连续观察之间的运动并增强机器人领域的强化学习培训。

    Nov, 2023

  • 视觉语言模型是强化学习的零样本奖励模型

    使用预训练的视觉语言模型作为无样本奖励模型以指定任务，通过单个句子文本提示训练 MuJoCo 仿真人完成复杂任务，表明未来的视觉语言模型将在广泛的强化学习应用中成为更加有用的奖励模型。

    Oct, 2023

  • 利用演示来解决机器人问题中稀疏奖励的深度强化学习

    本文提出了一种利用展示学习技术来解决高维度控制问题的机器人强化学习方法。该方法基于 Deep Deterministic Policy Gradient 算法，通过人体运动学控制收集演示并不需要专门设计的奖励函数，可应用于插入操作等实际机器操作中。

    Jul, 2017

  • 分治学习模仿

    本文介绍了一种基于序列归纳偏置的，从专家轨迹的状态中模仿复杂机器人任务并实现优化的新算法，将复杂任务拆分成较小的技能，将技能训练为 (goal-conditioned policy)，以便能够逐个解决每个技能并连接技能以完成整个任务，同时证明了该方法经过了无须几个未经过训练的样例即可实现了非完整导航任务和复杂的仿真机器人操作任务。

    Apr, 2022

  • 无监督感知奖励用于模仿学习

    利用深度模型学习中间视觉表示的抽象能力来从少量的演示序列中快速推断知觉奖励函数，以便在真实世界环境中使用强化学习智能体执行任务。

    Dec, 2016

  • 利用演示克服强化学习中的探索问题

    本研究利用示范来解决强化学习中稀疏奖励的探索问题，成功地学习了长期、多步骤的机器人任务，方法使用了 DDPG 和 HER 算法，提供了一种在仿真机器人任务上比以往 RL 算法快一个数量级的加速，方法易于实现，能够解决在行为克隆和 RL 算法中 都无法解决的任务，并且往往表现优于示范策略。

    Sep, 2017

  • 基于模拟运动演示的机器人操纵强化学习

    本文提出了一种新的机器人操作方法，该方法利用了物体本身的运动学习，通过使用物理模拟器中的对象运动策略生成辅助奖励，称为模拟运动演示奖励（SLDRs），该方法可以在不需要人类演示或昂贵成本的情况下，通过强化学习来掌握机器人操作技能，从而实现多物体堆放和非刚性物体操作等任务的更高成功率和更快学习。

    Oct, 2019

  • EvIL：演化策略用于可广泛应用的模仿学习

    在仿真学习中，我们通过整合奖励模型集合以及使用演化策略方法 EvIL 来提高重新训练和迁移性能，同时加速目标环境中的重新训练，在连续控制任务中比之前的工作更加高效地重新训练策略。

    Jun, 2024