ICMLJun, 2023

LIV: 语言 - 图像表示和奖励在机器人控制中的应用

PDF
TL;DRLanguage-Image Value learning (LIV) is used to pre-train a multi-modal representation for vision-language and reward learning, which can perform robotic control and reward specification in different environments using unseen robots or humans, and consistently outperforms the best prior input state representations and reward specification methods for policy synthesis.
language-image value learningmulti-modal representationreward learningcontrol-centric vision-language representationrobotic control
发现论文，激发创造
  • VIP：通过价值内隐预训练实现通用视觉奖励和表示

    本研究提出了一种称为 VIP 的表示自学习方法，通过自监督目标条件强化学习的方式从未标注的人类视频中生成稠密的，可平滑的奖励函数，克服机器人数据获取上的困难，并在实验中表现出优异的表现。

    Sep, 2022

  • 视觉语言模型为强化学习提供可提示的表示

    通过利用背景世界知识，人类能够快速学习新的行为方式。相比之下，强化学习训练的代理通常需要从零开始学习行为。因此，我们提出了一种新的方法，利用基于视觉语言模型（VLMs）的通用世界知识和可索引知识，这些模型在互联网规模的数据上进行预训练，用于实体强化学习。我们通过将 VLMs 用作可提示的表示方式来初始化策略：通过提示提供任务背景和辅助信息，这些嵌入基于视觉观察进行了接地，并编码了 VLM 的内部知识的语义特征。我们在 Minecraft 中的视觉复杂、长期的强化学习任务以及 Habitat 中的机器人导航任务上评估了我们的方法。我们发现，与从通用的非可提示图像嵌入训练的等效策略相比，我们基于通用 VLMs 提取的嵌入的训练策略表现更好。我们还发现，我们的方法优于遵循指令的方法，并与特定领域的嵌入方法效果相当。

    Feb, 2024

  • 从语言到目标：基于视觉的逆强化学习指令跟随

    本研究探讨了使用反强化学习将语言命令作为奖励函数的问题，并提出了一种将语言命令作为深度神经网络表示的奖励函数的学习算法，即语言条件奖励学习（LC-RL）。实验结果表明，与直接学习语言条件策略相比，使用 LC-RL 学习的奖励可以更好地在新任务和环境中进行迁移。

    Feb, 2019

  • RL-VLM-F: 视觉语言基础模型反馈的强化学习

    提出了一种自动生成奖励函数的方法 RL-VLM-F，通过利用视觉语言基础模型的反馈，从任务目标的文本描述和代理人的视觉观察中自动生成奖励函数，避免了人力成本和试错过程，在各个领域中成功产生了有效的奖励和策略，并优于使用大规模预训练模型的先前方法。

    Feb, 2024

  • 语言驱动的机器人表示学习

    本文介绍了一种基于语言驱动的视觉表示学习方法，即 Voltron，并通过全面的实验验证表明其在五种不同的机器人学习问题上的表现优于以往技术，特别是在需要更高级特征的问题上。

    Feb, 2023

  • 视觉语言模型是强化学习的零样本奖励模型

    使用预训练的视觉语言模型作为无样本奖励模型以指定任务，通过单个句子文本提示训练 MuJoCo 仿真人完成复杂任务，表明未来的视觉语言模型将在广泛的强化学习应用中成为更加有用的奖励模型。

    Oct, 2023

  • 视觉语言模型作为奖励的来源

    使用视觉 - 语言模型（VLMs）作为强化学习代理的奖励来源的可行性研究，展示了从 CLIP 模型家族中得到各种语言目标的视觉成就奖励，并用于训练能够实现各种语言目标的 RL 代理，通过两个不同的视觉领域展示了这种方法，并呈现了更大的 VLMs 趋势，以更准确的视觉目标成就奖励，从而产生更有能力的 RL 代理。

    Dec, 2023

  • 指令跟踪的目标表示：半监督语言接口控制

    通过使用少量语言数据，我们提出了一种联合图像和目标条件策略的方法来解决语言指示问题，该方法获得了在不同场景下进行操作任务的指令跟随表现，并具有从标记数据中外推语言指示的能力。

    Jun, 2023

  • 视频 - 语言评论家：用于语言条件机器人的可转移奖励函数

    基于视频 - 语言评论家的奖励模型，可以在现有的跨体现数据上进行训练，使用对比学习和时间排序目标，对来自单独强化学习执行者的行为轨迹进行评分。在 Meta-World 任务中，通过在 Open X-Embodiment 数据上训练奖励模型，实现了比仅稀疏奖励模型更高效的策略训练，尽管存在显著的领域差异。使用 Meta-World 上的具有挑战性任务推广设置的领域数据进一步证明，相比先前使用二元分类训练的语言条件奖励模型，静态图像或不利用视频数据中的时间信息，我们的方法实现了更高效的训练。

    May, 2024

  • RoboUniView: 统一视角表征的视觉语言模型用于机器人操作

    利用视觉语言模型（VLMs）进行机器人操纵的研究提出了一种新的范式，旨在增强模型对新对象和指令的推广能力。为解决摄像机规格和安装位置的变化带来的性能差异，该研究提出了 RoboUniView 方法，该方法从多个视角学习统一的视图表示，并从该表示中得出操纵机器人的动作。该统一的视图表示更准确地反映了物理世界，不受机器人平台摄像机参数的限制，并在 CALVIN 基准测试中获得了最先进的性能，将成功率从 88.7％提高到 96.2％。此外，该模型还表现出卓越的适应性和灵活性：它在未知摄像机参数下保持高性能，可以利用具有不同摄像机参数的多个数据集，并能够在数据集之间进行联合多任务学习。研究代码已提供以供重新实现。

    Jun, 2024