Nov, 2023

视觉语言基础模型作为有效的机器人模仿者

PDF
TL;DR通过对开放源代码的视觉 - 语言模型进行简单微调，RoboFlamingo 构建了一个简单而新颖的视觉 - 语言操控框架，并利用单步视觉 - 语言理解的预训练模型、显式策略推测历史信息，通过模仿学习在以语言为条件的操纵数据集上微调。通过在基准测试上超过最先进的性能，表明 RoboFlamingo 能够有效并具有竞争力地将 VLM 适应到机器人控制中，为机器人操作提供了一种具有潜力的经济高效和易于使用的解决方案。
发现论文，激发创造
  • Flamingo：一种可视化语言模型，用于少样本学习

    Flamingo 是一种可视语言模型，具有快速适应新任务的能力，能够仅使用少量注释示例。这种模型通过桥接强大的预训练视觉和语言模型，处理任意交错的视觉和文本数据序列，并无缝地输入图像或视频并进行评估和测试，从而表现出上下文的一步学习能力。

    Apr, 2022

  • RoboUniView: 统一视角表征的视觉语言模型用于机器人操作

    利用视觉语言模型（VLMs）进行机器人操纵的研究提出了一种新的范式，旨在增强模型对新对象和指令的推广能力。为解决摄像机规格和安装位置的变化带来的性能差异，该研究提出了 RoboUniView 方法，该方法从多个视角学习统一的视图表示，并从该表示中得出操纵机器人的动作。该统一的视图表示更准确地反映了物理世界，不受机器人平台摄像机参数的限制，并在 CALVIN 基准测试中获得了最先进的性能，将成功率从 88.7％提高到 96.2％。此外，该模型还表现出卓越的适应性和灵活性：它在未知摄像机参数下保持高性能，可以利用具有不同摄像机参数的多个数据集，并能够在数据集之间进行联合多任务学习。研究代码已提供以供重新实现。

    Jun, 2024

  • 视觉语言模型作为成功检测器

    本文介绍了一种使用大型预训练视觉语言模型和人工奖励注释的成功检测方法，将其作为视觉问答问题，研究了在三个不同领域的成功检测和推广属性，证明该方法能在看到未知语言和视觉变化的情况下胜过定制奖励模型。

    Mar, 2023

  • Re-ViLM: 检索增强的视觉语言模型，用于零和少量样本图像字幕生成

    本研究提出了一种基于 Flamingo 模型的 Retrieval-augmented Visual Language Model（Re-ViLM）, 支持检索外部数据库的相关知识，减少模型参数数量，适应新数据评估。研究表明，Re-ViLM 显著提高了图像到文本生成任务的性能，在没有领域内数据和少量领域内数据的情况下，参数数量是基线方法的四倍。

    Feb, 2023

  • 视觉语言模型是强化学习的零样本奖励模型

    使用预训练的视觉语言模型作为无样本奖励模型以指定任务，通过单个句子文本提示训练 MuJoCo 仿真人完成复杂任务，表明未来的视觉语言模型将在广泛的强化学习应用中成为更加有用的奖励模型。

    Oct, 2023

  • 审慎行事：揭示 GPT-4V 在机器人视觉语言规划中的能量

    我们介绍了一种名为 Robotic Vision-Language Planning (ViLa) 的新方法，该方法结合了视觉 - 语言模型和长期规划，通过直接整合感知数据来生成可行步骤序列，以在广泛的开放世界操纵任务中展示其优势。

    Nov, 2023

  • 基于视觉语言模型的指令增强机器人技能习得

    本论文介绍了一种名为 DIAL 的方法，利用半监督的语言标签，结合 CLIP 的语义理解，将知识传播到大型未标记的数据集中，并在增强的数据集上训练语言条件下的策略，从而使模仿学习策略获得新的能力并推广到原始数据集中未见过的 60 个新指令。

    Nov, 2022

  • OpenFlamingo: 训练大规模自回归视觉语言模型的开源框架

    OpenFlamingo 是一系列从 3B 到 9B 参数的自回归视觉 - 语言模型，旨在复制 DeepMind 的 Flamingo 模型。通过在七个视觉 - 语言数据集上进行评估，OpenFlamingo 模型的性能平均达到了 Flamingo 的 80％-89％。本技术报告描述了我们的模型、训练数据、超参数和评估套件。我们在此 https 网址上分享我们的模型和代码。

    Aug, 2023

  • HuBo-VLM：为人机交互任务设计的统一视觉语言模型

    本文提出了一种基于统一变压器视觉语言模型的 HuBo-VLM 方法，用于解决与人机交互相关的感知任务，包括物体检测和视觉定位，丰富的实验表明了该方法的有效性。

    Aug, 2023

  • 视觉任务的视觉语言模型综述

    本文系统回顾了基于语言的视觉模型在各种视觉识别任务中的应用，并总结了广泛采用的网络结构、预训练目标和下游任务，以及预训练和评估中广泛采用的数据集，并回顾和分类现有的预训练方法、传输学习方法和知识蒸馏方法。

    Apr, 2023