Aug, 2023

多模态预训练模型用于顺序决策：综合、验证、基础和感知

PDF
TL;DR利用预训练模型和视觉观察的知识，发展一种算法来构建和验证用于顺序决策任务的控制器，并将这些控制器与任务环境进行关联。
pretrained modelssequential decision-making tasksautomaton-based controllervisual observationsgrounding
发现论文，激发创造
  • 通过预训练和多任务微调掌握多模态机器人操作

    通过引入一个有效的框架，从多任务的专家轨迹中学习使用多模式提示进行机器人操作，我们在 VIMA-BENCH 上评估了方法的功效，并建立了一个新的最先进水平（成功率提高了 10%）。此外，我们还展示了我们的模型具有显著的情境学习能力。

    Oct, 2023

  • 基于接地模型指导机器人控制的文本生成

    本论文提出了一种利用大型语言模型进行机器人交互的方法，用于解决理解语义知识和实现机器人任务之间的矛盾问题，其中引入了基于概率过滤的策略来采用语言模型和基于物理环境的模型两者的优势，通过指导解码策略可以实现复杂的机器人长视程任务。

    Mar, 2023

  • 文本和图像预训练在多模态算法推理中的整合

    我们提出了一个基于多模态算法推理的神经网络解决方案，用于解决专为 6-8 岁儿童设计的视觉语言难题，我们的模型基于两个预训练模型，分别从文本和图像中提取特征，并通过融合层和注意机制进行特征整合。实验结果表明，在智能挑战数据集的拼图分割样式下，我们提出的综合分类器具有卓越的性能，验证了多模态预训练表示的有效性。

    Jun, 2024

  • 多模态不确定性感知视觉 - 语言预训练模型

    本文通过概率分布编码器（PDE）将所有模态的表示作为概率分布映射，对不确定性建模，提出了基于概率分布的预训练任务并在视觉和语言联合任务上实现了最先进的结果。

    Oct, 2022

  • 跨越语言、视觉和行动：多模态 VAEs 在机器人操作任务中的应用

    我们关注机器人操作中无监督的视觉 - 语言 - 行为映射，探索多模态变分自编码器在无监督机器人操作任务中的应用，并提出一种模型不变训练方法，成功提高模型在模拟环境中的性能，并对个体任务的挑战进行了系统评估，揭示了当前多模态变分自编码器在基于视觉和语言的无监督机器人运动轨迹学习中的潜在优势和限制。

    Apr, 2024

  • 增强型用户界面指令基础：走向通用的用户界面任务自动化 API

    建立了一个多模态模型用于将自然语言指令与给定的 UI 屏幕截图联系起来，作为通用的 UI 任务自动执行器，并通过强化学习算法对其进行加强，实验结果表明，该模型在 UI 任务自动化方面表现优异，显示出作为通用 UI 任务自动化 API 的潜力。

    Oct, 2023

  • 视觉语言行为模型在具身人工智能中的调查

    综合调查了深度学习、多模态模型、视觉 - 语言 - 动作模型、具身人工智能的快速发展。

    May, 2024

  • 通过对多模态指南进行排序来理解多模态程序化知识

    本文通过构建数据集和收集人类注释来检验机器学习模型分析和排序多模式事件的能力，发现机器模型不仅表现远远不如人类，而且不能有效地利用多模式信息。为了改善机器在多模式事件排序上的性能，作者提出了针对顺序性的预训练技术，可以获得显著的 > 5% 的性能提升。

    Oct, 2021

  • DecisionNCE: 通过隐式偏好学习实现的具身多模态表示

    通过多模态预训练方法，本论文提出了一种通用的统一目标，可以同时从图像序列中提取有意义的任务进展信息，并将其与语言指令无缝对齐，以提供一种优雅地提取本地和全局任务进展特征的实体化表示学习框架，通过隐式时间对比学习强制执行时间一致性，并通过多模态联合编码确保轨迹级指令定位，从而为统一的表示和奖励学习提供了多样化的解决方案。

    Feb, 2024

  • 自监督多任务预训练：控制变压器

    本文提出一种通用的预训练 - 微调流水线 ——Self-supervised Multi-task pretrAining with contRol Transformer（SMART），通过设计一种控制中心的自监督微调目标，结合控制变压器（CT）实现了对短期控制和长期控制相关的信息的捕捉，在 DeepMind 控制套件上的广泛实验表明 SMART 极大地提高了在不同的学习场景下（包括模仿学习和强化学习）的学习效率和泛化能力。

    Jan, 2023